WO2021065699A1 - 表示制御装置、及びヘッドアップディスプレイ装置 - Google Patents

表示制御装置、及びヘッドアップディスプレイ装置 Download PDF

Info

Publication number
WO2021065699A1
WO2021065699A1 PCT/JP2020/036186 JP2020036186W WO2021065699A1 WO 2021065699 A1 WO2021065699 A1 WO 2021065699A1 JP 2020036186 W JP2020036186 W JP 2020036186W WO 2021065699 A1 WO2021065699 A1 WO 2021065699A1
Authority
WO
WIPO (PCT)
Prior art keywords
viewpoint position
image
warping
viewpoint
vehicle
Prior art date
Application number
PCT/JP2020/036186
Other languages
English (en)
French (fr)
Inventor
誠 秦
毅 笠原
Original Assignee
日本精機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本精機株式会社 filed Critical 日本精機株式会社
Priority to JP2021551175A priority Critical patent/JP7544066B2/ja
Publication of WO2021065699A1 publication Critical patent/WO2021065699A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/26—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/346—Image reproducers using prisms or semi-transparent mirrors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/363—Image reproducers using image projection screens
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking

Definitions

  • the present invention is a display control device that projects (projects) the display light of an image onto a projected member such as a windshield or a combiner of a vehicle to display a virtual image in front of the driver, and a head-up display (Head-up Display). : HUD) Regarding equipment and the like.
  • an image correction process (hereinafter referred to as warping process) in which the projected image is pre-distorted so as to have characteristics opposite to the distortion of the virtual image caused by the curved surface shape of the optical system, the windshield, etc. )It has been known.
  • the warping process in the HUD apparatus is described in, for example, Patent Document 1.
  • Patent Document 2 describes that the warping process is performed based on the viewpoint position of the driver (viewpoint tracking warping).
  • the driver's viewpoint position is detected by a parallax type HUD device (in other words, a three-dimensional display type HUD device) in which a parallax image for the left eye and a parallax image for the right eye are incident on the left and right eyes of the driver.
  • a parallax type HUD device in other words, a three-dimensional display type HUD device
  • a parallax image for the left eye and a parallax image for the right eye are incident on the left and right eyes of the driver.
  • the present inventor has examined the implementation of viewpoint position-following warping control that updates the warping parameters according to the viewpoint position of the driver (which can be widely interpreted by the driver, crew, etc.), and is described below. Recognized the challenge.
  • the appearance of the virtual image seen by the driver (the state of the virtual image, the impression received from the virtual image, etc.) changes instantaneously even if the virtual image of the same image is displayed. It may cause a sense of discomfort to the driver.
  • the image (virtual image) displayed after the warping process should be a flat virtual image after the distortion caused by the optical system or the like is completely corrected.
  • the driver (user) Ideally, a distortion-free virtual image should always be obtained, even when the position of the viewpoint changes, but the distortion cannot be completely removed.
  • a HUD device capable of displaying a virtual image over a fairly wide range in front of a vehicle has been developed, and such a HUD device tends to become large in size.
  • the optical system and the like have been devised to reduce distortion, it is difficult to achieve a uniform distortion reduction effect in the entire area of the eyebox, for example.
  • the viewpoint is moved while the driver's viewpoint is located in the area of the eyebox (for example, the peripheral area) that is easily affected by the change in the appearance of the virtual image due to the warping process, the displayed contents are the same.
  • the appearance of the image changes considerably, and the change occurs instantaneously in response to the movement of the viewpoint, which may cause the driver to feel uncomfortable.
  • One of the objects of the present invention is that when the viewpoint position tracking warping process is performed in the HUD device, the appearance of the image changes instantaneously with the update of the warping parameters, causing the driver to feel uncomfortable. It is to suppress.
  • the display control device is mounted on the vehicle and reflects the image generation unit that generates an image, the display unit that displays the image, and the display light of the image, and projects the display light onto the projected member.
  • Display control that controls a head-up display (HUD) device that includes an optical system including an optical member and projects the image onto a projected member provided on the vehicle to allow the driver to visually recognize a virtual image of the image.
  • the device includes one or more processors, which update the warping parameters according to the driver's viewpoint position in the eyebox, and use the warping parameters to display an image to be displayed on the display unit.
  • the first viewpoint position detection sensitivity is defined as the viewpoint position detection sensitivity of the driver in the case of performing the viewpoint position tracking warping control in which the image is distorted in advance so as to have a characteristic opposite to the distortion characteristic of the virtual image.
  • the viewpoint position detection sensitivity of the driver in the case where the operation different from the warping in the HUD device is controlled according to the viewpoint position of the driver in the eyebox is set as the second viewpoint position detection sensitivity.
  • the first viewpoint position detection sensitivity is set lower than the second viewpoint position detection sensitivity.
  • the viewpoint position detection sensitivity in order to suppress the adverse effect of changing the appearance of the image (virtual image) and causing a sense of discomfort due to the viewpoint position tracking warping (dynamic warping) processing, the viewpoint position detection sensitivity (first) in the warping process.
  • the viewpoint position detection sensitivity (second viewpoint) when the operation (other than the viewpoint position tracking warping) different from the warping (operation related to virtual image display, etc.) is controlled according to the viewpoint position. It is set lower than the position detection sensitivity) to slow down (suppress) the sensitivity of the warping process.
  • the second viewpoint position detection sensitivity is used for processing other than viewpoint tracking warping.
  • this second viewpoint position detection sensitivity can be rephrased as the maximum viewpoint position detection sensitivity of the HUD device.
  • the second viewpoint position detection sensitivity is used to detect the positions of the left and right eyes with high resolution and perform high-precision control, while in the viewpoint position tracking warping process, the viewpoint position detection sensitivity is lowered. Therefore, the change in the appearance of the virtual image due to the switching of the warping parameter due to the change in the viewpoint position is suppressed, and the deterioration of the visibility is suppressed.
  • the above control can also be applied to a monocular HUD device in which the display light of the same image is incident on the left and right eyes.
  • the operation different from the warping is a control in which the display lights of the parallax image for the left eye and the parallax image for the right eye are incident on the left and right eyes of the driver. It may be an operation.
  • the detection sensitivity of the left and right viewpoint positions in the parallax type HUD device can be kept high while appropriately suppressing the viewpoint position detection sensitivity in the viewpoint position tracking warping process.
  • the display light of the parallax image for each eye can be accurately incident on the left and right eyes of the driver in the eye box.
  • the eyebox is divided into a plurality of subregions, each subregion is used as a unit to detect the viewpoint position of the driver, and the first aspect is described.
  • the viewpoint position detection sensitivity is used, the number of the partial regions is m (m is a natural number of 2 or more), and when the second viewpoint position detection sensitivity is used, the number of the partial regions is n (n is 3).
  • the value of m may be set smaller than the value of n.
  • a partial region in the eye box (or on the eye box) is used.
  • the viewpoint position is detected in units of, and the number of subregions is reduced.
  • the viewpoint position detection sensitivity can be adjusted by changing the number of divisions of the eye box, which is easy to realize.
  • the width direction (horizontal direction) of the vehicle is set to the lateral direction when viewed from the driver's point of view, and the vehicle is orthogonal to the lateral direction and of the road.
  • the inside of the eyebox is not divided by the horizontal boundary line, but is divided into a plurality of partial regions only by the vertical boundary line.
  • each sub-region is the first configuration which is uniform, or it is not divided by the horizontal border, but is divided into a plurality of sub-regions only by the vertical border, and each sub-region is divided into a plurality of sub-regions.
  • the third configuration is not divided into a plurality of partial regions only by the horizontal boundary line, and each partial region is equal, or is not divided by the vertical boundary line and is not divided into the horizontal directions. It is divided into a plurality of subregions only by the boundary line of the direction, and each subregion is unevenly divided so that the center is dense and the periphery is sparse, or the center is sparse and the periphery is dense.
  • the fourth configuration is the above, or the fifth configuration is divided into a plurality of partial regions by the horizontal boundary line and the vertical boundary line, and each partial region is equal. It is divided into multiple subregions by horizontal and vertical boundaries, and each subregion is uneven, with a dense center and sparse periphery, or a sparse center and dense periphery. It may be the sixth configuration which is roughly and densely divided so as to be.
  • the first and second configurations are a configuration in which the inside of the eye box is divided by a vertical boundary line and partial regions are arranged in the horizontal direction (equal division, coarse-dense division), and the third and third configurations are made.
  • the configuration of 4 is a configuration in which the inside of the eyebox is divided by a horizontal boundary line and the partial areas are arranged in the vertical direction (equal division, coarse / dense division), and the fifth and sixth configurations are the configuration in which the inside of the eyebox is vertically arranged.
  • It is a configuration (equal division, coarse / dense division) in which partial regions are provided which are divided by each horizontal boundary line and arranged in a matrix.
  • the first and second configurations are suitable examples for detecting the position (position in the lateral direction) of each of the left and right eyes (each viewpoint) in the parallax type HUD device, and the third and fourth configurations are used.
  • the viewpoint is at a height position (vertical position) different from the immediately preceding viewpoint position.
  • the fifth and sixth configurations are configurations having a resolution for detecting the viewpoint position in both the horizontal direction and the vertical direction, and are advantageous in that the sensitivity of the warping process can be adjusted to slightly increase the sensitivity. Is.
  • control unit further includes a low-speed state determination unit for determining whether or not the speed of the vehicle is a low-speed state.
  • the viewpoint position tracking warping process may be controlled by using the detection information of the viewpoint position of the driver by the first viewpoint position detection sensitivity. ..
  • the viewpoint position tracking warping process as described above is controlled.
  • the driver is sensitive to visual fluctuations such as in front of the driver and can easily detect the fluctuations. Therefore, at this time, by performing the above control, it is possible to reduce the sensitivity of updating the warping parameter and suppress the occurrence of a sense of discomfort due to a change in the appearance of the image (virtual image).
  • the eyebox is divided into a plurality of partial regions at the initial stage when the head-up display device is in the operating state.
  • the control unit determines the position of the viewpoint in units of each partial region of the eyebox, and increases the number of the partial regions in the entire eyebox in response to the increase in the speed of the vehicle. , The resolution of detecting the viewpoint position may be improved.
  • control is performed in which the range of dense subregions is expanded from the center of the eyebox to the periphery to increase the number of subregions in response to the increase in vehicle speed (in other words, the above). Control to reduce the range that suppresses the sensitivity of updating the warping parameter) is implemented.
  • the area for taking measures against the discomfort described above is reduced as the speed increases. Then, the distortion of the display due to the small movement of the viewpoint is corrected by the warping process, and the display process with more emphasis on the visual sense is performed.
  • the control unit has a third speed value of the vehicle, which is equal to or higher than the first speed value U1 (U1> 0) and is larger than the first speed value.
  • the speed value is within the range of U2 or less, the control for improving the detection resolution of the viewpoint position corresponding to the increase in the speed of the vehicle is performed, and the speed of the vehicle is the first one.
  • the resolution of detecting the viewpoint position may be kept constant.
  • the resolution of detecting the viewpoint position corresponding to the increase in the vehicle speed is improved in the predetermined range of the vehicle speed (the range in which U1 ⁇ U ⁇ U2 is satisfied for the vehicle speed U).
  • the predetermined range of the vehicle speed the range in which U1 ⁇ U ⁇ U2 is satisfied for the vehicle speed U.
  • the vehicle speed is close to the first speed value when the control for improving the detection resolution of the viewpoint position corresponding to the increase in the speed of the vehicle is performed.
  • the degree of improvement in resolution is moderated, and as the distance from the first speed value increases, control is performed in which the degree of improvement in resolution becomes steeper, or in the range where the vehicle speed is close to the first speed value.
  • the degree of improvement in resolution is moderated, and control is performed to make the degree of improvement in resolution steeper as the distance from the first speed value increases, and as the vehicle speed approaches the second speed value, the said Control may be performed to moderate the degree of improvement in resolution.
  • the resolution (detection sensitivity) of detecting the viewpoint position in the eyebox is improved in response to the increase in vehicle speed, the driver is likely to perceive a visual change in the image (virtual image) in a low speed state.
  • the degree of increase in the detection resolution (detection sensitivity) is gradual so as to suppress the sudden update of the warping parameter. Control is performed, or in addition to the control, control is performed to moderate the degree of increase in the detection resolution (detection sensitivity) as the second speed value U2 is approached.
  • the detection resolution detection sensitivity
  • the detection resolution saturated and becomes constant, so that the change suddenly (suddenly) peaks out and a sense of discomfort is suppressed. ..
  • the visibility of the virtual image can be further improved.
  • the head-up display device adjusts the position of the eyebox according to the height position of the viewpoint of the driver.
  • the reflection position of the display light of the image on the optical member may be changed without moving the optical member.
  • the HUD device that implements the above control projects light onto the projected member when adjusting the height position of the eyebox according to the height position of the driver's eyes (viewpoint). This is done by changing the light reflection position of the optical member without rotating the optical member using, for example, an actuator.
  • Recent HUD devices tend to be developed on the premise of displaying a virtual image over a fairly wide range in front of the vehicle, for example, and in this case, the device inevitably becomes large. Naturally, the optical member also becomes large. If this optical member is rotated by using an actuator or the like, the accuracy of controlling the height position of the eyebox may rather decrease due to the error, and in order to prevent this, light rays are reflected by the optical member. It was decided to respond by changing the position.
  • the distortion of the virtual image is prevented from becoming apparent as much as possible by optimally designing the reflecting surface as a free curved surface, but as described above, for example, around the eye box.
  • the driver's viewpoint is located, distortion may inevitably become apparent. Therefore, in such a case, by performing control such as lowering the sensitivity of updating the warping parameter, it is possible to prevent a sense of discomfort due to a change in appearance due to distortion of the virtual image, and the above control can be performed. It can be effectively used to improve visibility.
  • the virtual virtual image display surface corresponding to the image display surface of the display unit is superimposed on the road surface in front of the vehicle.
  • the distance between the near end, which is the end of the virtual image display surface near the vehicle, and the road surface is small, and the far end, which is the end far from the vehicle, and the road surface It may be arranged at an angle with respect to the road surface so that the distance between the two may be large.
  • a virtual virtual image display surface (corresponding to a display surface such as a screen as a display unit) arranged in front of the vehicle or the like is superimposed on the road surface, or It is installed at an angle with respect to the road surface.
  • the former is sometimes referred to as a road surface superimposition HUD, and the latter is sometimes referred to as an inclined surface HUD.
  • the HUD device is enlarged and the eye box is also enlarged, the viewpoint position is detected with high accuracy in a wider range than before, and image correction using appropriate warping parameters is performed.
  • the viewpoint when the viewpoint is around the eye box, the visibility of the image (virtual image) may decrease due to frequent updates of the warping parameters. Therefore, the control method of the present invention can be applied. It becomes valid.
  • FIG. 1 (A) is a diagram for explaining an outline of the warping process and a mode of distortion of a virtual image (and a virtual image display surface) displayed through the warping process
  • FIG. 1 (B) is a diagram for explaining a mode of distortion of a virtual image (and a virtual image display surface) displayed through the warping process. It is a figure which shows an example of the virtual image which a driver visually recognizes.
  • FIG. 2 is a diagram for explaining a basic virtual image display of a parallax type HUD device.
  • FIG. 3A is a diagram showing an example of an eyebox configuration (an example of division inside the eyebox) that realizes a high-resolution viewpoint position detection sensitivity assuming use other than the viewpoint position tracking warping process, FIG. 3 (A).
  • FIG. B) is a diagram showing an example of a basic configuration in the warping process.
  • 4 (A) to 4 (F) are diagrams showing examples of virtual images having different distortions after the warping process.
  • FIG. 5 is a diagram showing an example in which the number of partial regions of the eye box used for other than the viewpoint position tracking warping process and the number of partial regions of the eye box used for warping are the same.
  • FIG. 6 shows a control in which the number of partial regions of the eyebox used for warping is reduced as compared with the number of partial regions of the eyebox used for other than the viewpoint position tracking warping process, and the viewpoint position detection sensitivity in the warping process is suppressed ( It is a figure which shows the structural example of the eye box in 1st control).
  • FIG. 7 (A) is a diagram showing an example of viewpoint movement in an eyebox whose interior is divided into a plurality of partial regions
  • FIG. 7 (B) is a diagram showing warping parameters for each viewpoint movement shown in FIG. 7 (A). It is a figure which shows the example of the presence or absence of update in a tabular form.
  • FIG. 8 is a diagram showing an example of the system configuration of the HUD device.
  • FIG. 9 is a diagram showing an example of the configuration of the eyebox (an example in which the center is sparse and the periphery is dense) in the control of the warping process (second control) using the coarse / dense division type eyebox.
  • FIG. 10 is a diagram showing another example (an example in which the center is dense and the periphery is sparse) of the configuration of the coarse / dense division type eyebox for the warping process.
  • FIG. 11A is a diagram showing an example of even division in a modified example of the configuration of the eyebox for warping processing (an example of dividing the inside in the vertical direction), and
  • FIG. 11B is a diagram showing an example of coarse / dense division.
  • FIG. 12 (A) is a diagram showing an example of equal division in another modified example of the configuration of the eye box for warping processing (an example of dividing the inside in both vertical and horizontal directions), and
  • FIG. 12 (B) is coarse and dense. It is a figure which shows the example of division.
  • FIG. 12 (A) is a diagram showing an example of equal division in another modified example of the configuration of the eye box for warping processing (an example of dividing the inside in both vertical and horizontal directions)
  • FIG. 12 (B) is coarse and dense. It is a
  • FIG. 13 (A) is a diagram showing a characteristic example (comparative example) in control for keeping the viewpoint detection sensitivity (viewpoint detection resolution) constant with respect to the vehicle speed
  • FIG. 13 (B) is a viewpoint of the eyebox according to the vehicle speed. It is a figure which shows the characteristic example in the control (third control) which changes the detection sensitivity (viewpoint detection resolution).
  • FIG. 14 is a flowchart showing a procedure example of the first warping image correction control (first control).
  • FIG. 15 is a flowchart showing a procedure example of the second warping image correction control (second control).
  • FIG. 16 is a flowchart showing a procedure example of the third warping image correction control (third control).
  • FIG. 17 (A) is a diagram showing a display example by the road surface superimposition HUD
  • FIG. 17 (B) is a diagram showing a display example by the inclined surface HUD
  • FIG. 17 (C) is a configuration example of a main part of the HUD device. It is a figure which shows.
  • FIG. 1 (A) is a diagram for explaining an outline of the warping process and a mode of distortion of a virtual image (and a virtual image display surface) displayed through the warping process
  • FIG. 1 (B) is a diagram for explaining a mode of distortion of a virtual image (and a virtual image display surface) displayed through the warping process. It is a figure which shows an example of the virtual image which a driver visually recognizes.
  • the HUD device 100 includes a display unit (for example, a light transmitting screen) 101, a reflecting mirror 103, and a curved mirror (for example, a concave mirror) as an optical member for projecting the display light.
  • the reflective surface may be a free curved surface) 105.
  • the image displayed on the display unit 101 is projected onto the virtual image display area 5 of the windshield 2 as a projected member via the reflector 103 and the curved mirror 105.
  • reference numeral 4 indicates a projection area.
  • the HUD device 100 may be provided with a plurality of curved mirrors, in addition to the mirror (refractive optical element) of the present embodiment, or in place of a part (or all) of the mirror (refracting optical element) of the present embodiment. It may also include a refraction optical element such as a lens and a functional optical element such as a diffractive optical element.
  • a part of the display light of the image is reflected by the windshield 2, and the driver or the like located inside (or on the EB) the preset eye box (here, the shape is a quadrangle having a predetermined area).
  • the display surface 102 of the display unit 101 is formed.
  • the virtual image V is displayed on the corresponding virtual virtual image display surface PS.
  • the image of the display unit 101 is distorted due to the influence of the shape of the curved mirror 105, the shape of the windshield 2, and the like.
  • a distortion having the opposite characteristic to the distortion is given to the image.
  • This pre-distortion (pre-distortion) type image correction is referred to as a warping process or a warping image correction process in the present specification.
  • the virtual image V displayed on the virtual image display surface PS by the warping process becomes a flat image without curvature.
  • the display light is projected onto the wide projection area 4 on the windshield 2.
  • the virtual image display distance is set in a considerably wide range, it is undeniable that some distortion remains, which is unavoidable.
  • PS'shown by a broken line indicates a virtual image display surface in which distortion is not completely removed, and V'indicates a virtual image displayed on the virtual image display surface PS'.
  • the degree of distortion or the mode of distortion of the virtual image V in which the distortion remains differs depending on the position of the viewpoint A on the eyebox EB.
  • the distortion of the virtual image is relatively small when the viewpoint A is near the central portion, and the periphery is relatively small.
  • the distortion of the virtual image may increase as the number of parts increases.
  • FIG. 1B shows an example of a virtual image V visually recognized by the driver through the windshield 2.
  • the virtual image V having a rectangular outer shape has, for example, five reference points (reference pixel points) G (i, j) vertically and five horizontally, for a total of 25 reference points (reference pixel points) G (i, j).
  • i and j are both variables that can take values from 1 to 5).
  • a distortion having a characteristic opposite to the distortion generated in the virtual image V due to the warping process is given, and therefore, ideally, the distortion given in advance and the distortion actually generated occur.
  • the distortion is offset and ideally a non-curved virtual image V as shown in FIG. 1 (B) is displayed.
  • the number of reference points G (i, j) can be appropriately increased by interpolation processing or the like.
  • reference numeral 7 is a steering wheel.
  • FIG. 2 is a diagram for explaining a basic virtual image display of a parallax type HUD device.
  • the image M is displayed on the display surface 163 of the image display unit (for example, a screen, a flat display, etc.).
  • the parallax image for the left eye and the parallax image for the right eye are alternately displayed in a time-divided manner, and after separating the display light of each image using, for example, a MEMS scanner, a curved mirror (concave mirror, etc.) 131
  • the display light is guided to the left eye eye point EP (L) and the right eye eye point EP (R) in the eye box EB (or on the eye box EB).
  • EP (C) indicates the center eye point (center viewpoint position) of the eye box EB.
  • the virtual image V (C) is three-dimensionally displayed in the center of the overlapping area.
  • a method for separating the parallax image for the left eye and the parallax image for the right eye a method using the above-mentioned functional optical element (for example, a lenticular lens, a parallax barrier, etc.) can also be adopted.
  • the detection sensitivity of the viewpoint position is often required to be at a high level above a certain level.
  • the viewpoint position detection sensitivity is made different between the viewpoint position tracking warping and other processing. Specifically, the viewpoint position detection sensitivity for updating the warping parameter is lowered to suppress and reduce the adverse effect of reduced visibility (details will be described later).
  • FIG. 3A is a diagram showing an example of an eyebox configuration (an example of division inside the eyebox) that realizes a high-resolution viewpoint position detection sensitivity assuming use other than the viewpoint position tracking warping process
  • FIG. 3 (A) is a diagram showing an example of a basic configuration in the warping process.
  • FIG. 3 the same reference numerals are given to the parts common to those in FIG. 1 (this point is the same in the following figures).
  • the display light K of the image is emitted from the projection optical system 118 of the HUD device 100, and a part of the display light K is reflected by the windshield 2 and incident on the driver's viewpoints (eyes) A1 and A2. ..
  • the viewpoints A1 and A2 are in the eyebox EB, the driver can visually recognize the virtual image of the image.
  • the width direction (left-right direction) of the vehicle 1 is the X direction (or the lateral direction), and the height direction is orthogonal to the X direction and follows the vertical line of the road surface. Is the Y direction (vertical direction), and the front (front-back direction) is the Z direction.
  • the inside of the eyebox EB is provided with eight partial regions E1 to E8 partitioned by a vertical boundary line, and each partial region E1 to E8 having a vertically long rectangular outer shape is formed. They are arranged (arranged) adjacent to each other in the horizontal direction (X direction).
  • the information on the viewpoint position detected using each of the partial regions E1 to E8 is used for controlling processing other than the viewpoint position tracking warping process (in other words, an operation different from the viewpoint position tracking warping). For example, when one of the left and right eyes moves, the left and right eyes are controlled to have a parallax image for each eye following the movement, or the light is incident on the regions where the viewpoints A1 and A2 are located. Control to make the intensity of the display light stronger than the others (or weaken the light intensity in other areas), or to move one of the left and right eyes to the end of the eyebox EB and out of the eyebox EB. It is possible to exemplify a control for displaying a guided image of an arrow that returns the viewpoint to the center when it is likely to move.
  • FIG. 3B shows an example of a basic configuration when performing warping processing (viewpoint tracking warping processing).
  • the eyebox EB is divided into four subregions W1 to W4.
  • the number of partial regions is not limited to four, and can be further increased.
  • FIG. 3 (A) the number of partial regions was 8, but in FIG. 3 (B), the number of partial regions is 4, and the number is halved. Therefore, the viewpoint position detection sensitivity of the eye box EB of FIG. 3 (B) is reduced (suppressed) to half that of the case of FIG. 3 (A).
  • the outer shape of the partial regions W1 to W4 of the eye box EB in FIG. 3 (B) is a vertically long rectangle (rectangle) like the partial regions E1 to E8 of FIG. 3 (A), but the width of W1 to W4 is It is twice as large as E1 to E8 and has a wider width. Therefore, the resolution of viewpoint detection in the lateral direction (X direction) is reduced by half.
  • viewpoint position tracking warping dynamic warping
  • viewpoints A1 and A2 the appearance of the virtual image suddenly changes as the warping parameters are updated (switched), and the driver feels uncomfortable. It is possible to suppress harmful effects such as remembering.
  • the HUD device 100 has a ROM 210, and the ROM 210 has a built-in image conversion table 212.
  • the image conversion table 212 stores, for example, a warping parameter WP that determines a polynomial, a multiplier, a constant, or the like for image correction (warping image correction) by a digital filter.
  • the warping parameter WP is provided corresponding to each of the partial regions W1 to W4 in the eyebox EB.
  • the warping parameters corresponding to each partial region are displayed as P (W1) to P (W4).
  • any of the warping parameters P (W1) to P (W4) corresponding to the detected partial area is read from the ROM 210 (warping parameter update), and the warping process is performed using the warping parameters.
  • FIG. 4 (A) to 4 (F) are diagrams showing examples of virtual images having different distortions after the warping process.
  • the appearance of the virtual image V after the warping process differs depending on the position of the driver's viewpoint A in the eye box.
  • the virtual image V displayed in the virtual image display area 5 of the windshield 2 is displayed in a mode in which distortion is removed and there is no curvature.
  • distortion remains in the actual virtual image V even after the warping process is performed, and the degree and mode of the distortion changes depending on the position of the viewpoint A.
  • FIG. 4 (B) although there is distortion, the distortion is relatively slight, and the virtual image V looks similar to that of FIG. 4 (A).
  • the tendency of distortion can be said to be the same as that of FIG. 4 (B), but the degree of distortion is large, and it cannot be said that the appearance is the same as that of FIG. 4 (A).
  • the degree of distortion is the same as that of FIG. 4 (C), but the mode of distortion (the tendency of distortion or the mode of appearance of a virtual image after distortion occurs) is different. It is different from FIG. 4 (C).
  • the degree of distortion is larger and the left and right of the virtual image V is not balanced.
  • the virtual image V has a tendency of distortion similar to that of FIG. 4 (E), but the appearance is considerably different from that of FIG. 4 (F).
  • the virtual image V (virtual image V after warping processing) displaying the same contents is displayed, its appearance is considerably different depending on the positions of the viewpoints A1 and A2.
  • the visually recognized virtual image V has relatively little distortion as shown in FIG. 4B, but the viewpoints A1 and A2 are from the center.
  • the strain may become relatively large as shown in FIG. 4 (E).
  • FIG. 5 is a diagram showing an example in which the number of partial regions of the eye box used for other than the viewpoint position tracking warping process and the number of partial regions of the eye box used for warping are the same.
  • the eye box EB used for other than the viewpoint position tracking warping process is provided with partial regions E1 to E12. The number is twelve.
  • the eyebox EB used for the warping process is provided with partial regions W1 to W12.
  • the number is 12, which is the same number as when it is used for other than the viewpoint position tracking warping process.
  • the detection sensitivity of the viewpoint position is the same in each case.
  • the detection sensitivity (this is referred to as the second viewpoint position detection sensitivity) of the processing other than the viewpoint position tracking warping process (processing different from the viewpoint position tracking warping) can be kept high at a desired level.
  • the viewpoint position detection sensitivity for warping processing (this is referred to as the first viewpoint position detection sensitivity) is equivalent to the second viewpoint position detection sensitivity, the viewpoint position tracking warping associated with the movement of the viewpoint (the first viewpoint position detection sensitivity).
  • FIG. 6 shows a control in which the number of partial regions of the eyebox used for warping is reduced as compared with the number of partial regions of the eyebox used for other than the viewpoint position tracking warping process, and the viewpoint position detection sensitivity in the warping process is suppressed ( It is a figure which shows the structural example of the eye box in 1st control).
  • the partial regions of the eyebox used for warping are 6 pieces W1 to W6, which are halved as compared with the case of FIG. Therefore, the viewpoint position detection sensitivity (first viewpoint position detection sensitivity) in the warping process is half of the viewpoint position detection sensitivity (second detection sensitivity) in the process different from the viewpoint position tracking warping, and the sensitivity is slowed down (suppressed). Will be done. Therefore, it is possible to suppress the adverse effect of changing the appearance of the virtual image due to the viewpoint position tracking warping (dynamic warping) processing.
  • a process for incident the display light of an image for each of the left and right eyes (parallax image for each eye) following a viewpoint an example of a process other than the viewpoint position tracking warping.
  • the second viewpoint position detection sensitivity it is possible to detect the positions of the left and right eyes with high resolution and perform high-precision control.
  • the display light of the parallax image for each eye can be accurately incident on the left and right eyes of the driver in the eye box EB.
  • the number of partial regions when the first viewpoint position detection sensitivity is used is m (m is a natural number of 2 or more), and the number of the partial regions when the second viewpoint position detection sensitivity is used.
  • the number is n (n is a natural number of 3 or more)
  • the value of m is set smaller than the value of n.
  • FIG. 7 (A) is a diagram showing an example of viewpoint movement in an eyebox whose interior is divided into a plurality of partial regions
  • FIG. 7 (B) is a diagram showing warping parameters for each viewpoint movement shown in FIG. 7 (A). It is a figure which shows the example of the presence or absence of an update in a tabular form.
  • the inside of the eye box EB is divided into six partial regions W1 to W6.
  • the viewpoint A remains in the same partial area W4 as before the movement even after the movement, so that the warping parameter is not updated.
  • the warping parameters corresponding to the partial area W5 are updated.
  • the warping parameters corresponding to the partial area W6 are updated.
  • the viewpoint A goes out of the eyebox EB (viewpoint movement (1)) and then returns to the eyebox EB (viewpoint movement (2)) (in the case of loss of viewpoint).
  • the warping parameter corresponding to the partial region (here, partial region W5) at the time of viewpoint loss is used as the warping parameter, or the partial region near the center in the eyebox EB (the partial region near the center).
  • the warping parameter of W4 it is conceivable to use the warping parameter of W4, but in any case, it is unpredictable to which subregion the viewpoint A will return after the viewpoint is lost, and the warping parameter is used when the viewpoint is returned. It is considered that visual discomfort often occurs when updating according to the area. Therefore, it is preferable not to update the warping parameters and to maintain the warping parameters as they are during the viewpoint loss period.
  • FIG. 8 is a diagram showing an example of the system configuration of the HUD device.
  • the HUD device 100 will be described as a parallax type HUD device.
  • the vehicle 1 is provided with a viewpoint detection camera 110 that detects the positions of the driver's viewpoints (eyes, pupils) A1 and A2 (hereinafter, may be collectively referred to as viewpoint A). Further, the vehicle 1 is provided with an operation input unit 130 to enable the driver to set necessary information in the HUD device 100, and can collect various information of the vehicle 1. Vehicle ECU 140 is provided.
  • the HUD device 100 includes a light source 112, a spatial light modulation element 114 that spatially photomodulates light from the light source 112 to generate an image, a projection optical system 118, and a viewpoint position detection unit (viewpoint position determination unit) 120.
  • Bus 150 bus interface 170, display control unit (display control device) 180, image generation unit 200, ROM 210 with built-in image conversion table 212, and image (original image) data 222 stored and warped. It has a VRAM 220 that temporarily stores the processed image data 224, and a VRAM 220.
  • the viewpoint position detection unit 120 has a viewpoint coordinate detection unit 122.
  • the display control unit (display control device) 180 includes one or more I / O interfaces (I / O interface bus 150 and bus interface 170, other interfaces (not shown), or a combination thereof. (Obtain), one or more processors (not shown), one or more memories (memory may include ROM 210, VRAM 220, other not shown memory, or a combination thereof), and. It includes one or more image processing circuits (not shown).
  • the display control unit (display control device) 180 is a display system for vehicles, for example, the one or more processors execute a command stored in the memory to generate and / or transmit image data. 10 operations can be performed.
  • the display control unit (display control device) 180 includes a speed detection unit (which also serves as a low speed state determination unit for determining a low speed state) 181 for detecting (determining) the speed of the vehicle 1, a parallax image display control unit 182, and the parallax image display control unit 182. It may have a warping control unit 184, a timer 190, a memory control unit 192, and a warping processing unit (warping image correction processing unit) 194 as functions.
  • the parallax image display control unit 182 has a first viewpoint position detection unit 183 and a viewpoint tracking control unit 185.
  • the first viewpoint position detection unit 183 assumes, for example, an eyebox EB as shown by a broken line on the upper side of FIG. 8 based on the coordinates detected by the viewpoint coordinate detection unit 122, and the viewpoint A determines. Detects (determines) which partial region E1 to E8 is located.
  • the viewpoint position tracking control unit 183 generates a control signal for controlling the rotation of the MEMS scanner, for example, based on the information of the partial regions E1 to E8 detected after the viewpoint is moved, and causes the light source 112 (spatial light modulation as necessary). It also outputs to the element 114).
  • the warping control unit 184 has a warping management unit 185 (second viewpoint position detection unit 186) and a viewpoint position information temporary storage unit 188.
  • the second viewpoint position detection unit 186 assumes an eyebox EB as shown by a solid line on the upper side of FIG. 8, and detects (determines) which partial region W1 to W4 the viewpoint A is located in.
  • the detected partial regions W1 to W4 information is temporarily stored in the viewpoint position information temporary storage unit 188.
  • the memory control unit 192 reads the detected partial areas W1 to W4 information from the viewpoint position information temporary storage unit 188 at a predetermined timing, accesses the ROM 210 using the information as an address variable, and sets the corresponding warping parameters. read out.
  • the warping processing unit (warping image correction processing unit) 194 performs warping processing on the original image using the read warping parameters, and the image generation unit 200 performs a predetermined format based on the data after the warping processing. Is generated, and the image is supplied to, for example, a light source 112, a spatial light modulation element 114, or the like.
  • the first control of lowering the viewpoint position detection sensitivity to be lower than the viewpoint position detection sensitivity at the time of processing other than the viewpoint position tracking warping is performed. Therefore, for example, As the viewpoint A moves, the warping parameters are frequently switched, and the adverse effect of reducing the visibility of the virtual image V is suppressed.
  • FIG. 9 is a diagram showing an example of the configuration of the eyebox (an example in which the center is sparse and the periphery is dense) in the control of the warping process (second control) using the coarse / dense division type eyebox.
  • FIG. 10 is a diagram showing another example (an example in which the center is dense and the periphery is sparse) of the configuration of the coarse / dense division type eyebox for the warping process.
  • the peripheral area of the eyebox EB is shaded.
  • the eyebox EB is roughly divided so that the center is sparse and the periphery is dense.
  • the eyebox EB is roughly divided so that the center is dense and the periphery is sparse.
  • the second control is realized by intermittently (not continuously) detecting the viewpoint position. For example, when the viewpoint A is within a predetermined range of the eyebox regardless of the number of partial areas inside the eyebox, when the viewpoint A is moved in a predetermined direction (for example, the X-axis direction) by a predetermined distance from the current position.
  • the warping parameter is updated to the warping parameter corresponding to the other position by assuming that the user has moved to another position different from the current position, but on the other hand, when the viewpoint A is within a predetermined other range.
  • the warping parameter when the viewpoint A repeatedly moves in a predetermined direction by a predetermined distance, the warping parameter is updated for each movement in a certain section inside the eyebox EB, but the viewpoint moves further and is different.
  • the warping parameter is not updated for each movement, so that the warping parameter is updated with, without, or with, which is not continuous, in other words, intermittent update. Is carried out.
  • the sensitivity of the warping correction process (which can also be called the sensitivity of viewpoint detection) can be lowered, and the occurrence of discomfort due to the change in the appearance of the image (virtual image) due to the update of the warping parameter can be suppressed. ..
  • the viewpoint position detection sensitivity is lowered at the center of the eyebox EB, and even if the viewpoint A located at the center moves a little, it is difficult for the warping parameters to be switched.
  • the viewpoint position detection sensitivity is lowered around the eyebox EB, and even if the viewpoint A located in the periphery moves a little, the warping parameter is less likely to be switched.
  • the center or the periphery is to be the target for lowering the viewpoint position detection sensitivity can be appropriately selected according to the performance of the HUD device 100 and the mode (tendency, etc.) of the visibility deterioration due to warping. This point is the same in the examples of FIGS. 11 and 12.
  • FIG. 11A is a diagram showing an example of even division in a modified example of the configuration of the eyebox for warping processing (an example of dividing the inside in the vertical direction), and FIG. 11B is a diagram showing an example of coarse / dense division. Is.
  • FIG. 11 the inside of the eye box EB used for the warping process is divided by the horizontal (X direction) boundary line, and the partial regions WR1 to WR3 are arranged in the vertical direction.
  • FIG. 11 (A) is an example of even division
  • FIG. 11 (B) is an example of coarse / dense division.
  • the lateral length (width) in one partial region (E1 to E12) of the eyebox EB used for purposes other than the viewpoint position tracking warping in FIG. 11A is T1, and one partial region of the eyebox EB is used.
  • T2> T1 the length (height) in the vertical direction in (WR1 to WR3)
  • T2b> T1 the viewpoint position detection sensitivity in the eye box used for warping is in the eye box used other than the viewpoint position tracking warping. It is lower than the viewpoint position detection sensitivity.
  • T2a> T1 and T2b> T1 are established.
  • the viewpoint position detection sensitivity in the warping process can be flexibly adjusted.
  • the eleventh (A) and (B) for example, after at least one of the left and right eyes (viewpoint) is outside the eye box and a viewpoint loss (viewpoint lost) occurs, that viewpoint is the immediately preceding viewpoint. It is advantageous in that it can be used for purposes such as detecting that it has returned to a height position (position in the vertical direction) different from the position (point having a resolution for detecting the viewpoint position in the vertical direction).
  • FIG. 12 (A) is a diagram showing an example of equal division in another modified example of the configuration of the eye box for warping processing (an example of dividing the inside in both vertical and horizontal directions), and FIG. 12 (B) is coarse and dense. It is a figure which shows the example of division.
  • FIG. 12 (A) is an example of even division
  • FIG. 12 (B) is an example of coarse / dense division.
  • T2> T1 and T3> T1 are established.
  • T4> T1 and T5> T1 are established.
  • the viewpoint position detection sensitivity in the eyebox used for warping is lower than the viewpoint position detection sensitivity in the eyebox used for other than the viewpoint position tracking warping.
  • the viewpoint position detection sensitivity in the warping process can be flexibly adjusted.
  • the configuration has a resolution for detecting the viewpoint position in both the horizontal direction and the vertical direction, which is advantageous in that the sensitivity of the warping process can be adjusted to slightly increase the sensitivity.
  • the first control described above (basic control for lowering the viewpoint position detection sensitivity for warping processing to be lower than the viewpoint position detection sensitivity for other than viewpoint position tracking warping) and the second control (update of warping parameters).
  • the applied control may be performed when the vehicle 1 is in a low speed state including a stopped state.
  • the control unit may carry out at least one of the first control and the second control.
  • the driver When the vehicle 1 is in a low speed state, the driver is sensitive to visual fluctuations such as ahead and can easily detect the fluctuations. Therefore, at this time, by performing the above control, it is possible to reduce the sensitivity of updating the warping parameter and suppress the occurrence of a sense of discomfort due to a change in the appearance of the image (virtual image).
  • FIG. 13 (A) is a diagram showing a characteristic example (comparative example) in control for keeping the viewpoint detection sensitivity (viewpoint detection resolution) constant with respect to the vehicle speed
  • FIG. 13 (B) is a viewpoint of the eyebox according to the vehicle speed. It is a figure which shows the characteristic example in the control (third control) which changes the detection sensitivity (viewpoint detection resolution).
  • the human eye tends to be sensitive to changes in landscapes and images such as in front when the vehicle 1 is in a low speed state, and focusing on the characteristics of this eye, more flexible update control of warping parameters is possible. is there.
  • This control is referred to as a third control.
  • the detection sensitivity of the viewpoint position of the eyebox is performed in correspondence with the vehicle speed.
  • the eyebox EB is divided into a plurality of partial regions at the initial stage when the head-up display device is in the operating state, and in this state, the detection sensitivity of the viewpoint position in the eyebox EB is N1.
  • the control unit determines the position of the viewpoint in units of each partial region of the eyebox EB, and corresponds to the increase in the speed of the vehicle 1. By increasing the number of subregions in the entire eyebox, the resolution of viewpoint position detection is improved. At the vehicle speed U2, the viewpoint position detection sensitivity in the eyebox EB has increased to N2.
  • control is performed with an emphasis on improving the resolution of viewpoint detection. This makes it possible to correct the distortion of the display due to a small movement of the viewpoint by the warping process and perform the display process with more emphasis on the visual sense.
  • the control unit (display control unit 180 or warping control unit 184) has the speed of the vehicle 1 equal to or higher than the first speed value U1 (U1> 0) and is the first.
  • the speed is within the range of the second speed value U2 or less, which is larger than the speed value of 2
  • the control for improving the detection resolution of the viewpoint position corresponding to the increase in the speed of the vehicle 1 is performed, and the vehicle 1
  • the viewpoint position is detected.
  • the resolution of is kept constant.
  • Control is performed to improve the resolution of detecting the viewpoint position corresponding to the increase in the speed of the vehicle in the predetermined range of the speed of the vehicle 1 (the range in which U1 ⁇ U ⁇ U2 is satisfied for the vehicle speed U). Further, if the above control is to be applied even when the vehicle speed is smaller than U1 and larger than U2, the burden on the HUD device (control unit) becomes heavy, so the control is not performed within that range. Care is taken not to put an unreasonable burden on the device.
  • the resolution is high in the range where the vehicle speed is close to the first speed value U1.
  • This is a control (control indicated by the characteristic line Q2) in which the degree of improvement is moderated and the degree of improvement in resolution becomes steeper as the distance from the first speed value U1 increases.
  • the other is a control in which the degree of improvement in resolution is moderated in the range where the vehicle speed is close to the first speed value U1, and the degree of improvement in resolution becomes steeper as the vehicle speed moves away from the first speed value U1.
  • This is a control (control indicated by a characteristic line Q3 having a substantially S-shaped shape) in which the degree of improvement in resolution is moderated as the vehicle speed approaches the second speed value U2.
  • FIG. 14 is a flowchart showing a procedure example of the first warping image correction control (first control).
  • the first viewpoint position detection sensitivity (sensitivity is set lower than the second viewpoint position detection sensitivity) is adopted (step S10).
  • the second viewpoint position detection sensitivity is used in addition to the viewpoint position tracking warping process of the present invention, and can be rephrased as, for example, the maximum viewpoint position detection sensitivity of the HUD device.
  • step S11 the position of the viewpoint is monitored (step S11), and the presence or absence of viewpoint movement is detected (step S12).
  • step S12 when N (none), the process returns to step S11, and when Y (yes), it is determined whether or not the viewpoint position has been rediscovered after the viewpoint is lost (step S13).
  • step S13 If it is Y in step S13, the process proceeds to step S14, the viewpoint movement is ignored, and the current warping parameter is maintained. If it is N in step S13, the process proceeds to step S15, and it is detected whether or not the viewpoint position after the movement is located in the same area (section) as before the movement.
  • step S15 the process proceeds to step S14, the viewpoint movement is ignored, and the current warping parameter is maintained. If it is N in step S15, the process proceeds to step S16, and image correction is performed using the warping parameter corresponding to the viewpoint position (the section where the viewpoint is located) after movement. In step S17, it is determined whether or not to end the image correction. If it is Y, it ends, and if it is N, the process returns to step S11.
  • FIG. 15 is a flowchart showing a procedure example of the second warping image correction control (second control).
  • second control an example of a procedure when a coarse-dense division type eyebox is used as a method for performing intermittent warping parameter update control is shown.
  • the coarse / dense division type eyebox (intermittent division type eyebox) is set (step S20). Subsequently, the viewpoint position is monitored (step S21), and then the presence or absence of viewpoint movement is determined (step S22).
  • step S22 If Y is present in step S22, the process proceeds to step S23, and image correction is performed using the warping parameter corresponding to the viewpoint position (the section where the viewpoint is located) after movement. If N in step S22, the process returns to step S21. In step S24, it is determined whether or not to end the image correction, and if it is Y, it ends, and if it is N, the process returns to step S21.
  • FIG. 16 is a flowchart showing a procedure example of the third warping image correction control (third control).
  • the vehicle speed is detected (step S30), and then the number of partial areas (sections) in the eyebox is adaptively changed according to the vehicle speed (step S31).
  • the warping parameter update sensitivity is changed according to the vehicle speed.
  • the internal structure of the eye box is appropriately changed according to the characteristic lines Q1, Q2 or Q3, Q4 in FIG. 13 (B).
  • the viewpoint position is monitored (step S32), and then the presence or absence of viewpoint movement is determined (step S33).
  • step S33 when N, the process returns to step S32, and when Y, the process proceeds to step S34, and image correction is performed using the warping parameters corresponding to the viewpoint position (the section where the viewpoint is located) after movement. Do. Next, it is determined in step S35 whether or not to end the image correction, and if it is Y, it ends, and if it is N, the process returns to step S30.
  • FIG. 17 (A) is a diagram showing a display example by the road surface superimposition HUD
  • FIG. 17 (B) is a diagram showing a display example by the inclined surface HUD
  • FIG. 17 (C) is a configuration example of a main part of the HUD device. It is a figure which shows.
  • FIG. 17A shows an example of virtual image display by the road surface superimposition HUD in which the virtual virtual image display surface PS corresponding to the image display surface of the display unit is arranged so as to overlap the road surface 41 in front of the vehicle 1. Shown.
  • FIG. 17B the distance between the near end portion of the virtual image display surface PS on the side closer to the vehicle 1 and the road surface 41 is small, and the distance between the far end portion and the road surface 41 on the far side from the vehicle 1 is small.
  • An example of displaying a virtual image by an inclined surface HUD is shown in which the virtual image display surface PS is arranged at an angle with respect to the road surface 41 so that the distance from the virtual image display surface PS becomes large.
  • the HUD device 107 of FIG. 17C is designed with a control unit 171, a spatial light modulation element 151, a screen 161 as a display unit having an image display surface 163, a reflector 133, and a reflection surface as a free curved surface. It has a curved mirror (concave mirror or the like) 131, and an actuator 173 that drives the display unit 161.
  • the HUD device 107 is a curved surface that is an optical member that projects display light onto the windshield 2 when adjusting the position of the eyebox EB according to the height position of the driver's viewpoint A. This is handled by changing the reflection position of the image display light 51 on the optical member 131 without moving the mirror 131 (the actuator for the curved mirror 131 is not provided).
  • the optical member 131 that projects light onto the projected member 2 is, for example, using an actuator. This is done by changing the light reflection position on the optical member 131 without rotating it.
  • the height direction is the Y direction in the drawing (the direction along the perpendicular line of the road surface 41, and the direction away from the road surface 41 is the positive direction).
  • the X direction is the left-right direction of the vehicle 1, and the Z direction is the front-rear direction (or the front direction) of the vehicle 1.
  • Recent HUD devices tend to be developed on the premise of displaying a virtual image over a fairly wide range in front of the vehicle, for example, and in this case, the device inevitably becomes large.
  • the optical member 131 is also increased in size.
  • the accuracy of controlling the height position of the eyebox EB may be lowered due to the error, and in order to prevent this, the light beam is emitted from the optical member 131. It was decided to deal with this by changing the position of reflection on the reflective surface of.
  • the distortion of the virtual image is prevented from becoming apparent as much as possible by optimally designing the reflecting surface as a free curved surface, but as described above, for example, in the eye box EB.
  • the driver's viewpoint A is located in the vicinity, distortion may inevitably become apparent. Therefore, in such a case, by performing control such as lowering the sensitivity of updating the warping parameter, it is possible to prevent a sense of discomfort due to a change in appearance due to distortion of the virtual image V, and the above control. Can be effectively utilized to improve the visibility of the virtual image V.
  • the viewpoint position tracking warping control for updating the warping parameter according to the viewpoint position of the driver when the viewpoint position tracking warping control for updating the warping parameter according to the viewpoint position of the driver is performed, the appearance of the image is instantaneously changed as the warping parameter is updated. It is possible to effectively suppress the change that causes the driver to feel uncomfortable.
  • the present invention can be used in both a monocular type HUD device in which the display light of the same image is incident on each of the left and right eyes, and a parallax type HUD device in which an image having parallax is incident on each of the left and right eyes.
  • vehicle can be broadly interpreted as a vehicle.
  • terms related to navigation shall be interpreted in a broad sense in consideration of, for example, the viewpoint of navigation information in a broad sense useful for vehicle operation.
  • the HUD device shall include one used as a simulator (for example, an aircraft simulator).
  • Reflector including reflection mirror, correction mirror, etc.
  • 140 Vehicle ECU, 150 ... Bus, 151 ... Light source, 161 ... Display (screen, etc.) ), 163 ... Display surface (image display surface), 170 ... Bus interface, 171 ... Control unit, 173 ... Actuator for driving the display unit, 180 ... Display control unit, 181 ... -Speed detection unit, 182 ... Disparity image display control unit, 183 ... First viewpoint position detection unit, 184 ... Warping control unit, 185 ... Warping management unit, 186 ... Second Viewpoint position detection unit, 187 ... Viewpoint tracking control unit, 188 ... Partial area (section) information temporary storage unit of eyebox, 200 ... Image generation unit, 210 ... ROM, 220 ... VRAM , 212 ... Image conversion table, 222 ... Image (original image) data, 224 ... Image data after warping processing, EB ... Eye box, PS ... Virtual image display surface, V ... virtual image.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Instrument Panels (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

運転者の視点位置に応じてワーピングパラメータを更新する視点位置追従ワーピング制御を実施するときに、ワーピングパラメータの更新に伴って画像の見た目が瞬時的に変化して運転者に違和感を生じさせることを抑制する。　視点位置追従ワーピング制御を実施する制御部１８０（又は１８４）は、アイボックスＥＢにおける視点位置追従ワーピング制御を実施する場合の運転者の視点位置検出感度を第１の視点位置検出感度とし、ＨＵＤ装置１００における、ワーピングとは異なる動作を、アイボックスＥＢにおける運転者の視点位置に応じて制御する場合の運転者の視点位置の検出感度を第２の視点位置検出感度とするとき、第１の視点位置検出感度を、第２の視点位置検出感度よりも低く設定する。

Description

表示制御装置、及びヘッドアップディスプレイ装置
　本発明は、車両のウインドシールドやコンバイナ等の被投影部材に画像の表示光を投影（投射）し、運転者の前方等に虚像を表示する表示制御装置、及びヘッドアップディスプレイ（Ｈｅａｄ－ｕｐ Ｄｉｓｐｌａｙ：ＨＵＤ）装置等に関する。
　ＨＵＤ装置において、投影される画像を、光学系やウインドシールド等の曲面形状等に起因して生じる虚像の歪みとは逆の特性をもつように予め歪ませる画像補正処理（以下、ワーピング処理と称する）が知られている。ＨＵＤ装置におけるワーピング処理については、例えば特許文献１に記載されている。
　また、運転者の視点位置に基づいてワーピング処理を行うこと（視点追従ワーピング）については、例えば、特許文献２に記載されている。
　また、運転者の左右の各目に、左目用視差画像、右眼用視差画像を入射させる視差式のＨＵＤ装置（言い換えれば、立体表示式のＨＵＤ装置）において、運転者の視点位置を検出し、視点位置がアイボックスの端部あるいは外側にあるときは、視点を中央方向に誘導する方向指示画像を表示させる処理を行うことが、特許文献３に記載されている。
特開２０１５－８７６１９号公報 特開２０１４－１９９３８５号公報 特開２０１４－６８３３１号公報
　本発明者は、運転者（操縦者や乗務員等、広く解釈可能である）の視点位置に応じてワーピングパラメータを更新する視点位置追従ワーピング制御を実施することについて検討し、以下に記載する新たな課題を認識した。
　視点位置が移動してワーピングパラメータを更新すると、同じ画像の虚像を表示している場合でも、運転者から見た虚像の見た目（虚像の様子や虚像から受ける印象等）が瞬時的に変化し、運転者に違和感を生じさせる場合がある。
　ワーピング処理後に表示される画像（虚像）は、光学系等により生じる歪みが完全に補正されて平面的な虚像となるのが理想的であり、視点位置追従ワーピングにおいては、運転者（ユーザー）の視点の位置が変化したときでも、常に、歪みのない虚像が得られるのが理想ではあるが、完全に歪みを除去できるわけではない。
　特に、近年、例えば、車両の前方のかなり広い範囲にわたって虚像表示が可能なＨＵＤ装置が開発されており、このようなＨＵＤ装置は大型化する傾向がある。光学系等の設計を工夫して歪みを少なくする工夫がなされてはいるが、例えば、アイボックスの全領域において、一律の歪み低減効果を実現するのはむずかしい。
　例えば、運転者の視点が、ワーピング処理による虚像の見た目の変化の影響を受け易いアイボックスの領域（例えば周辺領域等）に位置している状態で視点移動が生じると、表示内容は同じであっても、画像（虚像）の見た目がかなり変化し、また、その変化が視点移動に対応して瞬時的に生じ、運転者が違和感を覚えることが有り得る。
　本発明の目的の１つは、ＨＵＤ装置において、視点位置追従ワーピング処理を実施するときに、ワーピングパラメータの更新に伴って画像の見た目が瞬時的に変化して運転者に違和感を生じさせることを抑制することである。
　本発明の他の目的は、以下に例示する態様及び最良の実施形態、並びに添付の図面を参照することによって、当業者に明らかになるであろう。
　以下に、本発明の概要を容易に理解するために、本発明に従う態様を例示する。
　第１の態様において、表示制御装置は、車両に搭載され、画像を生成する画像生成部と、前記画像を表示する表示部と、前記画像の表示光を反射して、被投影部材に投影する光学部材を含む光学系と、を含み、前記画像を、前記車両に備わる被投影部材に投影することで、運転者に前記画像の虚像を視認させるヘッドアップディスプレイ（ＨＵＤ）装置を制御する表示制御装置であって、１つ又はそれ以上のプロセッサを含み、前記プロセッサは、アイボックスにおける運転者の視点位置に応じてワーピングパラメータを更新し、そのワーピングパラメータを用いて前記表示部に表示する画像を、前記画像の虚像の歪み特性とは逆の特性をもつように予め歪ませる視点位置追従ワーピング制御を実施する場合における前記運転者の視点位置検出感度を第１の視点位置検出感度とし、
　前記ＨＵＤ装置における、前記ワーピングとは異なる動作を、前記アイボックスにおける前記運転者の視点位置に応じて制御する場合における前記運転者の視点位置検出感度を第２の視点位置検出感度とするとき、第１の視点位置検出感度を、第２の視点位置検出感度よりも低く設定する。
　第１の態様では、視点位置追従ワーピング（ダイナミックワーピング）処理に伴う、画像（虚像）の見え方が変化して違和感を生じさせるという弊害を抑制するために、ワーピング処理における視点位置検出感度（第１の視点位置検出感度）を、ワーピングとは異なる（視点位置追従ワーピング以外の）動作（虚像表示に関係する動作等）を視点位置に応じて制御する場合における視点位置検出感度（第２の視点位置検出感度）よりも低く設定して、ワーピング処理の感度を鈍化（抑制）させる制御を実施する。
　第２の視点位置検出感度は、視点追従ワーピング以外の処理に用いられるものである。この第２の視点位置検出感度は、一例として、ＨＵＤ装置が有する最大の視点位置検出感度であると言い換えることもできる。
　この制御により、例えば、視差式ＨＵＤ装置における、左右の各目用の画像（各目用の視差画像）の表示光を視点に追従して入射させるための処理（視点追従ワーピング以外の処理の一例）では、第２の視点位置検出感度を用いて、左右の各目の位置を高い分解能で検出して高精度の制御を行い、一方、視点位置追従ワーピング処理においては、視点位置検出感度を低下させて、視点位置の変化に伴うワーピングパラメータの切り替えによる虚像の見え方の変化を抑制し、視認性の悪化を抑制する。
　これにより、視点追従ワーピングの処理におけるより高精度の視点位置検出感度と、ワーピング処理における弊害を抑制することが可能な適切な視点位置検出感度と、を適切に使い分けることができる。よって、各処理を最適に実施することが可能となる。なお、左右の各目に同じ画像の表示光を入射させる単眼式のＨＵＤ装置にも上記の制御は適用可能である。
　第１の態様に従属する第２の態様において、前記ワーピングとは異なる動作は、運転者の左右の各目に、左目用の視差画像及び右眼用視差画像の各々の表示光を入射させる制御動作としてもよい。
　第２の態様によれば、視点位置追従ワーピング処理における視点位置検出感度を適切に抑制しつつ、視差式ＨＵＤ装置における、左右の視点位置の検出感度を高く保つことができる。これにより、アイボックス内にある運転者の左右の各目に、各目用の視差画像の表示光を精度よく入射させることができる。
　第１又は第２の態様に従属する第３の態様において、前記アイボックスを複数の部分領域に分割して、各部分領域を単位として前記運転者の視点位置を検出すると共に、前記第１の視点位置検出感度を用いる場合における前記部分領域の数をｍ個（ｍは２以上の自然数）とし、前記第２の視点位置検出感度を用いる場合における前記部分領域の数をｎ個（ｎは３以上の自然数）とするとき、ｍの値は、ｎの値よりも小さく設定されてもよい。
　第３の態様では、ワーピング処理用の第１の視点位置検出感度を、その他の処理用の第２の視点位置検出感度よりも低くする手法として、アイボックス内（あるいはアイボックス上）の部分領域を単位として視点位置を検出すると共に、部分領域の数をより少なくする、という方法が採用される。アイボックスの分割数を変更することで視点位置検出感度を調整することができ、実現が容易である。
　第１乃至第３の何れか１つの態様に従属する第４の態様において、前記運転者の視点から見て車両の幅方向（左右方向）を横方向とし、横方向に直交すると共に、道路の路面の垂線に沿う高さ方向を縦方向とするとき、前記アイボックスの内部が、前記横方向の境界線によっては分割されず、前記縦方向の境界線によってのみ複数の部分領域に分割され、かつ各部分領域は均等である第１の構成である、又は、前記横方向の境界線によっては分割されず、前記縦方向の境界線によってのみ複数の部分領域に分割され、かつ各部分領域は不均等であって、中央が密で周辺が疎、あるいは、中央が疎で周辺が密となるように粗密分割されている第２の構成である、又は、前記縦方向の境界線によっては分割されず、前記横方向の境界線によってのみ複数の部分領域に分割され、かつ各部分領域は均等である第３の構成である、又は、前記縦方向の境界線によっては分割されず、前記横方向の境界線によってのみ複数の部分領域に分割され、かつ各部分領域は不均等であって、中央が密で周辺が疎、あるいは、中央が疎で周辺が密となるように粗密分割されている第４の構成である、又は、前記横方向の境界線、及び縦方向の境界線によって複数の部分領域に分割され、かつ各部分領域は均等である第５の構成である、又は、前記横方向の境界線、及び縦方向の境界線によって複数の部分領域に分割され、かつ各部分領域は不均等であって、中央が密で周辺が疎、あるいは、中央が疎で周辺が密となるように粗密分割されている第６の構成であってもよい。
　第４の態様において、第１、第２の構成は、アイボックス内が縦の境界線によって分割されて、部分領域が横方向に並ぶ構成（均等分割、粗密分割）であり、第３、第４の構成は、アイボックス内が横の境界線によって分割されて、部分領域が縦方向に並ぶ構成（均等分割、粗密分割）であり、第５、第６の構成は、アイボックス内が縦、横の各境界線によって分割されて行列状に配置された部分領域が設けられている構成（均等分割、粗密分割）である。各構成を使い分けすることにより、ワーピング処理における視点位置検出感度を柔軟に調整することができる。
　例えば、第１、第２の構成は、視差式のＨＵＤ装置における左右の各目（各視点）の位置（横方向における位置）の検出に用いて好適な例であり、第３、第４の構成は、例えば、左右の少なくとも一方の目（視点）がアイボックス外になって視点喪失（視点ロスト）が発生した後、その視点が直前の視点位置とは異なる高さ位置（縦方向の位置）に戻ったことを検出する等の用途に使用できる点（縦方向の視点位置の検出が可能な点）で有益である。また、第５、第６の構成は、横方向、縦方向のいずれにも視点位置検出の分解能を有する構成であり、ワーピング処理の感度を調整して感度を少し高めるといったことができる点で有益である。
　第１乃至第４の何れか１つの態様に従属する第５の態様において、前記車両の速度が低速状態か否かを判断する低速状態判定部と、をさらに有し、前記制御部は、前記車両が、停止状態を含む前記低速状態であるときに、前記第１の視点位置検出感度による前記運転者の視点位置の検出情報を用いて前記視点位置追従ワーピング処理の制御を実施してもよい。
　第５の態様では、車両が低速状態であるときに、上記のような視点位置追従ワーピング処理の制御を実施する。低速状態のときには、運転者は、前方等の視覚の変動に敏感で、その変動を察知し易い。したがって、このときに、上記の制御を実施することによって、ワーピングパラメータの更新の感度を低下させ、画像（虚像）の見え方の変化による違和感の発生を抑制することができる。
　第１乃至第５の何れか１つの態様に従属する第６の態様において、前記アイボックスは、前記ヘッドアップディスプレイ装置が動作状態となった初期時点で複数の部分領域に分割されており、前記制御部は、前記アイボックスの各部分領域を単位として前記視点の位置を判定すると共に、前記車両の速度が速くなることに対応させて、前記アイボックス全体における前記部分領域の数を増やすことで、前記視点位置の検出の分解能を向上させてもよい。
　第６の態様では、車両の速度が速くなることに対応させて、アイボックスの中央から周辺へと密の部分領域の範囲を広げて、部分領域の数を増やしていく制御（言い換えれば、上記のワーピングパラメータの更新の感度を抑制する範囲を減少させていく制御）を実施する。
　車両の速度が速くなると、運転者が違和感を認識しづらくなることから、よって、上記の違和感に対する対策を施す領域を、速度が速くなるにつれて減少させる。そして、小さな視点移動に対する表示の歪みをワーピング処理で補正して、視覚性をより重視した表示処理を実施するものである。
　第６の態様に従属する第７の態様において、前記制御部は、前記車両の速度が、第１の速度値Ｕ１（Ｕ１＞０）以上で、かつ、前記第１の速度値よりも大きい第２の速度値Ｕ２以下の範囲内にあるときに、前記車両の速度が速くなることに対応した前記視点位置の検出の分解能を向上させる制御を実施し、前記車両の速度が、前記第１の速度値未満であるとき、及び前記第２の速度値より大きいときは、前記視点位置の検出の分解能を一定に保持させてもよい。
　第７の態様では、車両の速度が所定の範囲（車両速度Ｕについて、Ｕ１≦Ｕ≦Ｕ２が成立する範囲）において、車両の速度が速くなることに対応した視点位置の検出の分解能を向上させる制御を実施する。また、車両速度がＵ１より小さいとき、及びＵ２より大きいときにまで上記の制御を適用しようとするとＨＵＤ装置（の制御部）の負担が重くなることから、その範囲では制御を実施しないこととし、無理な負担を装置に負わせることがないように配慮している。
　第７の態様に従属する第８の態様において、前記車両の速度が速くなることに対応した前記視点位置の検出の分解能を向上させる制御を実施するに際し、車速が前記第１の速度値に近い範囲では、分解能の向上の程度を緩やかにし、第１の速度値から遠ざかるにつれて、前記分解能の向上の程度を急峻にする制御を実施する、又は、車速が前記第１の速度値に近い範囲では、分解能の向上の程度を緩やかにし、前記第１の速度値から遠ざかるにつれて、前記分解能の向上の程度をより急峻にする制御を実施すると共に、車速が前記第２の速度値に近づくにつれて、前記分解能の向上の程度を緩やかにする制御を実施してもよい。
　第８の態様では、車速の上昇に応じて、アイボックスにおける視点位置の検出の分解能（検出感度）を向上させる場合に、運転者が画像（虚像）の視覚的変化を感得しやすい低速状態である（言い換えれば、車速が第１の速度値Ｕ１に近い範囲にある）場合には、急なワーピングパラメータの更新が抑制されるように、検出の分解能（検出感度）の上昇の程度を緩やかにする制御を実施する制御を実施するか、又は、その制御に加えて、さらに、第２の速度値Ｕ２に近づくにつれて、検出の分解能（検出感度）の上昇の程度を緩やかにする制御を実施して、第２の速度値Ｕ２に達したときに検出の分解能（検出感度）が飽和して一定になることによって、変化が急に（唐突に）頭打ちになって違和感が生じることを抑制する。これらの制御によって、虚像の視認性をさらに改善することができる。
　第１乃至第８の何れか１つの態様に従属する第９の態様において、前記ヘッドアップディスプレイ装置は、前記運転者の前記視点の高さ位置に応じて前記アイボックスの位置を調整するに際し、前記光学部材を動かさず、前記画像の表示光の、前記光学部材における反射位置を変更してもよい。
　第９の態様では、上記の制御を実施するＨＵＤ装置は、運転者の目（視点）の高さ位置に応じてアイボックスの高さ位置を調整する場合に、光を被投影部材に投影する光学部材を、例えばアクチュエータを用いて回動させるようなことをせず、その光学部材における光の反射位置を変更することで対応する。
　近年のＨＵＤ装置は、例えば車両の前方のかなり広い範囲にわたって虚像を表示することを前提として開発される傾向があり、この場合、必然的に装置が大型化する。当然、光学部材も大型化する。この光学部材をアクチュエータ等を用いて回動等させるとその誤差によって、かえってアイボックスの高さ位置の制御の精度が低下することがあり、これを防止するために、光線が光学部材で反射する位置を変更することで対応することとしたものである。
　このような大型の光学部材では、その反射面を自由曲面として最適設計すること等によって、できるかぎり虚像の歪みが顕在化しないようにするが、しかし、上記のように、例えばアイボックスの周辺に運転者の視点が位置する場合等には、どうしても歪みが顕在化してしまう場合もある。よって、このようなときに、上記のワーピングパラメータの更新の感度を低下させる等の制御を実施することで、虚像の歪みによる見え方の変化による違和感が生じにくくすることができ、上記の制御を有効に活用して視認性を向上させることができる。
　第１乃至第９の何れか１つの態様に従属する第１０の態様において、前記表示部の画像表示面に対応する仮想的な虚像表示面が、前記車両の前方の、路面に重畳するように配置される、又は、前記虚像表示面の前記車両に近い側の端部である近端部と前記路面との距離が小さく、前記車両から遠い側の端部である遠端部と前記路面との距離が大きくなるように、前記路面に対して斜めに傾いて配置されてもよい。
　第１０の態様では、ＨＵＤ装置における、車両の前方等に配置される仮想的な虚像表示面（表示部としてのスクリーン等の表示面に対応する）が、路面に重畳されるように、あるいは、路面に対して傾斜して設けられる。前者は路面重畳ＨＵＤと称され、後者は傾斜面ＨＵＤと称されることがある。
　これらは、路面に重畳される広い虚像表示面、又は路面に対して傾斜して設けられる広い虚像表示面を用いて、例えば、車両前方５ｍ～１００ｍの範囲で、種々の表示を行うことができるものであり、ＨＵＤ装置は大型化し、アイボックスも大型化して、従来よりも広い範囲で視点位置を高精度に検出して、適切なワーピングパラメータを用いた画像補正を行うことが好ましい。この場合、例えば、視点がアイボックスの周辺にあるとき等において、ワーピングパラメータの頻繁な更新に伴う画像（虚像）の視認性の低下が生じる場合があり、よって、本発明の制御方式の適用が有効となる。
　当業者は、例示した本発明に従う態様が、本発明の精神を逸脱することなく、さらに変更され得ることを容易に理解できるであろう。
図１（Ａ）は、ワーピング処理の概要、及びワーピング処理を経て表示される虚像（及び虚像表示面）の歪みの態様を説明するための図、図１（Ｂ）は、ウインドシールドを介して運転者が視認する虚像の一例を示す図である。 図２は、視差式のＨＵＤ装置の基本的な虚像表示について説明するための図である。 図３（Ａ）は、視点位置追従ワーピング処理以外に用いることを想定した高分解能の視点位置検出感度を実現するアイボックスの構成例（アイボックスの内部の分割例）を示す図、図３（Ｂ）は、ワーピング処理における基本構成の一例を示す図である。 図４（Ａ）～（Ｆ）は、ワーピング処理後の、歪み方が異なる虚像の例を示す図である。 図５は、視点位置追従ワーピング処理以外に用いるアイボックスの部分領域の数と、ワーピングに用いるアイボックスの部分領域の数を同じにした例を示す図である。 図６は、視点位置追従ワーピング処理以外に用いるアイボックスの部分領域の数に比べて、ワーピングに用いるアイボックスの部分領域の数を少なくして、ワーピング処理における視点位置検出感度を抑制した制御（第１の制御）におけるアイボックスの構成例を示す図である。 図７（Ａ）は、内部が複数の部分領域に分割されたアイボックスにおける視点移動の例を示す図、図７（Ｂ）は、図７（Ａ）に示される各視点移動に対するワーピングパラメータの更新の有無の例を表形式で示す図である。 図８は、ＨＵＤ装置のシステム構成の一例を示す図である。 図９は、粗密分割方式のアイボックスを用いたワーピング処理の制御（第２の制御）におけるアイボックスの構成の一例（中央が疎、周辺が密の例）を示す図である。 図１０は、ワーピング処理用の粗密分割方式のアイボックスの構成の他の例（中央が密、周辺が疎の例）を示す図である。 図１１（Ａ）は、ワーピング処理用のアイボックスの構成の変形例（内部を縦方向に分割する例）における均等分割の例を示す図、図１１（Ｂ）は粗密分割の例を示す図である。 図１２（Ａ）は、ワーピング処理用のアイボックスの構成の他の変形例（内部を縦及び横の双方向に分割する例）における均等分割の例を示す図、図１２（Ｂ）は粗密分割の例を示す図である。 図１３（Ａ）は、車速に対して視点検出感度（視点検出分解能）を一定に保つ制御における特性例（比較例）を示す図、図１３（Ｂ）は、車速に応じてアイボックスの視点検出感度（視点検出分解能）を変化させる制御（第３の制御）における特性例を示す図である。 図１４は、第１のワーピング画像補正制御（第１の制御）の手順例を示すフローチャートである。 図１５は、第２のワーピング画像補正制御（第２の制御）の手順例を示すフローチャートである。 図１６は、第３のワーピング画像補正制御（第３の制御）の手順例を示すフローチャートである。 図１７（Ａ）は、路面重畳ＨＵＤによる表示例を示す図、図１７（Ｂ）は、傾斜面ＨＵＤによる表示例を示す図、図１７（Ｃ）は、ＨＵＤ装置の主要部の構成例を示す図である。
　以下に説明する最良の実施形態は、本発明を容易に理解するために用いられている。従って、当業者は、本発明が、以下に説明される実施形態によって不当に限定されないことを留意すべきである。
　図１を参照する。図１（Ａ）は、ワーピング処理の概要、及びワーピング処理を経て表示される虚像（及び虚像表示面）の歪みの態様を説明するための図、図１（Ｂ）は、ウインドシールドを介して運転者が視認する虚像の一例を示す図である。
　図１（Ａ）に示されるように、ＨＵＤ装置１００は、表示部（例えば、光透過型のスクリーン）１０１と、反射鏡１０３と、表示光を投影する光学部材としての曲面ミラー（例えば凹面鏡であり、反射面は自由曲面である場合もある）１０５と、を有する。表示部１０１に表示された画像は、反射鏡１０３、曲面ミラー１０５を経て、被投影部材としてのウインドシールド２の虚像表示領域５に投影される。図１において、符号４は投影領域を示す。なお、ＨＵＤ装置１００は、曲面ミラーを複数設けてもよく、本実施形態のミラー（反射光学素子）に加えて、又は本実施形態のミラー（反射光学素子）の一部（又は全部）に代えて、レンズなどの屈折光学素子、回折光学素子などの機能性光学素子を含んでいてもよい。
　画像の表示光の一部は、ウインドシールド２で反射されて、予め設定されたアイボックス（ここでは所定面積の四角形の形状とする）ＥＢの内部に（あるいはＥＢ上に）位置する運転者等の左右の視点（目）Ａの少なくとも一方（図中、一例として左目Ａ１及び右目Ａ２を示している）に入射され、車両１の前方に結像することで、表示部１０１の表示面１０２に対応する仮想的な虚像表示面ＰＳ上に虚像Ｖが表示される。
　表示部１０１の画像は、曲面ミラー１０５の形状やウインドシールド２の形状等の影響を受けて歪む。その歪みを相殺するために、その歪みとは逆特性の歪みが画像に与えられる。このプレディストーション（前置歪み）方式の画像補正を、本明細書ではワーピング処理、あるいはワーピング画像補正処理と称する。
　ワーピング処理によって、虚像表示面ＰＳ上に表示される虚像Ｖが、湾曲のない平坦な画像となるのが理想ではあるが、例えば、ウインドシールド２上の広い投影領域４に表示光を投影すると共に、虚像表示距離をかなり広範囲に設定する大型のＨＵＤ装置１００等では、ある程度の歪みが残ることは否めず、これは仕方のないことである。
　図１の左上において、破線で示されるＰＳ’は、歪みが完全には除去されていない虚像表示面を示し、Ｖ’は、その虚像表示面ＰＳ’に表示される虚像を示している。
　また、歪みが残る虚像Ｖの、歪みの程度あるいは歪みの態様は、視点ＡがアイボックスＥＢ上のどの位置にあるかによって異なる。例えば、ＨＵＤ装置１００の光学系は、視点Ａが中央部付近に位置することを想定して設計されることから、視点Ａが中央部付近にあるときは比較的、虚像の歪みは小さく、周辺部になるほど虚像の歪みが大きくなる傾向が生じる場合がある。
　図１（Ｂ）には、ウインドシールド２を介して運転者が視認する虚像Ｖの一例が示されている。図１（Ｂ）では、矩形の外形を有する虚像Ｖには、例えば縦に５個、横に５個、合計で２５個の基準点（基準画素点）Ｇ（ｉ，ｊ）（ここで、ｉ、ｊは共に１～５の値をとり得る変数）が設けられる。画像（原画像）における各基準点に対して、ワーピング処理による、虚像Ｖに生じる歪みとは逆特性の歪みが与えられ、したがって、理想的には、その事前に与えられる歪みと、現実に生じる歪みとが相殺され、理想的には、図１（Ｂ）に示されるような湾曲のない虚像Ｖが表示される。基準点Ｇ（ｉ，ｊ）の数は、補間処理等によって適宜、増やすことができる。なお、図１（Ｂ）において、符号７はステアリングホイールである。
　次に、図２を参照する。図２は、視差式のＨＵＤ装置の基本的な虚像表示について説明するための図である。画像表示部（例えばスクリーンや平面ディスプレイ等）の表示面１６３上に画像Ｍが表示されている。例えば、画像Ｍとして、左目用の視差画像と右目用の視差画像とを時分割で交互に表示し、例えばＭＥＭＳスキャナーを用いて各画像の表示光を分離した後、曲面ミラー（凹面鏡等）１３１を経由してその表示光をアイボックスＥＢ内（あるいはアイボックスＥＢ上）の左目のアイポイントＥＰ（Ｌ）、右目のアイポイントＥＰ（Ｒ）へと導く。なお、ＥＰ（Ｃ）はアイボックスＥＢの中央のアイポイント（中央の視点位置）を示す。
　左右の各目に対応する虚像表示面をＰＬＮ（Ｌ）、ＰＬＮ（Ｒ）とすると、その重なりの領域の中央に虚像Ｖ（Ｃ）が立体的に表示される。なお、左目用の視差画像と右目用の視差画像とを分離する方式としては、上述した機能性光学素子（例えば、レンチキュラレンズや視差バリア等）を用いる方式を採用することもできる。
　運転者（ユーザー）の左目及び右目の少なくとも一方がアイボックス内で移動することも想定されるが、その場合には、その視点移動をカメラ等を用いて検出し、その移動に合わせて表示光の入射位置を微調整する（適応的に変更する）ことで、アイボックスＥＢ内であれば、どの視点位置であっても画像（虚像）を視認することが可能となる。
　このような制御を行うためには、視点位置の検出感度はある程度以上の高水準が求められることが多い。但し、その検出感度をそのままワーピング処理におけるワーピングパラメータの更新（切り替え）にも適用すると、虚像の見た目の急峻な変化によって違和感が生じる場合がある。そこで、本発明では、視点位置追従ワーピングとそれ以外の処理とで、視点位置検出感度を異ならせることとする。具体的には、ワーピングパラメータの更新についての視点位置検出感度を低下させて、視認性が低下するという弊害を抑制、軽減する（詳細は後述する）。
　次に、図３を参照する。図３（Ａ）は、視点位置追従ワーピング処理以外に用いることを想定した高分解能の視点位置検出感度を実現するアイボックスの構成例（アイボックスの内部の分割例）を示す図、図３（Ｂ）は、ワーピング処理における基本構成の一例を示す図である。図３において、図１と共通する部分には同じ参照符号を付している（この点は以降の図においても同様である）。
　図３（Ａ）において、ＨＵＤ装置１００の投射光学系１１８から画像の表示光Ｋが出射され、その一部がウインドシールド２により反射されて、運転者の視点（目）Ａ１、Ａ２に入射する。視点Ａ１、Ａ２がアイボックスＥＢ内にあるとき、運転者は画像の虚像を視認することができる。
　ここで、運転者の視点（目）Ａ１、Ａ２から見て、車両１の幅方向（左右方向）をＸ方向（あるいは横方向）とし、Ｘ方向に直交し、路面の垂線に沿う高さ方向をＹ方向（縦方向）とし、前方（前後方向）をＺ方向とする。図３（Ａ）では、アイボックスＥＢの内部は、縦の境界線で区画されたＥ１～Ｅ８の８個の部分領域が設けられ、縦長の長方形の外形を有する各部分領域Ｅ１～Ｅ８は、横方向（Ｘ方向）に、隣接して配置（配列）されている。各部分領域Ｅ１～Ｅ８を単位（最小限の分解能の単位）として視点位置を検出することで、視点Ａ１、Ａ２の、アイボックスＥＢにおける横方向の位置を検出することができる。
　各部分領域Ｅ１～Ｅ８を用いて検出された視点位置の情報は、視点位置追従ワーピング処理以外の処理（言い換えれば、視点位置追従ワーピングとは異なる動作）の制御に用いられる。例えば、左右の何れかの目が移動したとき、その移動に追従して、左右の目に各目用の視差画像を入射させる制御を行う場合や、各視点Ａ１、Ａ２の位置する領域に入射する表示光の強度を他よりも強める（あるいは、他の領域の光強度を弱める）制御や、あるいは、左右の何れかの目がアイボックスＥＢの端部に位置してアイボックスＥＢの外へと移動してしまいそうなときに、視点を中央に戻す矢印の誘導画像を表示する制御等を例示することができる。
　図３（Ｂ）では、ワーピング処理（視点追従ワーピング処理）を行う場合の基本構成の一例が示されている。アイボックスＥＢは、Ｗ１～Ｗ４の４個の部分領域に分割されている。なお、部分領域の数は４個に限定されるものではなく、さらに増やすことも可能である。
　図３（Ａ）では部分領域の数が８個であったが、図３（Ｂ）では部分領域の数は４個であり、その数が半分となっている。よって、図３（Ｂ）のアイボックスＥＢの視点位置検出感度は、図３（Ａ）の場合の半分に低下（抑制）されていることになる。
　図３（Ｂ）におけるアイボックスＥＢの部分領域Ｗ１～Ｗ４の外形は、図３（Ａ）の部分領域Ｅ１～Ｅ８と同様に縦長の長方形（矩形）であるが、Ｗ１～Ｗ４の横幅は、Ｅ１～Ｅ８の２倍であり、横幅が広げられている。よって、横方向（Ｘ方向）における視点検出の分解能が半分に低下している。これによって、視点Ａ１、Ａ２の移動に伴う視点位置追従ワーピング（ダイナミックワーピング）を実施する場合に、ワーピングパラメータの更新（切り替え）に伴って虚像の見え方が急峻に変化して運転者が違和感を覚える、といった弊害を抑制することができる。
　図３（Ｂ）において、ＨＵＤ装置１００は、ＲＯＭ２１０を有し、ＲＯＭ２１０は、画像変換テーブル２１２を内蔵する。画像変換テーブル２１２は、例えばデジタルフィルタによる画像補正（ワーピング画像補正）のための多項式、乗数、定数等を決定するワーピングパラメータＷＰを記憶している。ワーピングパラメータＷＰは、アイボックスＥＢにおける各部分領域Ｗ１～Ｗ４の各々に対応して設けられる。図３（Ａ）では、各部分領域に対応するワーピングパラメータをＰ（Ｗ１）～Ｐ（Ｗ４）と表示している。
　視点Ａ１、Ａ２が移動した場合、その視点Ａ１、Ａ２が、複数の部分領域Ｗ１～Ｗ９のうちの、どの位置にあるかが検出される。そして、検出された部分領域に対応するワーピングパラメータＰ（Ｗ１）～Ｐ（Ｗ４）の何れかがＲＯＭ２１０から読みだされ（ワーピングパラメータの更新）、そのワーピングパラメータを用いてワーピング処理が実施される。
　次に、図４を参照する。図４（Ａ）～（Ｆ）は、ワーピング処理後の、歪み方が異なる虚像の例を示す図である。先に述べたとおり、運転者の視点Ａがアイボックスのどの位置にあるかによって、ワーピング処理後の虚像Ｖの見え方が異なる。
　図４（Ａ）に示されるように、ウインドシールド２の虚像表示領域５に表示される虚像Ｖは、歪みが除去されて湾曲のない態様で表示されるのが理想ではある。しかし、実際の虚像Ｖには、ワーピング処理を施した後においても歪みが残留しており、その歪みの程度や態様は、視点Ａの位置に応じて変化する。
　図４（Ｂ）の例では、歪みはあるものの比較的軽度の歪みであり、虚像Ｖは、図４（Ａ）に近い見栄えである。図４（Ｃ）の例では、歪みの傾向は図４（Ｂ）と同様といえるが、歪みの程度は大きくなっており、図４（Ａ）と同様の見栄えとはいえない。
　また、図４（Ｄ）の例では、歪みの程度は図４（Ｃ）と同様ではあるが、歪みの態様（歪みの傾向、あるいは歪みが生じた後の虚像の見え方の態様）は、図４（Ｃ）とは異なっている。
　図４（Ｅ）の例では、歪みの程度がより大きくなり、虚像Ｖの左右のバランスもとれていない。図４（Ｆ）の例では、虚像Ｖは、図４（Ｅ）に似た傾向の歪み方ではあるが、見た目は、図４（Ｆ）とはかなり異なる。
　このように、同じ内容を表示している虚像Ｖ（ワーピング処理後の虚像Ｖ）であっても、視点Ａ１、Ａ２の位置に応じて、その見え方がかなり異なる。例えば、視点Ａ１、Ａ２がアイボックスＥＢの中央部に位置するときは、視認される虚像Ｖは、図４（Ｂ）のように比較的、歪みが少ないが、視点Ａ１、Ａ２が中央部から周辺部に移動すると、例えば、図４（Ｅ）のように歪みが比較的大きくなる場合もあり得る。
　視点Ａ１、Ａ２が、図４（Ｅ）の状態から、例えば図４（Ｂ）のように移動すると、虚像Ｖの見え方が変化する（変化ａ１）。また、図４（Ｆ）のように移動すると虚像Ｖの見え方が変化する（変化ａ２）。いずれの場合も、見え方が、かなり変化しており、運転者（ユーザー）が違和感を生じる可能性が高まることが想定され得る。従って、この弊害に対する対策を講じる必要がある。
　次に、図５を参照する。図５は、視点位置追従ワーピング処理以外に用いるアイボックスの部分領域の数と、ワーピングに用いるアイボックスの部分領域の数を同じにした例を示す図である。図５の例では、視点位置追従ワーピング処理以外に用いるアイボックスＥＢには、部分領域Ｅ１～Ｅ１２が設けられている。その数は１２個である。
　また、ワーピング処理に用いるアイボックスＥＢには、部分領域Ｗ１～Ｗ１２が設けられている。その数は１２個であり、視点位置追従ワーピング処理以外に用いる場合と同数である。言い換えれば、何れの場合でも、視点位置の検出感度は同じである。
　この場合、視点位置追従ワーピング処理以外の処理（視点位置追従ワーピングとは異なる処理）の検出感度（これを第２の視点位置検出感度とする）は所望のレベルに高く保つことができる。但し、ワーピングに関して、ワーピング処理用の視点位置検出感度（これを第１の視点位置検出感度とする）が、第２の視点位置検出感度と同等であるため、視点移動に伴う視点位置追従ワーピング（ダイナミックワーピング）を行うと、同じ画像を表示していても、虚像の見た目（見栄え）が急に変化することから、運転者が違和感を覚えることが懸念される。
　次に、図６を参照する。図６は、視点位置追従ワーピング処理以外に用いるアイボックスの部分領域の数に比べて、ワーピングに用いるアイボックスの部分領域の数を少なくして、ワーピング処理における視点位置検出感度を抑制した制御（第１の制御）におけるアイボックスの構成例を示す図である。
　図６では、ワーピングに用いるアイボックスの部分領域はＷ１～Ｗ６の６個であり、図５の場合に比べて半減している。よって、ワーピング処理における視点位置検出感度（第１の視点位置検出感度）は、視点位置追従ワーピングとは異なる処理における視点位置検出感度（第２の検出感度）の半分となり、感度が鈍化（抑制）される。従って、視点位置追従ワーピング（ダイナミックワーピング）処理に伴う虚像の見た目が変化するという弊害を抑制することができる。
　一方、例えば、視差式ＨＵＤ装置における、左右の各目用の画像（各目用の視差画像）の表示光を視点に追従して入射させるための処理（視点位置追従ワーピング以外の処理の一例）では、第２の視点位置検出感度を用いて、左右の各目の位置を高い分解能で検出して高精度の制御を行うことができる。言い換えれば、アイボックスＥＢ内にある運転者の左右の各目に、各目用の視差画像の表示光を精度よく入射させることができる。
　このように、視点位置追従ワーピング以外の処理におけるより高精度の視点位置検出感度と、ワーピング処理における弊害を減じることが可能な適切な視点位置検出感度と、を適切に使い分けることができ、各処理を最適に実施することが可能となる。なお、左右の各目に同じ画像の表示光を入射させる単眼式のＨＵＤ装置にも上記の制御は適用可能である。
　また、図６の例では、第１の視点位置検出感度を用いる場合における部分領域の数をｍ個（ｍは２以上の自然数）とし、第２の視点位置検出感度を用いる場合における部分領域の数をｎ個（ｎは３以上の自然数）とするとき、ｍの値は、ｎの値よりも小さく設定される。この場合、部分領域の数をより少なくする（言い換えれば、アイボックスの分割数がより少なくなるように変更する）ことで、視点位置検出感度をかなりの自由度で調整することができ、また、実現が容易である。
　次に、図７を参照する。図７（Ａ）は、内部が複数の部分領域に分割されたアイボックスにおける視点移動の例を示す図、図７（Ｂ）は、図７（Ａ）に示される各視点移動に対するワーピングパラメータの更新の有無の例を表形式で示す図である。
　図７において、アイボックスＥＢの内部は、６個の部分領域Ｗ１～Ｗ６に分割されている。視点Ａの移動（ｉ）の場合は、視点Ａは、移動後においても、移動前と同じ部分領域Ｗ４内に留まっているため、ワーピングパラメータの更新は無しである。移動（ｉｉ）の場合は、部分領域Ｗ４から部分領域Ｗ５への移動が生じていることから、部分領域Ｗ５に対応したワーピングパラメータに更新される。移動（ｉｉｉ）の場合は、部分領域Ｗ５から部分領域Ｗ６への移動が生じていることから、部分領域Ｗ６に対応したワーピングパラメータに更新される。
　視点Ａが、アイボックスＥＢ外に出て（視点移動（１））、その後、アイボックスＥＢ内に戻る（視点移動（２））場合（視点喪失の場合）も想定され得る。視点喪失（視点ロスト）期間中は、例えば、ワーピングパラメータとして、視点喪失時の部分領域（ここでは部分領域Ｗ５）に対応したワーピングパラメータを使用する、あるいは、アイボックスＥＢにおける中央付近の部分領域（例えばＷ４）のワーピングパラメータを使用することが考えられるが、何れの場合も、視点喪失後に、どの部分領域に視点Ａが戻ってくるかは予想できず、ワーピングパラメータを、戻って来たときの領域に合わせて更新すると視覚的な違和感が生じる場合が多いと考えられる。よって、ワーピングパラメータの更新は行わず、視点喪失期間中のワーピングパラメータをそのまま維持するのが好ましい。
　次に、図８を参照する。図８は、ＨＵＤ装置のシステム構成の一例を示す図である。ここでは、ＨＵＤ装置１００は、視差式のＨＵＤ装置であるとして説明する。
　車両１には、運転者の視点（目、瞳）Ａ１、Ａ２（以下、総称して視点Ａと表記する場合がある）の位置を検出する視点検出カメラ１１０が設けられている。また、車両１には、運転者がＨＵＤ装置１００に必要な情報を設定すること等を可能とするために操作入力部１３０が設けられ、また、車両１の各種の情報を収集することが可能な車両ＥＣＵ１４０が設けられている。
　また、ＨＵＤ装置１００は、光源１１２と、光源１１２から光を空間光変調して画像を生成する空間光変調素子１１４と、投射光学系１１８と、視点位置検出部（視点位置判定部）１２０と、バス１５０と、バスインターフェース１７０と、表示制御部（表示制御装置）１８０と、画像生成部２００と、画像変換テーブル２１２を内蔵するＲＯＭ２１０と、画像（原画像）データ２２２を記憶し、かつワーピング処理後の画像データ２２４を一時的に記憶するＶＲＡＭ２２０と、を有している。
　視点位置検出部１２０は、視点座標検出部１２２を有する。また、表示制御部（表示制御装置）１８０は、１つ又はそれ以上のＩ／Ｏインタフェース（Ｉ／Ｏインタフェースバス１５０と、バスインターフェース１７０、これら以外の不図示のインタフェース、又はこれらの組み合わせを含み得る。）、１つ又はそれ以上のプロセッサ（不図示）、１つ又はそれ以上のメモリ（メモリは、ＲＯＭ２１０、ＶＲＡＭ２２０、これら以外の不図示のメモリ、又はこれらの組み合わせを含み得る。）、及び１つ又はそれ以上の画像処理回路（不図示）を備える。表示制御部（表示制御装置）１８０は、前記１つ又はそれ以上のプロセッサが、前記メモリに記憶されたコマンドを実行することで、例えば画像データを生成及び／又は送信するなど、車両用表示システム１０の操作を行うことができる。また、表示制御部（表示制御装置）１８０は、車両１の速度を検出（判定）する速度検出部（低速状態を判定する低速状態判定部を兼ねる）１８１と、視差画像表示制御部１８２と、ワーピング制御部１８４と、タイマー１９０と、メモリ制御部１９２と、ワーピング処理部（ワーピング画像補正処理部）１９４と、を機能として有していてもよい。
　視差画像表示制御部１８２は、第１の視点位置検出部１８３と、視点追従制御部１８５と、を有する。第１の視点位置検出部１８３は、例えば、視点座標検出部１２２にて検出された座標に基づいて、例えば図８の上側に破線で示されるようなアイボックスＥＢを想定し、視点Ａが、どの部分領域Ｅ１～Ｅ８に位置するかを検出（判定）する。視点位置追従制御部１８３は、視点移動後に検出された部分領域Ｅ１～Ｅ８の情報を基に、例えばＭＥＭＳスキャナーの回転を制御する制御信号を生成し、光源１１２に（必要に応じて空間光変調素子１１４にも）出力する。
　ワーピング制御部１８４は、ワーピング管理部１８５（第２の視点位置検出部１８６）と、視点位置情報一時蓄積部１８８と、を有する。第２の視点位置検出部１８６は、図８の上側に実線で示されるようなアイボックスＥＢを想定し、視点Ａが、どの部分領域Ｗ１～Ｗ４に位置するかを検出（判定）する。検出された部分領域Ｗ１～Ｗ４の情報は、視点位置情報一時蓄積部１８８に一時的に蓄積される。
　メモリ制御部１９２は、視点位置情報一時蓄積部１８８から、検出された部分領域Ｗ１～Ｗ４の情報を所定のタイミングで読み出し、その情報をアドレス変数として用いてＲＯＭ２１０にアクセスし、対応するワーピングパラメータを読み出す。
　ワーピング処理部（ワーピング画像補正処理部）１９４は、読みだされたワーピングパラメータを用いて、原画像に対してワーピング処理を施し、ワーピング処理後のデータに基づいて画像生成部２００にて所定のフォーマットの画像が生成され、その画像が、例えば光源１１２や空間光変調素子１１４等に供給される。
　図８の例では、ワーピングパラメータの更新に際して、視点位置検出感度を、視点位置追従ワーピング以外の処理のときの視点位置検出感度よりも低くするという第１の制御が実施されることから、例えば、視点Ａの移動に伴って、ワーピングパラメータが頻繁に切り替えられて、虚像Ｖの視認性が低下するという弊害が抑制される。
　次に、図９、図１０を参照する。図９は、粗密分割方式のアイボックスを用いたワーピング処理の制御（第２の制御）におけるアイボックスの構成の一例（中央が疎、周辺が密の例）を示す図である。図１０は、ワーピング処理用の粗密分割方式のアイボックスの構成の他の例（中央が密、周辺が疎の例）を示す図である。
　図９、図１０において、アイボックスＥＢにおける周辺領域には斜線を施している。図９では、アイボックスＥＢが、中央が疎、周辺が密となるように粗密分割されている。図１０では、アイボックスＥＢが、中央が密、周辺が疎となるように粗密分割されている。この粗密分割方式のアイボックスを用いて視点位置を検出することにより、ワーピングパラメータを断続的（連続的ではない態様）に切り替えることが可能となる。これを第２の制御とする。
　第２の制御は、視点位置の検出を断続的に実施する（連続的には行わない）ことによって実現される。例えば、アイボックスの内部の部分領域の数等には関係なく、視点Ａがアイボックスの所定範囲内にあるときは、現在の位置から所定方向（例えばＸ軸方向）に所定距離だけ移動したときに、現在の位置とは異なる他の位置に移動したとみなしてワーピングパラメータを他の位置に対応するワーピングパラメータに更新するが、しかし、その一方、視点Ａが所定の他の範囲内にあるときは、視点Ａが上記の他の位置から所定方向（例えばＸ軸方向）に、上記と同様に所定距離だけ移動して、視点Ａが他の位置とは異なる別の位置に移ったとしても、別の位置に対応するワーピングパラメータへの更新は実施しない、という制御を、表示制御部１８０（のワーピング制御部１８４）が行うことにより実現される。
　言い換えれば、視点Ａが、所定方向に所定距離ずつ、繰り返し移動する場合に、アイボックスＥＢの内部のある区間では、１回の移動毎にワーピングパラメータを更新するが、さらに視点が移動して違う区間になったときは、そのような移動毎のワーピングパラメータの更新を行わず、これによって、ワーピングパラメータの更新が有、無、有、というように、連続的ではない、言い換えれば断続的な更新が実施される。これによって、ワーピング補正処理の感度（視点検出の感度ということもできる）を低下させて、ワーピングパラメータの更新に伴う画像（虚像）の見え方が変化することによる違和感の発生を抑制することができる。
　図９の例では、アイボックスＥＢの中央において、視点位置検出感度が低下されており、中央に位置する視点Ａが少し移動しても、ワーピングパラメータの切り替えが生じにくくなっている。図１０の例では、アイボックスＥＢの周辺において、視点位置検出感度が低下されており、周辺に位置する視点Ａが少し移動しても、ワーピングパラメータの切り替えが生じにくくなっている。中央、周辺の何れを視点位置検出感度を低下させる対象とするかは、ＨＵＤ装置１００の性能やワーピングによる視認性低下の態様（傾向等）に応じて、適宜、選択することが可能である。この点は、図１１や図１２の例においても同様である。
　次に、図１１を参照する。図１１（Ａ）は、ワーピング処理用のアイボックスの構成の変形例（内部を縦方向に分割する例）における均等分割の例を示す図、図１１（Ｂ）は粗密分割の例を示す図である。
　図１１の例では、ワーピング処理に使用されるアイボックスＥＢの内部が、横（Ｘ方向）の境界線によって分割されて、部分領域ＷＲ１～ＷＲ３が縦方向に並ぶ構成が採用されている。図１１（Ａ）は均等分割の例、図１１（Ｂ）は粗密分割の例である。
　なお、図１１（Ａ）における視点位置追従ワーピング以外に使用するアイボックスＥＢの１つの部分領域（Ｅ１～Ｅ１２）における横方向の長さ（幅）をＴ１とし、アイボックスＥＢの１つの部分領域（ＷＲ１～ＷＲ３）における縦方向の長さ（高さ）をＴ２とすると、Ｔ２＞Ｔ１であり、ワーピングに使用するアイボックスにおける視点位置検出感度は、視点位置追従ワーピング以外に使用するアイボックスにおける視点位置検出感度よりも低下されている。図１１（Ｂ）においても同様に、Ｔ２ａ＞Ｔ１、Ｔ２ｂ＞Ｔ１が成立する。
　図１１（Ａ）、（Ｂ）の各構成を使い分けすることにより、ワーピング処理における視点位置検出感度を柔軟に調整することができる。
　例えば、第１１（Ａ）、（Ｂ）の構成は、例えば、左右の少なくとも一方の目（視点）がアイボックス外になって視点喪失（視点ロスト）が発生した後、その視点が直前の視点位置とは異なる高さ位置（縦方向の位置）に戻ったことを検出する等の用途に使用できる点（縦方向の視点位置の検出の分解能をもつ点）で有益である。
　次に、図１２を参照する。図１２（Ａ）は、ワーピング処理用のアイボックスの構成の他の変形例（内部を縦及び横の双方向に分割する例）における均等分割の例を示す図、図１２（Ｂ）は粗密分割の例を示す図である。
　図１２の例では、ワーピング処理に使用されるアイボックスＥＢの内部が、横（Ｘ方向）及び縦方向（Ｙ方向）の境界線によって分割されて、行列状に部分領域が配置されている。図１２（Ａ）は均等分割の例、図１２（Ｂ）は粗密分割の例である。
　図１２（Ａ）において、Ｔ２＞Ｔ１、Ｔ３＞Ｔ１が成立する。図１２（Ｂ）において、Ｔ４＞Ｔ１、Ｔ５＞Ｔ１が成立する。図１２（Ａ）、（Ｂ）の何れにおいても、ワーピングに使用するアイボックスにおける視点位置検出感度は、視点位置追従ワーピング以外に使用するアイボックスにおける視点位置検出感度よりも低下されている。
　図１２（Ａ）、（Ｂ）の各構成を使い分けすることにより、ワーピング処理における視点位置検出感度を柔軟に調整することができる。
　例えば、図１２の例では、横方向、縦方向のいずれにも視点位置検出の分解能を有する構成であり、ワーピング処理の感度を調整して感度を少し高めるといったことができる点で有益である。
　以上説明した第１の制御（ワーピング処理用の視点位置検出感度を、視点位置追従ワーピング以外用の視点位置検出感度よりも低下させる基本的な制御）、及び、第２の制御（ワーピングパラメータの更新が断続的に行われるようにする応用的な制御）は、車両１が、停止状態を含む低速状態であるときに、実施することとしてもよい。
　言い換えれば、図８の速度検出部１８１（低速状態判定部としての機能を兼ねる）が、車両１の速度が低速状態であると判定した場合に、制御部（表示制御部１８０、あるいはワーピング制御部１８４）は、第１の制御、第２の制御の少なくとも１つを実施してもよい。
　車両１が低速状態のときには、運転者は、前方等の視覚の変動に敏感で、その変動を察知し易い。したがって、このときに、上記の制御を実施することによって、ワーピングパラメータの更新の感度を低下させ、画像（虚像）の見え方の変化による違和感の発生を抑制することができる。
　次に、図１３を参照する。図１３（Ａ）は、車速に対して視点検出感度（視点検出分解能）を一定に保つ制御における特性例（比較例）を示す図、図１３（Ｂ）は、車速に応じてアイボックスの視点検出感度（視点検出分解能）を変化させる制御（第３の制御）における特性例を示す図である。
　人の目は、車両１が低速状態のときに前方等の風景や画像の変化を敏感に感得するという傾向があり、この目の特性に着目すると、より柔軟なワーピングパラメータの更新制御が可能である。この制御を第３の制御とする。
　図１３（Ａ）の比較例のように、ワーピングに使用する視点検出感度を、車速に対して一定に保つ場合、その柔軟な制御ができない。
　図１３（Ｂ）の例では、車両１の速度（車速）がＵ１～Ｕ２である範囲において、車速に対応させて、アイボックスの視点位置の検出感度を変化させる処理を行う。アイボックスＥＢは、ヘッドアップディスプレイ装置が動作状態となった初期時点で複数の部分領域に分割され、この状態では、アイボックスＥＢにおける視点位置の検出感度はＮ１となっている。
　制御部（図４の表示制御部１８０、あるいはワーピング制御部１８４）は、アイボックスＥＢの各部分領域を単位として視点の位置を判定すると共に、車両１の速度が速くなることに対応させて、アイボックス全体における部分領域の数を増やすことで、視点位置の検出の分解能を向上させる。車速Ｕ２において、アイボックスＥＢにおける視点位置検出感度はＮ２まで上昇している。
　車両１の速度が速くなると、運転者が違和感を認識しづらくなることから、車速が速くなることに対応して、視点検出の分解能を向上させることを重視した制御を実施するものである。これによって、小さな視点移動に対する表示の歪みをワーピング処理で補正して、視覚性をより重視した表示処理を実施することが可能となる。
　また、図１３（Ｂ）の例において、制御部（表示制御部１８０、あるいはワーピング制御部１８４）は、車両１の速度が、第１の速度値Ｕ１（Ｕ１＞０）以上で、かつ、第２の速度値よりも大きい第２の速度値Ｕ２以下の範囲内にあるときに、車両１の速度が速くなることに対応した視点位置の検出の分解能を向上させる制御を実施し、車両１の速度が、第１の速度値Ｕ１未満であるとき（図９の特性線Ｑ１の範囲）、及び第２の速度値Ｕ２より大きいとき（図９の特性線Ｑ４の範囲）は、視点位置の検出の分解能を一定に保持させる。
　車両１の速度が所定の範囲（車両速度Ｕについて、Ｕ１≦Ｕ≦Ｕ２が成立する範囲）において、車両の速度が速くなることに対応した視点位置の検出の分解能を向上させる制御を実施する。また、車両速度がＵ１より小さいとき、及びＵ２より大きいときにまで上記の制御を適用しようとするとＨＵＤ装置（の制御部）の負担が重くなることから、その範囲では制御を実施しないこととし、無理な負担を装置に負わせることがないように配慮している。
　また、車速が速くなるにつれてアイボックスＥＢの部分領域の数を増やすことの態様としては、図１３（Ｂ）における特性線Ｑ１、Ｑ２によって示される２つの態様がある。
　その１つは、車両１の速度が速くなることに対応した視点位置の検出の分解能（検出感度）を向上させる制御を実施するに際し、車速が第１の速度値Ｕ１に近い範囲では、分解能の向上の程度を緩やかにし、第１の速度値Ｕ１から遠ざかるにつれて、分解能の向上の程度を急峻にする制御（特性線Ｑ２で示される制御）である。
　他の１つは、車速が第１の速度値Ｕ１に近い範囲では、分解能の向上の程度を緩やかにし、第１の速度値Ｕ１から遠ざかるにつれて、分解能の向上の程度をより急峻にする制御を実施すると共に、車速が第２の速度値Ｕ２に近づくにつれて、分解能の向上の程度を緩やかにする制御（略Ｓ字の形状を有する特性線Ｑ３で示される制御）である。
　言い換えれば、車速の上昇に応じて、アイボックスＥＢにおける視点位置の検出の分解能（検出感度）を向上させる場合に、運転者が画像（虚像）の視覚的変化を感得しやすい低速状態である（言い換えれば、車速が第１の速度値Ｕ１に近い範囲にある）場合には、急なワーピングパラメータの更新が抑制されるように、検出の分解能（検出感度）の上昇の程度を緩やかにする制御（特性線Ｑ２の制御）を実施するか、又は、その制御に加えて、さらに、第２の速度値Ｕ２に近づくにつれて、検出の分解能（検出感度）の上昇の程度を緩やかにする制御を実施して、第２の速度値Ｕ２に達したときに検出の分解能（検出感度）が飽和して一定になることによって、変化が急に（唐突に）頭打ちになって違和感が生じることを抑制する制御（特性線Ｑ３で示される制御）を実施する。これらの制御によって、虚像の視認性をさらに改善することができる。
　次に、図１４を参照する。図１４は、第１のワーピング画像補正制御（第１の制御）の手順例を示すフローチャートである。
　ワーピング処理用の視点検出感度として、第１の視点位置検出感度（第２の視点位置検出感度よりも感度が低く設定されている）を採用する（ステップＳ１０）。第２の視点位置検出感度は、本発明の視点位置追従ワーピング処理以外に用いるものであり、一例として、ＨＵＤ装置が有する最大の視点位置検出感度である、と言い換えることもできる。
　次に、視点の位置を監視し（ステップＳ１１）、視点移動の有無を検出する（ステップＳ１２）。ステップＳ１２において、Ｎ（無）のときはステップＳ１１に戻り、Ｙ（有）のときは、視点喪失後に視点位置を再検出したか否かを判定する（ステップＳ１３）。
　ステップＳ１３にてＹのときは、ステップＳ１４に移行し、視点移動は無視し、現在のワーピングパラメータを維持する。ステップＳ１３にてＮのときは、ステップＳ１５に移行して、移動後の視点位置が移動前と同じ領域（区画）に位置するか否かを検出する。
　ステップＳ１５にてＹのときは、ステップＳ１４に移行し、視点移動は無視し、現在のワーピングパラメータを維持する。ステップＳ１５にてＮのときは、ステップＳ１６に移行し、移動後の視点位置（視点が位置する区画）に対応したワーピングパラメータを使用して画像補正を行う。ステップＳ１７にて画像補正を終了するか否かを判定し、Ｙのときは終了し、ＮのときはステップＳ１１に戻る。
　次に、図１５を参照する。図１５は、第２のワーピング画像補正制御（第２の制御）の手順例を示すフローチャートである。ここでは、断続的なワーピングパラメータ更新制御を実施する手法として、粗密分割方式のアイボックスを使用する場合の手順例を示す。
　まず、粗密分割方式のアイボックス（断続的分割方式のアイボックス）を設定する（ステップＳ２０）。続いて、視点位置を監視し（ステップＳ２１）、次に、視点移動の有無を判定する（ステップＳ２２）。
　ステップＳ２２にてＹ（有）のときは、ステップＳ２３に移行して、移動後の視点位置（視点が位置する区画）に対応したワーピングパラメータを使用して画像補正を行う。ステップＳ２２にてＮの場合は、ステップＳ２１に戻る。ステップＳ２４にて画像補正を終了するか否かを判定し、Ｙのときは終了し、ＮのときはステップＳ２１に戻る。
　次に、図１６を参照する。図１６は、第３のワーピング画像補正制御（第３の制御）の手順例を示すフローチャートである。
　車速を検出し（ステップＳ３０）、続いて、車速に応じて、アイボックス内の部分領域（区画）の数を適応的に変更する（ステップＳ３１）。これにより、車速に応じたワーピングパラメータ更新感度の変更がなされる。具体的には、図１３（Ｂ）における特性線Ｑ１、Ｑ２又はＱ３、Ｑ４に応じて、アイボックスの内部の構造を適宜、変更する。次に、視点位置を監視し（ステップＳ３２）、次に、視点移動の有無を判定する（ステップＳ３３）。
　ステップＳ３３にて、ＮのときはステップＳ３２に戻り、Ｙのときは、ステップＳ３４に移行して、移動後の視点位置（視点が位置する区画）に対応したワーピングパラメータを使用して画像補正を行う。次に、ステップＳ３５にて画像補正を終了するか否かを判定し、Ｙのときは終了し、ＮのときはステップＳ３０に戻る。
　次に、図１７を参照する。図１７（Ａ）は、路面重畳ＨＵＤによる表示例を示す図、図１７（Ｂ）は、傾斜面ＨＵＤによる表示例を示す図、図１７（Ｃ）は、ＨＵＤ装置の主要部の構成例を示す図である。
　図１７（Ａ）は、表示部の画像表示面に対応する仮想的な虚像表示面ＰＳが、車両１の前方の、路面４１に重畳するように配置される、路面重畳ＨＵＤによる虚像表示例を示す。
　図１７（Ｂ）は、虚像表示面ＰＳの車両１に近い側の端部である近端部と路面４１との距離が小さく、車両１から遠い側の端部である遠端部と路面４１との距離が大きくなるように、虚像表示面ＰＳが路面４１に対して斜めに傾いて配置される、傾斜面ＨＵＤによる虚像表示例を示す。
　これらは、路面４１に重畳される広い虚像表示面ＰＳ、又は路面４１に対して傾斜して設けられる広い虚像表示面ＰＳを用いて、例えば、車両１の前方５ｍ～１００ｍの範囲で、種々の表示を行うことができるものであり、ＨＵＤ装置は大型化し、アイボックスＥＢも大型化して、従来よりも広い範囲で視点位置を高精度に検出して、適切なワーピングパラメータを用いた画像補正（視点位置追従ワーピング）を行うことが好ましい。この場合、例えば、視点Ａの急な移動等によって、ワーピングパラメータが頻繁に更新される等の事態が生じ、画像（虚像Ｖ）の視認性の低下が生じる場合があり、よって、本発明の制御方式の適用が有効となる。
　次に、図１７（Ｃ）を参照する。図１７（Ｃ）のＨＵＤ装置１０７は、制御部１７１と、空間光変調素子１５１と、画像表示面１６３を有する表示部としてのスクリーン１６１と、反射鏡１３３と、反射面が自由曲面として設計されている曲面ミラー（凹面鏡等）１３１と、表示部１６１を駆動するアクチュエータ１７３と、を有する。
　図１７（Ｃ）の例では、ＨＵＤ装置１０７は、運転者の視点Ａの高さ位置に応じてアイボックスＥＢの位置を調整するに際し、表示光をウインドシールド２に投影する光学部材である曲面ミラー１３１を動かさず（曲面ミラー１３１用のアクチュエータは設けられていない）、画像の表示光５１の、光学部材１３１における反射位置を変更することで対応する。
　言い換えれば、運転者の目（視点Ａ）の高さ位置に応じてアイボックスＥＢの高さ位置を調整する場合に、光を被投影部材２に投影する光学部材１３１を、例えばアクチュエータを用いて回動させるようなことをせず、その光学部材１３１における光の反射位置を変更することで対応する。なお、高さ方向とは、図中のＹ方向（路面４１の垂線に沿う方向であり、路面４１から離れる方向が正の方向となる）。なお、Ｘ方向は、車両１の左右方向、Ｚ方向は車両１の前後方向（あるいは前方方向）である。
　近年のＨＵＤ装置は、例えば車両の前方のかなり広い範囲にわたって虚像を表示することを前提として開発される傾向があり、この場合、必然的に装置が大型化する。当然、光学部材１３１も大型化する。この光学部材１３１をアクチュエータ等を用いて回動等させるとその誤差によって、かえってアイボックスＥＢの高さ位置の制御の精度が低下することがあり、これを防止するために、光線が光学部材１３１の反射面で反射する位置を変更することで対応することとしたものである。
　このような大型の光学部材１３１では、その反射面を自由曲面として最適設計すること等によって、できるかぎり虚像の歪みが顕在化しないようにするが、しかし、上記のように、例えばアイボックスＥＢの周辺に運転者の視点Ａが位置する場合等には、どうしても歪みが顕在化してしまう場合もある。よって、このようなときに、上記のワーピングパラメータの更新の感度を低下させる等の制御を実施することで、虚像Ｖの歪みによる見え方の変化による違和感が生じにくくすることができ、上記の制御を有効に活用して虚像Ｖの視認性を向上させることができる。
　以上説明したように、本発明によれば、運転者の視点位置に応じてワーピングパラメータを更新する視点位置追従ワーピング制御を実施するときに、ワーピングパラメータの更新に伴って画像の見た目が瞬時的に変化して運転者に違和感を生じさせることを、効果的に抑制することができる。
　本発明は、左右の各眼に同じ画像の表示光を入射させる単眼式、左右の各眼に、視差をもつ画像を入射させる視差式のいずれのＨＵＤ装置においても使用可能である。
　本明細書において、車両という用語は、広義に、乗り物としても解釈し得るものである。また、ナビゲーションに関する用語（例えば標識等）についても、例えば、車両の運行に役立つ広義のナビゲーション情報という観点等も考慮し、広義に解釈するものとする。また、ＨＵＤ装置には、シミュレータ（例えば、航空機のシミュレータ）として使用されるものも含まれるものとする。
　本発明は、上述の例示的な実施形態に限定されず、また、当業者は、上述の例示的な実施形態を特許請求の範囲に含まれる範囲まで、容易に変更することができるであろう。
１・・・車両（自車両）、２・・・被投影部材（反射透光部材、ウインドシールド等）、４・・・投影領域、５・・・虚像表示領域、７・・・ステアリングホイール、５１・・・表示光、１００、１０７・・・ＨＵＤ装置、１１０・・・視点検出カメラ１１０、１１２・・・光源、１１４・・・空間光変調素子、１１８・・・投射光学系、１２０・・・視点位置検出部（視点位置判定部）、１２２・・・視点座標検出部、１２４・・・アイボックス内の部分領域検出部、１３０・・・操作入力部、１３１・・・曲面ミラー（凹面鏡等）、１３３・・・反射鏡（反射ミラー、補正鏡等を含む）、１４０・・・車両ＥＣＵ、１５０・・・バス、１５１・・・光源部、１６１・・・表示部（スクリーン等）、１６３・・・表示面（画像表示面）、１７０・・・バスインターフェース、１７１・・・制御部、１７３・・・表示部を駆動するアクチュエータ、１８０・・・表示制御部、１８１・・・速度検出部、１８２・・・視差画像表示制御部、１８３・・・第１の視点位置検出部、１８４・・・ワーピング制御部、１８５・・・ワーピング管理部、１８６・・・第２の視点位置検出部、１８７・・・視点追従制御部、１８８・・・アイボックスの部分領域（区画）情報一時蓄積部、２００・・・画像生成部、２１０・・・ＲＯＭ、２２０・・・ＶＲＡＭ、２１２・・・画像変換テーブル、２２２・・・画像（原画像）データ、２２４・・・ワーピング処理後の画像データ、ＥＢ・・・アイボックス、ＰＳ・・・虚像表示面、Ｖ・・・虚像。

Claims (11)

  1. 　車両に搭載され、画像を生成する画像生成部と、前記画像を表示する表示部と、前記画像の表示光を反射して、被投影部材に投影する光学部材を含む光学系と、を含み、前記画像を、前記車両に備わる被投影部材に投影することで、運転者に前記画像の虚像を視認させるヘッドアップディスプレイ（ＨＵＤ）装置を制御する表示制御装置であって、
    　１つ又はそれ以上のプロセッサを含み、
    　前記プロセッサは、
    　アイボックスにおける運転者の視点位置に応じてワーピングパラメータを更新し、そのワーピングパラメータを用いて前記表示部に表示する画像を、前記画像の虚像の歪み特性とは逆の特性をもつように予め歪ませる視点位置追従ワーピング制御を実施する場合における前記運転者の視点位置検出感度を第１の視点位置検出感度とし、
    　前記ＨＵＤ装置における、前記ワーピングとは異なる動作を、前記アイボックスにおける前記運転者の視点位置に応じて制御する場合における前記運転者の視点位置検出感度を第２の視点位置検出感度とするとき、
    　第１の視点位置検出感度を、第２の視点位置検出感度よりも低く設定する、ことを特徴とする表示制御装置。
  2. 　前記ワーピングとは異なる動作は、運転者の左右の各目に、左目用の視差画像及び右眼用視差画像の各々の表示光を入射させる制御動作である、ことを特徴とする請求項１に記載の表示制御装置。
  3. 　前記アイボックスを複数の部分領域に分割して、各部分領域を単位として前記運転者の視点位置を検出すると共に、
    　前記第１の視点位置検出感度を用いる場合における前記部分領域の数をｍ個（ｍは２以上の自然数）とし、前記第２の視点位置検出感度を用いる場合における前記部分領域の数をｎ個（ｎは３以上の自然数）とするとき、ｍの値は、ｎの値よりも小さく設定される、ことを特徴とする請求項１又は２に記載の表示制御装置。
  4. 　前記運転者の視点から見て車両の幅方向（左右方向）を横方向とし、横方向に直交すると共に、道路の路面の垂線に沿う高さ方向を縦方向とするとき、
    　前記アイボックスの内部が、
    　前記横方向の境界線によっては分割されず、前記縦方向の境界線によってのみ複数の部分領域に分割され、かつ各部分領域は均等である第１の構成である、
    　又は、
    　前記横方向の境界線によっては分割されず、前記縦方向の境界線によってのみ複数の部分領域に分割され、かつ各部分領域は不均等であって、中央が密で周辺が疎、あるいは、中央が疎で周辺が密となるように粗密分割されている第２の構成である、
    　又は、
    　前記縦方向の境界線によっては分割されず、前記横方向の境界線によってのみ複数の部分領域に分割され、かつ各部分領域は均等である第３の構成である、
    　又は、
    　前記縦方向の境界線によっては分割されず、前記横方向の境界線によってのみ複数の部分領域に分割され、かつ各部分領域は不均等であって、中央が密で周辺が疎、あるいは、中央が疎で周辺が密となるように粗密分割されている第４の構成である、
    　又は、
    　前記横方向の境界線、及び縦方向の境界線によって複数の部分領域に分割され、かつ各部分領域は均等である第５の構成の構成である、
    　又は、
    　前記横方向の境界線、及び縦方向の境界線によって複数の部分領域に分割され、かつ各部分領域は不均等であって、中央が密で周辺が疎、あるいは、中央が疎で周辺が密となるように粗密分割されている第６の構成である、
    　ことを特徴とする請求項１乃至３の何れか１項に記載の表示制御装置。
  5. 　前記車両の速度が低速状態か否かを判断する低速状態判定部と、をさらに有し、
    　前記１つ又はそれ以上のプロセッサは、前記車両が、停止状態を含む前記低速状態であるときに、前記第１の視点位置検出感度による前記運転者の視点位置の検出情報を用いて前記視点位置追従ワーピング処理の制御を実施する、ことを特徴とする請求項１乃至４の何れか１項に記載の表示制御装置。
  6. 　前記アイボックスは、前記表示制御装置が動作状態となった初期時点で複数の部分領域に分割されており、
    　前記１つ又はそれ以上のプロセッサは、
    　前記アイボックスの各部分領域を単位として前記視点の位置を判定すると共に、
    　前記車両の速度が速くなることに対応させて、前記アイボックス全体における前記部分領域の数を増やすことで、前記視点位置の検出の分解能を向上させる、
    　ことを特徴とする請求項１乃至４の何れか１項に記載の表示制御装置。
  7. 　前記１つ又はそれ以上のプロセッサは、前記車両の速度が、第１の速度値Ｕ１（Ｕ１＞０）以上で、かつ、前記第１の速度値よりも大きい第２の速度値Ｕ２以下の範囲内にあるときに、前記車両の速度が速くなることに対応した前記視点位置の検出の分解能を向上させる制御を実施し、前記車両の速度が、前記第１の速度値未満であるとき、及び前記第２の速度値より大きいときは、前記視点位置の検出の分解能を一定に保持させる、ことを特徴とする請求項６に記載に表示制御装置。
  8. 　前記車両の速度が速くなることに対応した前記視点位置の検出の分解能を向上させる制御を実施するに際し、
    　車速が前記第１の速度値に近い範囲では、分解能の向上の程度を緩やかにし、第１の速度値から遠ざかるにつれて、前記分解能の向上の程度を急峻にする制御を実施する、
    　又は、
    　車速が前記第１の速度値に近い範囲では、分解能の向上の程度を緩やかにし、前記第１の速度値から遠ざかるにつれて、前記分解能の向上の程度をより急峻にする制御を実施すると共に、車速が前記第２の速度値に近づくにつれて、前記分解能の向上の程度を緩やかにする制御を実施する、
    　ことを特徴とする、請求項７に記載の表示制御装置。
  9. 　前記表示制御装置は、
    　前記運転者の前記視点の高さ位置に応じて前記アイボックスの位置を調整するに際し、前記光学部材を動かさず、前記画像の表示光の、前記光学部材における反射位置を変更する、ことを特徴とする請求項１乃至８の何れか１項に記載の表示制御装置。
  10. 　前記表示部の画像表示面に対応する仮想的な虚像表示面が、前記車両の前方の、路面に重畳するように配置される、
    　又は、
    　前記虚像表示面の前記車両に近い側の端部である近端部と前記路面との距離が小さく、前記車両から遠い側の端部である遠端部と前記路面との距離が大きくなるように、前記路面に対して斜めに傾いて配置される、
    　ことを特徴とする請求項１乃至９の何れか１項に記載の表示制御装置。
  11. 　車両に搭載され、画像を、前記車両に備わる被投影部材に投影することで、運転者に前記画像の虚像を視認させるヘッドアップディスプレイ（ＨＵＤ）装置であって、
    　前記画像を生成する画像生成部と、
    　前記画像を表示する表示部と、
    　前記画像の表示光を反射して、
    　被投影部材に投影する光学部材を含む光学系と、
    　１つ又はそれ以上のプロセッサと、を含み、
    　前記プロセッサは、
    　アイボックスにおける運転者の視点位置に応じてワーピングパラメータを更新し、そのワーピングパラメータを用いて前記表示部に表示する画像を、前記画像の虚像の歪み特性とは逆の特性をもつように予め歪ませる視点位置追従ワーピング制御を実施する場合における前記運転者の視点位置検出感度を第１の視点位置検出感度とし、
    　前記ＨＵＤ装置における、前記ワーピングとは異なる動作を、前記アイボックスにおける前記運転者の視点位置に応じて制御する場合における前記運転者の視点位置検出感度を第２の視点位置検出感度とするとき、
    　第１の視点位置検出感度を、第２の視点位置検出感度よりも低く設定する、ことを特徴とするヘッドアップディスプレイ装置。
PCT/JP2020/036186 2019-09-30 2020-09-25 表示制御装置、及びヘッドアップディスプレイ装置 WO2021065699A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2021551175A JP7544066B2 (ja) 2019-09-30 2020-09-25 表示制御装置、及びヘッドアップディスプレイ装置

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2019-178836 2019-09-30
JP2019178836 2019-09-30
JP2019-235288 2019-12-25
JP2019235288 2019-12-25

Publications (1)

Publication Number Publication Date
WO2021065699A1 true WO2021065699A1 (ja) 2021-04-08

Family

ID=75338049

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/036186 WO2021065699A1 (ja) 2019-09-30 2020-09-25 表示制御装置、及びヘッドアップディスプレイ装置

Country Status (2)

Country Link
JP (1) JP7544066B2 (ja)
WO (1) WO2021065699A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015015708A (ja) * 2013-06-28 2015-01-22 ローベルト ボッシュ ゲゼルシャフト ミット ベシュレンクテル ハフツング 車両のための視野ディスプレイ装置の映像装置を利用して三次元画像を表示するための方法及び装置
JP2019015823A (ja) * 2017-07-05 2019-01-31 京セラ株式会社 ３次元投影装置、３次元投影システム、および移動体
WO2019021340A1 (ja) * 2017-07-24 2019-01-31 三菱電機株式会社 表示制御装置、表示システムおよび表示制御方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015015708A (ja) * 2013-06-28 2015-01-22 ローベルト ボッシュ ゲゼルシャフト ミット ベシュレンクテル ハフツング 車両のための視野ディスプレイ装置の映像装置を利用して三次元画像を表示するための方法及び装置
JP2019015823A (ja) * 2017-07-05 2019-01-31 京セラ株式会社 ３次元投影装置、３次元投影システム、および移動体
WO2019021340A1 (ja) * 2017-07-24 2019-01-31 三菱電機株式会社 表示制御装置、表示システムおよび表示制御方法

Also Published As

Publication number Publication date
JPWO2021065699A1 (ja) 2021-04-08
JP7544066B2 (ja) 2024-09-03

Similar Documents

Publication Publication Date Title
JP7515229B2 (ja) 映像表示システム、映像表示方法、及び、プログラム
CN110308556B (zh) 图像形成、校正、显示系统或方法、移动体、非暂时性计算机可读介质
WO2015141745A1 (ja) 車両用表示装置
JP7396404B2 (ja) 表示制御装置及び表示制御プログラム
JP7126115B2 (ja) 表示システム、移動体、及び、設計方法
JP2021103274A (ja) ヘッドアップディスプレイ装置
JP2018103697A (ja) 車両用表示装置
JP7310817B2 (ja) ヘッドアップディスプレイ装置
WO2021065699A1 (ja) 表示制御装置、及びヘッドアップディスプレイ装置
JP7354846B2 (ja) ヘッドアップディスプレイ装置
JP2019083385A (ja) ヘッドアップディスプレイ装置
JP7223283B2 (ja) 画像処理ユニット及びそれを備えるヘッドアップディスプレイ装置
KR20180046567A (ko) 차량용 헤드 업 디스플레이 제어 장치 및 방법
JP2022036432A (ja) ヘッドアップディスプレイ装置、表示制御装置、及びヘッドアップディスプレイ装置の制御方法
WO2021241718A1 (ja) ヘッドアップディスプレイ装置
JP2019161346A (ja) ヘッドアップディスプレイ装置および表示映像補正方法
WO2021002428A1 (ja) ヘッドアップディスプレイ装置
JP7494646B2 (ja) ヘッドアップディスプレイ装置、表示制御装置、及びヘッドアップディスプレイ装置の制御方法
JP7066271B2 (ja) 画像処理装置、画像処理方法及びヘッドアップディスプレイシステム
WO2020009218A1 (ja) ヘッドアップディスプレイ装置
WO2021132090A1 (ja) 表示制御装置、ヘッドアップディスプレイ装置
JP6943079B2 (ja) 画像処理ユニット及びそれを備えるヘッドアップディスプレイ装置
WO2023074288A1 (ja) 車両用表示装置
WO2019150122A1 (en) Autostereoscopic display
WO2018030203A1 (ja) 表示装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20873109

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021551175

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20873109

Country of ref document: EP

Kind code of ref document: A1