WO2019004237A1 - 画像処理ユニット及びそれを備えるヘッドアップディスプレイ装置 - Google Patents

画像処理ユニット及びそれを備えるヘッドアップディスプレイ装置 Download PDF

Info

Publication number
WO2019004237A1
WO2019004237A1 PCT/JP2018/024267 JP2018024267W WO2019004237A1 WO 2019004237 A1 WO2019004237 A1 WO 2019004237A1 JP 2018024267 W JP2018024267 W JP 2018024267W WO 2019004237 A1 WO2019004237 A1 WO 2019004237A1
Authority
WO
WIPO (PCT)
Prior art keywords
planar shape
virtual image
user
display
virtual
Prior art date
Application number
PCT/JP2018/024267
Other languages
English (en)
French (fr)
Inventor
誠 秦
勇希 舛屋
Original Assignee
日本精機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本精機株式会社 filed Critical 日本精機株式会社
Priority to US16/626,198 priority Critical patent/US20200152157A1/en
Priority to EP18823650.9A priority patent/EP3648096A4/en
Priority to JP2019526954A priority patent/JP7223283B2/ja
Publication of WO2019004237A1 publication Critical patent/WO2019004237A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/14—Display of multiple viewports
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/38—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory with means for controlling the display position
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/20—Linear translation of whole images or parts thereof, e.g. panning
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/002—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to project the image of a two-dimensional display, such as an array of light emitting or modulating elements or a CRT
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37—Details of the operation on graphic patterns
    • G09G5/373—Details of the operation on graphic patterns for modifying the size of the graphic pattern
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/64—Constructional details of receivers, e.g. cabinets or dust covers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/31—Virtual images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/33—Illumination features
    • B60K2360/349—Adjustment of brightness
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/23—Head-up displays [HUD]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/65—Instruments specially adapted for specific vehicle types or users, e.g. for left- or right-hand drive
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/045—Zooming at least part of an image, i.e. enlarging it or shrinking it
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00—Specific applications
    • G09G2380/10—Automotive applications

Definitions

  • the present invention relates to an image processing unit capable of generating a display image based on a viewpoint position of a user, a head-up display device including the same, and the like.
  • the head-up display device of Patent Document 1 recognizes a dividing line such as a white line on a road ahead of a vehicle, and displays a display corresponding to the virtual image so that the dividing line (actual landscape) and the virtual image overlap. Images can be projected or displayed on the windshield of the vehicle.
  • the head-up display device of Patent Document 1 cooperates with a driving assistance device such as a lane departure warning device (LDW device), a lane maintenance assist device (LKA device), etc., and expresses in a virtual image that the driving assistance device is active.
  • a driving assistance device such as a lane departure warning device (LDW device), a lane maintenance assist device (LKA device), etc.
  • LDW device lane departure warning device
  • LKA device lane maintenance assist device
  • the virtual image is a user (driver) as display elements M1, M2, M3, M4, M5, and M6 inclined to the vehicle side. It is visually recognized.
  • the driver's face image taken by the in-vehicle camera is analyzed to calculate the driver's eye position (viewpoint position). Then, according to the viewpoint position obtained by the analysis, the projection positions of the display elements M1 to M6 are adjusted so that the display elements M1 to M6 are recognized to be superimposed on the dividing lines R1 to R6.
  • the viewpoint position is lowered, the inventors have recognized that it is difficult for the user to visually recognize the virtual image, that is, the visibility is lowered.
  • One object of the present invention is to provide an image processing unit capable of improving the visibility of a virtual image and a head-up display device including the same.
  • Other objects of the present invention will become apparent to those skilled in the art by referring to the following exemplified aspects and best embodiments, as well as the attached drawings.
  • the image processing unit A generation unit configured to generate a display image including a display element corresponding to a virtual image viewed by a user;
  • the generation unit determines a planar shape of the display element such that a size of the virtual image visually recognized by the user changes based on a viewpoint height of the user.
  • the viewpoint height changes from a reference position to a position lower than the reference position, the generation unit determines the planar shape of the enlarged display element.
  • the planar shape of the display element is enlarged when the viewpoint height is lowered. Therefore, the size of the virtual image of the display element can be increased by an amount corresponding to the enlargement to improve the visibility.
  • the forward direction of the vehicle having the projection target onto which the virtual image is projected is the forward direction
  • the reverse direction of the vehicle is the backward direction
  • the generation unit determines the planar shape of the virtual image in real space viewed by the user
  • the planar shape of the enlarged display element may be determined such that the planar shape on the virtual plane on which the planar shape of the virtual image is mapped extends in the forward direction and / or the backward direction.
  • the planar shape of the virtual image in the real space viewed by the user or the planar shape on the virtual plane on which the planar shape of the virtual image is mapped extends in the front-back direction It is possible to improve the quality.
  • the generation unit may be configured such that a planar shape of the virtual image in a real space viewed by the user or a planar shape on a virtual plane on which the planar shape of the virtual image is mapped is a first predetermined direction and / or a second predetermined direction.
  • the planar shape of the enlarged display element may be determined to extend in a direction.
  • the planar shape of the virtual image or the planar shape of the virtual image of the virtual image in the real space viewed by the user is mapped to the first predetermined direction and / or Alternatively, it can extend in a second predetermined direction to improve the visibility.
  • the virtual image is projected on the virtual planar surface on which the planar shape of the virtual image in the real space viewed by the user or the planar shape of the virtual image is mapped May be in a direction approaching a vehicle having a projection target member
  • the second predetermined direction is a direction in which the planar shape of the virtual image in the real space viewed by the user or the planar shape on the virtual plane on which the planar shape of the virtual image is mapped is away from the vehicle It may be
  • the viewpoint height when the viewpoint height is lowered, the planar shape of the virtual image in the real space viewed by the user or the planar shape on the virtual plane to which the planar shape of the virtual image is mapped approaches the user (driver) By expanding in the direction, the visibility can be effectively improved.
  • a virtual plane on which the planar shape of the virtual image in the real space viewed by the user or the planar shape of the virtual image is mapped The upper planar shape is enlarged in the direction away from the user (driver), so that the visibility can be effectively improved.
  • the generation unit may dynamically determine the enlargement factor of the planar shape of the display element in response to a change in the viewpoint height.
  • the visibility when the viewpoint height changes, the visibility can be improved in response to the change.
  • the generation unit may weaken or invalidate the display of the planar shape of the enlarged display element.
  • the generation unit determines the planar shape of the display element that is not magnified so that the enlargement ratio of the planar shape of the display element is 1 only while the user's gaze direction is facing the virtual image. May be
  • the improvement of the visibility can be stopped only when the user's gaze direction is facing the display element (virtual image).
  • the user since the user can not visually recognize the enlargement of the plane shape on the virtual plane on which the plane shape of the virtual image or the plane shape of the virtual image in the real space viewed by the user is mapped, erroneous information to the user Presentation can be avoided.
  • the image processing unit is configured to: When the enlargement factor of the planar shape of the display element is larger than 1, notification may be given to the user that the enlargement factor has occurred as the viewpoint height decreases.
  • the viewpoint height may be a fixed value acquired when the vehicle is started.
  • the generation unit may determine an enlargement factor of the planar shape of the display element based on the fixed value.
  • the visibility during driving of the vehicle can be improved by the viewpoint height (fixed value) acquired at the start of the vehicle.
  • the viewpoint height changes from the reference position to a position higher than the reference position
  • the generation unit may determine the planar shape of the display element so that the top planar shape is the same.
  • the planar shape of the virtual image in the real space viewed by the user or the planar shape on the virtual plane to which the planar shape of the virtual image is mapped may be identical.
  • the planar shape of the virtual image in the real space viewed by the user or the planar shape on the virtual plane on which the planar shape of the virtual image is mapped does not decrease the visibility even if it does not extend in the front-rear direction.
  • the head-up display device The image processing unit according to any one of the first to tenth aspects; A display for displaying the display image generated by the image processing unit; Equipped with
  • the head-up display device can display a display image including a display element having an enlarged planar shape when the viewpoint height is lowered. Therefore, the size of the virtual image of the display element can be increased by an amount corresponding to the enlargement to improve the visibility.
  • FIG. 1A shows an example of a schematic configuration of an image processing unit according to the present invention and a head-up display device equipped with the same
  • FIG. 1B is an explanatory view of a virtual image display surface and a virtual plane of FIG.
  • FIG. 2 (B) shows a modification of the virtual image display surface of FIG. 1 (A)
  • FIG. 2 (B) shows an explanatory view of the virtual image display surface and the virtual plane of FIG. 2 (A).
  • FIG. 3 (A) shows an example of an object (actual scenery) recognized through a windshield
  • FIG. 3 (B) is a virtual image (display element) superimposed on the object of FIG. 3 (A).
  • FIG. 1A shows an example of a schematic configuration of an image processing unit according to the present invention and a head-up display device equipped with the same
  • FIG. 1B is an explanatory view of a virtual image display surface and a virtual plane of FIG.
  • FIG. 2 (B) shows a modification of the virtual image display surface of FIG.
  • FIG. 4 (A) shows an example of a virtual image recognized by the user
  • FIG. 4 (B) shows an example of change in the size of the virtual image visually recognized by the user when the viewpoint height becomes low.
  • 4 (C) shows an example of the enlarged virtual image
  • FIG. 4 (D) shows an explanatory view (plan view) of the planar shape of the magnified virtual image in real space or the virtual plane. .
  • FIG. 6 (A) shows a plurality of setting examples of the enlargement ratio of the plane shape of the virtual image in the real space or the plane shape on the virtual plane based on the viewpoint height of the user
  • 5 (B) shows the distance to the vehicle
  • FIG. 6 (A) shows an example of a virtual image recognized by the user when the viewpoint height is lowered
  • FIG. 6 (B) shows a plane shape or a virtual plane of the virtual image of FIG. 6 (A) in side view. An explanatory view of a top plan shape is shown.
  • FIG. 7 (A) shows an example of an enlarged virtual image recognized by the user when the viewpoint height is lowered
  • FIG. 7 (B) is a plane of the virtual image of FIG. 7 (A) in side view.
  • An explanatory view of a plane shape on a shape or a virtual plane is shown.
  • 8 (A) shows a modification of the virtual image of FIG. 7 (A)
  • FIG. 8 (B) is an explanatory view of a plane shape of the virtual image of FIG. 8 (A) in a side view or a plane shape on a virtual plane.
  • FIGS. 9A and 9C shows another modification of the virtual image of FIG. 7A
  • FIG. 9B is a plan view of the virtual image of FIG. 9A in side view.
  • FIG. 10 (A) shows an explanatory view of the positional relationship between an object (forward vehicle) and the host vehicle
  • FIG. 10 (B) shows an explanatory view of a setting example of a predetermined direction.
  • FIG. 1A shows an example of a schematic configuration of a head-up display device (or head-up display system) provided with an image processing unit according to the present invention.
  • the head-up display system includes, for example, an imaging device 103, an image processing unit 300 that processes a captured image from the imaging device 103, and a display based on information from the image processing unit 300.
  • a display controller 200 may be provided that processes the display image to 20 and controls the display 20 based on the display image, and a display mechanism 100 including, for example, the display 20 and the reflector 21.
  • the processing unit 210 of the display controller 200 in FIG. 1A does not have a function of controlling the display 20, and the function may be another device (not shown) or, for example, a display shown in FIG. It may be realized by the image processing unit 300 or the image processing unit 300.
  • an apparatus provided with the function of the generation unit 230 for generating a display image including a display element corresponding to a virtual image viewed by the user can be called an image processing unit according to the present invention.
  • the display controller 200 including the generation unit 230 is an image processing unit.
  • the image processing unit essentially has a function (generation unit 230) for processing a display image, but further has a function (object information acquisition unit 310 and / or viewpoint information acquisition unit 320) for processing a captured image. May be In other words, when the image processing unit 300 has the function of the generation unit 230 for generating a display image including display elements, the image processing unit 300 can be called an image processing unit according to the present invention.
  • An apparatus comprising an image processing unit (for example, the display controller 200 in FIG. 1A) according to the present invention and a display 20 for displaying a display image generated by the image processing unit is a head-up display device according to the present invention It can be called.
  • an image processing unit for example, the display controller 200 in FIG. 1A
  • a display 20 for displaying a display image generated by the image processing unit is a head-up display device according to the present invention It can be called.
  • the imaging device 103 is, for example, a first imaging unit 103-1 capable of imaging a road (an actual landscape on a road) existing in front of a vehicle, and a user as one example.
  • a second imaging unit 103-2 capable of imaging a driver's face.
  • the display mechanism 100 projects a display image (including a display element) on a display range AR (projected member) set in, for example, a part of the windshield 101 of the vehicle, and displays the display element at the viewpoint 102 of the driver of the vehicle.
  • the display image can be displayed in the display range AR such that the virtual image on the virtual image display surface V of the image overlaps the actual scenery (for example, the front vehicle).
  • the display mechanism 100 and the display controller 200 are typically housed inside the dashboard, the display mechanism 100 and a part of the display controller 200 may be disposed outside the dashboard.
  • the display 20 projects a display element or a display image on the windshield 101, for example, the display 20 may be called a projector.
  • the image processing unit 300 shown in FIG. 1A analyzes the captured image from the first imaging unit 103-1, and recognizes from the captured image an object such as a forward vehicle, a pedestrian, or a white line superimposed on the display element.
  • a possible object information acquisition unit 310 can be included.
  • the object information acquisition unit 310 acquires position information of the recognized object (for example, a relative three-dimensional position in real space with reference to the host vehicle), and more preferably, of the recognized object
  • the size eg, the volume of the object in real space
  • the first imaging unit 103-1 is, for example, a stereo camera, and the object information acquisition unit 310 determines the distance between the object and the vehicle (the own vehicle) (the relative distance from the own vehicle to the object) The position of the object on the road surface H (horizontal plane) and the vehicle (the vehicle's own vehicle) (relative distance from the vehicle to the object), and the three sides defining the rectangular parallelepiped surrounding the object (the width and depth of the object You can get height) and.
  • the image processing unit 300 shown in FIG. 1A analyzes the captured image from the second imaging unit 103-2 and has a viewpoint information acquisition unit 320 capable of recognizing the driver's eyes from the captured image. it can.
  • the viewpoint information acquisition unit 320 recognizes the position information of the recognized eye (for example, the ceiling or floor of the host vehicle or a real space when based on a predetermined position between the ceiling and the floor).
  • the relative one-dimensional position (viewpoint height) of (1) can be acquired, and more preferably, the recognized eye direction (line-of-sight direction) can be acquired.
  • the imaging device 103 is installed, for example, in the vicinity of an inner rear view mirror (back mirror) not shown.
  • the first imaging unit 103-1 is located on the windshield 101 side of the inner rear view mirror
  • the second imaging unit 103-2 is located on the driver's seat (not shown) side of the inner rear view mirror Do.
  • the display controller 200 of FIG. 1A includes a processing unit 210.
  • the processing unit 210 includes a generation unit 230, and can preferably further include, for example, a determination unit 220.
  • the processing unit 210 or the determination unit 220 can determine whether the viewpoint 102 of the driver acquired by the viewpoint information acquisition unit 320 has changed in the vertical direction. In addition, when the viewpoint height changes, the determination unit 220 can determine whether the change is large. In addition, the determination unit 220 can determine whether the line of sight direction of the driver acquired by the viewpoint information acquisition unit 320 is facing the display element.
  • the processing unit 210 or the generation unit 230 generates a display image including a display element corresponding to a virtual image viewed by the user, and preferably, the virtual image of the display element is an actual landscape at the viewpoint 102 of the driver of the vehicle.
  • a display image including the display element is generated so as to overlap with (for example, a forward vehicle acquired by the object information acquisition unit 310).
  • the generation unit 230 may determine the position information and the size of the display element based on the viewpoint height of the user who is the user, for example, and the position information of the recognized object, for example, the forward vehicle. it can. More specifically, when the display element is viewed by the user, the generation unit 230 does not depend on the user's viewpoint height so that the virtual image corresponding to the display element has a planar shape in real space. Then, the planar shape of the display element is determined so that the planar shape of the virtual image in real space is the same.
  • the generation unit 230 changes the size of the display element superimposed on the front vehicle
  • the plane shape of the display element is determined so as to be equal to the change in size of the preceding vehicle. That is, the generation unit 230 does not depend on the user's viewpoint height, and for example, the relative positional relationship in real space between the forward vehicle (actual landscape) and the display element to be viewed by the user and the size in the real space
  • the position and appearance shape of the display element in the display image are determined according to the user's viewpoint height so that the relationship does not change.
  • the generation unit 230 determines the planar shape of the display element according to the viewpoint height of the user, and then, when the viewpoint height of the user becomes lower, the display element It is characterized in that the planar shape of is enlarged. Thus, the size of the virtual image of the display element is increased by the magnification.
  • the display controller 200 in FIG. 1A further includes, for example, a storage unit 240.
  • the storage unit 240 stores various data necessary for processing or calculation of the processing unit 210 such as the determination unit 220 and the generation unit 230. be able to.
  • the display controller 200 is typically configured by, for example, a microcomputer, and can include, for example, a CPU, a memory such as a ROM and a RAM, an input / output interface, and the like.
  • the processing unit 210 is typically configured by a CPU and a RAM (work area), and the storage unit 240 is typically configured by a ROM (for example, an EEPROM).
  • the ROM may store a program that causes the CPU to execute a predetermined operation (a method of generating a display image based on the user's viewpoint 102), and the RAM can form a work area of the CPU. Also, the ROM can store, for example, data necessary to determine or calculate the shape of the display element.
  • the display controller 200 is disposed or mounted on a vehicle, and is connected to, for example, the image processing unit 300 or the like via a vehicle-mounted network LAN, which is, for example, a CAN (Controller Area Network).
  • vehicle-mounted network LAN which is, for example, a CAN (Controller Area Network).
  • the display controller 200 may be generally referred to as an electronic control unit (ECU).
  • ECU electronice control unit
  • the display controller 200 in FIG. 1A may input information from the information acquisition unit 400, for example, and may generate a display image including a display element corresponding to a virtual image visually recognized by the user based on the information.
  • the processing unit 210 or the generation unit 230 is, for example, a road surface based on the position (for example, the current position) of the vehicle (the own vehicle) via the in-vehicle network LAN, the road information acquisition unit 410, and the position information acquisition unit 420, for example. Information on the slope of H may be input.
  • the projection position of the display element generated based on the information from the information acquisition unit 400 may be fixed to a part of the display range AR set in the windshield 101, and may be a predetermined object (actual landscape). It does not have to be overlapped.
  • the road information includes the sign information
  • the sign of the road based on the current position is input to the generation unit 230
  • the display element representing the sign of the road is the display range AR set in the windshield 101. May be fixed and displayed.
  • the processing unit 210 or the generation unit 230 may input the speed of the vehicle (the host vehicle) via, for example, the in-vehicle network LAN and the vehicle speed information acquisition unit 430.
  • the speed of the vehicle (self-vehicle) based on the current time is input to the generation unit 230, and the display element representing the speed of the vehicle is displayed by being fixed to a part of the display range AR set in the windshield 101. May be In other words, when displaying a display image, the head-up display device fixes instrument information such as the speed of the vehicle regardless of the position of a predetermined object (actual landscape) while obstacles such as forward vehicles and pedestrians Object information may be changed according to the position of a predetermined object (actual landscape) [0].
  • the display controller 200 may not input information from the information acquisition unit 400 such as the road information acquisition unit 410, the position information acquisition unit 420, and the vehicle speed information acquisition unit 430, for example.
  • the display mechanism 100 or the display 20 is controlled by the display controller 200 or the processing unit 210 in order to make the user visually recognize the virtual image on the virtual image display surface V via the windshield 101.
  • the display 20 can generate or emit display light L (projection light) based on a display image including a display element corresponding to a virtual image.
  • the reflector 21 guides the light path of the display light L from the display 20 to the windshield 101, and the driver can recognize the display light L (display element) on the windshield 101 as a virtual image.
  • the display 20 has a light source unit such as an LED, a display element such as a DMD (Digital Micromirror Device), a screen for receiving light from the display element and displaying a display image (including a display element). .
  • a vehicle (self-vehicle) equipped with a display controller 200 which is an image processing unit and a head-up display device including, for example, a display mechanism 100 is, for example, a car in FIG. It is possible.
  • the height or depth (superimposed distance) of the virtual image display surface V in FIG. 1A at the driver's viewpoint 102 is set to, for example, a predetermined distance from the distance D1 to the distance D3.
  • the lower end of the virtual image display surface V exists forward from the vehicle by the distance D1
  • the upper end of the virtual image display surface V exists forward from the vehicle by the distance D3.
  • the middle point in the up and down direction is located ahead of the vehicle by a distance D2.
  • the distance D1, the distance D2, and the distance D3 are, for example, 20 [m], for example, 30 [m] and, for example, 50 [m].
  • the reflector 21 can be composed of, for example, two reflectors, in other words, the display light from the display 20 to the windshield 101
  • the optical path length of L may be set by the reflector 21, and the distances D1, D2 and D3 represent the ideal driver's viewpoint height (ideal driver's seat height) and display light It may be set according to the optical path length of L.
  • the reflector 21 generally magnifies the display light L from the display 20, and additionally, the reflector 21 or the display controller 200 (for example, the processing unit 210) is generally set to a part of the windshield 101. It is possible to correct distortion (for example, distortion of the glass surface) in the display range AR.
  • FIG. 1B is an explanatory view of a virtual image display surface and a virtual plane of FIG.
  • the virtual image of the display element is recognized, for example, on the virtual image display surface V raised by a predetermined height from the road surface H.
  • the virtual image display surface V is set to a virtual plane S raised by a predetermined height from the road surface H Be done.
  • the virtual image display surface V may not be set parallel to the road surface H, and may be inclined from the road surface H by a predetermined angle.
  • the inclination of the virtual image display surface V is set by the angle of the screen (display surface on which the display 20 displays a display image) or the reflector 21.
  • An actuator capable of rotationally driving the reflector 21 may be provided in the reflector 21.
  • the processing unit 210 of the display controller 200 controls the actuator to set the virtual image display surface V
  • the inclination may be adjusted.
  • the virtual image display surface V is substantially parallel to the road surface H, and the inclination of the virtual image display surface V from the road surface H is 0 degree as an example.
  • To 30 [degree] may be set.
  • the virtual image display surface V is elevated by a predetermined height from the road surface H, but may be set to the road surface H.
  • the virtual plane S is elevated from the road surface H by a predetermined height, but may be set to the road surface H.
  • FIG. 2 (B) shows a modification of the virtual image display surface of FIG. 1 (A), and FIG. 2 (B) shows an explanatory view of the virtual image display surface and the virtual plane of FIG. 2 (A).
  • the virtual image display surface V ′ is substantially perpendicular to the road surface H, and the inclination ⁇ ′ of the virtual image display surface V from the road surface H is one example. It may be set in the range of 80 [degree] to 90 [degree].
  • FIG. 2 (B) shows a modification of the virtual image display surface of FIG. 1 (A)
  • FIG. 2 (B) shows an explanatory view of the virtual image display surface and the virtual plane of FIG. 2 (A).
  • the virtual image display surface V ′ is substantially perpendicular to the road surface H
  • the inclination ⁇ ′ of the virtual image display surface V from the road surface H is one example. It may be set in the range of 80 [degree] to 90 [degree].
  • the actual landscape range (superimposed distance) superimposed by the virtual image on the virtual image display surface V 'at the driver's viewpoint 102 is set to a predetermined distance from the distance D1' to the distance D3 ', for example It is done.
  • the optical path length of the display light L so that the distance D1 ', the distance D2' and the distance D3 'in FIG. 2A are the same as the distance D1, D2 and D3 in FIG. 1A, respectively.
  • the angle of the reflector 21 may be set.
  • the virtual plane S in FIG. 2A is elevated from the road surface H by a predetermined height, the virtual plane S may be set to the road surface H.
  • the virtual image display surface is not limited to the virtual image display surface V of FIG. 1 (A) or the virtual image display surface V ′ of FIG. 2 (A), and, for example, JP-A-2014-181025 and JP-A-2016-068576.
  • a combination of a plurality of virtual image display surfaces may be used.
  • the virtual image display surface may be set to any plane in real space, and may be a virtual image display surface of a so-called 3D head-up display device.
  • FIG. 3A shows an example of an object OB (actual scenery) recognized through the windshield 101.
  • a driver who is a user can travel on a road with, for example, three lanes on one side with his own vehicle, and can recognize a preceding vehicle traveling on a lane next to the left, for example.
  • the object information acquisition unit 310 in FIG. 1A recognizes the vehicle (forward vehicle) as the object OB on the road existing ahead of the own vehicle, and the position of the recognized object OB (forward vehicle) Information can be obtained.
  • FIG. 3B shows an example of a virtual image V1 (display element) superimposed on the object OB of FIG. 3A.
  • the generation unit 230 in FIG. Positional information of a display element corresponding to the virtual image V1 can be determined so as to overlap with the object OB (front vehicle).
  • the virtual image V1 is formed on, for example, a virtual image display surface V which coincides with the virtual plane S of FIG. 1 (B).
  • FIG. 3C is an explanatory view (plan view) of the plane shape of the virtual image V1 in real space or the plane shape on the virtual plane S.
  • FIG. 1 (B) when the virtual image display surface V coincides with the virtual plane S, the virtual image V1 in the real space is formed on the virtual plane S, and hence the virtual image V1 in the real space is
  • the planar shape matches the planar shape on the virtual plane S in real space.
  • the planar shape on the virtual plane S in the real space is, for example, a rectangle defined by the first to fourth sides S1, S2, S3, and S4.
  • FIG. 1 (B) when the virtual image display surface V coincides with the virtual plane S, the virtual image V1 in the real space is formed on the virtual plane S, and hence the virtual image V1 in the real space is
  • the planar shape matches the planar shape on the virtual plane S in real space.
  • the planar shape on the virtual plane S in the real space is, for example, a rectangle defined by the first to fourth sides S1, S2,
  • the center C of the plane shape (rectangle) on the virtual plane S coincides with, for example, the center of the object OB (front vehicle), and the generation unit 230 is the center of the object OB (front vehicle) Can be acquired or calculated, for example, by the information from the object information acquisition unit 310.
  • the plane shape on the virtual plane S in the real space is the virtual plane S (virtual plane S) of a rectangular solid surrounding the object OB (forward vehicle) in the real space acquired by the object information acquisition unit 310.
  • each of of1, of2, of3 and of4 is set to zero, and the rectangle defined by the first to fourth sides S1, S2, S3, and S4 is a plane.
  • the object OB (front vehicle) may be closely enclosed.
  • the size of the object OB may not be strictly acquired by the object information acquisition unit 310, and the object information acquisition unit 310 may be a category of an obstacle or an approaching object (for example, "vehicle” or “walking” Only) may be recognized and assigned a fixed size for each category, and for each type within the category (eg, “ordinary car”, “heavy truck” or “motorcycle” within the vehicle category) , May be assigned a fixed size.
  • the upper planar shape is, for example, a rectangle defined by the first to fourth sides S1, S2, S3, and S4 as shown in FIG. 3C.
  • FIG. 4A shows an example of the virtual image V1 recognized by the user
  • FIG. 4B shows an example of change in the size of the virtual image V1 visually recognized by the user when the viewpoint height is lowered
  • 4C shows an example of the enlarged virtual image V1.
  • FIG. 4D is an explanatory view of the planar shape of the magnified virtual image V1 in real space or the planar shape on the virtual plane S (FIG. 4D). A plan view).
  • the object OB (front vehicle) in FIG. 3 (B) is simplified and represented as a rectangular solid (real rectangular solid) represented by a two-dot chain line.
  • the viewpoint height of the user decreases from the height assumed in FIG. 4A to the height assumed in FIG. 4B
  • the generation unit 230 determines the planar shape of the display element corresponding to the virtual image V1 so that the planar shape on the virtual plane S to which the planar shape of V1 is mapped is the same.
  • the generation unit 230 sets the relative positional relationship in real space between the object OB (front vehicle) visually recognized by the user and the display element (virtual image V1) in real space regardless of the viewpoint height of the user.
  • the position and appearance of the display element in the display image are temporarily determined in accordance with the user's viewpoint height so that the size relationship does not change.
  • the generation unit 230 enlarges the temporarily determined planar shape of the display element (see FIGS. 4C and 4D).
  • the planar shape on the virtual plane S in real space is, by way of example, first to fourth sides S1, S2 ', S3', S4. It is a rectangle defined by. That is, the second side S2 of FIG. 4 (B) is enlarged to the second side S2 ′ of FIG. 4 (C), and the third side S3 of FIG. 4 (B) is the same as FIG. 4 (C). It is expanded to the third side S3 '.
  • the planar shape of the virtual image V1 in the real space viewed by the user or the planar shape on the virtual plane S on which the planar shape of the virtual image V1 is mapped is forward (of 4 ' It extends by an amount of -of 4), and extends by an amount of (of1'-of1) in the backward direction (see FIG. 4D).
  • the generation unit 230 enlarges the planar shape of the display element temporarily determined, the size of the virtual image V1 of the display element (first to fourth sides S1 , S2 ′, S3 ′, and S4 are increased by the amount of enlargement, and visibility can be improved.
  • the generation unit 230 can dynamically determine the planar shape (magnification ratio) of the enlarged display element in response to a change in the viewpoint height of the user.
  • the viewpoint height of the user changes, the visibility can be improved in response to the change.
  • the change of the viewpoint height is large, the improvement of the visibility may be stopped.
  • the determination unit 220 determines whether or not the viewpoint height changes in a predetermined period or more within a predetermined period, and when the amount of change in viewpoint height per unit time is equal to or more than a reference value, The generation unit 230 may not enlarge the temporarily determined planar shape of the display element.
  • the generation unit 230 may increase the display brightness of the display element even if the planar shape of the display element temporarily determined is enlarged.
  • the display of the display element (virtual image V1) may be turned off. After that, when the change in the viewpoint height becomes small, the generation unit 230 can resume the improvement of the visibility. The false recognition that the distance between the object OB (front vehicle) and the vehicle (self-vehicle) has changed by stopping the improvement of the visibility when the change of the viewpoint height is large, or the driver's mistake was made Information presentation can be avoided.
  • the generation unit 230 may not respond to changes in the user's viewpoint height. Specifically, the generation unit 230 can improve the visibility during driving of the vehicle by the viewpoint height (fixed value) acquired at the time of starting the vehicle. In other words, for example, when a woman with a relatively low seating height drives the vehicle, the visibility during driving can be improved at the viewpoint height of the woman.
  • the viewpoint height fixed value
  • the generation unit 230 enlarges the planar shape of the display element temporarily determined by the user when the viewpoint height becomes low, the size of the virtual image V1 of the display element (first to The four sides S1, S2 ', S3', and a rectangle defined by S4 are increased by an amount corresponding to the enlargement, and the visibility can be improved.
  • the determination unit 220 can determine whether the line of sight direction of the driver acquired by the viewpoint information acquisition unit 320 faces the display element (virtual image V1). That is, the generation unit 230 may stop the improvement of the visibility only when the driver's gaze direction is directed to the display element (virtual image V1). By stopping the improvement of the visibility, it is possible to avoid the erroneous information presentation to the driver.
  • the generation unit 230 may not enlarge the virtual image V1.
  • the generation unit 230 enlarges the planar shape of the display element (virtual image V1) in order to improve the visibility, that is, when the enlargement ratio is larger than 1, along with the reduction of the user's viewpoint height.
  • the user can be notified that the planar shape of the display element (virtual image V1) has been enlarged.
  • the generation unit 230 can display a dedicated display element (not shown) indicating that the display element (virtual image V1) has been enlarged according to the user's viewpoint height in the display range AR.
  • the processing unit 210 controls the speaker (not shown) of the vehicle to indicate that the display element (virtual image V1) is enlarged according to the user's viewpoint height. Audio can be output.
  • the user can distinguish between the enlargement of the virtual image V1 according to the user's viewpoint height and the enlargement of the virtual image V1 according to the approach of the object OB (front vehicle).
  • FIG. 5A shows a plurality of setting examples of the enlargement ratio of the plane shape of the virtual image V1 in the real space or the plane shape on the virtual plane S based on the viewpoint height of the user
  • FIG. 5A shows a plurality of setting examples of the enlargement ratio of the plane shape of the virtual image V1 in the real space or the plane shape on the virtual plane S based on the viewpoint height of the user
  • FIG. 5A shows a setting of the magnifying power of the plane shape of virtual image V1 in real space or the plane shape on virtual plane S based on the distance to a vehicle.
  • the determination unit 220 preferably determines whether the viewpoint height of the user is lower than the reference position TH ⁇ , and the viewpoint height of the user is equal to or larger than the reference position TH ⁇ .
  • the planar shape on the virtual plane S in real space is fixed or maintained in a rectangular shape defined by the first to fourth sides S1, S2, S3, S4, for example. Be done.
  • the viewpoint height increases, the planar shape of the virtual image V1 in the real space viewed by the user or the planar shape on the virtual plane S on which the planar shape of the virtual image V1 is mapped is the same.
  • planar shape on the virtual plane S on which the planar shape of the virtual image V1 or the planar shape of the virtual image V1 in the real space viewed by the user is mapped does not extend in the front-rear direction as shown in FIG. Also, the visibility in FIG. 4A does not decrease.
  • Tall and Short in FIG. 5A respectively indicate the maximum value and the minimum value of the viewpoint height of the driver who is the user assumed in the room of the vehicle. Normal in FIG. 5A indicates the viewpoint height of an ideal driver.
  • the enlargement ratio ⁇ may be determined by a dashed line or dashed line other than the solid line in FIG. 5 (A).
  • the alternate long and short dash line can represent the magnification ratio ⁇ by an upward convex curve, which means that visibility can be further improved when the viewpoint height is lowered.
  • the generation unit 230 can use, for example, the enlargement ratio ⁇ shown in FIG. 5 (B). That is, the generation unit 230 can determine the planar shape of the display element such that the planar shape on the virtual plane S is enlarged at the enlargement ratio ⁇ ⁇ the enlargement ratio ⁇ .
  • the enlargement ratio ⁇ larger than 1 can be set.
  • each minimum value of the enlargement factor ⁇ and the enlargement factor ⁇ is one or more, but may be set smaller than one.
  • the reduction may be performed based on the enlargement factor “1”.
  • the planar shape on the virtual plane S is enlarged by the enlargement ratio “1” on the basis of the minimum value smaller than 1.
  • FIG. 6 (A) shows an example of the virtual image V1 recognized by the user when the viewpoint height becomes low
  • FIG. 6 (B) shows the planar shape or the virtual image V1 of FIG. 6 (A) in side view.
  • the explanatory view of the plane shape on virtual plane S is shown. 6A and 6B correspond to FIG. 4B, and the plane shape on the virtual plane S in real space is, for example, the first to fourth sides S1, S2, S3, and S4.
  • the inventors have recognized that it is difficult for the user to visually recognize the virtual image V1, that is, the visibility is lowered (FIG. 6 (A )reference).
  • FIG. 7A shows an example of the enlarged virtual image V1 recognized by the user when the viewpoint height becomes low
  • FIG. 7B shows the virtual image V1 of FIG. 7A in side view.
  • An explanatory view of a plane shape of the plane or a plane shape on the virtual plane S is shown.
  • 7 (A) and 7 (B) correspond to FIG. 4 (C)
  • the planar shape on the virtual plane S in the real space is, for example, the first to fourth sides S1, S2 ', S3', In the rectangular and enlarged situation defined by S4, the inventors recognized improvement in visibility when the viewpoint height is lowered (see FIG. 7A).
  • FIG. 8A shows a modification of the virtual image V1 of FIG. 7A
  • FIG. 8B shows a plane shape of the virtual image V1 of FIG. 8A in a side view or a plane shape on the virtual plane S.
  • FIG. 8A Even if the planar shape on the virtual plane S on which the planar shape of the virtual image V1 or the planar shape of the virtual image V1 in the real space to be viewed by the user is mapped extends by (of4'-of4) in the forward direction, the present invention The authors recognized improvement in visibility (see FIG. 8A).
  • FIGS. 9A and 9C shows another modification of the virtual image V1 of FIG. 7A
  • FIG. 9B shows the virtual image V1 of FIG. 9A in a side view.
  • An explanatory view of a plane shape or a plane shape on a virtual plane S is shown. Even if the planar shape on the virtual plane S on which the planar shape of the virtual image V1 or the planar shape of the virtual image V1 in the real space to be viewed by the user is mapped extends by (of1'-of1) in the backward direction, The authors recognized improvement in visibility (see FIG. 9A).
  • the object OB front vehicle
  • the object OB front vehicle
  • the generation unit 230 can determine the shape of the display element corresponding to the virtual image V1 so as to omit the portion of the virtual image V1 behind the.
  • FIG. 10A shows an explanatory view of the positional relationship between the object OB (front vehicle) and the host vehicle
  • FIG. 10B shows an explanatory view of a setting example of a predetermined direction (first predetermined direction).
  • the coordinates in the real space, x w-axis can be represented by y w-axis and z w-axis may also be referred to as a world coordinate.
  • the predetermined direction DR1 w is parallel to the z w axis
  • the first side S1 of the planar shape on the virtual plane S is expanded in the predetermined direction DR1 w .
  • the side S1 approaches the host vehicle.
  • the predetermined direction DR1 w coincides with the reverse direction of the subject vehicle.
  • the fourth side S4 of the planar shape on the virtual plane S is expanded in the opposite direction of the predetermined direction DR1 w (the second predetermined direction: the forward direction of the host vehicle), The side S4 of the vehicle will be away from the vehicle.
  • x l-axis may be defined in the local coordinates of the object OB (the vehicle ahead) which can be represented by y l-axis and z l axis.
  • the boundary L1 between the object OB (front vehicle) and the road surface H is perpendicular to the zl axis, and the predetermined direction DRl l coincides with the predetermined direction DRl w .
  • the predetermined direction DR1 w or DR1 l is not limited to the reverse direction of the vehicle of FIG. 10A or the direction in which the first side S1 is away from the boundary L1, and the plane shape on the virtual plane S approaches the vehicle If it is In FIG. 10B, the predetermined direction DR m is represented by a dotted line, and the viewpoint of the driver of the own vehicle from a reference point R (eg, center, center of gravity, etc.) on the road surface H of the object OB (forward vehicle). to match the direction M toward the 102, it is possible to set a predetermined direction DR m on a straight line (virtual straight line) connecting the viewpoint 102 of the driver, for example, the center and the vehicle of the object OB (the vehicle ahead).
  • the viewpoint 102 the viewpoint 102
  • the predetermined direction DR1 w or DR1 l , or the predetermined direction DR m , the plane shape of the virtual image V1 on the virtual plane S is the boundary L1 between the object OB (forward vehicle) and the road surface H, It may be enlarged in the direction in which the gap or area on the imaginary plane S is increased, which is defined between the outer edge S1 of the plane shape of the virtual image V1 on the plane S.
  • the gap on the virtual plane S (the area on the virtual plane) can be increased to further improve the visibility.
  • the predetermined direction DR1 w or DR1 l is set, or alternatively, the predetermined direction DR m is set to the traveling direction of the object OB (obstacle),
  • the virtual image V1 may be enlarged.
  • the direction in which the virtual image V1 is enlarged may include not only the first predetermined direction but also the opposite direction (second predetermined direction) of the first predetermined direction.
  • the direction in which the virtual image V1 is enlarged may be only the direction opposite to the first predetermined direction (second predetermined direction) instead of the first predetermined direction.
  • 20 display, 21: reflector, 100: display mechanism, 101: windshield, 102: viewpoint of user (driver), 103: imaging device, 200 ..
  • Display controller in a broad sense, an image processing unit 210 processing unit 220 determination unit 230 generation unit 240 storage unit 300 image processing unit 310 ... object information acquisition unit, 320 ... viewpoint information acquisition unit, 400 ... information acquisition unit, AR ... display range, DR1 w , DR1 l , DR m ... predetermined direction, L ... Display light, H: Road surface, OB: Object, R: Reference point, V: Virtual image display surface, V1: Virtual image.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Instrument Panels (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

虚像の視認性を向上させる。　例えば表示コントローラ２００に適用される画像処理ユニットは、ユーザによって視認される虚像Ｖ１に対応する表示要素を含む表示画像を生成する生成部２３０を備える。生成部２３０は、ユーザの視点高さに基づきユーザによって視認される虚像Ｖ１の大きさが変化するように、表示要素の平面形状を決定する。具体的には、視点高さが基準位置ＴＨαから、基準位置ＴＨαよりも低い位置Ｎｏｒｍａｌ，Ｓｈｏｒｔに変化する時に、生成部２３０は、拡大された表示要素の平面形状を決定する。例えば、ユーザによって視認される実空間での虚像Ｖ１の平面形状Ｓ１，Ｓ２'，Ｓ３'，Ｓ４が前方向及び後方向に伸びる。

Description

画像処理ユニット及びそれを備えるヘッドアップディスプレイ装置
　本発明は、ユーザの視点位置に基づく表示画像を生成可能な画像処理ユニット及びそれを備えるヘッドアップディスプレイ装置等に関する。
　例えば特許文献１のヘッドアップディスプレイ装置は、車両の前方に存在する道路上の白線等の区画線を認識し、その区画線（実際の風景）と虚像が重なるように、その虚像に対応する表示画像を車両のウインドシールド（フロントガラス）に投影又は表示することができる。特に、特許文献１のヘッドアップディスプレイ装置は、レーン逸脱警告装置（ＬＤＷ装置）、レーン維持アシスト装置（ＬＫＡ装置）等の運転支援装置と連携し、運転支援装置がアクティブであることを虚像で表す。具体的には、特許文献１の例えば図３，図４に示されるように、その虚像は、車両側に傾斜する表示要素Ｍ１，Ｍ２，Ｍ３，Ｍ４，Ｍ５，Ｍ６として、ユーザ（運転者）に視認される。
特開２０１６－１１０６２７号公報
　特許文献１の段落［００１８］の記載によれば、車内カメラにより撮影された運転者の顔画像を解析して、運転者の眼球位置（視点位置）を演算する。そして、解析により得られた視点位置に応じて、表示要素Ｍ１～Ｍ６が区画線Ｒ１～Ｒ６と重畳して視認されるように表示要素Ｍ１～Ｍ６の投影位置を調節する。しかしながら、視点位置が低くなる時に、本発明者らは、ユーザが虚像を視認し難いこと、即ち視認性の低下を認識した。
　本発明の１つの目的は、虚像の視認性を向上可能な画像処理ユニット及びそれを備えるヘッドアップディスプレイ装置を提供することである。本発明の他の目的は、以下に例示する態様及び最良の実施形態、並びに添付の図面を参照することによって、当業者に明らかになるであろう。
　以下に、本発明の概要を容易に理解するために、本発明に従う態様を例示する。
　第１の態様において、画像処理ユニットは、
　ユーザによって視認される虚像に対応する表示要素を含む表示画像を生成する生成部を　備え、
　前記生成部は、前記ユーザの視点高さに基づき前記ユーザによって視認される前記虚像の大きさが変化するように、前記表示要素の平面形状を決定し、
　前記視点高さが基準位置から、前記基準位置よりも低い位置に変化する時に、前記生成部は、拡大された前記表示要素の前記平面形状を決定する。
　第１の態様では、視点高さが低くなる時に、表示要素の平面形状は、拡大されている。従って、その表示要素の虚像の大きさは、その拡大の分だけ増大し、視認性を向上させることができる。
　第１の態様に従属する第２の態様において、
　前記虚像が投射される被投影部材を有する車両の前進方向を前方向とし、前記車両の後進方向を後方向とし、前記生成部は、前記ユーザによって視認される実空間での前記虚像の平面形状又は前記虚像の前記平面形状が写像される仮想平面上の平面形状が前方向及び／又は後方向に伸びるように、拡大された前記表示要素の前記平面形状を決定してもよい。
　第２の態様では、視点高さが低くなる時に、ユーザによって視認される実空間での虚像の平面形状又は虚像の平面形状が写像される仮想平面上の平面形状が前後方向に伸びて、視認性を向上させることができる。
　第１の態様に従属する第３の態様において、
　前記生成部は、前記ユーザによって視認される実空間での前記虚像の平面形状又は前記虚像の前記平面形状が写像される仮想平面上の平面形状が第１の所定方向及び／又は第２の所定方向に伸びるように、拡大された前記表示要素の前記平面形状を決定してもよい。
　第３の態様では、視点高さが低くなる時に、ユーザによって視認される実空間での虚像の平面形状又は虚像の平面形状が写像される仮想平面上の平面形状が第１の所定方向及び／又は第２の所定方向に伸びて、視認性を向上させることができる。
　第３の態様に従属する第４の態様において、
　前記第１の所定方向は、前記ユーザによって視認される実空間での前記虚像の前記平面形状又は前記虚像の前記平面形状が写像される前記仮想平面上の前記平面形状が、前記虚像が投射される被投影部材を有する車両に近づく方向であってもよく、
　前記第２の所定方向は、前記ユーザによって視認される実空間での前記虚像の前記平面形状又は前記虚像の前記平面形状が写像される前記仮想平面上の前記平面形状が、前記車両から離れる方向であってもよい。
　第４の態様では、視点高さが低くなる時に、ユーザによって視認される実空間での虚像の平面形状又は虚像の平面形状が写像される仮想平面上の平面形状がユーザ（運転者）に近づく方向に拡大されて、視認性を効果的に向上させることができる。これに代えて、或いは、これに加えて、第４の態様では、視点高さが低くなる時に、ユーザによって視認される実空間での虚像の平面形状又は虚像の平面形状が写像される仮想平面上の平面形状がユーザ（運転者）から離れる方向に拡大されて、視認性を効果的に向上させることができる。
　第１乃至第４の何れか１つの態様に従属する第５の態様において、
　前記生成部は、前記視点高さの変化に応答して、前記表示要素の前記平面形状の拡大率を動的に決定してもよい。
　第５の態様では、視点高さが変化する時に、その変化に応答して、視認性を向上させることができる。
　第５の態様に従属する第６の態様において、
　単位時間あたりの前記視点高さの変化量が基準値以上である時に、前記生成部は、拡大された前記表示要素の前記平面形状の表示を弱める又は無効化してもよい。
　第６の態様では、視点高さの変化が大きい時に、視認性の向上を中止することができる。
　第５又は第６の態様に従属する第７の態様において、
　前記ユーザの視線方向が前記虚像を向いている間だけ、前記表示要素の前記平面形状の前記拡大率が１であるように、前記生成部は、拡大されない前記表示要素の前記平面形状を決定してもよい。
　第７の態様では、ユーザの視線方向が表示要素（虚像）を向いている時だけ、視認性の向上を中止させることができる。言い換えれば、ユーザは、ユーザによって視認される実空間での虚像の平面形状又は虚像の平面形状が写像される仮想平面上の平面形状の拡大を視認することができないため、ユーザへの誤った情報提示を回避することができる。
　第５乃至第７の何れか１つの態様に従属する第８の態様において、画像処理ユニットは、
　前記表示要素の前記平面形状の前記拡大率が１よりも大きい時に、前記視点高さの低下に伴って前記拡大率が発生したことを前記ユーザに報知してもよい。
　第８の態様では、ユーザの視点高さに応じた虚像の移動を報知することができる。
　第１乃至第４の何れか１つの態様に従属する第９の態様において、
　前記視点高さは、車両始動時に取得された固定値であってもよく、
　前記生成部は、前記固定値に基づき、前記表示要素の前記平面形状の拡大率を決定してもよい。
　第９の態様では、車両始動時に取得した視点高さ（固定値）で、車両運転中の視認性を向上させることができる。
　第１乃至第９の何れか１つの態様に従属する第１０の態様において、
　前記視点高さが前記基準位置から、前記基準位置よりも高い位置に変化する時に、前記ユーザによって視認される実空間での前記虚像の平面形状又は前記虚像の前記平面形状が写像される仮想平面上の平面形状が同一であるように、前記生成部は、前記表示要素の前記平面形状を決定してもよい。
　第１０の態様では、視点高さが高くなる時に、ユーザによって視認される実空間での虚像の平面形状又は虚像の平面形状が写像される仮想平面上の平面形状は、同一であってもよく、言い換えれば、ユーザによって視認される実空間での虚像の平面形状又は虚像の平面形状が写像される仮想平面上の平面形状は、前後方向に伸びなくても、視認性は、低下しない。
　第１１の態様において、ヘッドアップディスプレイ装置は、
　第１乃至第１０の何れか１つの態様に従う前記画像処理ユニットと、
　前記画像処理ユニットで生成された前記表示画像を表示する表示器と、
　を備える。
　第１１の態様では、ヘッドアップディスプレイ装置は、視点高さが低くなる時に、拡大された平面形状を有する表示要素を含む表示画像を表示することができる。従って、その表示要素の虚像の大きさは、その拡大の分だけ増大し、視認性を向上させることができる。
　当業者は、例示した本発明に従う態様が、本発明の精神を逸脱することなく、さらに変更され得ることを容易に理解できるであろう。
図１（Ａ）は、本発明に従う画像処理ユニット及びそれを備えるヘッドアップディスプレイ装置の概略構成例を示し、図１（Ｂ）は、図１（Ａ）の虚像表示面及び仮想平面の説明図を示す。 図２（Ｂ）は、図１（Ａ）の虚像表示面の変形例を示し、図２（Ｂ）は、図２（Ａ）の虚像表示面及び仮想平面の説明図を示す。 図３（Ａ）は、ウインドシールドを介して認識される物体（実際の風景）の１例を示し、図３（Ｂ）は、図３（Ａ）の物体に重畳される虚像（表示要素）の１例を示し、図３（Ｃ）は、実空間での虚像の平面形状又は仮想平面上の平面形状の説明図（平面図）を示す。 図４（Ａ）は、ユーザによって認識される虚像の１例を示し、図４（Ｂ）は、視点高さが低くなる時に、ユーザによって視認される虚像の大きさの変化例を示し、図４（Ｃ）は、増大された虚像の１例を示し、図４（Ｄ）は、実空間での拡大された虚像の平面形状又は仮想平面上の平面形状の説明図（平面図）を示す。 ５（Ａ）は、ユーザの視点高さに基づく、実空間での虚像の平面形状又は仮想平面上の平面形状の拡大率の複数の設定例を示し、５（Ｂ）は、車両までの距離に基づく、実空間での虚像の平面形状又は仮想平面上の平面形状の拡大率の設定例を示す。 図６（Ａ）は、視点高さが低くなる時に、ユーザによって認識される虚像の１例を示し、図６（Ｂ）は、側面視における図６（Ａ）の虚像の平面形状又は仮想平面上の平面形状の説明図を示す。 図７（Ａ）は、視点高さが低くなる時に、ユーザによって認識される、増大された虚像の１例を示し、図７（Ｂ）は、側面視における図７（Ａ）の虚像の平面形状又は仮想平面上の平面形状の説明図を示す。 図８（Ａ）は、図７（Ａ）の虚像の変形例を示し、図８（Ｂ）は、側面視における図８（Ａ）の虚像の平面形状又は仮想平面上の平面形状の説明図を示す。 図９（Ａ）及び図９（Ｃ）の各々は、図７（Ａ）の虚像の他の変形例を示し、図９（Ｂ）は、側面視における図９（Ａ）の虚像の平面形状又は仮想平面上の平面形状の説明図を示す。 図１０（Ａ）は、物体（前方車両）と自車両との位置関係の説明図を示し、図１０（Ｂ）は、所定方向の設定例の説明図を示す。
　以下に説明する最良の実施形態は、本発明を容易に理解するために用いられている。従って、当業者は、本発明が、以下に説明される実施形態によって不当に限定されないことを留意すべきである。
　図１（Ａ）は、本発明に従う画像処理ユニットを備えるヘッドアップディスプレイ装置（又はヘッドアップディスプレイシステム）の概略構成例を示す。図１（Ａ）に示されるように、ヘッドアップディスプレイシステムは、例えば撮像装置１０３と、撮像装置１０３からの撮像画像を処理する画像処理部３００と、画像処理部３００からの情報に基づき表示器２０への表示画像を処理し、且つ表示画像に基づき表示器２０を制御する表示コントローラ２００と、例えば表示器２０及び反射器２１を含む表示機構１００と、を備えることができる。なお、図１（Ａ）の表示コントローラ２００の処理部２１０は、表示器２０を制御する機能を有さないで、その機能は、他の装置（図示せず）、又は、図示される例えば表示器２０又は画像処理部３００によって実現されてもよい。
　本明細書において、ユーザによって視認される虚像に対応する表示要素を含む表示画像を生成する生成部２３０の機能を備える装置は、本発明に従う画像処理ユニットと呼ぶことができる。１例として、生成部２３０は、図１（Ａ）の表示コントローラ２００に適用されているので、生成部２３０を備える表示コントローラ２００は、画像処理ユニットである。画像処理ユニットは、本質的には、表示画像を処理する機能（生成部２３０）を有するが、撮像画像を処理する機能（物体情報取得部３１０及び／又は視点情報取得部３２０）を更に有してもよい。言い換えれば、画像処理部３００が表示要素を含む表示画像を生成する生成部２３０の機能を備える時に、その画像処理部３００は、本発明に従う画像処理ユニットと呼ぶことができる。
　また、本発明に従う画像処理ユニット（例えば図１（Ａ）表示コントローラ２００）と、画像処理ユニットで生成された表示画像を表示する表示器２０と、を備える装置は、本発明に従うヘッドアップディスプレイ装置と呼ぶことができる。
　図１（Ａ）において、撮像装置１０３は、１例として、例えば車両の前方に存在する道路（道路上の実際の風景）を撮像可能である第１の撮像部１０３－１と、ユーザである例えば運転者の顔を撮像可能である第２の撮像部１０３－２と、を有している。表示機構１００は、車両のウインドシールド１０１の例えば一部に設定される表示範囲ＡＲ（被投影部材）に表示画像（表示要素を含む）を投影して、車両の運転者の視点１０２で表示要素の虚像表示面Ｖ上の虚像が実際の風景（例えば前方車両）と重なるように表示画像を表示範囲ＡＲに表示可能である。表示機構１００及び表示コントローラ２００は、典型的にはダッシュボードの内部に収納されているが、表示機構１００及び表示コントローラ２００の一部がダッシュボードの外部に配置されてもよい。なお、表示器２０は、例えばウインドシールド１０１に表示要素又は表示画像を投影するので、投影器と呼ばれてもよい。
　図１（Ａ）の画像処理部３００は、第１の撮像部１０３－１からの撮像画像を解析し、その撮像画像から、表示要素に重ねられる前方車両、歩行者、白線等の物体を認識可能な物体情報取得部３１０を有することができる。好ましくは、物体情報取得部３１０は、認識した物体の位置情報（例えば自車両を基準とした時の実空間での相対的な３次元の位置）を取得し、更に好ましくは、認識した物体の大きさ（例えば実空間での物体の体積）を取得することができる。第１の撮像部１０３－１は、例えばステレオカメラであり、物体情報取得部３１０は、左右の撮像画像から、物体と車両（自車両）との距離（自車両から物体までの相対距離）と、道路面Ｈ（水平面）上の物体と車両（自車両）との位置（自車両から物体までの相対距離）と、物体を取り囲む直方体を規定する３辺の長さ（物体の幅と奥行きと高さ）と、を取得することができる。
　図１（Ａ）の画像処理部３００は、第２の撮像部１０３－２からの撮像画像を解析し、その撮像画像から、運転者の目を認識可能な視点情報取得部３２０を有することができる。好ましくは、視点情報取得部３２０は、認識した目の位置情報（例えば自車両の室内の天井、又は、床、又は、天井と床との間の所定の位置を基準とした時の実空間での相対的な１次元の位置（視点高さ））を取得し、更に好ましくは、認識した目の向き（視線方向）を取得することができる。
　撮像装置１０３は、例えば図示されないインナーリアビューミラー（バックミラー）の付近に設置されている。１例として、第１の撮像部１０３－１は、インナーリアビューミラーのウインドシールド１０１側に位置し、第２の撮像部１０３－２は、インナーリアビューミラーの運転席（図示せず）側に位置する。
　図１（Ａ）の表示コントローラ２００は、処理部２１０を有している。処理部２１０は、生成部２３０を有し、好ましくは、例えば判定部２２０を更に有することができる。処理部２１０又は判定部２２０は、視点情報取得部３２０によって取得される運転者の視点１０２が上下方向に変化しているか否かを判定することができる。また、判定部２２０は、視点高さが変化する時に、その変化が大きいか否かを判定することができる。加えて、判定部２２０は、視点情報取得部３２０によって取得される運転者の視線方向が表示要素を向いているか否かを判定することができる。
　次に、処理部２１０又は生成部２３０は、ユーザによって視認される虚像に対応する表示要素を含む表示画像を生成し、好ましくは、車両の運転者の視点１０２で表示要素の虚像が実際の風景（物体情報取得部３１０によって取得される例えば前方車両）と重なるように、その表示要素を含む表示画像を生成する。
　具体的には、生成部２３０は、ユーザである例えば運転者の視点高さと、認識した物体である例えば前方車両の位置情報と、に基づき、表示要素の位置情報及び大きさを決定することができる。より具体的には、生成部２３０は、表示要素がユーザによって視認される時に、その表示要素に対応する虚像が実空間上で平面形状を有するように、且つ、ユーザの視点高さに依存しないで、実空間での虚像の平面形状が同一であるように、表示要素の平面形状を決定する。言い換えれば、生成部２３０は、ユーザの視点高さに応じて、ユーザによって視認される例えば前方車両（実際の風景）の大きさが変化する時に、その前方車両に重ねる表示要素の大きさの変化が、前方車両の大きさの変化と等しくなるように、ユーザの視点高さに応じて、表示要素の平面形状を決定する。即ち、生成部２３０は、ユーザの視点高さに依らず、ユーザによって視認される例えば前方車両（実際の風景）と表示要素との実空間での相対的な位置関係及び実空間での大きさ関係が変化しないように、ユーザの視点高さに応じて、表示画像内の表示要素の位置及び見た目の形状を決定する。
　但し、ユーザの視点高さが低くなる時に、虚像の視認性が低下することを本発明者らは認識した。詳細は、後述するが、視認性を向上させるために、生成部２３０は、ユーザの視点高さに応じて表示要素の平面形状を決定した後、ユーザの視点高さが低くなる時に、表示要素の平面形状を拡大することを特徴とする。従って、その表示要素の虚像の大きさは、その拡大の分だけ増大する。
　図１（Ａ）の表示コントローラ２００は、例えば記憶部２４０を更に備え、記憶部２４０は、例えば判定部２２０、生成部２３０等の処理部２１０の処理又は演算に必要な様々なデータを記憶することができる。表示コントローラ２００は、典型的には例えばマイクロコンピュータで構成され、例えばＣＰＵと、ＲＯＭ、ＲＡＭ等のメモリと、入出力インターフェース等を含むことができる。処理部２１０は、典型的にはＣＰＵ及びＲＡＭ（ワーク領域）で構成され、記憶部２４０は、典型的にはＲＯＭ（例えばＥＥＰＲＯＭ）で構成される。例えば、ＲＯＭは、ＣＰＵに所定の動作（ユーザの視点１０２に基づく表示画像を生成する方法）を実行させるプログラムを記憶してもよく、ＲＡＭは、ＣＰＵのワーク領域を形成することができる。また、ＲＯＭは、例えば表示要素の形状を決定又は演算するために必要なデータを記憶することができる。
　表示コントローラ２００は、車両に配置又は搭載され、例えばＣＡＮ（Controller Area Network）である車載ネットワークＬＡＮを介して、例えば画像処理部３００等に接続されている。表示コントローラ２００は、一般に、ＥＣＵ（Electronic Control Unit）と呼ばれてもよい。
　図１（Ａ）の表示コントローラ２００は、例えば情報取得部４００からの情報を入力し、その情報に基づき、ユーザによって視認される虚像に対応する表示要素を含む表示画像を生成してもよい。具体的には、処理部２１０又は生成部２３０は、例えば車載ネットワークＬＡＮ、道路情報取得部４１０及び位置情報取得部４２０を介して、車両（自車両）の位置（例えば現在位置）に基づく道路面Ｈの勾配の情報を入力してもよい。
　なお、情報取得部４００からの情報に基づき生成された表示要素の投影位置は、ウインドシールド１０１に設定される表示範囲ＡＲの一部に固定されてもよく、所定の物体（実際の風景）に重ねられなくてもよい。例えば、道路情報の中に標識情報が含まれる時に、現在位置に基づく道路の標識が、生成部２３０に入力されて、道路の標識を表す表示要素は、ウインドシールド１０１に設定される表示範囲ＡＲの一部に固定されて、表示されてもよい。
　また、処理部２１０又は生成部２３０は、例えば車載ネットワークＬＡＮ及び車速情報取得部４３０を介して、車両（自車両）の速度を入力してもよい。現在時刻に基づく車両（自車両）の速度が、生成部２３０に入力されて、車両の速度を表す表示要素は、ウインドシールド１０１に設定される表示範囲ＡＲの一部に固定されて、表示されてもよい。言い換えれば、ヘッドアップディスプレイ装置は、表示画像を表示する時に、所定の物体（実際の風景）の位置に依らず、車両の速度等の計器情報を固定する一方、前方車両、歩行者等の障害物情報を所定の物体（実際の風景）の位置に応じて変化させてもよい[0]。なお、表示コントローラ２００は、例えば道路情報取得部４１０、位置情報取得部４２０、車速情報取得部４３０等の情報取得部４００からの情報を入力しなくてもよい。
　図１（Ａ）において、表示機構１００又は表示器２０は、ウインドシールド１０１を介して虚像表示面Ｖ上の虚像をユーザに視認させるために、表示コントローラ２００又は処理部２１０によって制御され、これにより、表示器２０は、虚像に対応する表示要素を含む表示画像に基づく表示光Ｌ（投影光）を生成又は放出することができる。反射器２１は、表示器２０からの表示光Ｌの光路をウインドシールド１０１に導き、運転者は、ウインドシールド１０１での表示光Ｌ（表示要素）を虚像として認識することができる。なお、表示器２０は、例えばＬＥＤ等の光源部、例えばＤＭＤ（Digital Micromirror Device）等の表示素子、表示素子からの光を受光して表示画像（表示要素を含む）を表示するスクリーン等を有する。
　画像処理ユニットである表示コントローラ２００及び例えば表示機構１００を備えるヘッドアップディスプレイ装置が搭載される車両（自車両）は、図１（Ａ）において例えば自動車であり、自動車は道路面Ｈの上を走行可能である。運転者の視点１０２で、図１（Ａ）の虚像表示面Ｖの高さ又は奥行き（重畳距離）は、例えば距離Ｄ１から距離Ｄ３までの所定距離に設定されている。言い換えれば、運転者の視点１０２で、虚像表示面Ｖの下端は、車両から距離Ｄ１だけ前方に存在し、虚像表示面Ｖの上端は、車両から距離Ｄ３だけ前方に存在し、虚像表示面Ｖの上下方向の中点は、車両から距離Ｄ２だけ前方に存在している。距離Ｄ１、距離Ｄ２及び距離Ｄ３は、それぞれ、例えば２０［ｍ］、例えば３０［ｍ］及び例えば５０［ｍ］である。
　図１（Ａ）において、１つの反射器２１が示されているが、反射器２１は、例えば２つの反射器で構成することができ、言い換えれば、表示器２０からウインドシールド１０１までの表示光Ｌの光路長は、反射器２１によって設定されてもよく、距離Ｄ１、距離Ｄ２及び距離Ｄ３は、理想的な運転者の視点高さ（理想的な運転者の座高の高さ）及び表示光Ｌの光路長に応じて設定されてもよい。また、反射器２１は、一般に、表示器２０からの表示光Ｌを拡大し、加えて、反射器２１又は表示コントローラ２００（例えば処理部２１０）は、一般に、ウインドシールド１０１の一部に設定される表示範囲ＡＲにおける歪み（例えばガラス面の歪み）を補正することができる。
　図１（Ｂ）は、図１（Ａ）の虚像表示面及び仮想平面の説明図を示す。表示要素の虚像は、例えば、道路面Ｈから所定高さだけ上昇した虚像表示面Ｖ上に認識され、例えば、虚像表示面Ｖは、道路面Ｈから所定高さだけ上昇した仮想平面Ｓに設定される。なお、虚像表示面Ｖは、道路面Ｈと平行に設定されないで、道路面Ｈから所定の角度だけ傾いてもよい。虚像表示面Ｖの傾きは、スクリーン（表示器２０が表示画像を表示する表示面）又は反射器２１の角度によって設定されている。
　反射器２１を回転駆動可能なアクチュエータ（図示せず）が反射器２１に設けられていてもよく、その場合、表示コントローラ２００の処理部２１０は、そのアクチュエータを制御して、虚像表示面Ｖの傾きを調整してもよい。図１（Ａ）又は図１（Ｂ）の例において、虚像表示面Ｖは、道路面Ｈとほぼ平行であり、道路面Ｈからの虚像表示面Ｖの傾きは、１例として、０［ｄｅｇｒｅｅ］から３０［ｄｅｇｒｅｅ］までの範囲に設定されてもよい。
　図１（Ａ）又は図１（Ｂ）において、虚像表示面Ｖは、道路面Ｈから所定高さだけ上昇しているが、道路面Ｈに設定されてもよい。また、仮想平面Ｓは、道路面Ｈから所定高さだけ上昇しているが、道路面Ｈに設定されてもよい。
　図２（Ｂ）は、図１（Ａ）の虚像表示面の変形例を示し、図２（Ｂ）は、図２（Ａ）の虚像表示面及び仮想平面の説明図を示す。図２（Ａ）又は図２（Ｂ）の例において、虚像表示面Ｖ’は、道路面Ｈとほぼ垂直であり、道路面Ｈからの虚像表示面Ｖの傾きθ’は、１例として、８０［ｄｅｇｒｅｅ］から９０［ｄｅｇｒｅｅ］までの範囲に設定されてもよい。図２（Ａ）において、運転者の視点１０２で、虚像表示面Ｖ’上の虚像によって重ねられる実際の風景の範囲（重畳距離）は、例えば距離Ｄ１’から距離Ｄ３’までの所定距離に設定されている。なお、図２（Ａ）の距離Ｄ１’、距離Ｄ２’及び距離Ｄ３’が、それぞれ、図１（Ａ）の距離Ｄ１、距離Ｄ２及び距離Ｄ３と同一となるように、表示光Ｌの光路長及び反射器２１の角度が設定されてもよい。また、図２（Ａ）の仮想平面Ｓは、道路面Ｈから所定高さだけ上昇しているが、道路面Ｈに設定されてもよい。
　なお、虚像表示面は、図１（Ａ）の虚像表示面Ｖ又は図２（Ａ）の虚像表示面Ｖ’に限定されず、例えば特開２０１４－１８１０２５号公報、特開２０１６－０６８５７６号公報、特開２０１６－２１２３３８号公報に開示されるように、複数の虚像表示面の組み合わせであってもよい。言い換えれば、虚像表示面は、実空間での任意の平面に設定してもよく、いわゆる３Ｄヘッドアップディスプレイ装置の虚像表示面であってもよい。
　図３（Ａ）は、ウインドシールド１０１を介して認識される物体ＯＢ（実際の風景）の１例を示す。図３（Ａ）に示されるように、ユーザである例えば運転者は、例えば片側三車線の道路を自車両で走行し、例えば左隣のレーン上を走行する前方車両を認識することができる。この時、例えば図１（Ａ）の物体情報取得部３１０は、自車両の前方に存在する道路上の物体ＯＢとして、車両（前方車両）を認識し、認識した物体ＯＢ（前方車両）の位置情報を取得することができる。
　図３（Ｂ）は、図３（Ａ）の物体ＯＢに重畳される虚像Ｖ１（表示要素）の１例を示す。例えば図１（Ａ）の生成部２３０は、物体情報取得部３１０からの位置情報と、視点情報取得部３２０からの運転者の視点高さと、に基づき、運転者の視点１０２で、虚像Ｖ１が物体ＯＢ（前方車両）と重なるように、虚像Ｖ１に対応する表示要素の位置情報を決定することができる。虚像Ｖ１は、例えば図１（Ｂ）の仮想平面Ｓと一致する虚像表示面Ｖ上に形成される。
　図３（Ｃ）は、実空間での虚像Ｖ１の平面形状又は仮想平面Ｓ上の平面形状の説明図（平面図）を示す。例えば図１（Ｂ）に示されるように、虚像表示面Ｖが仮想平面Ｓと一致する時に、実空間での虚像Ｖ１は、仮想平面Ｓ上に形成され、従って、実空間での虚像Ｖ１の平面形状は、実空間での仮想平面Ｓ上の平面形状と一致する。図３（Ｃ）に示されるように、実空間での仮想平面Ｓ上の平面形状は、例えば第１～第４の辺Ｓ１，Ｓ２，Ｓ３，Ｓ４で規定される長方形である。図３（Ｃ）の例において、仮想平面Ｓ上の平面形状（長方形）の中心Ｃは、物体ＯＢ（前方車両）の例えば中心に一致し、生成部２３０は、物体ＯＢ（前方車両）の中心を、例えば物体情報取得部３１０からの情報によって取得又は算出することができる。
　図３（Ｃ）において、実空間での仮想平面Ｓ上の平面形状は、物体情報取得部３１０によって取得される実空間での物体ＯＢ（前方車両）を取り囲む直方体の仮想平面Ｓ（仮想平面Ｓは、道路面Ｈがｘｚ平面である時に、ｘｚ平面から所定高さだけ上昇している。）による切断面を規定する形状であってもよい。言い換えれば、物体情報取得部３１０は、物体ＯＢ（前方車両）を直方体（仮想直方体）で取り囲む時に、直方体（仮想直方体）を規定する３辺の長さ（物体の幅（ｘ軸方向）と奥行き（ｚ軸方向）と高さ（ｙ軸方向））のうち、物体ＯＢ（前方車両）の幅及び奥行きに、それぞれ所定値（＝ｏｆ２＋ｏｆ３）及び所定値（＝ｏｆ１＋ｏｆ４）を加算してもよい。代替的に、図３（Ｃ）において、ｏｆ１、ｏｆ２、ｏｆ３及びｏｆ４の各々は、ゼロに設定されて、第１～第４の辺Ｓ１，Ｓ２，Ｓ３，Ｓ４で規定される長方形は、平面視において、物体ＯＢ（前方車両）をぴったり囲んでもよい。
　なお、物体ＯＢ（前方車両）の大きさは、物体情報取得部３１０によって厳密に取得されなくてもよく、物体情報取得部３１０は、障害物又は接近物のカテゴリ（例えば「車両」又は「歩行者」）だけが認識されて、カテゴリ毎に、固定の大きさが割り当てられてもよく、カテゴリ内の種類（例えば車両カテゴリ内の「普通自動車」、「大型トラック」、又は「オートバイ」）毎に、固定の大きさが割り当てられてもよい。
　虚像Ｖ１が、例えば図２（Ｂ）の仮想平面Ｓと一致しない虚像表示面Ｖ’上に形成される時に、ユーザによって視認される実空間での虚像Ｖ１の平面形状が写像される仮想平面Ｓ上の平面形状は、図３（Ｃ）に示されるように、例えば第１～第４の辺Ｓ１，Ｓ２，Ｓ３，Ｓ４で規定される長方形である。
　図４（Ａ）は、ユーザによって認識される虚像Ｖ１の１例を示し、図４（Ｂ）は、視点高さが低くなる時に、ユーザによって視認される虚像Ｖ１の大きさの変化例を示し、図４（Ｃ）は、増大された虚像Ｖ１の１例を示し、図４（Ｄ）は、実空間での拡大された虚像Ｖ１の平面形状又は仮想平面Ｓ上の平面形状の説明図（平面図）を示す。
　図４（Ａ）～図４（Ｃ）において、図３（Ｂ）の物体ＯＢ（前方車両）は、簡略化されて、二点鎖線で表される直方体（現実直方体）として表されている。ユーザの視点高さが図４（Ａ）で想定される高さから図４（Ｂ）で想定される高さに減少する時に、ユーザによって視認される実空間での虚像Ｖ１の平面形状又は虚像Ｖ１の平面形状が写像される仮想平面Ｓ上の平面形状が同一であるように、生成部２３０は、虚像Ｖ１に対応する表示要素の平面形状を決定する。従って、実空間での仮想平面Ｓ上の平面形状が例えば第１～第４の辺Ｓ１，Ｓ２，Ｓ３，Ｓ４で規定される長方形（仮想直方体）で固定又は維持される状況では、視点高さが低くなる時に、本発明者らは、ユーザが虚像Ｖ１を視認し難いこと、即ち視認性の低下を認識した（図４（Ｂ）参照）。
　従って、本発明に従う生成部２３０では、図４（Ａ）及び図４（Ｂ）に示されるように、その物体ＯＢ（前方車両）を取り囲む仮想平面Ｓ上の平面形状（第１～第４の辺Ｓ１，Ｓ２，Ｓ３，Ｓ４で規定される長方形）に重ねる表示要素（虚像Ｖ１）の大きさの変化が、物体ＯＢ（前方車両）の大きさ（二点鎖線で表される直方体）の変化と等しくなるように、ユーザの視点高さに応じて、表示要素の平面形状を一時的に決定する。即ち、生成部２３０は、ユーザの視点高さに依らず、ユーザによって視認される物体ＯＢ（前方車両）と表示要素（虚像Ｖ１）との実空間での相対的な位置関係及び実空間での大きさ関係が変化しないように、ユーザの視点高さに応じて、表示画像内の表示要素の位置及び見た目の形状を一時的に決定する。その後、生成部２３０は、一時的に決定された表示要素の平面形状を拡大する（図４（Ｃ）及び図４（Ｄ）参照）。
　図４（Ｃ）及び図４（Ｄ）に示されるように、実空間での仮想平面Ｓ上の平面形状は、１例として、第１～第４の辺Ｓ１，Ｓ２’，Ｓ３’，Ｓ４で規定される長方形である。即ち、図４（Ｂ）の第２の辺Ｓ２は、図４（Ｃ）の第２の辺Ｓ２’に拡大され、図４（Ｂ）の第３の辺Ｓ３は、図４（Ｃ）の第３の辺Ｓ３’に拡大される。このように、視点高さが低くなる時に、ユーザによって視認される実空間での虚像Ｖ１の平面形状又は虚像Ｖ１の平面形状が写像される仮想平面Ｓ上の平面形状が前方向に（ｏｆ４’－ｏｆ４）の分だけ伸び、且つ後方向に（ｏｆ１’－ｏｆ１）の分だけ伸びる（図４（Ｄ）参照）。図４（Ｃ）に示されるように、生成部２３０は、一時的に決定された表示要素の平面形状を拡大するので、その表示要素の虚像Ｖ１の大きさ（第１～第４の辺Ｓ１，Ｓ２’，Ｓ３’，Ｓ４で規定される長方形）は、その拡大の分だけ増大し、視認性を向上させることができる。
　生成部２３０は、ユーザの視点高さの変化に応答して、拡大された表示要素の平面形状（拡大率）を動的に決定することができる。ユーザの視点高さが変化する時に、その変化に応答して、視認性を向上させることができる。しかしながら、視点高さの変化が大きい時に、視認性の向上を中止してもよい。具体的には、判定部２２０は、所定期間内に所定の範囲以上に視点高さが変化するか否かを判定し、単位時間あたりの視点高さの変化量が基準値以上である時に、生成部２３０は、一時的に決定された表示要素の平面形状を拡大しなくてもよい。代替的に、単位時間あたりの視点高さの変化量が基準値以上である時に、生成部２３０は、一時的に決定された表示要素の平面形状を拡大しても、表示要素の表示輝度を下げて、或いは、表示要素（虚像Ｖ１）の表示を消してもよい。その後、視点高さの変化が小さくなった時に、生成部２３０は、視認性の向上を再開することができる。視点高さの変化が大きい時に、視認性の向上を中止することで、物体ＯＢ（前方車両）と車両（自車両）との距離が変化したという誤った認識、或いは、運転者への誤った情報提示を回避することができる。
　他方、生成部２３０は、ユーザの視点高さの変化に応答しなくてもよい。具体的には、生成部２３０は、車両始動時に取得した視点高さ（固定値）で、車両運転中の視認性を向上させることができる。言い換えれば、例えば比較的座高の低い女性が車両を運転する時に、その女性の視点高さで、車両運転中の視認性を向上させることができる。
　ところで、生成部２３０は、視点高さが低くなる時に、ユーザによって認識される一時的に決定された表示要素の平面形状を拡大するので、その表示要素の虚像Ｖ１の大きさ（第１～第４の辺Ｓ１，Ｓ２’，Ｓ３’，Ｓ４で規定される長方形）は、その拡大の分だけ増大し、視認性を向上させることができる。しかしながら、判定部２２０は、視点情報取得部３２０によって取得される運転者の視線方向が表示要素（虚像Ｖ１）を向いているか否かを判定することができる。即ち、運転者の視線方向が表示要素（虚像Ｖ１）を向いている時だけ、生成部２３０は、視認性の向上を中止させてもよい。視認性の向上を中止することで、運転者への誤った情報提示を回避することができる。
　視点高さが低くなり、且つ運転者の視線方向が表示要素（虚像Ｖ１）を向いていない時に、生成部２３０は、虚像Ｖ１を拡大させなくてもよい。
　加えて、生成部２３０は、視認性を向上させるために、表示要素（虚像Ｖ１）の平面形状を拡大する時に、即ち、拡大率が１よりも大きい時に、ユーザの視点高さの低下に伴って表示要素（虚像Ｖ１）の平面形状が拡大されたことをユーザに報知することができる。１例として、生成部２３０は、ユーザの視点高さに応じて表示要素（虚像Ｖ１）を拡大したことを表す専用の表示要素（図示せず）を表示範囲ＡＲに表示することができる。これに加えて、或いは、これに代えて、処理部２１０は、車両のスピーカ（図示せず）を制御して、ユーザの視点高さに応じて表示要素（虚像Ｖ１）を拡大したことを表す音声を出力することができる。これにより、ユーザは、ユーザの視点高さに応じた虚像Ｖ１の拡大と、物体ＯＢ（前方車両）の接近に応じた虚像Ｖ１の拡大とを区別することができる。
　図５（Ａ）は、ユーザの視点高さに基づく、実空間での虚像Ｖ１の平面形状又は仮想平面Ｓ上の平面形状の拡大率の複数の設定例を示し、図５（Ｂ）は、車両までの距離に基づく、実空間での虚像Ｖ１の平面形状又は仮想平面Ｓ上の平面形状の拡大率の設定例を示す。
　図５（Ａ）に示されるように、判定部２２０は、ユーザの視点高さが基準位置ＴＨαよりも低いか否かを判定することが好ましく、ユーザの視点高さが基準位置ＴＨα以上である時に、例えば図３（Ｃ）に示されるように、実空間での仮想平面Ｓ上の平面形状が例えば第１～第４の辺Ｓ１，Ｓ２，Ｓ３，Ｓ４で規定される長方形で固定又は維持される。視点高さが高くなる時に、ユーザによって視認される実空間での虚像Ｖ１の平面形状又は虚像Ｖ１の平面形状が写像される仮想平面Ｓ上の平面形状は、同一である。言い換えれば、ユーザによって視認される実空間での虚像Ｖ１の平面形状又は虚像Ｖ１の平面形状が写像される仮想平面Ｓ上の平面形状は、図４（Ｄ）のように前後方向に伸びなくても、図４（Ａ）での視認性は、低下しない。
　他方、ユーザの視点高さが基準位置ＴＨαよりも低い時に、仮想平面Ｓ上の平面形状の拡大率α（＝Ｓ２’／Ｓ２）は、図５（Ａ）の実線で示されるように、増大される。なお、図５（Ａ）のＴａｌｌ及びＳｈｏｒｔは、それぞれ、車両の室内で想定されるユーザである運転者の視点高さの最大値及び最小値を示す。図５（Ａ）のＮｏｒｍａｌは、理想的な運転者の視点高さを示す。拡大率αは、図５（Ａ）の実線以外の一点鎖線又は破線によって決定されてもよい。一点鎖線は、上に凸の曲線によって拡大率αを表すことができ、これは、視点高さが低くなる時に、視認性をより一層向上させることができることを意味する。
　また、視認性を向上させるために、生成部２３０は、例えば図５（Ｂ）に示される拡大率βを使用することができる。即ち、生成部２３０は、拡大率α×拡大率βで、仮想平面Ｓ上の平面形状が拡大されるように、表示要素の平面形状を決定することができる。図５（Ｂ）において、物体ＯＢ（前方車両）と車両（自車両）との距離が閾値ＴＨβよりも大きい時に、１よりも大きい拡大率βを設定することができる。
　なお、図５（Ａ）及び図５（Ｂ）において、拡大率α及び拡大率βの各最小値は、１以上であるが、１よりも小さく設定されてもよい。言い換えれば、拡大率α及び／又は拡大率βの最小値が１よりも小さい時に、拡大率「１」を基準として、縮小してもよい。言い換えれば、１よりも小さい最小値を基準として、拡大率「１」によって仮想平面Ｓ上の平面形状は、拡大される。
　図６（Ａ）は、視点高さが低くなる時に、ユーザによって認識される虚像Ｖ１の１例を示し、図６（Ｂ）は、側面視における図６（Ａ）の虚像Ｖ１の平面形状又は仮想平面Ｓ上の平面形状の説明図を示す。図６（Ａ）及び図６（Ｂ）は、図４（Ｂ）に対応し、実空間での仮想平面Ｓ上の平面形状が例えば第１～第４の辺Ｓ１，Ｓ２，Ｓ３，Ｓ４で規定される長方形で固定又は維持される状況では、視点高さが低くなる時に、本発明者らは、ユーザが虚像Ｖ１を視認し難いこと、即ち視認性の低下を認識した（図６（Ａ）参照）。
　図７（Ａ）は、視点高さが低くなる時に、ユーザによって認識される、増大された虚像Ｖ１の１例を示し、図７（Ｂ）は、側面視における図７（Ａ）の虚像Ｖ１の平面形状又は仮想平面Ｓ上の平面形状の説明図を示す。図７（Ａ）及び図７（Ｂ）は、図４（Ｃ）に対応し、実空間での仮想平面Ｓ上の平面形状が例えば第１～第４の辺Ｓ１，Ｓ２’，Ｓ３’，Ｓ４で規定される長方形で拡大される状況では、視点高さが低くなる時に、本発明者らは、視認性の向上を認識した（図７（Ａ）参照）。
　図８（Ａ）は、図７（Ａ）の虚像Ｖ１の変形例を示し、図８（Ｂ）は、側面視における図８（Ａ）の虚像Ｖ１の平面形状又は仮想平面Ｓ上の平面形状の説明図を示す。ユーザによって視認される実空間での虚像Ｖ１の平面形状又は虚像Ｖ１の平面形状が写像される仮想平面Ｓ上の平面形状が前方向に（ｏｆ４’－ｏｆ４）の分だけ伸びても、本発明者らは、視認性の向上を認識した（図８（Ａ）参照）。
　図９（Ａ）及び図９（Ｃ）の各々は、図７（Ａ）の虚像Ｖ１の他の変形例を示し、図９（Ｂ）は、側面視における図９（Ａ）の虚像Ｖ１の平面形状又は仮想平面Ｓ上の平面形状の説明図を示す。ユーザによって視認される実空間での虚像Ｖ１の平面形状又は虚像Ｖ１の平面形状が写像される仮想平面Ｓ上の平面形状が後方向に（ｏｆ１’－ｏｆ１）の分だけ伸びても、本発明者らは、視認性の向上を認識した（図９（Ａ）参照）。また、物体ＯＢ（前方車両）それ自身の視認性を保つために、物体ＯＢ（前方車両）の方が優先されて、仮想平面Ｓ上の平面形状の一部、即ち、物体ＯＢ（前方車両）の背後の虚像Ｖ１の部分を省略するように、生成部２３０は、その虚像Ｖ１に対応する表示要素の形状を決定することができる。
　図１０（Ａ）は、物体ＯＢ（前方車両）と自車両との位置関係の説明図を示し、図１０（Ｂ）は、所定方向（第１の所定方向）の設定例の説明図を示す。図１０（Ａ）の例において、実空間での座標は、ｘｗ軸、ｙｗ軸及びｚｗ軸で表すことができ、ワールド座標と呼ぶこともできる。図１０（Ｂ）の例において、所定方向ＤＲ１ｗは、ｚｗ軸に平行であり、仮想平面Ｓ上の平面形状の第１の辺Ｓ１が所定方向ＤＲ１ｗに拡大される時に、第１の辺Ｓ１は、自車両に近づくことになる。言い換えれば、自車両の前進方向を前方向とし、自車両の後進方向を後方向とする時に、所定方向ＤＲ１ｗ（第１の所定方向）は、自車両の後進方向と一致する。
　なお、図示されていないが、仮想平面Ｓ上の平面形状の第４の辺Ｓ４が所定方向ＤＲ１ｗの反対方向（第２の所定方向：自車両の前進方向）に拡大される時に、第４の辺Ｓ４は、自車両から離れることになる。
　実空間での所定方向は、ｘｌ軸、ｙｌ軸及びｚｌ軸で表すことができる物体ＯＢ（前方車両）のローカル座標で規定してもよい。なお、図１０（Ｂ）において、物体ＯＢ（前方車両）と道路面Ｈとの境界Ｌ１がｚｌ軸に垂直であり、所定方向ＤＲ１ｌは、所定方向ＤＲ１ｗと一致する。
　所定方向ＤＲ１ｗ又はＤＲ１ｌは、図１０（Ａ）の自車両の後進方向又は第１の辺Ｓ１が境界Ｌ１から離れる方向に限定されず、仮想平面Ｓ上の平面形状が自車両に近づく方向であればよい。図１０（Ｂ）において、所定方向ＤＲｍは、点線で表わされ、物体ＯＢ（前方車両）の例えば道路面Ｈ上の基準点Ｒ（例えば中心、重心等）から自車両の運転者の視点１０２に向かう方向Ｍと一致するように、物体ＯＢ（前方車両）の例えば中心と自車両の運転者の視点１０２とを結ぶ直線（仮想直線）上に所定方向ＤＲｍを設定することができる。第１の辺Ｓ１が自車両内のユーザ（具体的には、視点１０２）に近づく方向に拡大される時に、視認性を効果的に向上させることができる。
　代替的に、所定方向ＤＲ１ｗ又はＤＲ１ｌは、或いは、所定方向ＤＲｍは、仮想平面Ｓ上の虚像Ｖ１の平面形状は、物体ＯＢ（前方車両）と道路面Ｈとの境界Ｌ１と、仮想平面Ｓ上の虚像Ｖ１の平面形状の外縁Ｓ１と、の間で規定される、仮想平面Ｓ上の隙間又は面積が増加する方向に、拡大されてもよい。視点高さが低くなる時に、仮想平面Ｓ上の隙間（仮想平面上の面積）を増加させて、視認性をより一層向上させることができる。
　更に、物体ＯＢが自車両に向かって進行する障害物である時に、所定方向ＤＲ１ｗ又はＤＲ１ｌは、或いは、所定方向ＤＲｍは、その物体ＯＢ（障害物）の進行方向に設定されて、虚像Ｖ１を拡大させてもよい。
　なお、虚像Ｖ１を拡大する方向は、第１の所定方向だけでなく、第１の所定方向の反対方向（第２の所定方向）を含んでもよい。或いは、虚像Ｖ１を拡大する方向は、第１の所定方向に代えて、第１の所定方向の反対方向（第２の所定方向）だけでもよい。
　本発明は、上述の例示的な実施形態に限定されず、また、当業者は、上述の例示的な実施形態を特許請求の範囲に含まれる範囲まで、容易に変更することができるであろう。
　２０・・・表示器、２１・・・反射器、１００・・・表示機構、１０１・・・ウインドシールド、１０２・・・ユーザ（運転者）の視点、１０３・・・撮像装置、２００・・・表示コントローラ（広義には、画像処理ユニット）、２１０・・・処理部、２２０・・・判定部、２３０・・・生成部、２４０・・・記憶部、３００・・・画像処理部、３１０・・・物体情報取得部、３２０・・・視点情報取得部、４００・・・情報取得部、ＡＲ・・・表示範囲、ＤＲ１ｗ，ＤＲ１ｌ，ＤＲｍ・・・所定方向、Ｌ・・・表示光、Ｈ・・・道路面、ＯＢ・・・物体、Ｒ・・・基準点、Ｖ・・・虚像表示面、Ｖ１・・・虚像。

Claims (11)

  1. 　ユーザによって視認される虚像に対応する表示要素を含む表示画像を生成する生成部を　備え、
    　前記生成部は、前記ユーザの視点高さに基づき前記ユーザによって視認される前記虚像の大きさが変化するように、前記表示要素の平面形状を決定し、
    　前記視点高さが基準位置から、前記基準位置よりも低い位置に変化する時に、前記生成部は、拡大された前記表示要素の前記平面形状を決定することを特徴とする画像処理ユニット。
  2. 　前記虚像が投射される被投影部材を有する車両の前進方向を前方向とし、前記車両の後進方向を後方向とし、前記生成部は、前記ユーザによって視認される実空間での前記虚像の平面形状又は前記虚像の前記平面形状が写像される仮想平面上の平面形状が前方向及び／又は後方向に伸びるように、拡大された前記表示要素の前記平面形状を決定することを特徴とする請求項１に記載の画像処理ユニット。
  3. 　前記生成部は、前記ユーザによって視認される実空間での前記虚像の平面形状又は前記虚像の前記平面形状が写像される仮想平面上の平面形状が第１の所定方向及び／又は第２の所定方向に伸びるように、拡大された前記表示要素の前記平面形状を決定することを特徴とする請求項１に記載の画像処理ユニット。
  4. 　前記第１の所定方向は、前記ユーザによって視認される実空間での前記虚像の前記平面形状又は前記虚像の前記平面形状が写像される前記仮想平面上の前記平面形状が、前記虚像が投射される被投影部材を有する車両に近づく方向であり、
    　前記第２の所定方向は、前記ユーザによって視認される実空間での前記虚像の前記平面形状又は前記虚像の前記平面形状が写像される前記仮想平面上の前記平面形状が、前記車両から離れる方向であることを特徴とする請求項３に記載の画像処理ユニット。
  5. 　前記生成部は、前記視点高さの変化に応答して、前記表示要素の前記平面形状の拡大率を動的に決定することを特徴とする請求項１乃至４の何れか１項に記載の画像処理ユニット。
  6. 　単位時間あたりの前記視点高さの変化量が基準値以上である時に、前記生成部は、拡大された前記表示要素の前記平面形状の表示を弱める又は無効化することを特徴とする請求項５に記載の画像処理ユニット。
  7. 　前記ユーザの視線方向が前記虚像を向いている間だけ、前記表示要素の前記平面形状の前記拡大率が１であるように、前記生成部は、拡大されない前記表示要素の前記平面形状を決定することを特徴とする請求項５又は６に記載の画像処理ユニット。
  8. 　前記表示要素の前記平面形状の前記拡大率が１よりも大きい時に、前記視点高さの低下に伴って前記拡大率が発生したことを前記ユーザに報知することを特徴とする請求項５乃至７の何れか１項に記載の画像処理ユニット。
  9. 　前記視点高さは、車両始動時に取得された固定値であり、
    　前記生成部は、前記固定値に基づき、前記表示要素の前記平面形状の拡大率を決定することを特徴とする請求項１乃至４の何れか１項に記載の画像処理ユニット。
  10. 　前記視点高さが前記基準位置から、前記基準位置よりも高い位置に変化する時に、前記ユーザによって視認される実空間での前記虚像の平面形状又は前記虚像の前記平面形状が写像される仮想平面上の平面形状が同一であるように、前記生成部は、前記表示要素の前記平面形状を決定することを特徴とする請求項１乃至９の何れか１項に記載の画像処理ユニット。
  11. 　請求項１乃至１０の何れか１項に記載の前記画像処理ユニットと、
    　前記画像処理ユニットで生成された前記表示画像を表示する表示器と、
    　を備えることを特徴とするヘッドアップディスプレイ装置。
PCT/JP2018/024267 2017-06-28 2018-06-27 画像処理ユニット及びそれを備えるヘッドアップディスプレイ装置 WO2019004237A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US16/626,198 US20200152157A1 (en) 2017-06-28 2018-06-27 Image processing unit, and head-up display device provided with same
EP18823650.9A EP3648096A4 (en) 2017-06-28 2018-06-27 IMAGE PROCESSING UNIT AND HEAD-UP DISPLAY DEVICE EQUIPPED WITH IT
JP2019526954A JP7223283B2 (ja) 2017-06-28 2018-06-27 画像処理ユニット及びそれを備えるヘッドアップディスプレイ装置

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2017126062 2017-06-28
JP2017-126062 2017-06-28
JP2017160527 2017-08-23
JP2017-160527 2017-08-23

Publications (1)

Publication Number Publication Date
WO2019004237A1 true WO2019004237A1 (ja) 2019-01-03

Family

ID=64743013

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/024267 WO2019004237A1 (ja) 2017-06-28 2018-06-27 画像処理ユニット及びそれを備えるヘッドアップディスプレイ装置

Country Status (4)

Country Link
US (1) US20200152157A1 (ja)
EP (1) EP3648096A4 (ja)
JP (1) JP7223283B2 (ja)
WO (1) WO2019004237A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102116783B1 (ko) * 2018-10-10 2020-05-29 네이버랩스 주식회사 영상을 지면에 위치시켜 운전자의 시점에 증강현실을 구현하는 3차원 증강현실 헤드업 디스플레이
KR20240079697A (ko) * 2022-11-29 2024-06-05 현대자동차주식회사 모빌리티용 헤드램프 에이밍 조정 시스템 및 방법

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06247184A (ja) * 1993-03-01 1994-09-06 Aisin Seiki Co Ltd 車上表示装置
JPH08197981A (ja) * 1995-01-23 1996-08-06 Aqueous Res:Kk 車輌用表示装置
JP2014181025A (ja) 2013-03-15 2014-09-29 Honda Motor Co Ltd 動的焦点面を備える立体ヘッドアップディスプレイ
JP2015000630A (ja) * 2013-06-14 2015-01-05 株式会社デンソー 車載表示装置およびプログラム
JP2015152746A (ja) * 2014-02-14 2015-08-24 日本精機株式会社 表示装置
JP2016068576A (ja) 2014-09-26 2016-05-09 矢崎総業株式会社 ヘッドアップディスプレイ装置
JP2016110627A (ja) 2014-12-01 2016-06-20 株式会社デンソー 画像処理装置
JP2016212338A (ja) 2015-05-13 2016-12-15 日本精機株式会社 ヘッドアップディスプレイ
WO2017090464A1 (ja) * 2015-11-25 2017-06-01 日本精機株式会社 ヘッドアップディスプレイ

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3711864B2 (ja) 2000-12-01 2005-11-02 日産自動車株式会社 車両用表示装置
KR102309316B1 (ko) * 2015-06-02 2021-10-05 엘지전자 주식회사 차량용 디스플레이 장치 및 이를 구비한 차량

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06247184A (ja) * 1993-03-01 1994-09-06 Aisin Seiki Co Ltd 車上表示装置
JPH08197981A (ja) * 1995-01-23 1996-08-06 Aqueous Res:Kk 車輌用表示装置
JP2014181025A (ja) 2013-03-15 2014-09-29 Honda Motor Co Ltd 動的焦点面を備える立体ヘッドアップディスプレイ
JP2015000630A (ja) * 2013-06-14 2015-01-05 株式会社デンソー 車載表示装置およびプログラム
JP2015152746A (ja) * 2014-02-14 2015-08-24 日本精機株式会社 表示装置
JP2016068576A (ja) 2014-09-26 2016-05-09 矢崎総業株式会社 ヘッドアップディスプレイ装置
JP2016110627A (ja) 2014-12-01 2016-06-20 株式会社デンソー 画像処理装置
JP2016212338A (ja) 2015-05-13 2016-12-15 日本精機株式会社 ヘッドアップディスプレイ
WO2017090464A1 (ja) * 2015-11-25 2017-06-01 日本精機株式会社 ヘッドアップディスプレイ

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3648096A4

Also Published As

Publication number Publication date
EP3648096A1 (en) 2020-05-06
JPWO2019004237A1 (ja) 2020-04-30
US20200152157A1 (en) 2020-05-14
EP3648096A4 (en) 2021-06-09
JP7223283B2 (ja) 2023-02-16

Similar Documents

Publication Publication Date Title
US10551619B2 (en) Information processing system and information display apparatus
JP6241093B2 (ja) ヘッドアップディスプレイ装置
JP6741029B2 (ja) 情報表示装置
WO2015029598A1 (ja) ヘッドアップディスプレイ装置
WO2017138297A1 (ja) 画像表示装置及び画像表示方法
WO2020110580A1 (ja) ヘッドアップディスプレイ、車両用表示システム、及び車両用表示方法
WO2019097762A1 (ja) 重畳画像表示装置及びコンピュータプログラム
CN110967833B (zh) 显示装置、显示控制方法及存储介质
JP2018077400A (ja) ヘッドアップディスプレイ
WO2019004244A1 (ja) 表示システム、情報提示システム、表示システムの制御方法、プログラム、及び移動体
JP2016159656A (ja) 車両用表示装置
JP2016109645A (ja) 情報提供装置、情報提供方法及び情報提供用制御プログラム
JP2016107947A (ja) 情報提供装置、情報提供方法及び情報提供用制御プログラム
CN114489332A (zh) Ar-hud输出信息的显示方法及系统
JP6838626B2 (ja) 表示制御装置、及び表示制御プログラム
JP2015200770A (ja) ヘッドアップディスプレイ装置
JP7223283B2 (ja) 画像処理ユニット及びそれを備えるヘッドアップディスプレイ装置
CN110803106A (zh) 车辆用显示系统、车辆系统及车辆
US20210116710A1 (en) Vehicular display device
JP6196840B2 (ja) ヘッドアップディスプレイ装置
JP2022084266A (ja) 表示制御装置、表示装置、及び画像の表示制御方法
JP6943079B2 (ja) 画像処理ユニット及びそれを備えるヘッドアップディスプレイ装置
JP6872441B2 (ja) ヘッドアップディスプレイ装置
JP7318431B2 (ja) 表示制御装置及び表示制御プログラム
JP2019079351A (ja) 画像処理ユニット及びそれを備えるヘッドアップディスプレイ装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18823650

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019526954

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2018823650

Country of ref document: EP

Effective date: 20200128