WO2019097918A1 - ヘッドアップディスプレイ装置およびその表示制御方法 - Google Patents

ヘッドアップディスプレイ装置およびその表示制御方法 Download PDF

Info

Publication number
WO2019097918A1
WO2019097918A1 PCT/JP2018/038165 JP2018038165W WO2019097918A1 WO 2019097918 A1 WO2019097918 A1 WO 2019097918A1 JP 2018038165 W JP2018038165 W JP 2018038165W WO 2019097918 A1 WO2019097918 A1 WO 2019097918A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
virtual image
display
area
correction
Prior art date
Application number
PCT/JP2018/038165
Other languages
English (en)
French (fr)
Inventor
卓見 中田
渡辺 敏光
望 下田
Original Assignee
マクセル株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by マクセル株式会社 filed Critical マクセル株式会社
Priority to CN202310715112.4A priority Critical patent/CN116620020A/zh
Priority to CN201880073142.7A priority patent/CN111433067B/zh
Priority to CN202310714002.6A priority patent/CN116620019A/zh
Priority to JP2019553750A priority patent/JP6870109B2/ja
Priority to US16/757,801 priority patent/US11181743B2/en
Publication of WO2019097918A1 publication Critical patent/WO2019097918A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/80Arrangements for controlling instruments
    • B60K35/81Arrangements for controlling instruments for controlling displays
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/24Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view in front of the vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/28Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with an adjustable field of view
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/02Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof
    • B60R11/0229Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof for displays, e.g. cathodic tubes
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/04Traffic conditions
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0176Head mounted characterised by mechanical features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/38Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory with means for controlling the display position
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/205Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used using a head-up display
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/011Head-up displays characterised by optical features comprising device for correcting geometrical aberrations, distortion
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0138Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0141Head-up displays characterised by optical features characterised by the informative content of the display
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0149Head-up displays characterised by mechanical features
    • G02B2027/0154Head-up displays characterised by mechanical features with movable elements
    • G02B2027/0159Head-up displays characterised by mechanical features with movable elements with mechanical means other than scaning means for positioning the whole image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30268Vehicle interior
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/02Improving the quality of display appearance
    • G09G2320/0261Improving the quality of display appearance in the context of movement of objects on the screen or movement of the observer relative to the screen
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/04Changes in size, position or resolution of an image
    • G09G2340/0464Positioning
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00Aspects of interface with display user
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00Specific applications
    • G09G2380/10Automotive applications
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37Details of the operation on graphic patterns
    • G09G5/377Details of the operation on graphic patterns for mixing or overlaying two or more graphic patterns

Definitions

  • the present invention relates to the technology of a display device such as a head up display (HUD) device, and relates to a technology of providing image information of augmented reality (AR) to a driver.
  • a display device such as a head up display (HUD) device
  • AR augmented reality
  • an AR display device having an AR function and a system thereof
  • a HUD device mounted on a car or the like.
  • the HUD device (sometimes referred to as AR-HUD)
  • a virtual image is superimposed and displayed by projection of an image light on a real image to be transmitted in a visual field such as a windshield or a combiner in the visual field of a user such as a driver.
  • the visual recognition area is an area where the user can visually recognize the image.
  • the virtual image may be described as an AR image.
  • the virtual image may be, for example, image information for driving assistance or the like for a real image including a road ahead of the vehicle, a car, and the like.
  • an image of vehicle information such as a vehicle speed, an arrow image of navigation in a traveling direction, an icon image for alerting or emphasizing an approach of a car, a person, or a bicycle, and the like.
  • information such as an on-vehicle sensor, an engine control unit, or a car navigation system can be used as original data for generating a virtual image.
  • the HUD device includes, for example, a display element, a light source, and an optical system.
  • the optical system includes a lens, a mirror, and the like for guiding image light to a viewing area.
  • Image light from the display element is projected to a predetermined area in a visible area such as a windshield or a combiner via a mirror or the like.
  • the light reflected from the predetermined area is incident on the eye of the driver and forms an image on the retina, and the driver recognizes it as a virtual image.
  • a virtual image area which is an area in which a virtual image can be seen, is formed in front of the driver's point of view over the visual recognition area.
  • Patent Document 1 As a prior art example regarding a vehicle-mounted HUD apparatus, Unexamined-Japanese-Patent No. 2010-70066 (patent document 1) is mentioned.
  • Patent Document 1 as a head-up display, the projection position of the image is reduced from being shifted from the line of sight of one eye due to the vibration of the vehicle or the change of the driver's posture, and the visibility of displayed information is enhanced. The statement is stated.
  • an AR function is used to superimpose a virtual image including an AR image on a real image of an object in a virtual image area over a viewing area such as a windshield.
  • a positional deviation may occur between the object and the AR image.
  • the display position of the AR image determined to match the object position in design and calculation by the HUD device may not coincide with the object position in the driver's actual visual recognition.
  • the factors causing the displacement between the object and the AR image include the viewpoint position at which the eye position is the basic setting (the eye box that includes the viewpoint position) due to the driver's action to change the posture, the action to move the head, etc. There are cases where it fluctuates from
  • An object of the present invention is to provide a technology capable of realizing a suitable AR display by reducing the deviation between an object and a virtual image (AR image) with respect to the technology of a HUD device having an AR function.
  • a typical embodiment of the present invention is a head-up display device or the like, and is characterized by having the following configuration.
  • the head-up display device is a head-up display device that displays a virtual image by causing a driver to be superimposed on a real image in front of the vehicle by projecting an image on a windshield or a combiner of the vehicle.
  • a control unit that performs control to display the virtual image in the windshield or the visible region of the combiner, and a display unit that displays the virtual image in the visible region according to the control of the control unit, the control unit
  • Acquiring information including viewpoint information including a movement amount and virtual image information including a position of a virtual image area which is a range in which the image of the virtual image in the space can be displayed;
  • the image for superimposing on the recording object is generated, the display position of the image in the virtual image area is corrected at least including the horizontal direction using the acquired information, and the corrected
  • the control is performed on the display unit using data, and in the correction, on the straight line when the object position is viewed through the visual recognition area from the viewpoint position after movement from the driver's basic setting viewpoint position.
  • the conversion processing is performed so that the position of the intersection with the virtual image area is the display position of the image after correction.
  • a suitable AR display can be realized by reducing the deviation between an object and a virtual image (AR image).
  • FIG. 2 is a diagram showing a state in which the vicinity of a driver's seat of a car is viewed from the side in the embodiment.
  • FIG. 3 is a diagram schematically illustrating the windshield and the viewing area and the virtual image area in front of the driver's seat according to the embodiment.
  • FIG. 4 is a diagram showing basic settings of a viewpoint position and a virtual image area in the embodiment.
  • FIG. 7 is a diagram showing an example of setting in a virtual image area in the embodiment.
  • FIG. 2 is a diagram showing the relationship between the position of a viewpoint, an object, and a virtual image and a distance in an embodiment. It is a figure which shows the flow of the main processing of a control part by embodiment.
  • FIG. 4 is a diagram illustrating acquisition of an object position and a viewpoint position in the embodiment.
  • FIG. 8 is a diagram showing the basics of generation of an AR image in a virtual image area in the embodiment.
  • FIG. 7 is a diagram showing a correction method according to the anteroposterior relationship between an object and a virtual image area in the embodiment.
  • FIG. 7 is a diagram showing a correction method according to the viewpoint position movement amount in the embodiment. It is a figure which shows correction
  • FIG. 4 is a diagram showing an example of the relationship between the position of a viewpoint, an object, and a virtual image and a distance in the embodiment.
  • FIG. 10 is a diagram showing an example of superimposed display of an object and an AR image viewed from a basic setting viewpoint position in the embodiment.
  • FIG. 8 is a diagram showing an example of the deviation between the object and the AR image at the time of movement of the viewpoint position, and the correction in the embodiment. It is a figure which shows the variable setting of a virtual-image area
  • the head-up display device (HUD device) and the like according to the embodiment of the present invention will be described with reference to FIGS.
  • the HUD device of the embodiment is an AR display device having an AR function, and shows a case where it is mounted as an on-vehicle AR-HUD.
  • the display control method of the embodiment is a method including the steps executed by the HUD device of the embodiment.
  • the HUD device of the embodiment has a function of correcting the display position of the AR image in the virtual image area when displaying the virtual image including the AR image.
  • the correction function is a function of automatically correcting the display position of the AR image so that the deviation between the real image of the object and the AR image is eliminated or reduced according to the movement of the viewpoint position of the driver.
  • this correction function when the viewpoint position of the driver moves from the viewpoint position in the basic settings to the left and right positions in the horizontal direction, the display position of the AR image is adjusted according to the object position and the viewpoint position after movement. to correct.
  • correction of the display position of the AR image is controlled according to the setting of the virtual image area position with respect to the viewpoint position and the relationship of the object position with respect to the virtual image area position.
  • correction of the display position of the AR image is realized by processing of correcting the content of AR data by software program processing of the control unit.
  • the on-vehicle system including the HUD device of the prior art example has the following problems.
  • the HUD device of the comparative example does not have the function of correcting the deviation between the real image of the object and the AR image. Therefore, when the viewpoint position of the driver moves in the horizontal direction, a shift between the object and the AR image in the horizontal direction occurs, and it may be difficult for the driver to visually recognize the object and the AR image.
  • Examples of the driver's viewpoint position moving to the left and right in the horizontal direction include the following.
  • the viewpoint position of the driver moves to some extent, and it is impossible for the viewpoint position not to move constantly.
  • the change of the viewpoint position is within the range of a predetermined eye box, the influence of the displacement between the object and the AR image is not very much.
  • the change in the viewpoint position exceeds a certain amount, the influence of the deviation is large, and it becomes difficult for the driver to visually recognize the object and the AR image.
  • the driver when turning a vehicle, changing lanes, entering an intersection, etc., the driver is likely to move the viewpoint position to check the surrounding situation.
  • the head and viewpoint positions are easily moved by the driver leaving the body in advance in accordance with the curve or the action of the centrifugal force.
  • the viewpoint position is easily shifted.
  • the driver may be in a forward-looking posture for checking the surrounding situation, and the viewpoint position is likely to move.
  • the appearance is different, such as the relative positional relationship between the real image and the virtual image is shifted.
  • the relationship between the position of the virtual image formed by the HUD device and the position of the eye of the viewer determines the state of the image formed on the retina of the viewer. If the display position of the virtual image by the HUD device and the position of the eye of the viewer do not satisfy a predetermined relationship, the viewer can not or can not visually recognize the virtual image.
  • the area where the eye position must be in order for the viewer to see the image is called an eyebox.
  • FIG. 20 shows a viewpoint, an object, an AR image, displacement, and the like in the case of the first HUD device of the prior art as a first comparative example.
  • FIG. 20 shows a plane (XZ plane) viewed from above which is formed by the horizontal direction (X direction) and the front-rear direction (Z direction).
  • the viewpoint position of the driver of the vehicle is indicated by a triangle.
  • the view point position E1 of the basic setting and the view point position Ex after the movement when moving to the right in the X direction, for example, are shown.
  • the object position is indicated by black dots.
  • a far position PA, a middle position PB, and a short position PC are shown.
  • the position PA is a position at a distance of about 40 to 60 m, for example, 45 m from the viewpoint position.
  • the position PB is a position about 20 to 30 m from the viewpoint position, for example, a distance of 25 m.
  • the position PC is a position at a distance of 5 m from the viewpoint position.
  • the distance from the viewpoint position to the object position (for example, position PC) is indicated as an object distance FA.
  • each position in the Z direction there is shown a case where there is an object at each of the left, center and right positions in the X direction as viewed from the viewpoint position E1.
  • the virtual image area 7 is set at a position of a predetermined distance relatively close to the front (Z direction) from the viewpoint position E1 of the basic setting in design.
  • the position of the virtual image area 7 in the Z direction is taken as a virtual image area position P1.
  • the distance from the viewpoint position (0 m) to the virtual image area 7 is shown as a virtual image distance FB.
  • the virtual image distance FB of the virtual image region position P1 is 2 to 3 m, and in this example is 2.5 m.
  • the distance between the object position (for example, the position PC) and the virtual image region position P1 is shown as an object virtual image distance FC.
  • the display position of the AR image to be superimposed and displayed on the object which is set according to the object position of each object when viewed from the viewpoint position E1, is indicated by white dots.
  • a dashed dotted line extending in the Z direction indicates the center of the virtual image area 7 and the line of sight looking at the center object in the X direction.
  • the solid lines indicate the line of sight looking at the left and right objects.
  • a dotted line indicates a line of sight on which an object is viewed
  • a broken line indicates a line of sight on which an AR image is viewed.
  • a triangular area including the viewpoint position E1 of the basic setting and the left and right ends of the virtual image area 7 corresponds to an area where the virtual image can be displayed, and the outside basically corresponds to an area where the virtual image can not be displayed. .
  • the displayable area and the non-displayable area also change accordingly.
  • FIG. 21 similarly shows a viewpoint, an object, a virtual image, a shift, and the like in the case of the second HUD device as a second comparative example.
  • the HUD device 1 of the embodiment is premised on a second HUD device.
  • the virtual image area 7 is set at a position of a predetermined distance relatively far from the viewpoint position E1 of the basic setting in the design (in the Z direction).
  • the position P3 shown in (A) is after the virtual image region 7 (virtual image region position P1), and the position P2 shown in (B) (in particular, the short distance position PC). And the case where the virtual image area 7 precedes the virtual image area position P1.
  • each position in the Z direction there is shown a case where there is an object at each of the left, center and right positions in the X direction as viewed from the viewpoint position E1.
  • the object at position P3 has an object virtual image distance FC of +20 m
  • the object at position P2 has an object virtual image distance FC of -20 m.
  • the display position of the AR image in the case where the AR image is superimposed and displayed on each object is indicated by a white circle.
  • the object and the AR image overlap on the line of sight (one-dot chain line, solid line), and there is no shift.
  • the line of sight (dotted line) at which the object is viewed does not overlap the line of sight (dotted line) of viewing the AR image. .
  • a positional deviation between the object and the AR image occurs in visual recognition according to the object position, the object distance, and the viewpoint position after movement.
  • the effect of displacement is more in the case where the object is in front of the virtual image area 7 as in the position P2 of (B) than in the case where it is behind as the position P3 of (A). Is relatively large. From the driver's point of view, it is more difficult for the object and the AR image to be in focus when it is in the front, and it is more difficult for the object and the AR image to be associated and recognized.
  • FIG. 22 simply shows an example of the shift according to the movement of the viewpoint position in the X direction in the case of the first HUD device.
  • the distance in the Z direction is small and the distance in the X direction is greatly emphasized for the sake of description.
  • FIG. 22A shows the case where the viewpoint position is leftward movement and the object 4 is at the middle position PB at the middle distance.
  • the viewpoint position E2 after movement is shown from the viewpoint position E1 to the left.
  • the movement amount H1 of the viewpoint position is shown.
  • the AR image 6a shows an AR image without correction.
  • the angle formed by the sight line is 0 degree, and there is no deviation in the X direction.
  • the angle ⁇ 1 indicates an angle formed by the line of sight when viewing the object 4 from the viewpoint position E2 with the Z direction.
  • the angle ⁇ 1 indicates an angle formed by the line of sight when viewing the AR image 6a from the viewpoint position E2 with the Z direction.
  • the angle ⁇ 1 is different from the angle ⁇ 1 ( ⁇ 1 ⁇ 1).
  • FIG. 22 shows a case where the viewpoint position is rightward movement, and the object 4 is at the middle position PB of the middle distance.
  • the viewpoint position E3 after movement to the right from the viewpoint position E1 is shown.
  • the movement amount H2 of the viewpoint position is shown.
  • the angle ⁇ 2 indicates the angle at which the object 4 is viewed from the viewpoint position E3.
  • the angle ⁇ 2 indicates the angle when viewing the AR image 6a from the viewpoint position E3.
  • the angle ⁇ 2 is different from the angle ⁇ 2 ( ⁇ 2 ⁇ 2).
  • the angle at the viewpoint position after movement is larger than the angle at the viewpoint position E1, and the larger the angle, the larger the deviation.
  • (C) in FIG. 22 shows the case where the viewpoint position is leftward movement and the object position is at a far distance position PA or a near distance position PC.
  • the angle ⁇ 3 indicates the angle at which the object 4a is viewed from the viewpoint position E2.
  • the angle ⁇ 3 indicates the angle when viewing the AR image 6a from the viewpoint position E2.
  • the deviation h3 and the deviation h4 are illustrated as deviations when considered at the position PA, for comparison.
  • the angle ⁇ 4 indicates the angle at which the object 4c is viewed from the viewpoint position E2.
  • the angles ⁇ 3 and ⁇ 4 are different ( ⁇ 3 ⁇ 4).
  • the angle ⁇ 3 for the position PA is larger than the angle ⁇ 4 for the position PC with respect to the angle ⁇ 3, and the deviation is larger. Thus, there is a shift according to the object position of each object distance.
  • (D) in FIG. 22 shows the case where the viewpoint position is leftward movement, and there are objects at the left and right positions in the X direction at the middle distance position PB.
  • the object 4b1 is located on the left side of the center
  • the object 4b2 is located on the right side of the center.
  • the angle is different between the case where the object and the AR image are viewed from the viewpoint position E1 of the basic setting and the case where the object and the AR image are viewed from the viewpoint position E2 after movement.
  • an angle ⁇ 1 for viewing the object 4b2 and the AR image 6a2 from the viewpoint position E1 an angle ⁇ 2 for viewing the object 4b2 from the viewpoint position E2
  • an angle ⁇ 3 for viewing the AR image 6a2 from the viewpoint position E2 are shown. It is ⁇ 1 ⁇ 2 ⁇ 3.
  • the angle formed by the line of sight differs.
  • a shift in the X direction may occur between the object position and the display position of the AR image 6. The larger the deviation is, the more difficult it is for the driver to recognize that the object 4 and the AR image 6 are associated with each other.
  • a position 201 indicates an ideal position where the AR image 6 is desired to be superimposed in the virtual image region 7 in the case of the viewpoint position E2.
  • the AR image 6 is superimposed on the position 201, the object 4 and the AR image 6 overlap with each other when viewed from the viewpoint position E2, and the shift is eliminated.
  • the position 202 of (B), the position 203 of (C), the position 204 of (C), and the position 205 of position (D) of (D) indicate ideal display positions of the AR image 6.
  • FIG. 23 shows an example of the shift of the viewpoint position according to the movement in the X direction in the case of the second HUD device.
  • (A) of FIG. 23 shows the case of leftward movement from the viewpoint position E1.
  • the viewpoint position E2 after movement and the movement amount H1 are shown.
  • PB which is a virtual image region position P1.
  • the angle ⁇ 11 indicates the angle when looking at the object 4a at the position P3.
  • the angle ⁇ 12 indicates the angle when looking at the object 4c at the position P2.
  • An angle ⁇ 11 indicates an angle when viewing the AR image 6a of the virtual image region position P1. It is ⁇ 11 ⁇ 12, ⁇ 11 ⁇ 11, ⁇ 12> ⁇ 11.
  • the displacement at the position P2 is larger than that at the position P3 (h11 ⁇ h12).
  • FIG. 23 shows the case of rightward movement of the viewpoint position.
  • the viewpoint position E3 after movement and the movement amount H2 are shown.
  • the object 4a at the position P2 and the AR image 6a before correction are viewed from the viewpoint position E3, there is a shift h13 between them.
  • the object 4c at the position P2 and the AR image 6a before correction are viewed from the viewpoint position E3, there is a shift h14 between them.
  • the deviation in the case of the position P2 is larger than in the case of the position P3 (h13 ⁇ h14).
  • the position 211 and the position 212 indicate ideal positions where the AR image 6 in the virtual image area 7 is to be superimposed. For example, there is a position 211 at an intersection of a line in the X direction of the virtual image area 7 and a line of sight (a straight line connecting the viewpoint position E2 and the position of the object 4a) from which the object 4a is viewed from the viewpoint position E2.
  • a line of sight a straight line connecting the viewpoint position E2 and the position of the object 4a
  • the object 4a and the AR image 6 overlap with each other when viewed from the viewpoint position E2, and the shift is eliminated.
  • these positions are obtained as the display positions of the AR image 6 after correction.
  • the position 213 and the position 214 in (B) indicate the ideal display position of the AR image at each object position, and the display position after correction in the embodiment.
  • the virtual image area 7 is set at a position (virtual image area position P1) at a predetermined distance (virtual image distance FB) from the viewpoint position E1 to the front (Z direction).
  • the virtual image area 7 is a HUD display range in which a virtual image can be displayed by the HUD device.
  • a virtual image including an AR image is displayed in the virtual image area 7 of the virtual image distance FB and the virtual image area position P1.
  • the virtual image area position P1 is a position where the virtual image distance FB is 2 to 3 m and is relatively close to the driver and the windshield 9.
  • the virtual image region position P1 is a position where the virtual image distance FB is 20 to 30 m and is relatively distant from the driver and the windshield 9; , A position closer to the object.
  • the virtual image area position P1 in the Z direction can be variably set and controlled within a predetermined setting range (for example, 20 to 30 m).
  • the AR image can be superimposed and displayed on a distance and a position as close as possible to the object than the first HUD device.
  • the object virtual image distance FC can be made relatively small.
  • the influence of the shift differs depending on the relationship between the object position and the object distance with respect to the virtual image region position P1 in the Z direction.
  • the effect of the displacement is larger in the case where the object is in front of the virtual image area than in the case where the object is behind the virtual image area. Even in the case where the object virtual image distance FC is the same between the front and the rear, it is easier to visually perceive a deviation when the front virtual image distance FC is the same.
  • the function of correcting the display position of the AR image is devised in consideration of the above-described problems and the like of the first HUD device and the second HUD device.
  • the display position of the AR image including at least the X direction is appropriately corrected according to the relation between the object position and the viewpoint position and the relation between the virtual image area position and the object position.
  • FIG. 1 shows an outline of the HUD device 1 according to the embodiment.
  • the X direction, the Y direction, and the Z direction are shown as the explanatory directions.
  • the X direction is the first horizontal direction, and is the left and right direction with reference to the vehicle and the driver, and corresponds to the lateral direction of the virtual image area 7.
  • the Y direction is the vertical direction, the vertical direction with reference to the vehicle and the driver, and corresponds to the vertical direction of the virtual image area 7.
  • the Z direction is a second horizontal direction, which is the front-rear direction with reference to the vehicle and the driver, and corresponds to the direction in which the virtual image area 7 and the like are viewed.
  • the HUD device 1 of the embodiment is a part of an in-vehicle system (FIG. 2), has a control unit 10 and a display unit 20, and is connected with an outside camera 2 and an inside camera 3 and the like.
  • the display unit 20 is configured by a projector (projection type video display device) or the like, and includes an optical system.
  • the HUD device 1 detects the position or the like of the object 4 in front of the vehicle (Z direction) based on the image captured by the camera 2 outside the vehicle. Further, the HUD device 1 detects the viewpoint position or the like of the driver based on the image obtained by capturing the driver with the in-vehicle camera 3.
  • the control unit 10 In the HUD device 1, the control unit 10 generates AR data for displaying a virtual image including an AR image based on the detected object 4 and supplies the AR data to the display unit 20.
  • the AR data is display data for displaying a virtual image by forming a predetermined virtual image region 7 in front of the windshield 9 beyond the visible region 5 of the windshield 9 as seen from the driver.
  • the display unit 20 generates and emits image light to be projected to the viewing area 5 of the windshield 9 based on the AR data.
  • the emitted image light is projected to a region in the visible region 5 of the windshield 9 through the optical system, is reflected by the region, and enters the eye of the driver.
  • the driver visually recognizes as a virtual image including the AR image 6 displayed superimposed on the object 4 in the virtual image area 7 viewed through the visual recognition area 5.
  • the control unit 10 of the HUD device 1 implements a correction function that is an AR image display position correction function.
  • this correction function the display position of the AR image 6 of the virtual image area 7 is corrected according to the positional relationship between the object position, the viewpoint position, and the virtual image area position.
  • setting information such as the virtual image area position P1 is referred to.
  • the display position of the AR image 6b after correction is corrected to the intersection with the virtual image area 7 on a straight line where the object position is seen from the viewpoint position Ex after movement.
  • the display position of the AR image 6 b after correction is obtained by the predetermined conversion processing in the control unit 10.
  • the processing of the control unit 10 generates AR data including information on the display position of the AR image 6 b after correction, and supplies the AR data to the display unit 20.
  • the display unit 20 projects and displays the AR image 6 b of the virtual image area 7 in accordance with the AR data.
  • a virtual image area 7 is set at a virtual image area position P1 located at a predetermined distance ahead of the visual recognition area 5 of the windshield 9 as viewed from the viewpoint position E1 of the driver's basic settings.
  • An example is shown in which the target object 4 on which the AR image 6 is to be superimposed and displayed is present at a position P2 before the virtual image area 7 in the Z direction.
  • amendment are shown.
  • the position Qa indicates the display position of the AR image 6a before correction in the X direction.
  • the position Qb indicates the display position of the AR image 6b after correction in the X direction.
  • the AR image 6 is displayed superimposed on the real image of the object 4 in the virtual image area 7 as viewed from the viewpoint position E1 of the basic setting.
  • the driver looks at the real image of the object 4 and the AR image 6 of the virtual image area 7 ahead of the viewing area 5 of the windshield 9 from the viewpoint position E1 and the like.
  • the viewpoint position of the driver moves from the viewpoint position E1 to the left and right positions in the horizontal direction (X direction), for example, the viewpoint position Ex after moving to the right, the object 4 and AR in the state before correction
  • a shift occurs in the image 6a.
  • a difference between the object position and the AR image display position a distance occurs.
  • the deviation is larger, it is more difficult for the driver to recognize that the object is related to the AR image.
  • the display position (position Qa) of the AR image 6a is corrected to the display position (position Qb) of the AR image 6b according to the object position and the viewpoint position by the correction function. .
  • the positional deviation is eliminated.
  • the HUD device 1 detects the position and distance of the object 4 with respect to the position of the vehicle and the viewpoint position based on the image of the camera 2 outside the vehicle.
  • the HUD device 1 also detects the viewpoint position and the amount of movement of the driver of the own vehicle based on the image of the in-vehicle camera 3.
  • the HUD device 1 performs correction control based on the relationship between the virtual image region position P1 in the Z direction and the object position.
  • the HUD device 1 corrects the display position of the AR image according to the object position, the viewpoint position, and the virtual image area position P1.
  • the control unit 10 first determines the display position of the AR image 6a from the viewpoint position E1 of the basic setting as a basis.
  • the control unit 10 corrects the display position of the AR image 6b after correction when viewed from the moved viewpoint position Ex according to the movement amount of the viewpoint position.
  • the viewpoint position E1 of the basic setting and the virtual image area 7 are arranged at the center in the X direction with respect to the visual recognition area 5 of the windshield 9 for illustration.
  • the implementation is not limited to this.
  • FIG. 2 shows the configuration of the in-vehicle system 100 including the HUD device 1 according to the embodiment.
  • the in-vehicle system 100 is a system mounted on a car.
  • a driver who is a user operates and uses the in-vehicle system 100 and the HUD device 1.
  • This HUD device 1 is particularly an AR-HUD device having an AR function.
  • the on-vehicle system 100 includes an ECU (Engine Control Unit) 101, an HUD device 1, an external imaging unit 102 including an external camera 2, an image data storage unit 103, a communication unit 104, and a GPS (Global Positioning System) receiver 105. , A car navigation unit 106, a sensor unit 108, a DB unit 109 and the like, which are connected to a car bus and a CAN (Car Area Network) 110.
  • the in-vehicle system 100 further includes an audio output unit, an operation unit, a power supply unit, and the like (not shown).
  • the HUD device 1 includes a control unit 10 and a display unit 20.
  • the HUD device 1 has an AR function.
  • the HUD device 1 can convey various information to the driver by displaying a virtual image including an AR image on the virtual image area 7 passing through the visible area 5 of the windshield 9 using the AR function.
  • the AR function of the HUD device 1 includes a correction function.
  • the correction function is a function of automatically correcting the display position of the AR image in the virtual image area 7.
  • the HUD device 1 can also perform voice output to the driver using, for example, a voice output unit, for example, guidance or alarm by a car navigation function or an AR function.
  • the HUD device 1 also has an operation unit such as an operation panel and operation buttons, and also allows manual operation input by the driver, for example, ON / OFF of an AR function, user setting, adjustment of the mirror angle of the optical system 24, etc. .
  • the control unit 10 controls the entire HUD device 1.
  • the control unit 10 includes hardware such as a CPU, a ROM, and a RAM, and corresponding software.
  • the control unit 10 and other units may be implemented by hardware such as a microcomputer or an FPGA.
  • the control unit 10 realizes each unit such as the image input unit 11 by, for example, reading a program from the ROM by the CPU and executing processing according to the program.
  • the control unit 10 stores various data and information in an internal memory or an external memory as needed, and performs reading and writing.
  • the control unit 10 holds setting information and the like for the AR function in the non-volatile memory of the memory.
  • the setting information includes setting information for conversion processing of the correction unit 14 and user setting information.
  • the user setting information includes setting information of the viewpoint position and virtual image area position of the basic setting, the angle of the mirror of the optical system 24, and the like.
  • the control unit 10 inputs an image captured by the camera 2 outside the vehicle, generates AR data for displaying a virtual image in the virtual image area 7 of the visual recognition area 5 while using each acquired information, and gives it to the display unit 20 .
  • the control unit 10 corrects the display position of the AR image in the virtual image area 7 when generating the AR data. Further, the control unit 10 can control the display unit 20 to adjust the state of the mirror of the optical system 24 such as the angle. Thereby, the position of the virtual image area 7 can be adjusted.
  • the display unit 20 is configured by a projection type video display device (projector) or the like.
  • the display unit 20 includes a display drive circuit 21, a display element 22, a light source 23, an optical system 24, and a drive unit 25, which are connected to one another.
  • the display unit 20 generates video light for displaying a virtual image based on the control from the control unit 10 and the video data (AR data), and projects the video light to the area in the viewing area 5.
  • the display drive circuit 21 generates a display drive signal for AR display in accordance with the video data from the AR display unit 15 and gives the display element 22 and the light source 23 to drive control.
  • the light source 23 generates illumination light to the display element 22 based on the display drive signal.
  • the light source 23 is configured of, for example, a high pressure mercury lamp, a xenon lamp, an LED element, or a laser element.
  • the light from the light source 23 is incident on the display element 22 through an illumination optical system (not shown).
  • the illumination optical system condenses the illumination light, makes it uniform, and illuminates the display element 22.
  • the display element 22 generates image light based on the display drive signal and the illumination light from the light source 23, and emits the image light to the optical system 24.
  • the display element 22 is configured by, for example, an SLM (Spatial Light Modulator: spatial light modulator), a DMD (Digital Micromirror Device (registered trademark)), a MEMS device, an LCD (transmissive liquid crystal panel or reflective liquid crystal panel), or the like.
  • the optical system 24 includes an element such as a lens or a mirror for guiding the image light from the display element 22 to the viewing area 5 of the windshield 9.
  • the drive unit 25 is connected to the optical system 24.
  • the image light from the display element 22 is enlarged or the like by the lens of the optical system 24, reflected by the mirror or the like, and projected onto a part of the visual recognition area 5 (FIG. 3).
  • the image light reflected by the area is incident on the eyes of the driver and forms an image on the retina.
  • a virtual image area 7 viewed through the visual recognition area 5 is formed corresponding to the area in the visual recognition area 5, and a virtual image is visually recognized in the virtual image area 7.
  • the drive unit 25 is an optical system drive unit for driving the optical system 24, and includes components such as a motor for driving a lens, a mirror, and the like.
  • the drive unit 25 drives the optical system 24 according to a manual operation input by the driver or control from the control unit 10, and changes, for example, the angle of the mirror.
  • the drive unit 25 includes, for example, an operation button for adjusting the angle of the mirror.
  • the driver can change the angle of the mirror to positive or negative based on an angle set as a standard by manual operation of the upper and lower sides of the operation button. For example, while the first part of the operation button is pressed, the angle of the mirror changes in the positive direction (direction to increase the angle), and while the second part is pressed, the angle of the mirror is in the negative direction (angle Change in the direction to make
  • the ECU 101 performs vehicle control including engine control and overall control of the in-vehicle system 100.
  • the ECU 101 is a vehicle control unit.
  • the ECU 101 may have advanced functions for driving assistance and automatic driving control.
  • the ECU 101 may output information related to the function to the HUD device 1 to control the HUD device 1 and cause the HUD device 1 to display a virtual image related to the function.
  • the ECU 101 grasps vehicle information such as the vehicle speed based on the detection information from the sensor unit 108 and uses it for control.
  • the HUD device 1 can also acquire vehicle information from the ECU 101 and use it for control.
  • the outside-of-vehicle imaging unit 102 includes one or more outside-vehicle cameras 2 and captures a situation including the front of the vehicle using the outside-vehicle camera 2 while the vehicle is stopped or traveling, etc. Acquire image frame information and vehicle surroundings information.
  • the outside-of-vehicle imaging unit 102 stores the video data and the like in the video data storage unit 103 or outputs the data to the ECU 101 or the HUD device 1.
  • the out-of-vehicle camera 2 is installed at a predetermined position of the vehicle at a predetermined direction and an angle of view (FIG. 3).
  • the position of the camera 2 outside the vehicle is, for example, in the vicinity of the front bumper of the vehicle, in the vicinity of the side of the windshield 9, or in the vicinity of the rearview mirror of the vehicle lateral portion.
  • the out-of-vehicle camera 2 captures an image in a range of a predetermined angle of view in a predetermined imaging direction so as to include the front of the vehicle and the driver, and outputs video data.
  • the outside-of-vehicle imaging unit 102 may or may not include a signal processing unit that processes an image of the outside-vehicle camera 2.
  • the signal processing unit may be provided in the ECU 101 or the HUD device 1.
  • the signal processing unit may process the images of one or more out-of-vehicle cameras 2 to calculate and obtain vehicle surrounding information and the like.
  • the outside-of-vehicle photographing unit 102 may determine the conditions of other vehicles, people, buildings, road surfaces, terrain, weather, and the like around the vehicle based on analysis of the image of the outside-vehicle camera 2.
  • the outside photographing unit 102 has a function of measuring the distance between the vehicle and the object (object distance) and the position of the object in the space based on the vehicle (object position) based on the image of the camera 2 outside the vehicle. May be When two or more cameras or stereo cameras are provided as the camera 2 outside the vehicle, the object distance can be calculated by a known distance measurement method based on binocular parallax or the like using two images captured by the two left and right cameras . Further, even when only one camera 2 outside the vehicle is provided, the position of the object in the space or the like is roughly calculated by a predetermined calculation based on the object position in the image of the camera 2 outside the vehicle, detection information of other sensors, etc. Object distance etc. can be calculated.
  • the video data storage unit 103 stores video data and the like from the camera 2 outside the vehicle.
  • the video data storage unit 103 may be in the outside photographing unit 102 or in the HUD device 1.
  • the video data storage unit 103 may also store video data and the like of the in-vehicle camera 3 of the driver imaging unit 107.
  • the communication unit 104 is a portion including a communication interface device that communicates with a mobile network outside the vehicle, the Internet, and the like.
  • the communication unit 104 can communicate with, for example, a server on the Internet based on control from the ECU 101, the HUD device 1, and the like.
  • the HUD device 1 may refer to and acquire original data, related information, and the like to be used for AR display from the server via the communication unit 104.
  • the communication unit 104 may include a radio receiver for inter-vehicle communication, a radio receiver for road-vehicle communication, a VICS (Vehicle Information and Communication System: road traffic information communication system, registered trademark) receiver, and the like.
  • the inter-vehicle communication is communication between the own vehicle and other surrounding vehicles.
  • Road-to-vehicle communication is communication between an own vehicle and devices such as nearby roads and traffic lights.
  • the GPS receiver 105 acquires current position information (for example, latitude, longitude, altitude, etc.) of the vehicle based on signals from GPS satellites.
  • the ECU 101, the HUD device 1 and the car navigation unit 106 can obtain current position information of the vehicle from the GPS receiver 105 and use it for control.
  • the car navigation unit 106 is a part of an existing car navigation system mounted in a vehicle, holds map information, position information acquired from the GPS receiver 105, and the like, and uses known information to perform known navigation processing. Do.
  • the ECU 101 and the HUD device 1 can perform control by acquiring information from the car navigation unit 106.
  • the HUD device 1 may refer to information from the car navigation unit 106 and use it as original data of AR display. For example, the HUD device 1 may generate, based on the original data, an arrow image for navigation in the direction of travel to the destination, as an example of the AR image.
  • the sensor unit 108 has a known sensor group mounted on a vehicle, and outputs detection information.
  • the ECU 101 and the HUD device 1 perform control by acquiring the detection information.
  • sensor devices included in the sensor unit 108 include a speedometer, an acceleration sensor, a gyro sensor, a geomagnetic sensor (electronic compass), an engine start sensor, a shift position sensor, a steering wheel angle sensor, a headlight sensor, and an external light sensor
  • sensors illuminance sensors, infrared sensors (close object sensors), temperature sensors, and the like.
  • the acceleration sensor and the gyro sensor detect acceleration, angular velocity, angle and the like as the state of the vehicle.
  • the sensor unit 108 may include a distance sensor that measures the distance between the vehicle and the object.
  • the distance sensor can be realized, for example, by an optical sensor, and the distance can be calculated from the time until the emitted light strikes the object and returns. If there is a distance sensor, object distance information can be obtained from the distance sensor.
  • the DB unit 109 is configured of a storage or the like, and original data and information that can be used for AR display are stored in the DB.
  • the original data is, for example, basic image data for generating an AR image.
  • the information includes, for example, basic information and related information on a target object, and a reference image.
  • the DB unit 109 may be in the HUD device 1, may be merged with the car navigation unit 106, or may be provided in a data center or the like on the communication network outside the in-vehicle system 100. Information acquired from the outside via the communication unit 104 may be stored in the DB.
  • the windshield 9 is a part of a car, and is made of transparent and rigid glass, a film of predetermined optical characteristics, and the like (FIG. 3).
  • a virtual image area 7 is formed in a partial area in the visible area 5 of the windshield 9 when using the AR function.
  • an AR dedicated display plate (such as a combiner) may be provided in front of the windshield 9.
  • the virtual image area 7 can be set within the range of the visual recognition area 5.
  • the image input unit 11 inputs an image captured by the camera 2 outside the vehicle, and extracts a predetermined object for AR from the image.
  • the information acquisition unit 12 acquires object information, viewpoint information, vehicle information, virtual image information and the like as information necessary for AR display and correction.
  • Object information is information including an object position and an object distance.
  • the object position is, for example, two-dimensional coordinates in the image or three-dimensional coordinates in space.
  • the object distance is the distance between the vehicle and the object.
  • the vehicle information is information including a vehicle speed, a traveling direction, and the like.
  • the viewpoint information is information such as the viewpoint position of the driver.
  • the virtual image information is information such as the set position of the virtual image area 7 or the like.
  • the AR image generation unit 13 generates data of a basic AR image to be superimposed and displayed on the object.
  • the basic AR image has a basic display position in the virtual image area 7.
  • the correction unit 14 is a display position conversion unit, and performs correction processing of the display position of the AR image in correspondence with the correction function.
  • the correction unit 14 corrects the display position of the AR image in the virtual image area 7 using the basic AR image generated by the AR image generation unit 13 and each information acquired by the information acquisition unit 12.
  • the correction unit 14 performs the correction as a predetermined conversion process.
  • the conversion process is defined in advance by, for example, a conversion table.
  • the correction unit 14 outputs data including the corrected AR image display position.
  • the AR display unit 15 generates AR data for superimposing a virtual image including an AR image on the virtual image area 7 using the corrected data, and performs display control on the display unit 20 based on the AR data.
  • FIG. 3 is a plan view of the vicinity of the driver's seat of the automobile as viewed from the side (X direction), and shows an outline of the viewpoint position, the virtual image area position, and the like.
  • the state of FIG. 3 shows the basic setting state, and shows a state in which the driver looks at the AR image 6 of the virtual image area 7 seen in front of the visual recognition area 5 of the windshield 9 from the viewpoint position E1 of the basic setting and the object 4 .
  • a windshield 9 is located in front of the driver's seat, and a visual recognition area 5 is a part of the windshield 9.
  • a virtual image area 7 is formed corresponding to a partial area 307 in the visual recognition area 5.
  • the HUD device 1 and the car navigation unit 106 and the like are accommodated and installed at one position of the dashboard in front of the driver's seat, for example, the position of the console panel.
  • FIG. 5 shows a viewpoint position E1 of a basic setting based on the position of the driver's eyes. Further, an eyebox 300 including a viewpoint position E1 is shown. Note that the viewpoint position may be different from the eye position. For example, the viewpoint position may be calculated as an intermediate point between the left and right eyes, or may be calculated as a center point of a head or a face.
  • a line of sight 301 when the AR image 6 of the virtual image area 7 and the object 4 are viewed from the viewpoint position E1 through the area 307 in the visual recognition area 5 is indicated by an alternate long and short dash line.
  • the example of position p2 of installation of camera 2 outside the car in vehicles, and photography direction 302 is shown.
  • the case where the imaging direction 302 is the Z direction is shown.
  • the example of position p3 of installation of in-vehicle camera 3 in vehicles, and photography direction 303 is shown.
  • the installation positions of the outside camera 2 and the inside camera 3 are not limited to these, and are possible.
  • the mirror 501 of the optical system 24 in the HUD device 1 is shown.
  • the mirror 501 has an angle ⁇ and an angle ⁇ as two axes of variable angles (FIG. 5).
  • the image light 304 is projected by the reflection from the mirror 501 to the area 307 in the visual recognition area 5 inside the windshield 9 and is reflected toward the driver's eyes.
  • the position pC of the center of the area 307, which is the projection position of the image light 304, is shown.
  • the configuration of the optical system 24 is not limited to this, and any configuration may be used as long as the position and the direction of projecting the image light onto the viewing area 5 are variable.
  • the AR image 6 in the virtual image area 7 is formed at a position forward of the visual recognition area 5 so as to correspond to the position pA of the object 4 in space when viewed from the viewpoint position E1 in calculation of the HUD device 1 Ru.
  • the center point of the virtual image area 7 in the space and the display position of the AR image 6 in the case of displaying at the center point are shown as a position pB.
  • the line of sight 301 is a line of sight passing through the position pC, the position pB, and the position pA and looking at the real image of the object 4 and the AR image 6 superimposed thereon.
  • the virtual image area 7 shows the case where the viewing direction 301 is a normal line.
  • the mirror 501 is a free-form surface mirror or the like, for example, a concave mirror.
  • the mirror 501 has an angle ⁇ and an angle ⁇ that represent the orientation.
  • the mirror 501 has, for example, an angle ⁇ of a rotation axis (X axis) extending in the X direction and an angle ⁇ of a rotation axis (Y axis) extending in the Y direction.
  • the angle ⁇ and the angle ⁇ are variable within a predetermined range by the drive from the drive unit 25. According to the state of the angle ⁇ and the angle ⁇ , the projection direction and the projection position (position pC) of the image light 304 are variable. Further, by designing the curved surface of the mirror 501 or the like, it is possible to provide a function of distortion correction for making the curved surface region 307 correspond.
  • Each position such as the viewpoint position, has three-dimensional coordinates in space.
  • it has a viewpoint position E1 (X1, Y1, Z1), a position pA (XA, YA, ZA), a position pB (XB, YB, ZB), a position pC (XC, YC, ZC) and the like.
  • the control unit 10 grasps three-dimensional coordinates of each position by calculation.
  • the relationship between the position p2 of the camera 2 outside the vehicle, the position p3 of the camera 3 inside the vehicle, and the viewpoint position is as follows.
  • the position p2 of the outside camera 2 and the position p3 of the in-vehicle camera 3 in the space are set in advance.
  • the viewpoint position of the driver is generally contained within a predetermined range corresponding to the vicinity of the driver's seat, and is grasped by the driver imaging unit 107.
  • the position p2, the position p3, and the viewpoint position (for example, the viewpoint position E1) have a predetermined relationship.
  • the respective positions can be mutually converted by calculation based on a predetermined relationship, and can be aligned at the time of calculation such as correction.
  • the positions of the vehicles have a relationship with their position, and are similarly interchangeable.
  • the position and object distance of an object viewed from the viewpoint position can be calculated from the object position and object distance viewed from the position p2 of the camera 2 outside the vehicle and the distance between the position p2 and the viewpoint position E1.
  • the calculation of the mutual conversion between each position may be omitted, and each position may be regarded as roughly the same to perform control, and a corresponding effect can be obtained.
  • FIG. 4 simply shows the visual recognition area 5 and the virtual image area 7 of the windshield 9 as viewed from the front seat of the vehicle.
  • FIG. 4 shows a state in which there is no deviation between the real image and the virtual image (AR image).
  • the console panel 402 operation input and screen display of the HUD device 1 and the car navigation unit 106 are performed.
  • the windshield 9 has a curved visible area 5.
  • An indoor rearview mirror 403 and the like are installed on the upper side of the windshield 9.
  • the in-vehicle camera 3 is installed at the upper right position of the windshield 9.
  • the camera 2 outside the vehicle is installed at any predetermined position of the vehicle.
  • the AR image 6 is superimposed and displayed on the object 4.
  • the AR image 6 is an alert icon image for alerting an oncoming vehicle, and shows a case of an arch shape (ring shape having a notch).
  • FIG. 5 shows basic settings and the like of the viewpoint position E1 and the virtual image area 7 according to the individual driver.
  • the view point position E1 of the basic setting is shown.
  • the viewpoint position E1 is set as a user setting value based on the initial setting value of the HUD device 1.
  • the driver adjusts the driver's seat etc. according to his / her physical constitution and posture, and takes a basic posture. Thereafter, the driver performs basic setting of the virtual image area 7 and the viewpoint position E1 of the HUD device 1.
  • the driver adjusts the angles ⁇ , ⁇ , etc. of the mirror 501 of the optical system 24 as necessary, and adjusts the virtual image area 7 to be in a suitable state as viewed from his / her viewpoint position.
  • the position of the virtual image area 7 can be changed in the X direction and the Y direction within a predetermined setting range. In the modification, furthermore, the position of the virtual image area 7 can be changed also in the Z direction within a predetermined setting range.
  • the HUD device 1 displays a guide AR image 503 (for example, a frame indicating the virtual image area 7 or a mark indicating the central position) for basic setting on the virtual image area 7.
  • a guide AR image 503 for example, a frame indicating the virtual image area 7 or a mark indicating the central position
  • the driver manually adjusts, for example, the angle of the mirror 501 so as to be in a suitable state in accordance with the line of sight from the viewpoint position of the driver.
  • the HUD device 1 has a mirror 501 as a part of the optical system 24.
  • the HUD device 1 has a drive unit 25 that drives the angles ⁇ and ⁇ of the mirror 501 variably.
  • the drive unit 25 changes the angles ⁇ and ⁇ of the mirror 501 by driving a motor or the like based on the control from the control unit 10 or the operation input from the operation unit (for example, the operation button of the console panel 402).
  • the projection direction and the projection position are determined.
  • By adjusting the angle ⁇ it is possible to adjust the position of the virtual image area 7 in the Y direction as seen from the driver.
  • the HUD device 1 captures an image of the driver with the in-vehicle camera 3, detects a viewpoint position based on, for example, the middle point of both eyes, and sets it as a viewpoint position E1 of basic setting. In addition, the HUD device 1 detects and sets the states of the angles ⁇ and ⁇ of the mirror 501 at the time of the state corresponding to the viewpoint position E1 through the drive unit 502. In addition, the operation of adjustment by the driver may be omitted, and the HUD device 1 may automatically adjust the angle of the mirror 501 to perform basic setting.
  • the position and the like of the virtual image region 7 in the front-rear direction (Z direction) can also be variably set and controlled.
  • the presence or absence of correction of the display position of the AR image and the correction method can also be set.
  • the HUD device 1 can set the virtual image area 7 at the position of the virtual image distance by changing the virtual image distance according to the application and the situation and according to the user setting. For example, there are virtual image distances suitable for traveling on a general road and traveling on a freeway, respectively.
  • the control unit 10 of the HUD device 1 can switch and set the virtual image distance according to the determination of those conditions (for example, the determination based on the vehicle speed).
  • the virtual image distance can be changed according to the driver's arbitrary input operation.
  • FIG. 6 shows an example of setting in the virtual image area 7 (HUD display range).
  • various virtual images can be displayed according to the setting.
  • the display position and the display area can be set for each information type.
  • a non-AR area 601 which is a lower side area and an AR area 602 which is an area other than the non-AR area 601 are set.
  • vehicle information and the like are displayed as a virtual image (non-AR image).
  • the vehicle information includes, for example, vehicle speed information 603, navigation information 604 such as turning to the right and left, and a destination distance, and other information (arbitrary characters and the like).
  • the virtual image of the non-AR region 601 is set as a target to which the correction function is not applied.
  • an AR image 6 (for example, an alert icon image) is superimposed on the target object 4 and basically set as an application target of the correction function.
  • the type of AR image 6, the presence or absence of application of the correction function, etc. can be set.
  • the lower table of FIG. 6 shows an AR setting example when displaying an AR image in the AR area 602 of the virtual image area 7 by the AR function and the correction function.
  • information items there are an object type, an AR image type, and the presence or absence of correction of the correction function.
  • the AR image type, the presence or absence of correction, and the like can be set for each object type.
  • the target object is a vehicle of the object type K1
  • the AR image type G1 is applied, and a setting for applying the correction of the AR image display position by the correction function is shown.
  • FIG. 7 shows the relationship between the position and distance of the viewpoint, the object, and the virtual image (virtual image area 7).
  • the view point position E1 of the basic setting and the view point position Ex after moving to the right in the X direction are shown.
  • a moving amount H (viewpoint moving distance) from the viewpoint position E1 to the viewpoint position Ex is shown.
  • the object 4 is shown by a solid circle.
  • the AR image 6 is shown by a dotted circle.
  • the distance from the viewpoint position to the object position is indicated as an object distance LA.
  • the distance between the viewpoint position and the virtual image region position P1 is shown as a virtual image distance LB.
  • the distance between the virtual image area position P1 and the object position is shown as a virtual image object distance LC (relative distance).
  • a virtual image area 7 is set at a virtual image area position P1 of a predetermined virtual image distance LB from the viewpoint position E1 to the front (Z direction) over the windshield 9.
  • the virtual image distance LB is set by the HUD device 1 and is variable in the case of the modification.
  • the virtual image distance LB is 20 to 30 m (eg, 25 m) as in the second HUD device described above.
  • the display position of the AR image 6 is the same as the object 4.
  • the display position of the AR image 6 of each object 4 is indicated by a white circle.
  • the AR image 6A after correction viewed from the viewpoint position Ex after movement is shown based on the AR image 6 before correction viewed from the viewpoint position E1.
  • the AR image 6B after correction viewed from the viewpoint position Ex after movement is shown based on the AR image 6 before correction viewed from the viewpoint position E1.
  • the position Qa of the AR image before correction and the position Qb of the AR image 6B after correction are shown.
  • the HUD device 1 corrects the display position of the AR image 6 according to the relationship between the position and distance of the viewpoint, the object, and the virtual image area 7 as described above.
  • the influence of the positional deviation is different between the case where the object 4 is in front of and the case where it is behind the virtual image region 7. Therefore, the HUD device 1 corrects the display position of the AR image 6 when, for example, the object 4 is ahead of the virtual image area 7.
  • FIG. 8 shows the flow of the main processing of the control unit 10 of the HUD device 1. This process includes a conversion process of correction of the display position of the AR image.
  • the control unit 10 performs such processing in real time while the host vehicle is traveling and the AR function is used.
  • FIG. 8 has steps S1 to S10. The steps will be described in the following order.
  • the HUD device 1 performs basic setting processing based on the driver's operation. As shown in FIG. 5, a viewpoint position E1 of basic setting, a virtual image region position P1 and the like are set. The HUD device 1 performs the following processing with the AR function on.
  • the image input unit 11 of the control unit 10 sequentially inputs image frames of the video data of the out-of-vehicle camera 2 of the out-of-vehicle photographing unit 102 by reading out from the video data storage unit 103 or the like.
  • the image input unit 11 performs a process of extracting an area or the like of a predetermined object for AR from the input image.
  • the predetermined object is, for example, a car, a person, a bicycle or the like on which an AR image is to be superimposed and displayed, and is a lane or mark of a road surface or a traffic sign used for AR control.
  • This extraction process can be realized by a known technique including image analysis such as feature amount extraction and image matching.
  • the image input unit 11 detects the two-dimensional coordinates (x, y) of the object position in the image, the object distance between the viewpoint position and the object position, and the like regarding the object 4 extracted from the input image .
  • the image input unit 11 detects three-dimensional coordinates (X, Y, Z) of an object position in space.
  • the image input unit 11 or the driver imaging unit 107 inputs an image of video data from the in-vehicle camera 3.
  • the information acquiring unit 12 may acquire information such as the viewpoint position and the like detected by the driver imaging unit 107.
  • the image input unit 11 or the driver imaging unit 107 detects the current viewpoint position of the driver from the image of the in-vehicle camera 3.
  • the image input unit 11 or the driver imaging unit 107 detects two-dimensional coordinates (x, y) of the viewpoint position in the image or three-dimensional coordinates (X, Y, Z) of the viewpoint position in the space. Further, the image input unit 11 or the driver imaging unit 107 detects a movement amount, a movement direction, and the like related to the viewpoint position Ex after the movement from the viewpoint position E1 of the basic setting.
  • the information acquisition unit 12 acquires object information, viewpoint information, vehicle information, virtual image information and the like as information necessary for virtual image display and correction.
  • the object information includes information such as object position, object distance, object type (for example, car, person, bicycle, etc.), size, and the like.
  • the viewpoint information includes the viewpoint position, the amount of movement, and the like.
  • Vehicle information includes vehicle speed, traveling direction, and the like.
  • the virtual image information includes setting information such as a virtual image area position P1.
  • the information acquisition unit 12 may acquire object distance information from, for example, the outside photographing unit 102 or the sensor unit 108 (for example, a distance sensor).
  • the information acquisition unit 12 may acquire vehicle information from the ECU 101 or the sensor unit 108, for example.
  • the information acquisition unit 12 may acquire, for example, current position information of the vehicle from the sensor unit 108, the GPS receiver 105, or the car navigation unit 106.
  • the information acquisition unit 12 may acquire information from the outside via the DB unit 109 or the communication unit 104.
  • the AR image generation unit 13 generates basic AR image data of the AR image 6 to be superimposed and displayed on the target object 4 using the respective images and the acquired information.
  • the basic AR image data generated here has a basic display position before correction.
  • the AR image generation unit 13 generates an AR image according to the object type and the like.
  • the AR image generation unit 13 generates an AR image (for example, an alert icon image) according to the extracted object (for example, another vehicle).
  • the AR image generation unit 13 may generate an AR image (for example, a navigation arrow image) from the ECU 101, the car navigation unit 106, the DB unit 109, and the like by referring to data and information as appropriate. These depend on what information is provided as an AR function, and are not particularly limited.
  • the AR image generation unit 13 outputs the generated AR image data and the like.
  • the correction unit 14 performs conversion processing to correct the display position of the AR image 6 of the virtual image area 7 on the basic AR image data generated by the AR image generation unit 13.
  • the correction unit 14 determines the display position of the AR image after correction according to the object position and the object distance, the movement amount of the viewpoint position, the anteroposterior relation of the object with the virtual image region position P1, and the like. In other words, the correction amount from the display position of the AR image before correction is determined.
  • the correction unit 14 determines the display position of the AR image after correction by performing conversion processing based on a predetermined conversion table (or a predetermined conversion formula).
  • the correction unit 14 performs conversion processing with reference to the conversion table with the object position, the viewpoint position movement amount, the virtual image area position and the like as input values, and outputs the display position and the like of the corrected AR image as an output value.
  • the correction unit 14 performs a correction process on the object 4 before the virtual image area 7 using, for example, a second method described later as a correction method, and obtains the display position of the AR image after correction.
  • the correction unit 14 compares the amount of movement of the viewpoint position in the X direction with a predetermined threshold, and performs correction processing when the threshold is exceeded.
  • the threshold can be set according to the eye box or the like.
  • the AR display unit 15 generates AR data which is display data for displaying a virtual image reflecting the correction up to S9.
  • the AR display unit 15 corresponds to the area (area 307 in FIG. 3) of the curved surface of the windshield 9 from the plane (virtual image plane) calculated by the HUD device 1 when generating AR data. It also performs coordinate transformation of This coordinate transformation can be realized using a known projective transformation or the like, and is a transformation for forming a planar virtual image area 7 as a result of projection onto a curved surface.
  • the display unit 20 generates and emits video light based on the AR data from the AR display unit 15 of the control unit 10.
  • the image light is projected through the optical system 24 onto the area 307 in the visible area 5 of the windshield 9 and reflected.
  • the driver visually recognizes as an AR image superimposed on the object in the virtual image area 7.
  • the above-described main processing is repeated in the same manner.
  • FIG. 9 shows acquisition of the object position and the viewpoint position.
  • (A) of FIG. 9 shows an image 901 of the camera 2 outside the vehicle. If the image 901 includes the object 4 (for example, another vehicle), two-dimensional coordinates (xm, ym) are detected as the position of the object 4 in the image 901. Furthermore, below (A), in the XZ plane in space, the position D of the vehicle 900, the object position of the other vehicle (object 4), and the distance D between the vehicle 900 and the other vehicle as the object distance Show.
  • the three-dimensional coordinates of the object position are position coordinates in a three-dimensional coordinate system based on the vehicle position (viewpoint position).
  • the distance DX is a component in the X direction
  • the distance DY is a component in the Y direction
  • the distance DZ is a component in the Z direction.
  • the control unit 10 obtains such three-dimensional coordinates of the object position and the like using the image 901 and the above-described means.
  • FIG. 9B shows an image 902 of the in-vehicle camera 3.
  • the viewpoint position E1 of basic setting, the viewpoint position Ex after movement, the movement amount H, the movement direction (including at least the X direction), and the like can be detected as the viewpoint position of the driver.
  • the viewpoint position E1 (x1, y1) and the viewpoint position Ex (x2, y2) are shown.
  • the viewpoint position E1 and the viewpoint position Ex may be detected as two-dimensional coordinates, or may be detected as three-dimensional coordinates.
  • three-dimensional coordinates can be obtained by a predetermined calculation.
  • a viewpoint position E1 (X1, Y1, Z1) and a viewpoint position Ex (X2, Y2, Z2) are shown.
  • the movement amount H of the viewpoint position can be detected from the difference between these viewpoint positions.
  • the correction of the display position of the AR image by the correction function of the HUD device 1 according to the embodiment is realized using three-dimensional information as described above, but it is easily realized using two-dimensional information. You may When the three-dimensional coordinates of the viewpoint position and the three-dimensional coordinates of the object position can be detected, it is possible to detect a straight line connecting those two points. Also, the straight line may be regarded as a line of sight roughly and used for control.
  • the HUD device 1 calculates and detects at least two-dimensional coordinates or three-dimensional coordinates of the viewpoint position using the in-vehicle camera 3.
  • the information is used to control the correction function.
  • the display position of the AR image may be controlled according to the viewpoint position and the gaze direction.
  • control such as not performing correction may be mentioned.
  • not only the correction of the display position of the AR image but also the control of the processing of the AR image may be added according to the viewpoint position, the line of sight direction, and the like.
  • processing is performed to change the shape, color, etc. of the AR image so that the state under correction (that is, the state during change of the viewpoint position) is transmitted to the driver. It is also good.
  • Combinations with various known techniques for making the AR image easy to view are possible.
  • FIG. 10 shows the basics of generation of an AR image 6 in the virtual image area 7 by the AR image generation unit 13.
  • the basic display position also referred to as the pre-correction display position
  • the object position in the calculation plane denoted as virtual image plane 8
  • an AR image 6 is arranged for each object position of the target object 4.
  • the AR image generation unit 13 generates a two-dimensional coordinate (xa, x) of the basic display position of the AR image 6 with respect to the two-dimensional coordinate (xm, ym) of the object position on the virtual image plane 8 based on the object position and the viewpoint position E1. Determine ya).
  • the two-dimensional coordinates (xa, ya) of the basic display position of the AR image in the virtual image plane 8 are obtained by a predetermined calculation based on the object position, the three-dimensional coordinates of the viewpoint position, and the distance between them.
  • an alert icon image for alerting is superimposed and displayed as the AR image 6. It has an arch shape as an example of the alert icon image, and is displayed so as to appear parallel to the road surface.
  • the center of the lower side of the object area of the object 4 is used as the basic display position of the AR image, the present invention is not limited to this.
  • an AR image whose inclination or the like is adjusted in accordance with the road surface is generated.
  • the AR image is arranged at the basic display position in the virtual image plane 8.
  • the color, size, etc. of the AR image may be adjusted. For example, a color according to the type of object, an AR image size matched to the object area size, or the like may be used.
  • FIG. 10 shows an example of another AR image.
  • another vehicle as the object 4
  • a frame image surrounding the object 4 (object region) is used as the AR image 6
  • an example of displaying an arrow image for navigation in the traveling direction at an anterior position on the road as the AR image 6 is shown.
  • the object 4 is a predetermined facility or a signboard
  • an example in which a balloon image is displayed as the AR image 6 at a position a little apart from the object position is shown.
  • information on the object 4 for example, information on a facility or a signboard based on reference to the car navigation unit 106 or the DB unit 109
  • characters or the like is displayed as characters or the like.
  • the correction function can be similarly applied.
  • the balloon image may be set with or without correction.
  • the positional relationship between the object and the balloon image is maintained before and after the correction.
  • correction is performed, the appearance of the distance between the object and the balloon image changes according to the viewpoint position.
  • a lane image image for highlighting of lines at the left and right ends of the road
  • correction function the content of correction of the display position of the AR image is controlled according to the object position, the viewpoint position movement amount, and the positional relationship between the virtual image area and the object. The following methods are used for this correction function.
  • the control unit 10 corrects the content of AR data (display data to be given to the display unit 20). This is realized by performing the processing to The correction process can be realized by, for example, a conversion process using a conversion table based on the software program process of the control unit 10.
  • control may be applied to change the angles ⁇ , ⁇ , etc. of the mirror 501 of the optical system 24 of the display unit 20 in the hardware of the HUD device.
  • control based on a combination of information processing of the AR data and drive control of the optical system 24 may be applied.
  • FIG. 11 shows a correction method of the AR image display position in the correction function of the HUD device 1 of the embodiment.
  • This correction method is a method of controlling correction in accordance with the positional relationship between the object 4 and the virtual image area 7 particularly in the front and back of the Z direction.
  • the correction function corrects the display position of the AR image using at least one of the following methods.
  • at least any one type of correction function is implemented in advance as a design matter.
  • a scheme selected by the user from any of a plurality of schemes may be settable as a scheme to be used by using the user setting function.
  • the method to be used may be switched from a plurality of methods depending on the situation. The effect of the correction according to the system to be used can be realized.
  • the HUD device 1 determines the display position after correction of the AR image 6 in the virtual image area 7 in the X direction according to the object position and the movement amount H of the viewpoint position.
  • (B) Second method Furthermore, in the second method etc., correction is made in at least two divisions, the case where the object 4 is behind and the case where it is before the virtual image region 7 (virtual image region position P1) in the Z direction.
  • the latter case is the case of the object 4a at the position P3, in other words, the case where the object distance LA is larger than the virtual image distance LB (LA ⁇ LB).
  • the case of being in front is the case of the object 4b at the position P2, in other words, the case where the object distance LA is smaller than the virtual image distance LB (LA ⁇ LB).
  • the HUD device 1 corrects the display position of the AR image 6 when the object 4 is ahead of the virtual image area 7 as a positional relationship, and the object 4 is in the virtual image area position P1 or If it is later than, no correction is made.
  • the object 4 b in front correction is performed as viewed from the viewpoint position Ex after movement, and the AR image 6 b after correction is shown.
  • the AR image 6a from the viewpoint position E1 is not corrected, and the AR image 6a before correction is shown.
  • the third system or lower may be used.
  • the position of the control threshold is set at a position 802 of a predetermined distance 801 before the virtual image region position P1 in the Z direction.
  • the HUD device 1 performs the correction when the object position is before the position 802, and does not perform the correction when the object position is after the position 802.
  • the third method as an idea, when the object position is between the virtual image area position P1 and the position 802, the correction is not performed because the object 4 and the virtual image area 7 are relatively close and the influence of displacement is relatively small.
  • a range 803 of a predetermined distance is set as a virtual image region vicinity range which is a control range before and after the virtual image region position P1.
  • three sections are provided in the range 803 and before and after it.
  • the HUD device 1 when the object position is within the range 803, the HUD device 1 does not perform the correction.
  • the correction is not performed because the object 4 and the virtual image area 7 are relatively close and the influence of the deviation is relatively small.
  • correction is performed when the object position is outside the range 803 but before the position, and correction is not performed when the object position is outside the range 803 after the position.
  • FIG. 12 shows a correction method according to the movement amount of the viewpoint position as a correction method additionally applied in the HUD device 1 of the embodiment.
  • this correction method depending on the amount of movement H in the X direction of the viewpoint position, the control of the display position of the AR image is controlled depending on whether the movement amount H is within a predetermined threshold or exceeds the threshold. Do.
  • FIG. 12A shows a case where the movement amount H is the movement amount Hx1 and the movement amount Hx1 is within the predetermined threshold value Ht at the viewpoint position Ex1 after movement from the viewpoint position E1 of basic setting to the right, for example. .
  • a case where there is an object 4a at a position P3 after the virtual image area 7 and an object 4b at a previous position P2 is shown.
  • the HUD device 1 since the movement amount Hx1 is within the threshold value Ht, the HUD device 1 does not perform the correction using the first method or the second method described above.
  • the deviation between the object 4a or the object 4b and the AR image 6a before correction is within an allowable range in visual recognition from the viewpoint position Ex1. From this, the correction process is omitted to improve the efficiency.
  • the movement amount H is the movement amount Hx2 (Hx2> Hx1) at the viewpoint position Ex2 after movement from the viewpoint position E1 of the basic setting, and the movement amount Hx2 is a predetermined threshold Ht. In the case of exceeding. In this case, since the movement amount Hx2 exceeds the threshold value Ht, the HUD device 1 performs the correction using the first method or the second method described above. As a concept, in this case, the deviation between the object 4a or the object 4b and the AR image 6a before correction is out of the allowable range in visual recognition from the viewpoint position Ex2. From this, the correction process is executed to eliminate the deviation.
  • the position 121 indicates the display position of the AR image 6a before correction.
  • the position 122 indicates the display position of the AR image after correction.
  • the position 123 indicates the display position of the AR image after the correction.
  • FIG. 13 shows the correction and conversion of the display position of the AR image by the correction unit 14.
  • the correction unit 14 inputs an object position (for example, three-dimensional coordinates), a movement amount from the viewpoint position E1 of basic setting, a virtual image area position P1, and a display position of the AR image before correction Then, the display position (or correction amount) of the AR image after correction is obtained as an output value of the conversion result.
  • an object position for example, three-dimensional coordinates
  • a movement amount from the viewpoint position E1 of basic setting for example, a movement amount from the viewpoint position E1 of basic setting
  • a virtual image area position P1 a display position of the AR image before correction
  • FIG. 13 shows the case where the object position is a position P3 after or a position P2 after the virtual image region position P1 and in the X direction is a position slightly left from the center. Further, as the movement of the viewpoint position, the case of moving to the right from the viewpoint position E1 of the basic setting and the viewpoint position Ex after movement and the movement amount Hx is shown.
  • the display position in the case of displaying the AR image 6 aligned with the object 4a from the viewpoint position E1 to the position P3 or the object 4b at the position P2 in the virtual image area 7 is shown as a position QB of the AR image 6B before correction.
  • the display position of the AR image is the same position QB.
  • the case where the display position of the object 4a located after the virtual image area 7 is corrected is as follows.
  • the HUD device 1 corrects the display position (position QB) of the AR image 6B of the object 4a at the position P3 in accordance with the viewpoint position Ex after movement.
  • the display position after correction is determined as the position QA.
  • the position QA is obtained as an intersection point of the line in the X direction of the virtual image area 7 and the straight line from which the object 4a is viewed from the viewpoint position Ex.
  • the HUD device 1 displays the AR image 6A at the corrected position QA.
  • the HUD device 1 corrects the display position (position QB) of the AR image 6B of the object 4b at the position P2 in accordance with the viewpoint position Ex after movement.
  • the display position after correction is determined as the position QC.
  • a position QC is obtained as an intersection between a line in the X direction of the virtual image area 7 and a straight line from which the object 4b is viewed from the viewpoint position Ex.
  • the HUD device 1 displays the AR image 6C at the position QC after correction.
  • FIG. 14 shows an example of the relationship between the position and distance of the viewpoint, the object, and the virtual image.
  • An example is shown in which the object virtual image distance LC and the like are different.
  • the XZ plane is shown when the road etc. are viewed from the top.
  • the virtual image region position P1 (including the AR image display position) is set, for example, within a range of 20 to 30 m (a set range 140) as a virtual image distance LB from the viewpoint position of the vehicle.
  • the virtual image area position P1 is set to a position of 25 m at the virtual image distance FB.
  • a case where there are a person 151, a cone 152, a car 153 and the like as the object 4 to be an AR target is shown.
  • a person 151 (a pedestrian or the like) is located at a distance of 5 m relatively near to the viewpoint position, before the virtual image region position P1.
  • the object virtual image distance LC is ⁇ 20 m (the case where it is in front of the virtual image region position P1 is negative).
  • the cone 152 is at a position in the vicinity of the virtual image area position P1, in a position within the setting range 140 of 20 to 30 m.
  • a car 153 (such as an oncoming car) is located at a distance (for example, 45 m) approximately 40 to 60 m relatively far from the viewpoint position after the virtual image area position P1.
  • the object virtual image distance LC is +20 m.
  • the car 153 is at a position after the virtual image area position P1, and the object virtual image distance LC is +20 m.
  • the AR image superimposed on the position of the car 153 is affected by the deviation, but the influence is smaller than in the case of the person 151 as in the previous case. Therefore, the AR image of the car 153 may be corrected by the first method or the like, or the correction may be omitted by the second method or the like.
  • the person 151 is at a position before the virtual image region position P1, and the object virtual image distance LC is ⁇ 20 m.
  • the influence of the deviation is greater than in the case of the vehicle 153 as it is behind. Therefore, for the AR image of the person 151, the elimination of the deviation is important, and the correction is surely performed.
  • the correction process is omitted for an object such as a car 153 located after the virtual image area 7 to be efficient, and for an object such as a person 151 located in front, the shift is made by correction. It solves and realizes suitable visual recognition for the driver.
  • FIG. 15 shows an example of an object or an AR image corresponding to the example of FIG.
  • the upper part (A) of FIG. 15 simply shows an example of the object 4 viewed from the viewpoint position E1 of the basic setting.
  • On the road there is a person 151 as the object 4 at a position relatively near to the vehicle.
  • the object position 154 indicates two-dimensional coordinates (x, y) of the object position in the case of the person 151, and indicates a case where it is set as a central point of the object region 155.
  • the object area 155 is an area (for example, a rectangle including the shape of the person 151) surrounding the person 151 as the object 4 and is indicated by a broken line frame.
  • the object area is not limited to a rectangle, but is possible.
  • FIG. 15 shows an example of superimposed display of the AR image 6 on the object 4 of (A).
  • the example which superimposesly displays an alert icon image as AR image 6 with respect to each of the person 151, the cone 152, and the car 153 is shown.
  • the display position 156 indicates a basic display position before correction of the AR image 6 in the case of the person 151.
  • the present invention is not limited thereto.
  • the position may be used as the AR image display position as it is.
  • FIG. 16 shows the positional deviation between the object and the AR image and the correction corresponding to the examples of FIG. 14 and FIG.
  • the virtual image area 7 before and after movement of the viewpoint position is simply shown.
  • the virtual image area 7A shows a virtual image area viewed from the viewpoint position E1 of the basic setting before movement.
  • the virtual image area 7B indicates a virtual image area viewed from the viewpoint position Ex after the viewpoint position E1 has moved to the right.
  • the movement amount H is, for example, 100 mm.
  • the state before the correction as viewed from the viewpoint position Ex, there is a positional deviation between the person 151 and the AR image 6a (AR image before correction) as the object 4, for example.
  • the positional deviation between the person 151 and the AR image 6 b (the AR image after correction) is resolved as viewed from the viewpoint position Ex.
  • the correction from the display position 156 of the AR image 6a before correction to the display position 157 of the AR image 6b after correction.
  • the influence of the shift is large, and thus the correction of the display position is effective.
  • the object virtual image distance LC is 20 m for both the person 151 and the car 153, the person 151 is more affected by the deviation than the car 153. Therefore, for the person 151, the display position of the AR image is reliably corrected using the second method or the like.
  • FIG. 17 shows variable setting of the position of the virtual image area 7 in the Z direction in the HUD device 1 of the modification.
  • the virtual image region position P1 can be variably set within the predetermined setting range 140 (20 to 30 m).
  • the position P1a indicates the case where the virtual image area 7a is set with the position of 30 m as the virtual image distance FB as the virtual image area position.
  • the position P1b indicates the case where the virtual image area 7b is set with the position of 20 m as the virtual image distance FB as the virtual image area position.
  • the case where the object 4 exists in the position (PA, PB, PC) of each object distance is shown.
  • An object 4A at position PA, an object 4B at position PB, and an object 4C at position PC are shown.
  • the correction function can be applied similarly. For example, it is assumed that the second method described above is applied. In the case of the virtual image area 7a, since the object 4C and the object 4B are in the front, the correction is performed, and since the object 4A is the rear, the correction is not performed. In the case of the virtual image region 7b, the correction is performed for the object 4C because it is in the front, and the correction is not performed for the object 4B and the object 4A because they are after.
  • the surface (for example, a rectangular surface) of the virtual image area 7 set based on the road surface, the vehicle, and the driver's condition may be an XY plane or, as shown in FIG. It may be a plane having the line of sight 301 of In each case, the correction function can be applied as well.
  • FIG. 18 shows the setting of the virtual image area 7 in another modification.
  • the virtual image area 7 is not limited to the vertical plane with respect to the line of sight 301 from the viewpoint position E1, but may be a plane obliquely inclined.
  • the virtual image area 7 is set as a plane having an angle ⁇ with respect to the line of sight 301 in the Z direction.
  • the angle ⁇ may be set variably.
  • the virtual image area 7 has a width 181 in the Z direction with the virtual image area position P1 in the Z direction and the position pB on the line of sight 301 as a center.
  • the width 181 is a size within the setting range 140. Even in this case, the correction function is equally applicable.
  • an AR image 6y1 at the position Qy1 and an AR image 6y2 at the position Qy2 are shown as the AR image 6.
  • the position Qy1 is a position above the line of sight 301 in the Z direction and after the virtual image region position P1.
  • the position Qy2 is a position below the line of sight 301 in the Z direction and is a position before the virtual image region position P1.
  • the width 181 may be associated with the range 803 of (D) to control the presence or absence of correction.
  • FIG. 19 shows control outside the virtual image area 7 as a part of the correction function. The control in the case where the AR image display position after correction goes out of the virtual image area 7 according to the viewpoint position movement amount is shown.
  • the virtual image area 7 in consideration of the display position of the AR image 6 regarding the object 4 (the display position calculated when trying to correct) is the virtual image area 7 (corresponding virtual image plane) viewed from the viewpoint position. If it is outside, correction of the display position of the AR image is not performed, and the AR image is not displayed.
  • the virtual image area outside 190 non-display area indicates an example of the area outside the right of the virtual image area 7.
  • the position 191 is the display position of the AR image 6a calculated according to the viewpoint position E1 of the basic setting.
  • the position 192 is a display position calculated for correction in accordance with the viewpoint position Ex after movement.
  • Position 192 is outside the virtual image area 190.
  • the AR image is simply not displayed and corrected.
  • the viewpoint position returns, that is, when the display position after correction returns to the virtual image area 7, correction is performed and the AR image is displayed again.
  • the HUD device 1 In the second control, when the HUD device 1 normally determines that the viewpoint position looks in the virtual image area 7 or the display position after correction is in the virtual image area 7, the correction function is performed. Automatically turns on, corrects and displays. When it is determined that the viewpoint position does not look at the virtual image area 7 or the display position after correction is outside the virtual image area 7, the HUD device 1 automatically switches the correction function to the off state to correct And do not display. In the latter case, the driver considers that the AR image of the virtual image area 7 can not be seen or is intentionally not seen, and turns off the correction function. Depending on the situation, if the driver does not want to see the virtual image, or if he wants to see only the real image, the driver may move the viewpoint position for that purpose. By applying the above control, even in such a case, the driver can easily view only the object without viewing the AR image.
  • the HUD device 1 does not perform correction, and the display position of the AR image before correction Display as it is. That is, the AR image before correction is displayed at a position near the left and right ends of the virtual image area 7 while remaining.
  • the necessity of correction is judged again.
  • the driver visually recognizes, the difference between the object and the AR image remains, and the driver recognizes the difference.
  • the driver wants to view an object by shifting the viewpoint, the driver can easily view the object because the superposition of the AR image is shifted.
  • a suitable AR display can be realized by reducing the deviation between the object and the virtual image (AR image).
  • suitable correction in accordance with the viewpoint position and the virtual image region position,
  • the correction by the correction function of the embodiment is applicable not only to the horizontal direction (X direction) but also to the vertical direction (Y direction) or the like.
  • the present invention is applicable not only to in-vehicle systems but also to various applications.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Computer Hardware Design (AREA)
  • Optics & Photonics (AREA)
  • Transportation (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Automation & Control Theory (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Instrument Panels (AREA)
  • Mechanical Optical Scanning Systems (AREA)

Abstract

AR機能を持つHUD装置の技術に関して、物体と虚像(AR画像)とのずれを低減して、好適なAR表示が実現できる技術を提供する。HUD装置1は、車外カメラ2の撮影画像に基づいて所定の物体4を抽出し、空間内の物体4の物体位置を含む物体情報と、車内カメラ3の撮影画像に基づいた、空間内の運転者の視点位置および移動量を含む視点情報と、空間内の虚像領域7の位置を含む虚像情報と、を含む情報を取得し、物体4に対して重畳表示するための画像を生成し、虚像領域7内の画像(AR画像6)の表示位置を、少なくとも水平方向(X)を含めて補正する。HUD装置1は、補正の際、運転者の基本設定の視点位置E1から移動後の視点位置Exから、視認領域を通じて物体位置を見た場合の直線上の虚像領域7との交差点の位置を、補正後の画像の表示位置とするように、変換処理を行う。

Description

ヘッドアップディスプレイ装置およびその表示制御方法
 本発明は、ヘッドアップディスプレイ(HUD:Head Up Display)装置等の表示装置の技術に関し、拡張現実(AR:Augmented Reality)の画像情報を運転者に提供する技術に関する。
 AR機能を有するAR表示装置やそのシステムとして、自動車等に搭載されるHUD装置がある。そのHUD装置(AR-HUDと呼ばれる場合もある)では、運転者等の利用者の視界におけるウィンドシールドやコンバイナ等の視認領域において、透過される実像に対し、映像光の投射によって虚像を重畳表示する。視認領域は、利用者が画像を視認できる領域である。以下、虚像をAR画像と記載する場合がある。虚像は、例えば、自車の前方の道路や車等を含む実像に対する、運転支援等のための画像情報が挙げられる。詳しい例としては、車速等の車両情報の画像、進行方向ナビゲーション等の矢印画像、車や人や自転車等の接近を示す注意喚起や強調等のためのアイコン画像、等が挙げられる。また、虚像の生成のための元データとしては、車載のセンサやエンジン制御部やカーナビゲーションシステム等の情報が利用可能である。
 HUD装置は、例えば、表示素子、光源、および光学系を備える。光学系は、映像光を視認領域に導くためのレンズやミラー等がある。表示素子からの映像光は、ミラー等を経由して、ウィンドシールドやコンバイナ等の視認領域内の所定の領域に投射される。所定の領域で反射された光は、運転者の目に入射して網膜に結像し、運転者が虚像として認識する。所定の領域に対応して、運転者の視点から視認領域越しの前方に、虚像が見える領域である虚像領域が構成される。
 車載のHUD装置に関する先行技術例としては、特開2010-70066号公報(特許文献1)が挙げられる。特許文献1には、ヘッドアップディスプレイとして、映像の投影位置が、車両の振動や運転者の姿勢の変化により一方の目の視線上からずれることを低減し、表示される情報の視認性を高める旨が記載されている。
特開2010-70066号公報
 従来のHUD装置を含む車載システムでは、AR機能を用いて、ウィンドシールド等の視認領域越しの虚像領域において、物体の実像に対しAR画像を含む虚像を重畳表示する。その際、運転者の目の位置(視点位置と記載する場合がある)によっては、物体とAR画像とで位置のずれが生じる場合がある。言い換えると、HUD装置による設計上および計算上で物体位置に合わせるように決定したAR画像の表示位置が、運転者の実際の視認上では物体位置と一致しない場合がある。上記物体とAR画像とのずれが生じる要因としては、運転者が姿勢を変える動作や頭を動かす動作等によって、目の位置が基本設定の視点位置(その視点位置を含む範囲であるアイボックス)から変動する場合が挙げられる。
 例として、視点位置が基本設定の視点位置から水平方向の左右に移動した場合、移動後の視点位置から見て、物体位置とAR画像の表示位置とで水平方向でのずれが生じる。視点位置の移動量が大きいほど、そのずれが大きい。そのずれが大きいほど、運転者にとって、物体とAR画像とを関係付けた視認がしにくい、またはできない。そのようなAR画像は不適である。
 本発明の目的は、AR機能を持つHUD装置の技術に関して、物体と虚像(AR画像)とのずれを低減して、好適なAR表示が実現できる技術を提供することである。
 本発明のうち代表的な実施の形態は、ヘッドアップディスプレイ装置等であって、以下に示す構成を有することを特徴とする。
 一実施の形態のヘッドアップディスプレイ装置は、車両のウィンドシールドまたはコンバイナに映像を投射することで、運転者に対して前記車両の前方の実像に重畳させて虚像を表示するヘッドアップディスプレイ装置であって、前記ウィンドシールドまたはコンバイナの視認領域に前記虚像を表示する制御を行う制御部と、前記制御部の制御に従って、前記視認領域に前記虚像を表示する表示部と、を備え、前記制御部は、車外カメラの撮影画像に基づいて、所定の物体を抽出し、空間内の前記物体の物体位置を含む物体情報と、車内カメラの撮影画像に基づいた、空間内の前記運転者の視点位置および移動量を含む視点情報と、空間内の前記虚像の画像を表示可能な範囲である虚像領域の位置を含む虚像情報と、を含む情報を取得し、前記物体に対して重畳表示するための前記画像を生成し、前記取得された情報を用いて、前記虚像領域内の前記画像の表示位置を、少なくとも水平方向を含めて補正し、前記補正後のデータを用いて、前記表示部に対する前記制御を行い、前記補正の際、前記運転者の基本設定の視点位置から移動後の視点位置から、前記視認領域を通じて前記物体位置を見た場合の直線上の前記虚像領域との交差点の位置を、補正後の前記画像の表示位置とするように、変換処理を行う。
 本発明のうち代表的な実施の形態によれば、AR機能を持つHUD装置の技術に関して、物体と虚像(AR画像)とのずれを低減して、好適なAR表示が実現できる。
本発明の実施の形態のHUD装置の概要構成を示す図である。 本発明の実施の形態のHUD装置を含む、車載システムの構成を示す図である。 実施の形態で、自動車の運転座席付近を横から見た状態を示す図である。 実施の形態で、運転座席から前方のウィンドシールドの視認領域や虚像領域を見た場合の概略を示す図である。 実施の形態で、視点位置および虚像領域の基本設定について示す図である。 実施の形態で、虚像領域内の設定例について示す図である。 実施の形態で、視点、物体、虚像の位置および距離の関係を示す図である。 実施の形態で、制御部の主要処理のフローを示す図である。 実施の形態で、物体位置および視点位置の取得を示す図である。 実施の形態で、虚像領域内のAR画像の生成の基本を示す図である。 実施の形態で、物体と虚像領域との前後関係に応じた補正方式を示す図である。 実施の形態で、視点位置移動量に応じた補正方式を示す図である。 実施の形態で、AR画像の表示位置の補正を示す図である。 実施の形態で、視点、物体、虚像の位置および距離の関係の例を示す図である。 実施の形態で、基本設定視点位置から見た物体およびAR画像の重畳表示の例を示す図である。 実施の形態で、視点位置の移動時における物体とAR画像のずれ、および補正の例を示す図である。 実施の形態の変形例における、虚像領域位置の可変設定を示す図である。 実施の形態の変形例における、虚像領域の設定例を示す図である。 実施の形態で、虚像領域外の場合の制御を示す図である。 比較例の第1のHUD装置の場合における、視点、物体、虚像、ずれ等を示す図である。 比較例の第2のHUD装置の場合における、視点、物体、虚像、ずれ等を示す図である。 比較例の第1のHUD装置の場合における、視点移動時のずれの例を示す図である。 比較例の第2のHUD装置の場合における、視点移動時のずれの例を示す図である。
 以下、本発明の実施の形態を図面に基づいて詳細に説明する。なお、実施の形態を説明するための全図において同一部には原則として同一符号を付し、その繰り返しの説明は省略する。
 (実施の形態)
 図1~図23を用いて、本発明の実施の形態のヘッドアップディスプレイ装置(HUD装置)等について説明する。実施の形態のHUD装置は、AR機能を持つAR表示装置であり、車載のAR-HUDとして実装される場合を示す。実施の形態の表示制御方法は、実施の形態のHUD装置で実行されるステップを有する方法である。
 実施の形態のHUD装置は、AR画像を含む虚像の表示の際に、虚像領域のAR画像の表示位置を補正する機能を有する。この補正機能は、運転者の視点位置の移動に合わせて、物体の実像とAR画像とのずれが解消または低減されるように、AR画像の表示位置を自動的に補正する機能である。この補正機能では、運転者の視点位置が、基本設定の視点位置から、水平方向の左右の位置に移動した際に、物体位置と移動後の視点位置とに合わせて、AR画像の表示位置を補正する。また、この補正機能では、視点位置に対する虚像領域位置の設定、および虚像領域位置に対する物体位置の関係に応じて、AR画像の表示位置の補正を制御する。この補正機能では、AR画像の表示位置の補正を、制御部のソフトウェアプログラム処理によってARデータの内容を補正する処理で実現する。
 この補正機能では、運転中等に運転者の頭の動き等によって、視点位置が基本設定の視点位置から水平方向に移動した場合でも、AR画像を物体に対して正確に重畳する位置に表示することができる。すなわち、物体とAR画像とのずれを解消または低減することができる。これにより、運転者は、物体とAR画像を好適に視認できる。
 [課題等]
 図20~図23を用いて、課題等について補足説明する。実施の形態に対する比較例として、従来技術例のHUD装置を含む車載システムでは、以下のような課題がある。比較例のHUD装置は、物体の実像とAR画像とのずれを補正する機能を持たない。そのため、運転者の視点位置が水平方向に移動した際に、水平方向での物体とAR画像とのずれが生じ、運転者が物体とAR画像とを関係付けた視認がしにくい場合がある。
 運転者の視点位置が水平方向の左右に動く事例としては以下が挙げられる。運転時に運転者の視点位置はある程度動くものであり、常時に視点位置が動かないことはありえない。視点位置の変動が、所定のアイボックスの範囲内である場合には、物体とAR画像とのずれの影響はあまり無い。視点位置の変動が、ある程度の量を超える場合、ずれの影響が大きく、運転者が物体とAR画像と関係付けた視認がしにくくなる。
 例えば、車両の右左折時、車線変更時、交差点進入時等には、運転者が周囲状況確認のため、視点位置が動きやすい。また、カーブ進入時等には、運転者がカーブに合わせて事前に体を預けることや、遠心力の作用によって、頭および視点位置が動きやすい。また、片手運転時には、体の重心が傾くので、視点位置がずれやすい。また、交差点等で見通しが悪い状況では、周囲状況確認のために運転者が前かがみ姿勢になる場合があり、視点位置が動きやすい。
 なお、HUD技術では、虚像領域を見る者(例えば運転者)の目の位置によって、実像と虚像の相対位置関係がずれる等、見え方が異なってくる。HUD装置が形成する虚像の位置と、見る者の目の位置との関係によって、見る者の網膜に結像される像の状態が定まる。HUD装置による虚像の表示位置と見る者の目の位置とが所定の関係を満たさない場合には、見る者が虚像を視認できない、または視認しにくい。見る者が画像を視認できるために、目の位置が入らなければならない範囲は、アイボックスと呼ばれる。
 図20は、第1比較例として従来技術例の第1HUD装置の場合における、視点、物体、AR画像、ずれ等について示す。図20では、水平方向(X方向)と前後方向(Z方向)とで成す上から見た平面(X-Z平面)を示す。自車の運転者の視点位置を三角点で示す。基本設定の視点位置E1と、例えばX方向の右へ移動した場合の移動後の視点位置Exとを示す。
 物体位置を黒丸点で示す。本例では、Z方向で、虚像領域7よりも後方に、相対的に異なる3種類の距離の位置に物体がある場合を示す。遠距離の位置PA、中距離の位置PB、近距離の位置PCとして示す。例えば、位置PAは、視点位置から40~60m程度、例えば45mの距離の位置である。位置PBは、視点位置から20~30m程度、例えば25mの距離の位置である。位置PCは、視点位置から5mの距離の位置である。Z方向で、視点位置から物体位置(例えば位置PC)までの距離を物体距離FAとして示す。また、Z方向の各位置において、視点位置E1から見て、X方向で、左、中央、右の各位置に物体がある場合を示す。
 第1HUD装置では、設計上、基本設定の視点位置E1から前方(Z方向)へ比較的近い所定の距離の位置に、虚像領域7が設定されている。Z方向の虚像領域7の位置を、虚像領域位置P1とする。視点位置(0mとする)から虚像領域7までの距離を虚像距離FBとして示す。第1HUD装置では、虚像領域位置P1の虚像距離FBが2~3mであり、本例では2.5mである。また、Z方向で、物体位置(例えば位置PC)と虚像領域位置P1との距離を、物体虚像距離FCとして示す。虚像領域位置P1の虚像領域7において、視点位置E1から見て各物体の物体位置に合わせて設定される、物体に重畳表示するためのAR画像の表示位置を、白丸点で示す。視点位置E1から見て、Z方向に伸びる一点鎖線は、虚像領域7の中心、およびX方向で中央の物体を見る視線を示す。実線は、左右の物体を見る視線を示す。視点位置E1から各物体およびAR画像を見る場合、視線上で物体とAR画像の位置が重なっており、ずれが無い。
 移動後の視点位置Exから見て、点線は、物体を見る視線を示し、破線は、AR画像を見る視線を示す。視点位置Exから物体とAR画像を見る場合、物体とAR画像とで視線が重ならず(視線が成す角度が異なり)、X方向で位置のずれが有る。
 なお、基本設定の視点位置E1と虚像領域7の左右端とを含む三角形の領域は、虚像が表示可能な領域に対応し、その外側は、基本的に虚像が表示不可能な領域に対応する。虚像領域位置を調節できる場合には、それに応じて表示可能な領域や表示不可能な領域も変わる。
 図21は、第2比較例として、第2HUD装置の場合における、視点、物体、虚像、ずれ等を同様に示す。実施の形態のHUD装置1は、第2HUD装置を前提としている。第2HUD装置では、設計上、基本設定の視点位置E1から前方(Z方向)へ比較的離れた所定の距離の位置に、虚像領域7が設定されている。虚像領域位置P1は、虚像距離FBとして20~30mの位置であり、本例ではP1=PB=25mの場合を示す。
 Z方向での物体位置および物体距離FAとして、虚像領域位置P1に対し、前後の位置に物体がある場合を示す。(A)で示す位置P3(特に遠距離の位置PAとした)は、虚像領域7(虚像領域位置P1)よりも後にある場合であり、(B)で示す位置P2(特に近距離の位置PCとした)は、虚像領域7の虚像領域位置P1よりも前にある場合を示す。また、Z方向の各位置において、視点位置E1から見て、X方向で、左、中央、右の各位置に物体がある場合を示す。位置P3の物体は、物体虚像距離FCが+20mであり、位置P2の物体は、物体虚像距離FCが-20mである。
 視点位置E1から見て、虚像領域位置P1の虚像領域7において、各物体にAR画像を重畳表示する場合のAR画像の表示位置を白丸点で示す。視点位置E1から物体とAR画像を見る場合、視線(一点鎖線、実線)上で物体とAR画像が重なっており、ずれが無い。移動後の視点位置Exから物体とAR画像を見る場合、物体を見る視線(点線)とAR画像を見る視線(破線)とが重ならず、角度が異なり、X方向での位置のずれが有る。
 図20や図21の例のように、物体位置や物体距離、および移動後の視点位置に応じて、視認上で物体とAR画像との位置のずれが生じる。特に、第2HUD装置の場合では、(B)の位置P2のように物体が虚像領域7の前にある場合の方が、(A)の位置P3のように後にある場合よりも、ずれの影響が相対的に大きい。運転者から見ると、前にある場合の方が、物体とAR画像との焦点が合わせにくく、物体とAR画像とを関係付けた認識がしにくい。
 図22は、第1HUD装置の場合で、視点位置のX方向の移動時に応じたずれの例を簡易的に示す。なお、図22等では、説明のため、Z方向の距離を小さくX方向の距離を大きく強調して図示している。図22の(A)は、視点位置が左移動の場合で、中距離の中央の位置PBに物体4がある場合を示す。視点位置E1から左に移動後の視点位置E2を示す。視点位置の移動量H1を示す。AR画像6aは、補正無しの場合のAR画像を示す。基本設定の視点位置E1から物体4とAR画像6aを見る場合、視線が成す角度は0度であり、X方向でのずれは無い。移動後の視点位置E2から物体4とAR画像6aを見る場合、両者の間にX方向でのずれh1(位置PBで考えた場合のずれとして示す)が有る。角度α1は、視点位置E2から物体4を見る際の視線がZ方向と成す角度を示す。角度β1は、視点位置E2からAR画像6aを見る際の視線がZ方向と成す角度を示す。角度α1と角度β1が異なる(α1<β1)。
 図22の(B)は、同様に、視点位置が右移動の場合で、中距離の中央の位置PBに物体4がある場合を示す。視点位置E1から右に移動後の視点位置E3を示す。視点位置の移動量H2を示す。移動後の視点位置E3から物体4とAR画像6aを見る場合、両者の間にずれh2が有る。角度α2は、視点位置E3から物体4を見る際の角度を示す。角度β2は、視点位置E3からAR画像6aを見る際の角度を示す。角度α2と角度β2が異なる(α2<β2)。
 このように、視点位置の移動方向および移動量(移動距離)に応じたずれが有る。視点位置E1での角度に対し、移動後の視点位置での角度の方が大きく、角度が大きいほどずれが大きい。
 図22の(C)は、同様に、視点位置が左移動の場合で、物体位置が遠距離の位置PAや近距離の位置PCにある場合を示す。移動後の視点位置E2から、位置PAの物体4aと補正無しのAR画像6aを見る場合、両者の間にずれh3が有る。角度α3は、視点位置E2から物体4aを見る際の角度を示す。角度β3は、視点位置E2からAR画像6aを見る際の角度を示す。また、視点位置E2から、位置PCの物体4cと補正無しのAR画像6aを見る場合、両者の間にずれh4が有る。なお、ずれh3とずれh4は、比較のため、位置PAで考えた場合のずれとして図示している。角度α4は、視点位置E2から物体4cを見る際の角度を示す。角度α3と角度α4が異なる(α3<α4)。位置PAの場合の角度α3の方が、位置PCの場合の角度α4よりも、角度β3との角度差が大きく、ずれが大きい。このように、各物体距離の物体位置に応じたずれが有る。
 図22の(D)は、同様に、視点位置が左移動の場合で、中距離の位置PBにおいてX方向の左右の各位置に物体がある場合を示す。位置PBにおいて、中央よりも左側の位置に物体4b1、右側の位置に物体4b2がある。移動後の視点位置E2から、左側の物体4b1と補正無しのAR画像6a1を見る場合、両者の間にずれh5が有る。また、視点位置E2から、右側の物体4b2と補正無しのAR画像6a2を見る場合、両者の間にずれh6が有る。基本設定の視点位置E1から物体とAR画像を見る場合と、移動後の視点位置E2から物体とAR画像を見る場合とでは、角度が異なり、後者の方がずれが大きい。例えば、視点位置E1から物体4b2とAR画像6a2を見る場合の角度γ1、視点位置E2から物体4b2を見る場合の角度γ2、視点位置E2からAR画像6a2を見る場合の角度γ3を示す。γ1<γ2<γ3である。このように、X方向の物体位置および視点移動方向に応じたずれが有る。
 上記のように、運転者の視点位置からウィンドシールド9の視認領域5越しに、物体4と虚像領域7のAR画像6を見る場合に、基本設定の視点位置E1から見る場合と、移動後の視点位置から見る場合とでは、視線が成す角度等が異なる。移動後の視点位置から見る場合には、物体位置とAR画像6の表示位置との間にX方向でのずれが生じ得る。そのずれが大きいほど、運転者は、物体4とAR画像6とを関係付けた認識がしにくく、好適な視認ができない。
 図22の(A)で、位置201は、視点位置E2の場合に虚像領域7でAR画像6を重畳したい理想的な位置を示す。虚像領域7のX方向の線と、視点位置E2から物体4を見る視線との交差点に位置201がある。この位置201にAR画像6を重畳表示した場合、視点位置E2から見て、物体4とAR画像6とが重なり、ずれが解消される。同様に、(B)の位置202、(C)の位置203や位置204、(D)の位置205や位置206は、AR画像6の理想的な表示位置を示す。
 図23は、第2HUD装置の場合で、視点位置のX方向の移動に応じたずれの例を示す。図23の(A)は、視点位置E1からの左移動の場合を示す。移動後の視点位置E2、移動量H1を示す。物体位置として、虚像領域位置P1である位置PBに対し、後にある位置P3(=PA)に物体4aがある場合や、前にある位置P2(=PC)に物体4cがある場合を示す。視点位置E2から、位置P3の物体4aと補正前のAR画像6aを見る場合、両者の間にX方向でのずれh11が有る。視点位置E2から、位置P2の物体4cと補正前のAR画像6aを見る場合、両者の間にずれh12が有る。なお、比較のため、虚像領域位置P1でのずれh11、ずれh12として示している。角度α11は、位置P3の物体4aを見る場合の角度を示す。角度α12は、位置P2の物体4cを見る場合の角度を示す。角度β11は、虚像領域位置P1のAR画像6aを見る場合の角度を示す。α11<α12、α11<β11、α12>β11である。位置P2の場合の方が、位置P3の場合よりも、ずれが大きい(h11<h12)。
 図23の(B)は、同様に、視点位置の右移動の場合を示す。移動後の視点位置E3、移動量H2を示す。視点位置E3から、位置P2の物体4aと補正前のAR画像6aを見る場合、両者の間にずれh13が有る。視点位置E3から、位置P2の物体4cと補正前のAR画像6aを見る場合、両者の間にずれh14が有る。位置P2の場合の方が、位置P3の場合よりも、ずれが大きい(h13<h14)。
 上記のように、各視点位置および各物体位置に応じて、ずれが生じる。特に、位置P2のように物体4が虚像領域7よりも前にある場合の方が、位置P3のように後にある場合よりも、ずれの影響が大きい。
 図23の(A)で、位置211や位置212は、虚像領域7におけるAR画像6を重畳したい理想的な位置を示す。例えば、虚像領域7のX方向の線と、視点位置E2から物体4aを見る視線(視点位置E2と物体4aの位置とを結ぶ直線)との交差点に位置211がある。この位置211にAR画像6を重畳表示した場合、視点位置E2から見て、物体4aとAR画像6とが重なり、ずれが解消される。実施の形態のHUD装置1では、これらの位置を、補正後のAR画像6の表示位置として得る。同様に、(B)の位置213や位置214は、各物体位置でのAR画像の理想的な表示位置、実施の形態での補正後の表示位置を示す。
 上記のように、第1HUD装置や第2HUD装置では、視点位置E1から前方(Z方向)へ所定の距離(虚像距離FB)の位置(虚像領域位置P1)に、虚像領域7が設定される。虚像領域7は、HUD装置によって虚像が表示可能なHUD表示範囲である。虚像距離FBおよび虚像領域位置P1の虚像領域7内に、AR画像を含む虚像が表示される。第1HUD装置では、虚像領域位置P1は、虚像距離FBが2~3mの位置であり、運転者およびウィンドシールド9から比較的近い位置である。一方、第2HUD装置および実施の形態のHUD装置1では、虚像領域位置P1は、虚像距離FBが20~30mの位置であり、運転者およびウィンドシールド9から比較的離れた位置であり、言い換えると、より物体に近い位置である。また、実施の形態の変形例のHUD装置1では、Z方向での虚像領域位置P1を、所定の設定範囲(例えば20~30m)内において可変に設定および制御できる。
 そのため、第2HUD装置および実施の形態のHUD装置1では、第1HUD装置よりも、物体になるべく近い距離および位置にAR画像を重畳表示することができる。言い換えると、物体虚像距離FCを比較的小さくできる。運転者が視点位置から物体とそれに関係付けたAR画像を見る場合に、Z方向で物体とAR画像との距離が近いほど、Z方向での遠近感、焦点が合いやすい。よって、運転者は、その物体とAR画像を、認識しやすく、より自然で好適に視認できる。
 上記のように、第1HUD装置および第2HUD装置では、視点位置から見た物体とAR画像のずれに関して、それぞれの特性がある。特に、第2HUD装置では、Z方向での虚像領域位置P1に対する物体位置および物体距離の関係に応じて、ずれの影響が異なる。図21や図23のように、物体が虚像領域よりも前にある場合の方が、物体が虚像領域よりも後にある場合よりも、ずれの影響が大きい。仮に、前にある場合と後にある場合とで、物体虚像距離FCが同じ場合でも、前にある場合の方が、視認上、ずれを感じやすい。
 実施の形態のHUD装置1では、上記のような第1HUD装置および第2HUD装置の課題等を考慮して、AR画像の表示位置を補正する機能を工夫した。この補正機能では、物体位置と視点位置との関係、かつ、虚像領域位置と物体位置との関係に応じて、少なくともX方向を含むAR画像の表示位置を適切に補正する。
 [概要]
 図1は、実施の形態のHUD装置1の概要を示す。なお、図1等で、説明上の方向として、X方向、Y方向、Z方向を示す。X方向は、第1水平方向であり、車両および運転者を基準とした左右方向であり、虚像領域7の横方向に対応する。Y方向は、鉛直方向であり、車両および運転者を基準とした上下方向であり、虚像領域7の縦方向に対応する。Z方向は、第2水平方向であり、車両および運転者を基準とした前後方向であり、虚像領域7等を見る方向に対応する。
 実施の形態のHUD装置1は、車載システム(図2)の一部であり、制御部10、表示部20を有し、車外カメラ2および車内カメラ3等が接続されている。表示部20は、プロジェクタ(投射型映像表示装置)等で構成され、光学系を含む。HUD装置1は、車外カメラ2で撮影した画像に基づいて、車両の前方(Z方向)にある物体4の位置等を検出する。また、HUD装置1は、車内カメラ3で運転者を撮影した画像に基づいて、運転者の視点位置等を検出する。HUD装置1は、検出した物体4に基づいて、制御部10で、AR画像を含む虚像の表示のためのARデータを生成し、表示部20へ与える。ARデータは、運転者から見てウィンドシールド9の視認領域5越しの前方に所定の虚像領域7を形成して虚像を表示するための表示データである。表示部20は、ARデータに基づいて、ウィンドシールド9の視認領域5へ投射するための映像光を生成して出射する。出射された映像光は、光学系を通じてウィンドシールド9の視認領域5内の領域へ投射され、その領域で反射されて、運転者の目に入射する。これにより、運転者には、視認領域5越しに見える虚像領域7において、物体4に重畳表示されるAR画像6を含む虚像として視認される。
 HUD装置1の制御部10は、AR画像表示位置補正機能である補正機能を実現する。この補正機能では、物体位置、視点位置、および虚像領域位置の位置関係に応じて、虚像領域7のAR画像6の表示位置を補正する。この補正機能では、虚像領域位置P1等の設定情報を参照する。この補正機能では、基本設定の視点位置E1のAR画像6aの表示位置に基づいて、視点位置の移動量に応じて、移動後の視点位置Exから見る場合の補正後のAR画像6bの表示位置を計算する。この補正機能では、移動後の視点位置Exから物体位置を見る直線上で虚像領域7との交差点に補正後のAR画像6bの表示位置をとるように、補正する。この補正機能では、制御部10での所定の変換処理によって、補正後のAR画像6bの表示位置を得る。この補正機能では、制御部10の処理によって、補正後のAR画像6bの表示位置の情報を含むARデータを生成し、表示部20へ与える。表示部20は、そのARデータに従って、虚像領域7のAR画像6bを投射表示する。
 図1で、運転者の基本設定の視点位置E1から見てウィンドシールド9の視認領域5越しの前方の所定の距離にある虚像領域位置P1に、虚像領域7が設定されている。Z方向で虚像領域7よりも前の位置P2に、AR画像6を重畳表示する対象の物体4がある例を示す。補正前のAR画像6aと補正後のAR画像6bを示す。位置Qaは、X方向での補正前のAR画像6aの表示位置を示す。位置Qbは、X方向での補正後のAR画像6bの表示位置を示す。
 AR機能では、基本設定の視点位置E1から見て、虚像領域7内において、物体4の実像上に、AR画像6を重畳表示する。運転者は、視点位置E1等からウィンドシールド9の視認領域5越しに前方にある物体4の実像や、虚像領域7のAR画像6を見る。その前提で、運転者の視点位置が、視点位置E1から水平方向(X方向)の左右の位置、例えば右へ移動後の視点位置Exに移動した場合、補正前の状態では、物体4とAR画像6aにずれが生じる。言い換えると、視点位置Exから見て、物体位置とAR画像表示位置との差、距離が生じる。このずれが大きいほど、運転者が物体とAR画像とを関係付けた認識がしにくい。
 一方、実施の形態のHUD装置1では、補正機能によって、物体位置および視点位置に合わせて、AR画像6aの表示位置(位置Qa)を、AR画像6bの表示位置(位置Qb)へと補正する。補正後の状態では、視点位置Exから物体4とAR画像6bを見る場合、位置のずれが解消されている。
 HUD装置1は、車外カメラ2の画像に基づいて、自車の位置および視点位置に対する、物体4の位置および距離を検出する。また、HUD装置1は、車内カメラ3の画像に基づいて、自車の運転者の視点位置および移動量を検出する。そして、HUD装置1は、Z方向での虚像領域位置P1と物体位置との関係に基づいて、補正の制御を行う。HUD装置1は、物体位置、視点位置、および虚像領域位置P1に応じて、AR画像の表示位置を補正する。制御部10は、虚像表示および補正の際、まず、基本設定の視点位置E1からのAR画像6aの表示位置を基本として決定する。次に、制御部10は、視点位置の移動量に応じて、移動後の視点位置Exから見る場合の補正後のAR画像6bの表示位置を、補正によって決定する。
 なお、図1等では、説明上、ウィンドシールド9の視認領域5に対して、基本設定の視点位置E1や虚像領域7が、X方向で中心に配置されているように図示しているが、実装はこれに限るものではない。
 [HUD装置および車載システム]
 図2は、実施の形態のHUD装置1を含む、車載システム100の構成を示す。車載システム100は、自動車に搭載されているシステムである。利用者である運転者は、車載システム100およびHUD装置1を操作し利用する。このHUD装置1は、特にAR機能を持つAR-HUD装置である。
 車載システム100は、ECU(Engine Control Unit:エンジン制御部)101、HUD装置1、車外カメラ2を含む車外撮影部102、映像データ記憶部103、通信部104、GPS(Global Positioning System)受信器105、カーナビ部106、センサ部108、DB部109等を有し、それらが車載バスおよびCAN(Car Area Network)110に接続されている。車載システム100は、その他図示しない音声出力部、操作部、電源部等を有する。
 HUD装置1は、制御部10、表示部20を有する。HUD装置1は、AR機能を有する。HUD装置1は、AR機能を用いて、ウィンドシールド9の視認領域5越しの虚像領域7にAR画像を含む虚像を表示することで、運転者に各種の情報を伝えることができる。HUD装置1のAR機能は、補正機能を含む。補正機能は、虚像領域7内のAR画像の表示位置を自動的に補正する機能である。
 HUD装置1は、音声出力部を併用して、運転者に音声出力、例えばカーナビ機能やAR機能による案内やアラーム等を行うこともできる。HUD装置1は、操作パネルや操作ボタン等の操作部も備え、運転者による手動操作入力、例えばAR機能のオン/オフやユーザ設定、光学系24のミラーの角度の調節、等も可能である。
 制御部10は、HUD装置1の全体を制御する。制御部10は、CPU、ROM、RAM等のハードウェアおよび対応するソフトウェアを備える。制御部10や他の各部は、マイコンやFPGA等のハードウェアによって実装されてもよい。制御部10は、例えばCPUによりROMからプログラムを読み出してプログラムに従った処理を実行することで、画像入力部11等の各部を実現する。制御部10は、必要に応じて各種のデータや情報を内部のメモリまたは外部のメモリに格納し、読み書き等を行う。制御部10は、メモリのうちの不揮発性メモリに、AR機能のための設定情報等を保持する。設定情報は、補正部14の変換処理のための設定情報や、ユーザ設定情報を含む。ユーザ設定情報は、基本設定の視点位置や虚像領域位置、光学系24のミラーの角度の設定情報等を含む。
 制御部10は、車外カメラ2で撮影された画像を入力し、取得した各情報を用いながら、視認領域5の虚像領域7に虚像を表示するためのARデータを生成し、表示部20に与える。制御部10は、ARデータの生成の際に、虚像領域7内のAR画像の表示位置を補正する。また、制御部10は、表示部20を制御して、光学系24のミラーの角度等の状態を調節できる。これにより、虚像領域7の位置を調節できる。
 表示部20は、投射型映像表示装置(プロジェクタ)等によって構成される。表示部20は、表示駆動回路21、表示素子22、光源23、光学系24、駆動部25を有し、それらが接続されている。表示部20は、制御部10からの制御および映像データ(ARデータ)に基づいて、虚像を表示するための映像光を生成して、視認領域5内の領域に投射する。表示駆動回路21は、AR表示部15からの映像データに従って、AR表示のための表示駆動信号を生成し、表示素子22および光源23に与えて駆動制御する。
 光源23は、表示駆動信号に基づいて、表示素子22への照明光を発生する。光源23は、例えば高圧水銀ランプ、キセノンランプ、LED素子、またはレーザー素子等で構成される。光源23からの光は、図示しない照明光学系を通じて表示素子22に入射される。照明光学系は、照明光を集光し、均一化して、表示素子22に照射する。
 表示素子22は、表示駆動信号および光源23からの照明光に基づいて、映像光を生成し、光学系24へ出射する。表示素子22は、例えばSLM(Spatial Light Modulator:空間光変調器)、DMD(Digital Micromirror Device、登録商標)、MEMSデバイス、またはLCD(透過型液晶パネルや反射型液晶パネル)等で構成される。
 光学系24は、表示素子22からの映像光をウィンドシールド9の視認領域5へ導くためのレンズやミラー等の素子を含む。光学系24には駆動部25が接続されている。表示素子22からの映像光は、光学系24のレンズによって拡大等され、ミラーによって反射等されて、視認領域5内の一部の領域に投射される(図3)。その領域で反射された映像光は、運転者の目に入射し、網膜に結像する。これにより、運転者の視点から見ると、視認領域5内の領域に対応して、視認領域5越しに見える虚像領域7が形成され、虚像領域7内に虚像が視認される。
 駆動部25は、光学系24を駆動するための光学系駆動部であり、レンズやミラー等を駆動するためのモータ等の部品を含む。駆動部25は、運転者の手動操作入力、あるいは制御部10からの制御に従って、光学系24を駆動し、例えばミラーの角度を変更する。駆動部25は、例えばミラーの角度を調節するための操作ボタンを備えている。運転者は、その操作ボタンの上下の手動操作によって、ミラーの角度を、標準に設定された角度を基準として正負に変更可能である。例えば、操作ボタンの第1部分が押されている間、ミラーの角度が正方向(角度を大きくする方向)に変化し、第2部分が押されている間、ミラーの角度が負方向(角度を小さくする方向)に変化する。
 ECU101は、エンジン制御を含む車両制御、車載システム100の全体の制御を行う。ECU101は、言い換えると車両制御部である。ECU101は、運転支援や運転自動制御のための高度な機能を有してもよい。その場合、ECU101は、その機能に係わる情報をHUD装置1に出力してHUD装置1を制御し、HUD装置1にその機能に係わる虚像の表示を行わせてもよい。ECU101は、センサ部108からの検出情報に基づいて、車速等の車両情報を把握し、制御に用いる。また、HUD装置1は、ECU101から車両情報を取得して制御に利用できる。
 車外撮影部102は、1台以上の車外カメラ2を含み、自車の停止中や走行中等に、車外カメラ2を用いて、自車の前方を含む状況を撮影し、映像データ(時系列の画像フレームを含む)および車両周囲情報を取得する。車外撮影部102は、その映像データ等を、映像データ記憶部103に格納し、あるいはECU101やHUD装置1へ出力する。
 車外カメラ2は、車両の所定の位置に所定の向きや画角で設置されている(図3)。車外カメラ2の位置は、例えば車両前部バンパー付近、ウィンドシールド9の辺付近、あるいは車両横部のバックミラー付近等である。車外カメラ2は、車両および運転者の前方を含むように、所定の撮影方向で所定の画角の範囲で撮影し、映像データを出力する。
 車外撮影部102は、車外カメラ2の画像を処理する信号処理部を備えてもよいし、備えなくてもよい。その信号処理部は、ECU101やHUD装置1に備えてもよい。その信号処理部は、1台以上の車外カメラ2の画像を処理して、車両周囲情報等を計算して得てもよい。車外撮影部102は、車外カメラ2の画像の解析に基づいて、自車の周囲の他車や人や建物や路面や地形や天候等の状況を判断してもよい。
 車外撮影部102は、車外カメラ2の画像に基づいて、自車と物体との距離(物体距離)や、自車を基準とした空間内の物体の位置(物体位置)を計測する機能を備えてもよい。車外カメラ2として2つ以上のカメラやステレオカメラを備える場合、左右の2つのカメラが撮影した2つの画像を用いて、公知の両眼視差に基づいた距離計測方式等によって、物体距離が計算できる。また、1つの車外カメラ2しか備えない場合でも、その車外カメラ2の画像内の物体位置や、他のセンサの検出情報等に基づいて、所定の計算で概略的に、空間内の物体位置や物体距離等を計算できる。
 映像データ記憶部103は、車外カメラ2からの映像データ等を記憶する。映像データ記憶部103は、車外撮影部102内でもよいし、HUD装置1内でもよい。また、映像データ記憶部103は、運転者撮影部107の車内カメラ3の映像データ等も記憶するようにしてもよい。
 通信部104は、車外の移動体網やインターネット等に対する通信を行う通信インタフェース装置を含む部分である。通信部104は、ECU101やHUD装置1等からの制御に基づいて、例えばインターネット上のサーバ等と通信ができる。例えば、HUD装置1は、通信部104を介してサーバからAR表示に用いるための元データや関連情報等を参照、取得してもよい。通信部104は、車車間通信用無線受信機、路車間通信用無線受信機、VICS(Vehicle Information and Communication System:道路交通情報通信システム、登録商標)受信機等を含んでもよい。車車間通信は、自車と周辺の他車との間の通信である。路車間通信は、自車と周辺の道路や信号機等の機器との間の通信である。
 GPS受信器105は、GPS衛星からの信号に基づいて、自車の現在の位置情報(例えば緯度、経度、高度等)を取得する。ECU101やHUD装置1やカーナビ部106は、GPS受信器105から自車の現在の位置情報を取得して、制御に用いることができる。
 カーナビ部106は、車両に搭載されている既存のカーナビゲーションシステムの部分であり、地図情報や、GPS受信器105から取得した位置情報等を保持し、それらの情報を用いて公知のナビゲーション処理を行う。ECU101やHUD装置1は、カーナビ部106から情報を取得して制御を行うことができる。HUD装置1は、カーナビ部106から情報を参照してAR表示の元データとして用いてもよい。例えば、HUD装置1は、その元データに基づいて、AR画像の例として、目的地への進行方向のナビゲーションのための矢印画像を生成してもよい。
 センサ部108は、車両に搭載されている公知のセンサ群を有し、検出情報を出力する。ECU101やHUD装置1は、その検出情報を取得して制御を行う。センサ部108に含むセンサデバイスの例として、車速計、加速度センサ、ジャイロセンサ、地磁気センサ(電子コンパス)、エンジン始動センサ、シフトポジションセンサ、ハンドル操舵角センサ、ヘッドライトセンサ、外光センサ(色度センサや照度センサ)、赤外線センサ(近接物体センサ)、温度センサ等がある。加速度センサおよびジャイロセンサは、自車の状態として、加速度、角速度および角度等を検出する。
 センサ部108は、自車と物体との距離を計測する距離センサを備えてもよい。距離センサは、例えば光学的センサで実現でき、発した光が物体に当たって戻ってくるまでの時間から距離を計算できる。距離センサがある場合、その距離センサから物体距離情報を取得可能である。
 DB部109は、ストレージ等で構成され、DBに、AR表示に利用可能な元データや情報が格納されている。元データは、例えばAR画像を生成するための基本画像データ等がある。情報は、例えば対象の物体に関する基本情報や関連情報、基準画像等がある。DB部109は、HUD装置1内でもよいし、カーナビ部106との併合でもよいし、車載システム100の外部の通信網上のデータセンタ等に設けられてもよい。DBには、通信部104を介して外部から取得された情報が格納されてもよい。
 ウィンドシールド9は、自動車の一部であり、透過性および剛性を持つガラス、所定の光学特性のフィルム等で構成されている(図3)。ウィンドシールド9の視認領域5内の一部の領域には、AR機能の利用時に虚像領域7が形成される。なお、ウィンドシールド9の手前にAR専用表示板(コンバイナ等)が設けられてもよい。視認領域5の範囲内で虚像領域7が設定可能である。
 画像入力部11は、車外カメラ2で撮影された画像を入力し、画像からARのための所定の物体を抽出する。情報取得部12は、AR表示および補正等のために必要な情報として、物体情報、視点情報、車両情報、虚像情報等を取得する。物体情報は、物体位置や物体距離を含む情報である。物体位置は、画像内の2次元座標、または空間内の3次元座標等である。物体距離は、自車と物体との距離である。車両情報は、車速や走行方向等を含む情報である。視点情報は、運転者の視点位置等の情報である。虚像情報は、虚像領域7の設定位置等の情報である。
 AR画像生成部13は、物体に対して重畳表示するための基本的なAR画像のデータを生成する。基本的なAR画像は、虚像領域7における基本表示位置を持つ。補正部14は、言い換えると表示位置変換部であり、補正機能に対応して、AR画像の表示位置の補正処理を行う。補正部14は、AR画像生成部13で生成された基本的なAR画像、および情報取得部12で取得された各情報を用いて、虚像領域7内のAR画像の表示位置を補正する。補正部14は、その補正を、所定の変換処理として行う。変換処理は、例えば予め変換テーブルで定義されている。補正部14は、補正後のAR画像表示位置を含むデータを出力する。AR表示部15は、補正後のデータを用いて、虚像領域7にAR画像を含む虚像を重畳表示するためのARデータを生成し、ARデータに基づいて表示部20に対する表示制御を行う。
 [運転座席]
 図3は、自動車の運転座席付近を横(X方向)から見た平面で、視点位置や虚像領域位置等の概要を示す。図3の状態は、基本設定状態を示し、運転者が基本設定の視点位置E1からウィンドシールド9の視認領域5越しの前方に見える虚像領域7のAR画像6、および物体4を見る状態を示す。運転座席の前方にウィンドシールド9があり、その一部として視認領域5があり、視認領域5内の一部の領域307に対応して虚像領域7が形成される。運転座席の前方のダッシュボードの一箇所、例えばコンソールパネルの位置に、HUD装置1やカーナビ部106等が収容されて設置されている。
 運転者の目の位置に基づいた基本設定の視点位置E1を示す。また、視点位置E1を含むアイボックス300を示す。なお、視点位置は、目の位置と異なってもよい。例えば、視点位置は、左右の両目の中間点として計算されてもよいし、頭や顔の中心点等として計算されてもよい。また、視点位置E1から、視認領域5内の領域307越しに虚像領域7のAR画像6および物体4を見る場合の視線301を一点鎖線で示す。
 車両における車外カメラ2の設置の位置p2および撮影方向302の例を示す。撮影方向302がZ方向である場合を示す。車両における車内カメラ3の設置の位置p3および撮影方向303の例を示す。車外カメラ2や車内カメラ3の設置位置は、これらに限らず可能である。
 図3では、HUD装置1内の光学系24のうち、ミラー501を示している。ミラー501は、2軸の可変の角度として角度θおよび角度φを有する(図5)。映像光304が、ミラー501での反射によって、ウィンドシールド9の内側の視認領域5内の領域307へ投射され、運転者の目の方へ反射される。映像光304の投射位置である、領域307の中心の位置pCを示す。なお、光学系24の構成は、これに限らず可能であり、視認領域5に映像光を投射する位置および方向が可変である構成であればよい。
 HUD装置1の計算上で、視点位置E1から見て、空間内の物体4の位置pAに対応させるように、視認領域5越しの前方の位置に、虚像領域7内のAR画像6が形成される。空間内の虚像領域7の中心点、およびその中心点に表示する場合のAR画像6の表示位置を、位置pBとして示す。視線301は、位置pC、位置pB、位置pAを通り、物体4の実像とそれに重畳されるAR画像6とを見る視線である。虚像領域7は、視線方向301を法線とした面である場合を示す。
 ミラー501は、自由曲面ミラー等であり、例えば凹面ミラーである。ミラー501は、向きを表す角度θおよび角度φを有する。ミラー501は、例えば、X方向に延在する回転軸(X軸)の角度θと、Y方向に延在する回転軸(Y軸)の角度φとを有する。ミラー501は、駆動部25からの駆動によって、角度θおよび角度φが所定の範囲内で可変である。角度θおよび角度φの状態に応じて、映像光304の投射方向および投射位置(位置pC)が可変である。また、ミラー501等の曲面の設計によって、曲面の領域307へ対応させるための歪み補正の機能を持たせることもできる。
 視点位置等の各位置は、空間内の3次元座標を有する。例えば、視点位置E1(X1,Y1,Z1)、位置pA(XA,YA,ZA)、位置pB(XB,YB,ZB)、位置pC(XC,YC,ZC)等を有する。制御部10は、計算によって各位置の3次元座標を把握する。
 車外カメラ2の位置p2と、車内カメラ3の位置p3と、視点位置との関係については以下である。車載システム100およびHUD装置1で、予め、空間内の車外カメラ2の位置p2や車内カメラ3の位置p3が設定されている。また、運転者の視点位置は、運転座席の付近に対応する所定の範囲内に概ね収まり、運転者撮影部107によって把握される。各位置の3次元座標は異なるが、位置p2と位置p3と視点位置(例えば視点位置E1)とが所定の関係を有する。それらの各位置は、所定の関係に基づいて、計算によって相互変換可能であり、補正等の計算の際に揃えることができる。また、自車の位置は、それらの位置との関係を有し、同様に相互変換可能である。例えば、視点位置からみた物体の位置および物体距離は、車外カメラ2の位置p2から見た物体位置および物体距離と、位置p2と視点位置E1との距離とから、計算できる。また、変形例としては、各位置の間の相互変換の計算を省略して、各位置を概略的に同じとみなして制御を行ってもよく、相応の効果が得られる。
 [ウィンドシールド]
 図4は、車両前部座席から見たウィンドシールド9の視認領域5や虚像領域7を簡易的に示す。図4では、実像と虚像(AR画像)とにずれが無い状態を示す。右側にはハンドル401等があり、ダッシュボードの中央付近にはコンソールパネル402等があり、HUD装置1やカーナビ部106等が収容されている。コンソールパネル402では、HUD装置1やカーナビ部106の操作入力や画面表示がされる。ウィンドシールド9は曲面の視認領域5を有する。ウィンドシールド9の上側には室内後写鏡403等が設置されている。また、本例では、ウィンドシールド9の右上の位置には車内カメラ3が設置されている。図示しないが、車両のいずれかの所定の位置には車外カメラ2が設置されている。
 図4の実像の例では、自車の前方の道路上、交差点付近で、対象の物体4として他車(対向車)がある。HUD装置1の開口部404を通じて映像光がウィンドシールド9の視認領域5内の領域に投射されることで、運転者から見て虚像領域7(破線枠で示す。実際には表示されない。)が形成される。虚像領域7内で、物体4上にAR画像6が重畳表示される。本例では、AR画像6は、対向車の注意喚起のためのアラートアイコン画像であり、アーチ形状(切り欠きを持つリング形状)の場合を示す。
 [基本設定]
 図5は、運転者個人に応じた視点位置E1および虚像領域7の基本設定等について示す。基本設定の視点位置E1を示す。視点位置E1は、HUD装置1の初期設定値に基づいたユーザ設定値として設定される。運転者は、運転座席等を自分の体格や姿勢に合わせて調節し、基本姿勢をとる。その後、運転者は、HUD装置1の虚像領域7および視点位置E1の基本設定を行う。運転者は、必要に応じて光学系24のミラー501の角度θ,φ等を調節して、自分の視点位置から見て虚像領域7が好適な状態になるように調節する。虚像領域7の位置を、所定の設定範囲内で、X方向、Y方向で変更可能である。変形例では、さらに、虚像領域7の位置を、所定の設定範囲内で、Z方向でも変更可能である。
 基本設定時、HUD装置1は、基本設定のためのガイドAR画像503(例えば、虚像領域7を示す枠や、中央位置を示すマーク等)を虚像領域7に表示する。運転者は、ガイドAR画像503を見ながら、自分の視点位置からの視線に合わせて、好適な状態になるように、ミラー501の角度等を例えば手動で調節する。
 HUD装置1は、光学系24の一部としてミラー501を有する。HUD装置1は、そのミラー501の角度θ,φを可変に駆動する駆動部25を有する。駆動部25は、制御部10からの制御、または操作部(例えばコンソールパネル402の操作ボタン)からの操作入力に基づいて、モータ等の駆動によって、ミラー501の角度θ,φを変更する。ミラー501の角度θ,φに応じて投射方向および投射位置(位置pC)が決まる。角度θの調節によって、運転者から見て虚像領域7のY方向の位置を調節可能である。また、角度φの調節によって、運転者から見て虚像領域7のX方向の位置を調節可能である。図5の例では、角度φの調節によって、ウィンドシールド9における右側寄りの位置に虚像領域7を調節した場合を示す。
 基本設定時、HUD装置1は、車内カメラ3によって運転者を撮影し、例えば両目の中間点等に基づいて視点位置を検出し、基本設定の視点位置E1として設定する。また、HUD装置1は、駆動部502を通じて、視点位置E1に対応する状態の時のミラー501の角度θ,φの状態を検出し、設定する。なお、運転者による調節の操作を省略して、HUD装置1が自動的にミラー501の角度を調節して基本設定を行ってもよい。
 また、実施の形態の変形例のHUD装置1では、虚像領域7の前後方向(Z方向)の位置等も可変に設定および制御が可能である。虚像領域位置に応じて、AR画像の表示位置の補正の有無や、補正方式も設定可能である。制御部10の設定情報の1つとして、虚像領域位置および虚像距離を有する。HUD装置1は、用途や状況に応じて、また、ユーザ設定に応じて、虚像距離を変えて、その虚像距離の位置に虚像領域7を設定できる。例えば、一般道路の走行の場合と高速道路の走行の場合とでは、それぞれに適した虚像距離がある。HUD装置1の制御部10では、それらの状況の判断(例えば車速に基づいた判断)に応じて、虚像距離を切り替えて設定可能である。また、運転者の任意の入力操作に応じて、虚像距離を変更できる。
 [虚像領域内の設定例]
 図6は、虚像領域7(HUD表示範囲)内の設定例を示す。虚像領域7内において、設定に応じて、各種の虚像を表示可能である。虚像領域7内で、情報種類毎に、表示位置や表示領域が設定可能である。本例では、虚像領域7内で、下辺領域である非AR領域601と、その非AR領域601以外の領域であるAR領域602とが設定されている。非AR領域601では、虚像(非AR画像)として、車両情報等が表示される。車両情報として、例えば、車速情報603、右左折や目的地距離等のナビゲーション情報604、その他の情報(任意の文字等)が挙げられる。非AR領域601の虚像については、補正機能の適用対象外として設定される。
 AR領域602では、対象の物体4上に、AR画像6(例えばアラートアイコン画像)が重畳表示され、基本的に補正機能の適用対象として設定される。AR領域602に表示するAR画像6としては、各種の種類がある。物体4の種類毎に、AR画像6の種類や、補正機能の適用有無等が設定可能である。図6の下側の表では、AR機能および補正機能によって虚像領域7のAR領域602にAR画像を表示する際のAR設定例を示す。この表では、情報項目として、物体種類、AR画像種類、補正機能の補正有無等を有する。物体種類毎に、AR画像種類や補正有無等が設定可能となっている。設定例として、対象物体が物体種類K1である車の場合には、AR画像種類G1を適用し、補正機能によってAR画像表示位置の補正を適用する設定等を示す。
 [位置および距離の関係]
 図7は、視点、物体、虚像(虚像領域7)の位置および距離の関係を示す。基本設定の視点位置E1と、X方向の右へ移動後の視点位置Exを示す。視点位置E1から視点位置Exへの移動量H(視点移動距離)を示す。物体位置として、Z方向で、虚像領域7の虚像領域位置P1に対し、前にある物体4bの場合の位置P2(特にX方向で左側)と、後にある物体4aの場合の位置P3(特にX方向で右側)とを示す。物体4を実線の円で示す。AR画像6を点線の円で示す。視点位置から物体位置(例えば位置P2や位置P3)までの距離を、物体距離LAとして示す。視点位置と虚像領域位置P1との距離を、虚像距離LBとして示す。虚像領域位置P1と物体位置との距離を、虚像物体距離LC(相対距離)として示す。
 視点位置E1からウィンドシールド9越しの前方(Z方向)へ所定の虚像距離LBの虚像領域位置P1に、虚像領域7が設定されている。虚像距離LBは、HUD装置1によって設定されており、変形例の場合には可変である。虚像距離LBは、前述の第2HUD装置のように、20~30m(例えば25m)である。なお、物体4が虚像領域位置P1にある場合、AR画像6の表示位置は物体4と同じ位置になる。
 虚像領域7内のX方向で、各物体4のAR画像6の表示位置を白丸点で示す。例えば、物体位置P3の物体4aの場合に、視点位置E1から見た補正前のAR画像6に基づいて、移動後の視点位置Exから見た補正後のAR画像6Aを示す。物体位置P2の物体4bの場合に、視点位置E1から見た補正前のAR画像6に基づいて、移動後の視点位置Exから見た補正後のAR画像6Bを示す。例えば、物体4bに関して、補正前のAR画像の位置Qa、補正後のAR画像6Bの位置Qbを示す。
 HUD装置1は、補正機能において、上記のような視点、物体、および虚像領域7の位置および距離の関係に応じて、AR画像6の表示位置を補正する。特に、虚像領域7に対し物体4が前にある場合と後にある場合とでは、位置のずれの影響が異なる。そのため、HUD装置1は、例えば、物体4が虚像領域7よりも前にある場合にはAR画像6の表示位置の補正を行う。
 [処理フロー]
 図8は、HUD装置1の制御部10の主要処理のフローを示す。この処理は、AR画像の表示位置の補正の変換処理を含む。制御部10は、自車の走行中およびAR機能の利用中に、このような処理をリアルタイムで行う。図8は、ステップS1~S10を有する。以下、ステップの順に説明する。
 (S1) HUD装置1は、運転者の操作に基づいて、基本設定処理を行う。図5のように、基本設定の視点位置E1、虚像領域位置P1等が設定される。HUD装置1は、AR機能のオン状態で、以下のような処理を行う。
 (S2) 制御部10の画像入力部11は、車外撮影部102の車外カメラ2の映像データの画像フレームを、映像データ記憶部103から読み出す等して順次に入力する。
 (S3) 画像入力部11は、入力された画像内から、ARのための所定の物体の領域等を抽出する処理を行う。所定の物体は、例えばAR画像を重畳表示する対象となる車や人や自転車等であり、また、AR制御のために用いる、路面の車線やマーク、交通標識等である。なお、この抽出処理は、特徴量抽出や画像マッチング等の画像解析を含む公知技術によって実現できる。
 (S4) 画像入力部11は、入力された画像から抽出された物体4に関する、画像内の物体位置の2次元座標(x,y)、および視点位置と物体位置との物体距離等を検出する。あるいは、画像入力部11は、空間内の物体位置の3次元座標(X,Y,Z)を検出する。
 (S5) 画像入力部11または運転者撮影部107は、車内カメラ3からの映像データの画像を入力する。なお、運転者撮影部107の機能によって視点位置等を検出できる場合には、運転者撮影部107で検出した視点位置等の情報を、情報取得部12が取得するようにしてもよい。
 (S6) 画像入力部11または運転者撮影部107は、車内カメラ3の画像から、運転者の現在の視点位置を検出する。画像入力部11または運転者撮影部107は、画像内の視点位置の2次元座標(x,y)、または空間内の視点位置の3次元座標(X,Y,Z)を検出する。また、画像入力部11または運転者撮影部107は、基本設定の視点位置E1からの移動後の視点位置Exに関する移動量および移動方向等を検出する。
 (S7) 情報取得部12は、虚像表示および補正のために必要な情報として、物体情報、視点情報、車両情報、虚像情報等を取得する。物体情報は、物体位置、物体距離、物体種類(例えば車、人、自転車等)、サイズ等の情報がある。視点情報は、視点位置、移動量等がある。車両情報は、車速、走行方向等がある。虚像情報は、虚像領域位置P1等の設定情報がある。
 情報取得部12は、例えば、車外撮影部102またはセンサ部108(例えば距離センサ)から、物体距離情報を取得してもよい。情報取得部12は、例えば、ECU101やセンサ部108から、車両情報を取得してもよい。情報取得部12は、例えば、センサ部108やGPS受信器105またはカーナビ部106から、自車の現在の位置情報等を取得してもよい。情報取得部12は、DB部109や、通信部104を介して外部から情報を取得してもよい。
 (S8) AR画像生成部13は、上記各画像や取得された情報を用いて、対象の物体4に重畳表示するためのAR画像6の基本AR画像データを生成する。ここで生成する基本AR画像データは、補正前の基本表示位置を持つ。AR画像生成部13は、物体種類等に応じたAR画像を生成する。AR画像生成部13は、抽出された物体(例えば他車)に応じてAR画像(例えばアラートアイコン画像)を生成する。また、AR画像生成部13は、ECU101、カーナビ部106、DB部109等から、データや情報を適宜参照して、AR画像(例えばナビゲーション矢印画像)を生成してもよい。これらは、AR機能としてどのような情報を提供するかに依るものであり、特に限定しない。AR画像生成部13は、生成したAR画像データ等を出力する。
 (S9) 補正部14は、AR画像生成部13で生成された基本AR画像データについて、虚像領域7のAR画像6の表示位置を補正するための変換処理を行う。補正部14は、この補正処理で、物体位置および物体距離と、視点位置の移動量と、虚像領域位置P1に対する物体の前後関係等に応じて、補正後のAR画像の表示位置を決定する。言い換えると、補正前のAR画像の表示位置からの補正量を決定する。
 補正部14は、所定の変換テーブル(または所定の変換計算式)に基づいた変換処理を行うことで、補正後のAR画像の表示位置を決定する。補正部14は、物体位置、視点位置移動量、虚像領域位置等を入力値として、変換テーブルを参照して変換処理を行い、出力値として補正後のAR画像の表示位置等を出力する。
 補正部14は、補正方式として、例えば後述の第2方式を用いて、虚像領域7よりも前にある物体4については、補正処理を行い、補正後のAR画像の表示位置を得る。また、補正部14は、補正方式として、X方向の視点位置の移動量に関して、所定の閾値と比較し、閾値越えの場合には補正処理を行う。閾値は、アイボックス等に応じて設定可能である。
 (S10) AR表示部15は、S9までの補正等を反映した虚像表示のための表示データであるARデータを生成する。また、AR表示部15は、ARデータの生成の際には、HUD装置1での計算上の平面(虚像平面)から、ウィンドシールド9の曲面の領域(図3の領域307)に対応させるための座標変換も行う。この座標変換は、公知の射影変換等を用いて実現でき、曲面への投射の結果として平面的な虚像領域7が形成されるようにするための変換である。
 表示部20は、制御部10のAR表示部15からのARデータに基づいて、映像光を生成し出射する。その映像光が光学系24を通じてウィンドシールド9の視認領域5内の領域307に投射されて反射される。これにより、運転者には、虚像領域7内における物体に重畳されたAR画像として視認される。AR機能のオン状態では、以上のような主要処理が同様に繰り返し行われる。
 [物体位置、視点位置の取得]
 図9は、物体位置や視点位置の取得について示す。図9の(A)は、車外カメラ2の画像901を示す。画像901内に、物体4(例えば他車)を含む場合、画像901内の物体4の位置として2次元座標(xm,ym)が検出される。さらに、(A)の下側には、空間におけるX-Z平面で、自車900の位置、他車(物体4)の物体位置、および物体距離として自車900と他車との距離Dを示す。自車位置(前述のように視点位置と関係付けられる)の3次元座標(Xm1,Ym1,Zm1)、物体位置の3次元座標(Xm2,Ym2,Zm2)、距離D(DX,DY,DZ)を示す。物体位置の3次元座標は、自車位置(視点位置)を基準とした3次元座標系における位置座標である。距離Dのうちの距離DXはX方向の成分、距離DYはY方向の成分、距離DZはZ方向の成分である。制御部10は、画像901や前述の手段を用いて、このような物体位置の3次元座標等を得る。
 図9の(B)は、車内カメラ3の画像902を示す。画像902から、運転者の視点位置として、基本設定の視点位置E1、移動後の視点位置Ex、移動量H、移動方向(少なくともX方向を含む)等が検出できる。画像902内の視点位置の2次元座標として、視点位置E1(x1,y1)、視点位置Ex(x2,y2)を示す。視点位置E1および視点位置Exは、2次元座標として検出されてもよいし、3次元座標として検出されてもよい。2次元座標に基づいて、所定の計算で3次元座標を得ることができる。視点位置の3次元座標として、視点位置E1(X1,Y1,Z1)、視点位置Ex(X2,Y2,Z2)を示す。これらの視点位置の差分から、視点位置の移動量H等が検出できる。
 なお、実施の形態のHUD装置1の補正機能でのAR画像の表示位置の補正の際には、上記のような3次元情報を用いて実現するが、2次元情報を用いて簡易的に実現してもよい。なお、視点位置の3次元座標と物体位置の3次元座標とが検出できた場合、それらの2点を結ぶ直線を検出できたことになる。また、その直線を、概略的に視線とみなして、制御に利用してもよい。
 実施の形態のHUD装置1では、車内カメラ3を用いて、少なくとも視点位置の2次元座標または3次元座標を計算して検出する。これに限らず、運転者撮影部107の機能として、さらに視線方向(目が実像や虚像を見る視線)や、目のまばたき等を検出できる場合には、それらの情報を補正機能の制御に利用してもよい。例えば、視点位置および視線方向に応じて、AR画像の表示位置を制御してもよい。例えば、視線方向として虚像領域7の方(物体やAR画像)を見ていない場合には補正を行わない等の制御が挙げられる。
 また、変形例として、視点位置および視線方向等に応じて、AR画像の表示位置の補正だけでなく、AR画像の加工の制御を追加してもよい。これにより、より正確な補正や、より視認しやすくするAR提示ができる。例えば、AR画像の表示位置の補正中の時には、その補正中の状態(すなわち視点位置の変動中の状態)が運転者に伝わるように、AR画像の形状や色等を変化させる加工をしてもよい。AR画像を視認しやすくするための各種の公知技術との組み合わせが可能である。
 [AR画像生成]
 図10は、AR画像生成部13による、虚像領域7内のAR画像6の生成の際の基本について示す。図10の上側では、虚像領域7に対応するHUD装置1の計算上の平面(虚像平面8と記載する)における、物体位置に対するAR画像6の基本表示位置(補正前表示位置ともいう)等を示す。虚像平面8内の2次元座標系(x,y)において、対象の物体4の物体位置毎に、AR画像6(対応するAR画像データ)が配置される。AR画像生成部13は、物体位置および視点位置E1に基づいて、虚像平面8における、物体位置の2次元座標(xm,ym)に対し、AR画像6の基本表示位置の2次元座標(xa,ya)を決定する。虚像平面8内のAR画像の基本表示位置の2次元座標(xa,ya)は、物体位置、視点位置の3次元座標や、両者の距離に基づいて、所定の計算で得られる。
 本例では、物体4として他車(対向車)の場合に、AR画像6として、注意喚起のためのアラートアイコン画像を重畳表示する場合を示す。アラートアイコン画像の一例としてアーチ形状であり、路面に平行にみえるように表示される。本例では、物体4の物体領域の下辺の中央を、AR画像の基本表示位置としているが、これに限らず可能である。アラートアイコン画像の基本画像に基づいて、路面に合わせて傾き等が調整されたAR画像が生成される。そして、虚像平面8内の基本表示位置に、そのAR画像が配置される。また、その際、AR画像の色やサイズ等が調整されてもよい。例えば、物体種類に応じた色や、物体領域サイズに合わせたAR画像サイズ等としてもよい。
 図10の下側には、他のAR画像の例を示す。物体4として他車の場合に、AR画像6として、物体4(物体領域)を囲む枠画像とする例を示す。また、AR画像6として、道路上の前方の位置に、進行方向ナビゲーションのための矢印画像を表示する例を示す。また、物体4として所定の施設または看板である場合に、AR画像6として、物体位置から少し離れて関係付けた位置に、吹き出し画像を表示する例を示す。吹き出し画像内には、物体4に関する情報(例えばカーナビ部106やDB部109の参照に基づいた施設や看板の情報)が文字等で表示される。
 上記例のように、AR画像の種類として各種が可能である。なお、AR画像の種類として、上記吹き出し画像のように、表示位置が物体位置から少し離れる場合でも、補正機能を同様に適用可能である。吹き出し画像について、補正有りとして設定してもよいし、補正無しとして設定してもよい。上記吹き出し画像に補正を行った場合、補正前後で、物体と吹き出し画像との位置関係が維持される。補正を行った場合、視点位置に応じて、物体と吹き出し画像との距離等の見え方が変化する。図示しないが、その他のAR画像の例としては、車線画像(道路の左右端の線の強調表示のための画像)等でもよい。
 [補正方式(1)]
 実施の形態では、補正機能として、物体位置、視点位置移動量、および虚像領域と物体との位置関係に応じて、AR画像の表示位置の補正の内容を制御する。この補正機能に関して、以下に示す各方式を用いる。
 まず、図1のように、実施の形態のHUD装置1では、補正機能によってAR画像の表示位置を補正する際、制御部10で、ARデータ(表示部20に与える表示データ)の内容を補正する処理を行うことで実現する。その補正処理は、制御部10のソフトウェアプログラム処理に基づいた、例えば変換テーブルを用いた変換処理によって実現できる。
 なお、この補正の実現手段に関して、変形例のHUD装置としては、HUD装置のハードウェアにおける表示部20の光学系24のミラー501の角度θ,φ等を変更する制御を適用してもよい。あるいは、上記ARデータの情報処理と、光学系24の駆動制御との組み合わせによる制御を適用してもよい。
 [補正方式(2)]
 図11は、実施の形態のHUD装置1の補正機能におけるAR画像表示位置の補正方式について示す。この補正方式は、特に、Z方向の前後における物体4と虚像領域7との位置関係に応じて補正を制御する方式である。補正機能では、以下に示す方式のうち少なくともいずれかの方式を用いて、AR画像の表示位置の補正を行う。HUD装置1では、予め設計事項として、少なくともいずれか1つの方式の補正機能が実装される。あるいは、HUD装置1では、ユーザ設定機能を用いて、複数のいずれかの方式からユーザが選択した方式を、使用する方式として設定可能としてもよい。また、HUD装置1では、状況に応じて複数の方式から使用する方式を切り替えて使い分けてもよい。用いる方式に応じた補正の効果が実現できる。
 (A)第1方式: まず、基本的な補正方式として、第1方式では、Z方向で虚像領域7に対して物体4がいずれの位置にある場合でも、同様に補正を適用する。HUD装置1は、物体位置と、視点位置の移動量Hとに応じて、虚像領域7内のAR画像6のX方向の補正後の表示位置を決定する。
 (B)第2方式: さらに、第2方式等では、Z方向で虚像領域7(虚像領域位置P1)に対して物体4が後にある場合と前にある場合との少なくとも2つの区分で、補正の適用の有無を制御する。図7でも示したように、後にある場合とは、位置P3の物体4aのような場合であり、言い換えると、物体距離LAが虚像距離LB以上に大きい場合(LA≧LB)である。前にある場合とは、位置P2の物体4bのような場合であり、言い換えると、物体距離LAが虚像距離LBよりも小さい場合(LA<LB)である。第2方式では、HUD装置1は、位置関係として、物体4が虚像領域7よりも前にある場合には、AR画像6の表示位置の補正を行い、物体4が虚像領域位置P1内やそれよりも後にある場合には、補正を行わない。図11の例では、前にある物体4bについては、移動後の視点位置Exから見て、補正を行い、補正後のAR画像6bを示している。後にある物体4aについては、視点位置E1からのAR画像6aについて、補正を行わず、補正前のAR画像6aを示している。
 (C)第3方式: 第2方式の変形例として、第3方式以下の方式を用いてもよい。第3方式では、Z方向で虚像領域位置P1よりも前の所定の距離801の位置802に、制御用の閾値の位置が設定される。第3方式で、HUD装置1は、物体位置が、位置802よりも前にある場合には補正を行い、位置802以降の後にある場合には、補正を行わない。第3方式では、考え方として、物体位置が虚像領域位置P1と位置802との間にある場合、物体4と虚像領域7が比較的近く、ずれの影響が比較的小さいことから、補正を行わない。
 (D)第4方式: 第4方式では、虚像領域位置P1を含む前後に、所定の距離の範囲803が、制御用の範囲である虚像領域近傍範囲として設定される。第4方式では、範囲803とその前後とで、3つの区分が設けられる。第4方式では、HUD装置1は、物体位置が、範囲803内にある場合には、補正を行わない。範囲803内の場合、物体4と虚像領域7が比較的近く、ずれの影響が比較的小さいことから、補正を行わない。また、第4方式では、物体位置が、範囲803外で、前にある場合には、補正を行い、範囲803外で、後にある場合には、補正を行わない。
 (E)第5方式: 第4方式の変形例として、第5方式では、物体位置が、範囲803内の場合には補正を行わず、範囲803外で、前にある場合には、補正を行い、範囲803外で、後にある場合にも、補正を行う。
 虚像領域位置P1に対する物体位置の距離(虚像物体距離FC)が大きいほど、ずれの影響が大きいので、補正の必要性や有効性が高い。また、物体が虚像領域7よりも前にある場合の方が、ずれの影響が大きいので、補正の必要性や有効性が高い。上記各補正方式では、少なくとも、物体が虚像領域7よりも前の方にある場合には、確実に補正を行い、ずれを解消または低減する。
 [補正方式(3)]
 図12は、実施の形態のHUD装置1で、加えて適用される補正方式として、視点位置の移動量に応じた補正方式を示す。この補正方式では、視点位置のX方向の移動量Hの大きさに応じて、移動量Hが所定の閾値以内の場合と閾値を超える場合とで、AR画像の表示位置の補正の有無を制御する。
 図12の(A)は、基本設定の視点位置E1から例えば右へ移動後の視点位置Ex1で、移動量Hが移動量Hx1であり、移動量Hx1が所定の閾値Ht以内である場合を示す。虚像領域7よりも後の位置P3の物体4aや前の位置P2の物体4bがある場合を示す。この場合、HUD装置1は、移動量Hx1が閾値Ht以内であるため、前述の第1方式や第2方式等を用いた補正を行わない。考え方として、この場合では、物体4aまたは物体4bと補正前のAR画像6aとのずれが、視点位置Ex1からの視認上で、許容範囲内である。このことから、補正処理を省略して、効率化を図るものである。
 図12の(B)は、同様に、基本設定の視点位置E1からの移動後の視点位置Ex2で、移動量Hが移動量Hx2(Hx2>Hx1)であり、移動量Hx2が所定の閾値Htを越える場合を示す。この場合、HUD装置1は、移動量Hx2が閾値Htを越えるため、前述の第1方式や第2方式等を用いた補正を行う。考え方として、この場合では、物体4aまたは物体4bと補正前のAR画像6aとのずれが、視点位置Ex2からの視認上で、許容範囲外である。このことから、補正処理を実行して、ずれの解消を図るものである。
 虚像領域位置P1において、位置121は、補正前のAR画像6aの表示位置を示す。前の位置P2に物体4bがある場合で、補正を行う場合に、位置122は、補正後のAR画像の表示位置を示す。同様に、後の位置P3に物体4aがある場合で、補正を行う場合に、位置123は、補正後のAR画像の表示位置を示す。
 [補正]
 図13は、補正部14によるAR画像の表示位置の補正および変換を示す。補正部14は、変換処理の際、入力値として、物体位置(例えば3次元座標)、基本設定の視点位置E1からの移動量、虚像領域位置P1、および補正前のAR画像の表示位置を入力し、変換の結果の出力値として、補正後のAR画像の表示位置(または補正量)を得る。
 図13の例では、物体位置が虚像領域位置P1に対して後の位置P3や前の位置P2の場合で、X方向では中央から少し左側の位置である場合を示す。また、視点位置の移動としては、基本設定の視点位置E1から右へ移動して移動後の視点位置Ex、移動量Hxである場合を示す。
 虚像領域7において、視点位置E1から位置P3の物体4aまたは位置P2の物体4bに合わせたAR画像6を表示する場合の表示位置を、補正前のAR画像6Bの位置QBとして示す。なお、図示しないが、虚像領域位置P1=PBにおける位置QBに物体がある場合、AR画像の表示位置は同じ位置QBとなる。
 第1方式等の場合で、虚像領域7よりも後にある物体4aについて表示位置を補正する場合には以下である。HUD装置1は、移動後の視点位置Exに合わせて、位置P3の物体4aのAR画像6Bの表示位置(位置QB)を補正する。変換処理によって、補正後の表示位置が、位置QAとして決定される。虚像領域7のX方向の線と、視点位置Exから物体4aを見る直線との交差点として、位置QAが得られる。HUD装置1は、補正後の位置QAに、AR画像6Aを表示する。
 第1方式や第2方式等の場合で、虚像領域7よりも前にある物体4bについて表示位置を補正する場合には以下である。HUD装置1は、移動後の視点位置Exに合わせて、位置P2の物体4bのAR画像6Bの表示位置(位置QB)を補正する。変換処理によって、補正後の表示位置が、位置QCとして決定される。虚像領域7のX方向の線と、視点位置Exから物体4bを見る直線との交差点として、位置QCが得られる。HUD装置1は、補正後の位置QCに、AR画像6Cを表示する。
 [位置関係の例]
 図14は、視点、物体、虚像の位置および距離の関係の例を示す。物体虚像距離LC等が異なる例を示す。図14では、上から道路等を見たX-Z平面で示す。虚像領域位置P1(AR画像表示位置を含む)は、例えば、自車の視点位置からの虚像距離LBとして20~30mの範囲(設定範囲140)内で設定される。本例では、虚像領域位置P1を、虚像距離FBで25mの位置とした場合を示す。
 ARの対象となる物体4として、人151、コーン152、車153等がある場合を示す。人151(歩行者等)が、虚像領域位置P1よりも前で、視点位置から比較的近い5mの距離の位置にいる。物体虚像距離LCとしては-20mである(虚像領域位置P1に対して前にある場合を負とした)。コーン152が、虚像領域位置P1の付近の位置、20~30mの設定範囲140内の位置にある。車153(対向車等)が、虚像領域位置P1よりも後で、視点位置から比較的遠い40~60m程度の距離(例えば45m)の位置にある。物体虚像距離LCとしては+20mである。
 まず、コーン152のように、設定範囲140内の虚像領域7(虚像領域位置P1)の付近の位置に物体4がある場合、AR画像6の表示位置のずれの影響が小さく、好適なAR画像表示が可能である。
 車153は、虚像領域位置P1よりも後の位置にあり、物体虚像距離LCが+20mである。車153の位置に重畳するAR画像については、ずれの影響があるものの、人151のように前にある場合よりも影響が小さい。そのため、車153のAR画像については、第1方式等で補正を行ってもよいし、第2方式等で補正を省略してもよい。
 人151は、虚像領域位置P1よりも前の位置にあり、物体虚像距離LCが-20mである。人151の位置に重畳するAR画像については、車153のように後にある場合よりもずれの影響が大きい。そのため、人151のAR画像については、ずれの解消が重要であり、確実に補正を行う。
 例えば、前述の第2方式を適用する場合、虚像領域7よりも後にある車153等の物体については補正処理を省略して効率化し、前にある人151等の物体については、補正によってずれを解消し、運転者にとって好適な視認を実現する。
 図15は、図14の例に対応した、物体やAR画像の例を示す。図15の上側の(A)は、基本設定の視点位置E1から見た物体4の例を簡易的に示す。道路上、自車から比較的近い位置に、物体4として人151がいる。また、自車から比較的遠い位置に、物体4として車153がある。また、それらの中間程度の位置には、物体4として、曲がり角付近に設置されたコーン152がある。物体位置154は、人151の場合の物体位置の2次元座標(x,y)を示し、物体領域155の中心点とする場合を示す。物体領域155は、物体4として人151を囲む領域(例えば人151の形状を包含する矩形)であり、破線枠で示す。物体領域は矩形に限らず可能である。
 図15の下側の(B)は、(A)の物体4に対するAR画像6の重畳表示の例を示す。人151、コーン152、車153のそれぞれに対し、AR画像6としてアラートアイコン画像を重畳表示する例を示す。例えば、表示位置156は、人151の場合のAR画像6の補正前の基本表示位置を示す。物体位置154および物体領域155に対し、AR画像6の表示位置として、物体位置154よりも下にある、物体領域155の下辺の中央とした場合を示すが、これに限らず可能であり、物体位置をそのままAR画像表示位置としてもよい。
 図16は、図14、図15の例に対応した、物体とAR画像との位置ずれ、および補正について示す。視点位置の移動前後の虚像領域7を簡易的に示す。虚像領域7Aは、移動前の基本設定の視点位置E1から見た虚像領域を示す。虚像領域7Bは、視点位置E1から右へ移動後の視点位置Exから見た虚像領域を示す。移動量Hが例えば100mmである。補正前の状態では、視点位置Exから見て、物体4として例えば人151とAR画像6a(補正前AR画像)とで位置のずれがある。補正後の状態では、視点位置Exから見て、人151とAR画像6b(補正後AR画像)とで位置のずれが解消されている。補正によって、補正前のAR画像6aの表示位置156から、補正後のAR画像6bの表示位置157になっている。
 特に、人151の例のように、虚像領域7よりも前に物体4があり、物体虚像距離LCが比較的大きい場合には、ずれの影響が大きいので、表示位置の補正が有効である。人151と車153とでは、いずれも物体虚像距離LCが20mであるが、人151の方が、車153よりも、ずれの影響が大きい。そのため、第2方式等を用いて、人151の方については、確実にAR画像の表示位置を補正する。
 [変形例:虚像領域の可変設定]
 図17は、変形例のHUD装置1における、虚像領域7のZ方向の位置の可変設定について示す。所定の設定範囲140(20~30m)内で、虚像領域位置P1を可変に設定できる。位置P1aは、虚像距離FBとして30mの位置を虚像領域位置として虚像領域7aを設定する場合を示す。位置P1bは、虚像距離FBとして20mの位置を虚像領域位置として虚像領域7bを設定する場合を示す。また、各物体距離の位置(PA,PB,PC)に物体4がある場合を示す。位置PAの物体4A、位置PBの物体4B、位置PCの物体4Cを示す。
 各虚像領域7の設定の場合でも、同様に、補正機能を適用できる。例えば、前述の第2方式を適用するとする。虚像領域7aの場合において、物体4C、物体4Bについては、前にあるので、補正を行い、物体4Aについては、後にあるので、補正を行わない。虚像領域7bの場合において、物体4Cについては、前にあるので、補正を行い、物体4B、物体4Aについては、後にあるので、補正を行わない。
 なお、路面、車両、および運転者の状態を基準として設定される虚像領域7の面(例えば矩形の面)は、X-Y平面としてもよいし、図3の例のように視点位置E1からの視線301を法線とする平面としてもよい。各場合で、同様に、補正機能を適用できる。
 [変形例:虚像領域]
 図18は、他の変形例における虚像領域7の設定状態を示す。このように、虚像領域7を、視点位置E1からの視線301に対して、垂直面に限らず、斜めに傾けた平面としてもよい。本例では、虚像領域7は、Z方向の視線301に対し、角度δを持つ平面として設定されている。さらに、角度δが可変設定できる形態としてもよい。この場合、虚像領域7は、Z方向の虚像領域位置P1、視線301上の位置pBを中心として、Z方向の幅181を持つ。幅181は、設定範囲140内の大きさである。この場合でも、補正機能を同様に適用可能である。本例では、虚像領域7において、AR画像6として、位置Qy1のAR画像6y1や、位置Qy2のAR画像6y2を示す。位置Qy1は、Z方向の視線301よりも上側の位置で、虚像領域位置P1よりも後の位置である。位置Qy2は、Z方向の視線301よりも下側の位置で、虚像領域位置P1よりも前の位置である。
 この変形例の場合、補正方式としては、例えば図11の(D)の第4方式や(E)の第5方式を同様に適用可能である。例えば、幅181を、(D)の範囲803と対応させて、補正有無の制御を行えばよい。
 [虚像領域外の場合の制御]
 図19は、補正機能における一部の機能として、虚像領域7外の場合の制御を示す。視点位置移動量に応じて、補正後のAR画像表示位置が虚像領域7外に出てしまう場合の制御を示す。
 (1)この制御として、第1制御では、物体4に関するAR画像6の表示位置が、視点位置から見た虚像領域7(対応する虚像平面)で考えて、虚像領域7内にある場合には、表示可能であり、AR画像の表示位置の補正を行う。また、この制御では、物体4に関するAR画像6の表示位置(補正しようとする際に計算した表示位置)が、視点位置から見た虚像領域7(対応する虚像平面)で考えて、虚像領域7外にある場合には、AR画像の表示位置の補正を行わず、AR画像も表示しない。虚像領域外190(表示不可領域)は、虚像領域7の右外の領域の例を示す。位置191は、基本設定の視点位置E1に合わせて計算したAR画像6aの表示位置である。位置192は、移動後の視点位置Exに合わせて、補正のために計算した表示位置である。位置192は、虚像領域外190にある。第1制御では、虚像領域外190の場合、単に、AR画像を表示および補正しないようにする。視点位置が戻った場合、すなわち補正後の表示位置が虚像領域7内に戻った場合には、補正を行い、AR画像が再度表示される。
 (2)第2制御では、HUD装置1は、通常時、視点位置が虚像領域7内を見る状態、あるいは補正後の表示位置が虚像領域7内の状態と判断した場合には、補正機能を自動的にオン状態とし、補正および表示を行う。HUD装置1は、視点位置が、虚像領域7を見ない状態、あるいは、補正後の表示位置が虚像領域7外の状態と判断した場合には、補正機能を自動的にオフ状態に切り替え、補正および表示を行わない。後者の場合、運転者が、虚像領域7のAR画像が見えない状態、あるいは意図的に見ない状態であると考えて、補正機能をオフ状態にするものである。状況に応じて、運転者が虚像を見たくない場合、実像のみを見たい場合に、そのために運転者が視点位置を動かす場合があり得る。上記制御を適用することで、そのような場合でも、運転者がAR画像を見ずに物体のみを見やすくなる。
 (3)第3制御では、HUD装置1は、視点位置に基づいて、補正後のAR画像の表示位置が、虚像領域7外に出る場合、補正を行わず、補正前のAR画像の表示位置のままとして表示する。すなわち、虚像領域7の左右端の付近の位置に、補正前のAR画像が残ったまま表示される。虚像領域7内に戻った場合、補正の要否が再び判断される。この制御の場合、運転者の視認上で、物体とAR画像とのずれが残り、運転者がそのずれを認識する。運転者は、視点をずらすことで物体を見たい場合には、AR画像の重畳がずれている状態であるため、物体を見やすい。
 [効果等]
 上記のように、実施の形態のHUD装置1によれば、物体と虚像(AR画像)とのずれを低減して、好適なAR表示が実現できる。特に、視点位置および虚像領域位置に合わせた好適な補正が実現できる、
 以上、本発明を実施の形態に基づいて具体的に説明したが、本発明は前述の実施の形態に限定されず、その要旨を逸脱しない範囲で種々変更可能である。実施の形態の構成要素の追加や削除、分離や併合、置換、組合せ等が可能である。実施の形態の機能等は、一部または全部が集積回路等のハードウェアで実現されてもよいし、ソフトウェアプログラム処理で実現されてもよい。各ソフトウェアは、製品出荷時点で予め装置内に格納されていてもよいし、製品出荷後に外部装置から通信を介して取得されてもよい。
 実施の形態の補正機能による補正は、水平方向(X方向)のみではなく、鉛直方向(Y方向)等についても同様に適用可能である。本発明は、車載システムに限らず、各種の用途に適用可能である。
 1…HUD装置、2…車外カメラ、3…車内カメラ、4…物体、5…視認領域、6(6a,6b)…AR画像、7…虚像領域、9…ウィンドシールド、10…制御部、20…表示部、E1,Ex…視点位置、P1…虚像領域位置、P2…位置。

Claims (8)

  1.  車両のウィンドシールドまたはコンバイナに映像を投射することで、運転者に対して前記車両の前方の実像に重畳させて虚像を表示するヘッドアップディスプレイ装置であって、
     前記ウィンドシールドまたはコンバイナの視認領域に前記虚像を表示する制御を行う制御部と、
     前記制御部の制御に従って、前記視認領域に前記虚像を表示する表示部と、
     を備え、
     前記制御部は、
     車外カメラの撮影画像に基づいて、所定の物体を抽出し、
     空間内の前記物体の物体位置を含む物体情報と、車内カメラの撮影画像に基づいた、空間内の前記運転者の視点位置および移動量を含む視点情報と、空間内の前記虚像の画像を表示可能な範囲である虚像領域の位置を含む虚像情報と、を含む情報を取得し、
     前記物体に対して重畳表示するための前記画像を生成し、
     前記取得された情報を用いて、前記虚像領域内の前記画像の表示位置を、少なくとも水平方向を含めて補正し、
     前記補正後のデータを用いて、前記表示部に対する前記制御を行い、
     前記補正の際、前記運転者の基本設定の視点位置から移動後の視点位置から、前記視認領域を通じて前記物体位置を見た場合の直線上の前記虚像領域との交差点の位置を、補正後の前記画像の表示位置とするように、変換処理を行う、
     ヘッドアップディスプレイ装置。
  2.  請求項1記載のヘッドアップディスプレイ装置において、
     前記虚像領域は、前記運転者の視点位置から見て前記視認領域よりも前方の所定の虚像距離にある虚像領域位置に設定され、
     前記制御部は、前記物体位置が前記虚像領域位置よりも後にある第1の場合と、前記物体位置が前記虚像領域位置よりも前にある第2の場合とに応じて、前記補正を行うか否かを制御する、
     ヘッドアップディスプレイ装置。
  3.  請求項1記載のヘッドアップディスプレイ装置において、
     前記制御部は、前記生成した前記画像の基本表示位置と、前記物体位置と、前記視点位置の移動量と、前記虚像領域の位置とを入力値として、変換テーブルまたは変換計算式を参照して前記変換処理を行い、出力値として前記補正後の前記画像の表示位置を得る、
     ヘッドアップディスプレイ装置。
  4.  請求項1記載のヘッドアップディスプレイ装置において、
     前記制御部は、前記視点位置の前記移動量が、閾値以内の場合には前記補正を行わず、前記閾値を越える場合には前記補正を行うように制御する、
     ヘッドアップディスプレイ装置。
  5.  請求項1記載のヘッドアップディスプレイ装置において、
     前記物体の種類および前記画像の種類に応じて前記補正を行うか否かが設定可能である、
     ヘッドアップディスプレイ装置。
  6.  請求項1記載のヘッドアップディスプレイ装置において、
     前記車両の車載システムに搭載され、
     前記表示部は、前記ウィンドシールドまたはコンバイナの前記視認領域に対して投射表示を行う投射型表示装置を含む、
     ヘッドアップディスプレイ装置。
  7.  請求項1記載のヘッドアップディスプレイ装置において、
     前記表示部は、
     前記画像の映像光を前記視認領域に導くための光学系として、角度が可変であるミラーを含み、前記角度に応じて前記視認領域への前記映像光の投射位置が変わることで前記視認領域内に見える前記虚像領域の位置が変わる構成を有する前記光学系と、
     前記運転者の操作または前記制御部の制御に基づいて、前記ミラーの前記角度を変えるように駆動する駆動部と、
     を有し、
     前記ミラーの前記角度に応じて、前記基本設定の視点位置および前記虚像領域の位置が設定される、
     ヘッドアップディスプレイ装置。
  8.  車両のウィンドシールドまたはコンバイナに映像を投射することで、運転者に対して前記車両の前方の実像に重畳させて虚像を表示するヘッドアップディスプレイ装置における表示制御方法であって、
     前記ヘッドアップディスプレイ装置は、前記ウィンドシールドまたはコンバイナの視認領域に前記虚像を表示する制御を行う制御部と、前記制御部の制御に従って、前記視認領域に前記虚像を表示する表示部と、を備え、
     前記制御部で実行されるステップとして、
     車外カメラの撮影画像に基づいて、所定の物体を抽出するステップと、
     空間内の前記物体の物体位置を含む物体情報と、車内カメラの撮影画像に基づいた、空間内の前記運転者の視点位置および移動量を含む視点情報と、空間内の前記虚像の画像を表示可能な範囲である虚像領域の位置を含む虚像情報と、を含む情報を取得するステップと、
     前記物体に対して重畳表示するための前記画像を生成するステップと、
     前記取得された情報を用いて、前記虚像領域内の前記画像の表示位置を、少なくとも水平方向を含めて補正するステップと、
     前記補正後のデータを用いて、前記表示部に対する前記制御を行うステップと、
     を有し、
     前記補正するステップでは、前記運転者の基本設定の視点位置から移動後の視点位置から、前記視認領域を通じて前記物体位置を見た場合の直線上の前記虚像領域との交差点の位置を、補正後の前記画像の表示位置とするように、変換処理を行う、
     表示制御方法。
PCT/JP2018/038165 2017-11-14 2018-10-12 ヘッドアップディスプレイ装置およびその表示制御方法 WO2019097918A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN202310715112.4A CN116620020A (zh) 2017-11-14 2018-10-12 车辆
CN201880073142.7A CN111433067B (zh) 2017-11-14 2018-10-12 平视显示装置及其显示控制方法
CN202310714002.6A CN116620019A (zh) 2017-11-14 2018-10-12 平视显示装置和车辆
JP2019553750A JP6870109B2 (ja) 2017-11-14 2018-10-12 ヘッドアップディスプレイ装置およびその表示制御方法
US16/757,801 US11181743B2 (en) 2017-11-14 2018-10-12 Head up display apparatus and display control method thereof

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-218741 2017-11-14
JP2017218741 2017-11-14

Publications (1)

Publication Number Publication Date
WO2019097918A1 true WO2019097918A1 (ja) 2019-05-23

Family

ID=66539456

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/038165 WO2019097918A1 (ja) 2017-11-14 2018-10-12 ヘッドアップディスプレイ装置およびその表示制御方法

Country Status (4)

Country Link
US (1) US11181743B2 (ja)
JP (1) JP6870109B2 (ja)
CN (3) CN116620020A (ja)
WO (1) WO2019097918A1 (ja)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021081586A (ja) * 2019-11-19 2021-05-27 株式会社デンソー 表示制御装置
JP2021081603A (ja) * 2019-11-20 2021-05-27 株式会社デンソー 表示装置および虚像表示装置
WO2021132090A1 (ja) * 2019-12-25 2021-07-01 日本精機株式会社 表示制御装置、ヘッドアップディスプレイ装置
WO2022123922A1 (ja) * 2020-12-11 2022-06-16 株式会社Nttドコモ 情報処理システム
JP2022097826A (ja) * 2020-12-21 2022-07-01 トヨタ自動車株式会社 表示システム及び表示装置
WO2022190630A1 (ja) * 2021-03-12 2022-09-15 本田技研工業株式会社 視線誘導装置、注意喚起システム、注意喚起方法、及びプログラム
KR102447826B1 (ko) * 2021-03-30 2022-09-29 쌍용자동차 주식회사 차량의 헤드업 디스플레이 표시제어방법
WO2022230995A1 (ja) * 2021-04-30 2022-11-03 日本精機株式会社 表示制御装置、ヘッドアップディスプレイ装置、及び表示制御方法
WO2022255424A1 (ja) * 2021-06-02 2022-12-08 京セラ株式会社 映像表示装置
US20230199165A1 (en) * 2020-05-20 2023-06-22 Kyocera Corporation Viewpoint detector and display device
WO2023218773A1 (ja) * 2022-05-09 2023-11-16 マクセル株式会社 ヘッドアップディスプレイ装置

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6453501B1 (ja) * 2018-02-01 2019-01-16 株式会社Cygames 複合現実システム、プログラム、方法、及び携帯端末装置
US11790498B1 (en) * 2019-09-10 2023-10-17 Apple Inc. Augmented reality local tone mapping for light-transmissive display panel systems and methods
EP3809186B1 (en) * 2019-10-18 2022-12-07 HTC Corporation Head-mounted display device and adjusting method
CN111076905B (zh) * 2019-12-31 2023-04-28 重庆大学 一种车载抬头显示虚像像质综合测量方法
JP7413035B2 (ja) * 2020-01-16 2024-01-15 本田技研工業株式会社 表示制御装置、表示制御装置の制御方法、移動体並びにプログラム
CN111797810B (zh) * 2020-07-20 2022-11-29 吉林大学 一种行车过程中驾驶员前视预瞄区域的获取方法
CN112655024B (zh) * 2020-10-30 2022-04-22 华为技术有限公司 一种图像标定方法及装置
CN112738487B (zh) * 2020-12-24 2022-10-11 阿波罗智联(北京)科技有限公司 图像投射方法、装置、设备及存储介质
JP2022184350A (ja) * 2021-06-01 2022-12-13 マツダ株式会社 ヘッドアップディスプレイ装置
CN114915772B (zh) * 2022-07-13 2022-11-01 沃飞长空科技(成都)有限公司 飞行器的视景增强方法、系统、飞行器及存储介质
EP4343408A1 (en) * 2022-09-06 2024-03-27 Neusoft Group Co., Ltd. Augmented reality-head up display imaging methods and apparatuses, devices, and storage media

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015221633A (ja) * 2014-05-23 2015-12-10 日本精機株式会社 車両用表示システム
JP2017015918A (ja) * 2015-06-30 2017-01-19 パナソニックIpマネジメント株式会社 表示装置
JP2017052364A (ja) * 2015-09-09 2017-03-16 日本精機株式会社 ヘッドアップディスプレイ装置
JP2017157093A (ja) * 2016-03-03 2017-09-07 矢崎総業株式会社 車両用表示装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009217682A (ja) * 2008-03-12 2009-09-24 Yazaki Corp 車両用表示装置
JP2010070066A (ja) * 2008-09-18 2010-04-02 Toshiba Corp ヘッドアップディスプレイ
CN105333883B (zh) * 2014-08-07 2018-08-14 深圳点石创新科技有限公司 一种用于抬头显示器的导航路径轨迹显示方法和装置
KR101713740B1 (ko) * 2014-12-08 2017-03-08 현대자동차주식회사 차량의 증강현실 hud 표시 방법 및 그 표시 장치
WO2016113873A1 (ja) * 2015-01-15 2016-07-21 パイオニア株式会社 表示装置、制御方法、プログラム及び記憶媒体
EP3147150B1 (en) * 2015-03-27 2018-09-26 Panasonic Intellectual Property Management Co., Ltd. Method for adjusting position of vehicular display apparatus
JP2017001598A (ja) * 2015-06-15 2017-01-05 本田技研工業株式会社 燃料タンクの取付構造
KR20170060652A (ko) * 2015-11-24 2017-06-02 현대오트론 주식회사 헤드업 디스플레이의 좌표 매칭 장치 및 그 방법
US20170169612A1 (en) * 2015-12-15 2017-06-15 N.S. International, LTD Augmented reality alignment system and method
WO2017134865A1 (ja) * 2016-02-05 2017-08-10 日立マクセル株式会社 ヘッドアップディスプレイ装置
KR102547823B1 (ko) * 2017-12-13 2023-06-26 삼성전자주식회사 컨텐츠 시각화 장치 및 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015221633A (ja) * 2014-05-23 2015-12-10 日本精機株式会社 車両用表示システム
JP2017015918A (ja) * 2015-06-30 2017-01-19 パナソニックIpマネジメント株式会社 表示装置
JP2017052364A (ja) * 2015-09-09 2017-03-16 日本精機株式会社 ヘッドアップディスプレイ装置
JP2017157093A (ja) * 2016-03-03 2017-09-07 矢崎総業株式会社 車両用表示装置

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7238739B2 (ja) 2019-11-19 2023-03-14 株式会社デンソー 表示制御装置
JP2021081586A (ja) * 2019-11-19 2021-05-27 株式会社デンソー 表示制御装置
JP2021081603A (ja) * 2019-11-20 2021-05-27 株式会社デンソー 表示装置および虚像表示装置
WO2021132090A1 (ja) * 2019-12-25 2021-07-01 日本精機株式会社 表示制御装置、ヘッドアップディスプレイ装置
US20230199165A1 (en) * 2020-05-20 2023-06-22 Kyocera Corporation Viewpoint detector and display device
WO2022123922A1 (ja) * 2020-12-11 2022-06-16 株式会社Nttドコモ 情報処理システム
JPWO2022123922A1 (ja) * 2020-12-11 2022-06-16
JP2022097826A (ja) * 2020-12-21 2022-07-01 トヨタ自動車株式会社 表示システム及び表示装置
JP7372230B2 (ja) 2020-12-21 2023-10-31 トヨタ自動車株式会社 表示システム及び表示装置
WO2022190630A1 (ja) * 2021-03-12 2022-09-15 本田技研工業株式会社 視線誘導装置、注意喚起システム、注意喚起方法、及びプログラム
KR102447826B1 (ko) * 2021-03-30 2022-09-29 쌍용자동차 주식회사 차량의 헤드업 디스플레이 표시제어방법
WO2022230995A1 (ja) * 2021-04-30 2022-11-03 日本精機株式会社 表示制御装置、ヘッドアップディスプレイ装置、及び表示制御方法
DE112022002430T5 (de) 2021-04-30 2024-02-15 Nippon Seiki Co., Ltd. Anzeigesteuervorrichtung, Head-up-Display-Vorrichtung und Anzeigesteuerverfahren
WO2022255424A1 (ja) * 2021-06-02 2022-12-08 京セラ株式会社 映像表示装置
WO2023218773A1 (ja) * 2022-05-09 2023-11-16 マクセル株式会社 ヘッドアップディスプレイ装置

Also Published As

Publication number Publication date
JPWO2019097918A1 (ja) 2020-11-19
JP6870109B2 (ja) 2021-05-12
US20210165220A1 (en) 2021-06-03
CN116620020A (zh) 2023-08-22
CN111433067B (zh) 2023-07-04
CN111433067A (zh) 2020-07-17
CN116620019A (zh) 2023-08-22
US11181743B2 (en) 2021-11-23

Similar Documents

Publication Publication Date Title
JP6870109B2 (ja) ヘッドアップディスプレイ装置およびその表示制御方法
JP6731116B2 (ja) ヘッドアップディスプレイ装置およびその表示制御方法
EP3312658B1 (en) Virtual image presentation system and virtual image presentation method
US8536995B2 (en) Information display apparatus and information display method
WO2014174575A1 (ja) 車両用ヘッドアップディスプレイ装置
US11525694B2 (en) Superimposed-image display device and computer program
US11215819B2 (en) Head-up display
JP2014201197A (ja) ヘッドアップディスプレイ装置
JP6225379B2 (ja) 車両情報投影システム
EP3694740A1 (en) Display device, program, image processing method, display system, and moving body
JP6626069B2 (ja) 車両用表示装置
JP2017094882A (ja) 虚像生成システム、虚像生成方法及びコンピュータプログラム
KR20180022374A (ko) 운전석과 보조석의 차선표시 hud와 그 방법
JP7111582B2 (ja) ヘッドアップディスプレイシステム
JP2016078726A (ja) 虚像表示装置
JP2018020779A (ja) 車両情報投影システム
JP2018077435A (ja) 虚像表示装置
JP6801508B2 (ja) ヘッドアップディスプレイ装置
JP7310560B2 (ja) 表示制御装置及び表示制御プログラム
JP6318772B2 (ja) 虚像表示装置
WO2021039579A1 (ja) ヘッドアップディスプレイ装置
JPWO2018030320A1 (ja) 車両用表示装置
WO2019074114A1 (en) DISPLAY DEVICE, PROGRAM, IMAGE PROCESSING METHOD, DISPLAY SYSTEM, AND MOBILE BODY
JP2013116687A (ja) 車両用画像表示装置
JP2023066556A (ja) ヘッドアップディスプレイ装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18877940

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019553750

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18877940

Country of ref document: EP

Kind code of ref document: A1