WO2020235160A1 - 表示システム - Google Patents

表示システム Download PDF

Info

Publication number
WO2020235160A1
WO2020235160A1 PCT/JP2020/007110 JP2020007110W WO2020235160A1 WO 2020235160 A1 WO2020235160 A1 WO 2020235160A1 JP 2020007110 W JP2020007110 W JP 2020007110W WO 2020235160 A1 WO2020235160 A1 WO 2020235160A1
Authority
WO
WIPO (PCT)
Prior art keywords
correction
gradient
display
amount
processing device
Prior art date
Application number
PCT/JP2020/007110
Other languages
English (en)
French (fr)
Inventor
智司 松井
範一 勝山
Original Assignee
パナソニックＩｐマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックＩｐマネジメント株式会社 filed Critical パナソニックＩｐマネジメント株式会社
Priority to JP2021520052A priority Critical patent/JP7417907B2/ja
Publication of WO2020235160A1 publication Critical patent/WO2020235160A1/ja
Priority to US17/472,966 priority patent/US11875760B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/38—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory with means for controlling the display position
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/23—Head-up displays [HUD]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/177—Augmented reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0464—Positioning
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00—Specific applications
    • G09G2380/10—Automotive applications

Definitions

  • the present disclosure relates to a display system that controls the display position of an image according to the movement of a moving body.
  • Patent Document 1 discloses a vehicle information projection system that performs augmented reality (AR) display using a head-up display (HUD) device.
  • the HUD device projects a light representing a virtual image onto the windshield of the vehicle so that a viewer who is a occupant of the vehicle can see the virtual image together with the actual view of the outside world of the vehicle.
  • a virtual image representing a vehicle guidance route is displayed in association with a display target (for example, a road) in the actual scene.
  • a display target for example, a road
  • the vehicle information projection system described in Patent Document 1 includes a vehicle speed sensor and corrects a virtual image display position according to acceleration. As a result, it is possible to prevent the virtual image from being displaced during sudden deceleration and sudden acceleration of the vehicle.
  • the present disclosure provides a display system that suppresses misalignment of the image display position.
  • the display system of the present disclosure includes an information acquisition device that acquires the position of a moving body, a display processing device that controls the display of an image based on the information acquired by the information acquisition device, and a posture that detects a posture change of the moving body.
  • a detection device a correction processing device that sets the first correction amount of the image display position based on the posture change of the moving body, and a superimposition destination position that superimposes the image on the actual view of the moving body position and the image display direction.
  • a gradient correction processing device that sets a second correction amount of an image display position based on the gradient information of the above, a correction overlap amount setting unit that sets a correction overlap amount that overlaps between the first correction amount and the second correction amount, and a correction overlap amount setting unit.
  • the display processing apparatus controls the display of the image based on the first correction amount, the second correction amount, and the correction overlap amount.
  • the display system of the present disclosure it is possible to suppress the misalignment of the display position of the image.
  • HUD head-up display
  • Block diagram showing the internal configuration of the display system according to the first embodiment The figure which shows the example when the vehicle is not tilted Diagram showing an example of a real scene seen from the windshield
  • AR augmented reality
  • the figure which shows the display example of the virtual image after the vibration correction processing The figure for demonstrating an example of the gradient difference correction processing Explanatory drawing showing an example of overcorrection when both vibration correction processing and gradient correction processing are performed.
  • a flowchart showing the processing of the display system in the first embodiment Explanatory diagram showing an example of calculation of the slope of the track
  • a flowchart showing the processing of the display system in the second embodiment Block diagram showing the internal configuration of the display
  • a head-up display (HUD) system in which predetermined information (virtual image) is superimposed on a specific object which is a real scene.
  • vibration correction processing is performed to correct the display position by calculating the state (for example, posture) of the moving body that dynamically changes due to the unevenness of the road surface or the acceleration / deceleration of the moving body from the output of the gyro sensor.
  • a gradient correction process is performed in which the difference between the self-position and the road surface gradient ahead is calculated and the display (position, inclination) is corrected.
  • the gradient correction process corrects the display deviation of the virtual image with respect to the superimposed object according to the gradient difference between the self-position and the superposition destination position in front. Since the information on the gradient change of the self-position is also included in the output of the gyro sensor, the display deviation correction by the vibration correction process and the gradient correction process may overlap. In this case, the display misalignment correction becomes overcorrection, and the superimposition accuracy of the corrected virtual image on the superimposition target may decrease.
  • the superimposition targets are people, signs, roads, and the like.
  • the present inventors have devised a display system that calculates the correction overlap amount between the vibration correction and the gradient correction and corrects the display of the virtual image based on the vibration correction, the gradient correction, and the correction overlap amount. did. As a result, it is possible to suppress overcorrection of the display deviation correction of the virtual image and suppress a decrease in the accuracy of the display position of the corrected virtual image.
  • the display system of the present disclosure will be described.
  • the moving body is a vehicle such as an automobile and the display system is a head-up display (HUD) system that displays a virtual image as an image in front of the windshield of the vehicle will be described as an example.
  • HUD head-up display
  • FIG. 1 is a diagram for explaining a HUD system.
  • the roll axis of the vehicle 200 is the X axis
  • the pitch axis of the vehicle 200 is the Y axis
  • the yaw axis of the vehicle 200 is the Z axis. That is, the X-axis is orthogonal to the Y-axis and the Z-axis, and is an axis along the line-of-sight direction of the occupant D who visually recognizes the virtual image Iv.
  • the Y-axis is an axis along the left-right direction when viewed from the occupant D who visually recognizes the virtual image Iv.
  • the Z-axis is an axis along the height direction of the vehicle 200.
  • the display system 100 of the present embodiment is a HUD system that performs so-called augmented reality (AR) display by superimposing a virtual image Iv on the actual view in front of the windshield 210 of the vehicle 200.
  • the virtual image Iv indicates predetermined information.
  • the virtual image Iv is a figure and characters indicating a route for guiding to a destination, an estimated time of arrival at the destination, a traveling direction, a speed, various warnings, and the like.
  • the display system 100 is installed in the vehicle 200 and projects the display light Lc representing the virtual image Iv into the display area 220 of the windshield 210 of the vehicle 200.
  • the display area 220 is a part of the windshield 210.
  • the display area 220 may be the entire area of the windshield 210.
  • the indicator light Lc is reflected in the vehicle interior direction by the windshield 210. As a result, the occupant (viewer) D in the vehicle 200 visually recognizes the reflected display light Lc as a virtual image Iv in front of the vehicle 200.
  • the display system 100 includes a projection device 10, an information acquisition device 20, a display processing device 30, a posture detection device 40, a correction processing device 50, and a gradient correction processing device 60.
  • the projection device 10 projects the display light Lc representing the virtual image Iv into the display area 220.
  • the projection device 10 includes, for example, a liquid crystal display element for displaying an image of a virtual image Iv, a light source such as an LED for illuminating the liquid crystal display element, a mirror and a lens for reflecting the display light Lc of the image displayed by the liquid crystal display element on the display area 220. And so on.
  • the projection device 10 is installed, for example, in the dashboard of the vehicle 200.
  • the information acquisition device 20 acquires the position of the vehicle 200. Specifically, the information acquisition device 20 measures the position of the vehicle 200 and generates position information indicating the position. The information acquisition device 20 outputs vehicle-related information including the position information of the vehicle 200.
  • the display processing device 30 controls the display of the virtual image Iv based on the vehicle-related information obtained from the information acquisition device 20, and outputs the image data of the virtual image Iv to the projection device 10.
  • the display processing device 30 may control the display of the virtual image Iv based on the display timing (display time) of the virtual image Iv or the combination of the vehicle-related information and the display timing.
  • the display timing is, for example, repeating display for 10 seconds and non-display for 1 second.
  • the posture detection device 40 detects the posture change of the vehicle 200.
  • the attitude detection device 40 includes, for example, a gyro sensor 41 (see FIG. 2) that detects an angular velocity.
  • the gyro sensor 41 outputs the detected angular velocity to the correction processing device 50 as posture change information indicating the posture change of the vehicle 200.
  • the correction processing device 50 calculates the correction amount of the display position of the virtual image Iv based on the posture change of the vehicle 200 detected by the posture detection device 40. In other words, the correction processing device 50 calculates a correction amount for performing vibration correction processing for correcting the display deviation of the virtual image Iv due to the posture change of the vehicle 200.
  • the gradient correction processing device 60 calculates the correction amount of the display position of the virtual image Iv based on the gradient difference between the self position of the vehicle 200 and the superimposition destination position. In other words, the gradient correction processing device 60 calculates a correction amount for performing the gradient correction processing for correcting the display deviation of the virtual image Iv with respect to the superimposed object due to the gradient difference between the self position of the vehicle 200 and the superimposition destination position.
  • the superimposition destination position is a position where the virtual image Iv is superposed on the actual view in the display direction of the virtual image Iv, and is a position separated from the front of the vehicle 200 by a predetermined distance.
  • the superimposition destination position is a position where the virtual image Iv is superposed on the actual view in front of the vehicle 200, and is a position 50 m in front of the vehicle 200.
  • the superimposition destination position is not limited to the position 50 m ahead of the vehicle 200, and may be changed according to, for example, the type of virtual image Iv, the state (position and posture) of the vehicle 200, map data, and the like. Good.
  • FIG. 2 is a block diagram showing the internal configuration of the display system 100.
  • the information acquisition device 20 includes a GPS (Global Positioning System) module 21 that detects a position indicating the current location of the vehicle 200 in the geographic coordinate system. Specifically, the GPS module 21 receives radio waves from GPS satellites and positions the latitude and longitude of the received points. The GPS module 21 generates position information indicating the measured latitude and longitude. The information acquisition device 20 outputs vehicle-related information including position information to the display processing device 30.
  • GPS Global Positioning System
  • the display processing device 30 includes a communication unit 31, a display control unit 32, and a storage unit 33.
  • the communication unit 31 is a predetermined communication standard (for example, LAN, Wi-Fi (registered trademark), Bluetooth (registered trademark), USB, HDMI (registered trademark), CAN (controller area network), SPI (Serial Peripheral Interface)). Includes a circuit that communicates with external devices in accordance with.
  • LAN local area network
  • Wi-Fi registered trademark
  • Bluetooth registered trademark
  • USB USB
  • HDMI registered trademark
  • CAN controller area network
  • SPI Serial Peripheral Interface
  • the display control unit 32 can be realized by a semiconductor element or the like.
  • the display control unit 32 can be composed of, for example, a microcomputer, a CPU, an MPU, a GPU, a DSP, an FPGA, and an ASIC.
  • the function of the display control unit 32 may be configured only by hardware, or may be realized by combining hardware and software.
  • the display control unit 32 realizes a predetermined function by reading data or a program stored in the storage unit 33 and performing various arithmetic processes.
  • the storage unit 33 is a storage medium that stores programs and data necessary for realizing the functions of the display processing device 30.
  • the storage unit 33 can be realized by, for example, a hard disk (HDD), SSD, RAM, DRAM, ferroelectric memory, flash memory, magnetic disk, or a combination thereof.
  • a plurality of image data 33i representing a virtual image Iv are stored in the storage unit 33.
  • the display control unit 32 determines the virtual image Iv to be displayed based on the vehicle-related information obtained from the information acquisition device 20.
  • the display control unit 32 reads the image data 33i of the determined virtual image Iv from the storage unit 33 and outputs it to the projection device 10. Further, the display control unit 32 sets the display position of the virtual image Iv.
  • the route information 34 is stored in the storage unit 33.
  • the route information 34 means information on the route on which the vehicle 200 travels.
  • the route information 34 includes altitude information of a plurality of positions having predetermined intervals on the route.
  • the altitude information for example, the elevation data of the Geographical Survey Institute can be used.
  • the display processing device 30 acquires the route information 34 from the outside and stores it in the storage unit 33. Further, the display processing device 30 reads the route information 34 from the storage unit 33 and outputs it to the gradient correction processing device 60.
  • the correction processing device 50 includes a communication unit 51, a correction control unit 52, and a storage unit 53.
  • the communication unit 51 conforms to a predetermined communication standard (for example, LAN, Wi-Fi (registered trademark), Bluetooth (registered trademark), USB, HDMI (registered trademark), CAN (controller area network), SPI (Serial Peripheral Interface)). Includes circuits that comply with and communicate with external devices.
  • a predetermined communication standard for example, LAN, Wi-Fi (registered trademark), Bluetooth (registered trademark), USB, HDMI (registered trademark), CAN (controller area network), SPI (Serial Peripheral Interface)). Includes circuits that comply with and communicate with external devices.
  • the correction control unit 52 is an arithmetic unit that can be realized by a semiconductor element or the like.
  • the correction control unit 52 can be composed of, for example, a microcomputer, a CPU, an MPU, a GPU, a DSP, an FPGA, and an ASIC.
  • the function of the correction control unit 52 may be configured only by hardware, or may be realized by combining hardware and software.
  • the correction control unit 52 realizes a predetermined function by reading data and a program stored in the storage unit 53 in the correction processing device 50 and performing various arithmetic processes.
  • the correction control unit 52 includes a deviation amount calculation unit 52a and a correction amount calculation unit 52b as functional configurations.
  • the deviation amount calculation unit 52a calculates the attitude (angle deviation amount) of the vehicle 200 based on the attitude fluctuation information output by the attitude detection device 40. For example, the deviation amount calculation unit 52a calculates the angle (pitch angle) around the pitch axis of the vehicle 200 by integrating the angular velocity detected by the gyro sensor 41. Thereby, the deviation amount (angle) of the vehicle 200 in the rotation direction about the Y axis (pitch axis) shown in FIG. 1 can be calculated. In this embodiment, the pitch angle is calculated, but the yaw angle or the roll angle may be calculated. For example, all angles around the X-axis, Y-axis, and Z-axis may be calculated.
  • the correction amount calculation unit 52b calculates the correction amount (vibration correction amount) of the display position of the virtual image Iv according to the posture (angle deviation amount) of the vehicle 200. Specifically, the correction amount calculation unit 52b converts the deviation amount of the angle (pitch angle) calculated by the deviation amount calculation unit 52a into the number of pixels, and corrects the number of pixels corresponding to the deviation. Determine the amount. For example, the correction amount calculation unit 52b determines a correction amount that restores the deviation amount of the pitch angle. The correction amount calculation unit 52b outputs the calculated correction amount to the display processing device 30. In the present embodiment, the correction amount in the pitch axis direction is calculated, but the correction amount in the yaw axis direction and the roll direction may be calculated. Regarding the roll angle, the correction amount is determined so as to restore the deviation amount of the roll angle while keeping the angle.
  • the calculation processing of the output of the posture detection device 40 may be performed by the deviation amount calculation unit 52a of the posture detection device 40 or the correction processing device 50, or another configuration.
  • the storage unit 53 is a storage medium that stores programs and data necessary for realizing the functions of the correction control unit 52. Therefore, for example, a program and data necessary for making an arithmetic unit such as a processor function as a correction control unit 52 are stored in the storage unit 53.
  • the storage unit 53 can be realized by, for example, a hard disk (HDD), SSD, RAM, DRAM, ferroelectric memory, flash memory, magnetic disk, or a combination thereof.
  • the correction processing device 50 outputs a correction amount to the display processing device 30.
  • the gradient correction processing device 60 includes a communication unit 61, a gradient correction control unit 62, and a storage unit 63.
  • the communication unit 61 conforms to a predetermined communication standard (for example, LAN, Wi-Fi (registered trademark), Bluetooth (registered trademark), USB, HDMI (registered trademark), CAN (controller area network), SPI (Serial Peripheral Interface)). Includes circuits that comply with and communicate with external devices.
  • a predetermined communication standard for example, LAN, Wi-Fi (registered trademark), Bluetooth (registered trademark), USB, HDMI (registered trademark), CAN (controller area network), SPI (Serial Peripheral Interface)). Includes circuits that comply with and communicate with external devices.
  • the gradient correction control unit 62 is an arithmetic unit that can be realized by a semiconductor element or the like.
  • the gradient correction control unit 62 can be composed of, for example, a microcomputer, a CPU, an MPU, a GPU, a DSP, an FPGA, and an ASIC.
  • the function of the gradient correction control unit 62 may be configured only by hardware, or may be realized by combining hardware and software.
  • the gradient correction control unit 62 includes a gradient correction amount calculation unit 62a and a correction overlap amount setting unit 62b as functional configurations.
  • the gradient correction amount calculation unit 62a calculates the gradient difference between the self-position of the vehicle 200 and the superposition destination position of the virtual image Iv, and calculates the correction amount (gradient correction amount) of the display position of the virtual image Iv according to the calculated gradient difference. To do. Specifically, the gradient correction amount calculation unit 62a converts the calculated gradient difference into the number of pixels of the deviation amount, and determines the correction amount so as to restore the number of pixels for the deviation amount. The gradient correction amount calculation unit 62a outputs the calculated correction amount to the display processing device 30.
  • the correction overlap amount setting unit 62b sets a correction overlap amount that overlaps between the vibration correction amount calculated by the correction processing device 50 and the gradient correction amount calculated by the gradient correction amount calculation unit 62a.
  • the correction overlap amount setting unit 62b outputs the calculated correction overlap amount to the display processing device 30.
  • the storage unit 63 is a storage medium that stores programs and data necessary for realizing the functions of the gradient correction control unit 62. Therefore, for example, the program and data necessary for making the arithmetic unit such as a processor function as the gradient correction control unit 62 are stored in the storage unit 63.
  • the storage unit 63 can be realized by, for example, a hard disk (HDD), SSD, RAM, DRAM, ferroelectric memory, flash memory, magnetic disk, or a combination thereof.
  • the correction amount calculated by the correction processing device 50 is referred to as a vibration correction amount or a first correction amount
  • the correction amount calculated by the gradient correction processing device 60 is referred to as a gradient correction amount or a second correction amount.
  • FIG. 3A shows an example when the vehicle 200 is not tilted.
  • FIG. 3B shows an example of an actual view seen from the windshield 210 of the vehicle 200 shown in FIG. 3A.
  • FIG. 3C shows an example of the virtual image Iv seen from the display area 220.
  • FIG. 3D shows an example in which the virtual image Iv shown in FIG. 3C is superposed on the actual scene shown in FIG. 3B.
  • the display system 100 superimposes the virtual image Iv shown in FIG. 3C on the actual scene shown in FIG. 3B.
  • the reference position (initial position) P0 of the virtual image Iv is a position determined based on the type of the virtual image Iv, the state (position and posture) of the vehicle 200, the map data, and the like, and the reference position P0 is determined by an external device. It is determined. For example, when the display target 230 is a traveling lane and the virtual image Iv is an arrow indicating the traveling direction, the reference position P0 is the display position on the liquid crystal when the tip of the arrow points to the center of the traveling lane.
  • the reference position P0 is set, for example, in FIG. 3C at the position of the pixel on the liquid crystal display corresponding to the values of the Y coordinate and the Z coordinate in the display area 220.
  • the reference position P0 is acquired from an external device.
  • the external device can be composed of, for example, a microcomputer, a CPU, an MPU, a GPU, a DSP, an FPGA, or an ASIC, and a GPS module 21.
  • the function of the external device may be configured only by hardware, or may be realized by combining hardware and software.
  • the reference position P0 output from the external device may change based on the number of occupants, the fluctuation of the load, the fluctuation of the posture due to the decrease of fuel, etc., so for example, the reference position (initial position) acquired first May be different.
  • the display processing device 30 may change the reference position P0 acquired from the external device based on the change in posture due to the number of occupants, the change in load, the decrease in fuel, and the like.
  • the display processing device 30 may set the reference position P0 based on vehicle-related information, map data, and the like.
  • the display processing device 30 may set the size of the virtual image Iv based on the vehicle-related information.
  • FIG. 4A shows an example of a state in which the vehicle 200 is in a backward leaning posture.
  • FIG. 4B illustrates a case where the display position of the virtual image Iv deviates from the display target 230 in response to the posture change of the vehicle 200.
  • FIG. 4C shows the display position of the virtual image Iv after vibration correction.
  • the vehicle 200 may tilt due to unevenness of the road surface, sudden acceleration or deceleration of the vehicle 200, or the like. For example, when the vehicle 200 rides on the convex portion 303 of the road surface 301, the vehicle 200 is in a backward leaning posture as shown in FIG. 4A. In this case, as shown in FIG. 4B, the position of the display target 230 seen from the windshield 210 changes according to the inclination ⁇ 1 of the vehicle 200 with respect to the runway. Therefore, when the virtual image Iv is displayed at the reference position P0, the virtual image Iv deviates from the display target 230.
  • the display system 100 adjusts the display position of the virtual image Iv in the direction of returning the deviation according to the posture of the vehicle 200.
  • the correction processing device 50 calculates the correction amount C1 so that the correction processing device 50 is at the position P1 where the display position does not deviate due to the angle of the vehicle 200. That is, the display processing device 30 sets the display position of the virtual image Iv to "reference position P0 + correction amount C1". As a result, the projection device 10 can display the virtual image Iv at the position P1 corresponding to the display target 230. In this way, even when the vehicle 200 is tilted, by changing the display position of the virtual image Iv from the reference position P0 based on the correction amount C1, the virtual image Iv is moved to the position P1 corresponding to the display target 230 in the actual scene. Can be displayed.
  • FIG. 5 is a diagram for explaining an example of the gradient correction process.
  • an example is a case where there is a slope 302 having an inclination ⁇ 2 in front of the vehicle 200 and a virtual image Iv is displayed at a superposition destination position Q1 which is a predetermined distance L1 forward from the self-position Q0 of the vehicle 200.
  • a superposition destination position Q1 which is a predetermined distance L1 forward from the self-position Q0 of the vehicle 200.
  • the gradient correction processing device 60 adjusts the display position of the virtual image Iv in the direction of returning the deviation due to the gradient difference between the self-position Q0 of the vehicle 200 and the superposition destination position Q1.
  • the gradient correction processing device 60 adjusts the correction amount C2 so that the display position of the virtual image Iv corresponds to the superposition destination position Q1 based on the gradient difference between the self-position Q0 of the vehicle 200 and the superposition destination position Q1. calculate. That is, the display processing device 30 sets the display position of the virtual image Iv to "reference position P0 + correction amount C2". As a result, the projection device 10 can display the virtual image Iv at a position corresponding to the superposition destination position Q1 in the display area 220. In this way, even when the gradient of the superimposition destination is changed with respect to the self-position, the display position of the virtual image Iv is changed from the reference position P0 based on the correction amount C2 to the superimposition destination position Q1. The virtual image Iv can be displayed at the corresponding position.
  • the correction by the vibration correction process and the gradient correction process may overlap. That is, the vibration correction process and the gradient correction process interfere with each other to cause overcorrection, and the correction accuracy of the display position of the virtual image Iv is lowered.
  • FIG. 6 is an explanatory diagram showing an example of overcorrection when both the vibration correction process and the gradient correction process are performed.
  • the vehicle 200 is traveling on the road surface 304 having a convex portion having an inclination of ⁇ 11, and the vehicle 200 is in a forward leaning posture at an inclination of ⁇ 12 with respect to the road.
  • the superimposition destination position Q3 separated from the self-position Q2 of the vehicle 200 by a predetermined distance L1 is located on the slope 305 having an inclination ⁇ 13.
  • the slope ⁇ 13 is larger than, for example, the slope ⁇ 11.
  • the inclination ⁇ 12 of the vehicle 200 traveling on the road surface 304 having an inclination ⁇ 11 changes depending on the suspension of the vehicle 200 and / or the balance of the center of gravity of the vehicle 200. Further, the inclination ⁇ 12 of the vehicle 200 is detected by a gyro sensor or the like, and this detection is real-time and high sampling. On the other hand, the slope ⁇ 11 of the road surface 304 is calculated based on known information (for example, altitude information) and has low sampling. Therefore, the inclination ⁇ 12 of the vehicle 200 may not be equivalent to the inclination ⁇ 11 of the road surface 304. In the present embodiment, the inclination ⁇ 12 of the vehicle 200 is considered to be substantially equal to the inclination ⁇ 11 of the road surface 304.
  • the correction processing device 50 calculates the vibration correction amount C3 for correcting the deviation of the display position of the virtual image Iv due to the vibration caused by the convex portion of the road surface 304. Specifically, the correction processing device 50 calculates the posture (angle deviation amount) of the vehicle 200, that is, the inclination ⁇ 12, based on the posture fluctuation information output by the posture detection device 40. The correction processing device 50 calculates the vibration correction amount C3 so that the deviation of the display position of the virtual image Iv due to the posture (tilt ⁇ 12) of the vehicle 200 is eliminated. In the example shown in FIG. 6, the correction processing device 50 vibrates so that the display position of the virtual image Iv moves from the reference position P0 to the position P3 where the display position of the virtual image Iv does not deviate due to the posture of the vehicle 200. The correction amount C3 is calculated.
  • the gradient correction processing device 60 calculates the gradient correction amount C4 for correcting the deviation of the display position of the virtual image Iv caused by the gradient difference based on the gradient difference between the self-position Q2 of the vehicle 200 and the superposition destination position Q3. Specifically, the gradient correction processing device 60 calculates the gradient difference based on the gradient of the road surface 304 having the convex portion of the inclination ⁇ 11 and the gradient of the slope 305 having the inclination ⁇ 13, and is caused by the gradient difference. The gradient correction amount C4 is calculated so that the display position of the virtual image Iv does not shift.
  • the display processing device 30 sets the display position of the virtual image Iv to the “reference position”.
  • the vibration correction process calculates the vibration correction amount C3 based on the inclination ⁇ 12 of the vehicle 200 due to the road surface 304 having the inclination ⁇ 11.
  • the gradient correction amount C4 is calculated based on the gradient (gradient) ⁇ 11 of the road surface 304. Therefore, the vibration correction amount C3 and the gradient correction amount C4 have correction amounts that overlap each other.
  • the vibration correction process and the gradient correction process are performed, overcorrection occurs. Specifically, when both the vibration correction process and the gradient correction process are performed, the virtual image Iv is displayed at the position P4 above the superposition destination position Q3. In this way, when the vibration correction process and the gradient correction process are performed in duplicate, the display position of the corrected virtual image Iv may not correspond to the superposition destination position Q3 and may be displaced from the actual scene. ..
  • the display system 100 of the present embodiment has a vibration correction amount (first correction amount) by vibration correction, a gradient correction amount (second correction amount) by gradient correction, and a correction overlap amount between the vibration correction amount and the gradient correction amount. Based on, the correction amount of the display position of the virtual image Iv is determined. As a result, it is possible to suppress overcorrection of the display position of the virtual image Iv due to the overlap of the vibration correction process and the gradient correction process, and to suppress a decrease in the correction accuracy of the display position of the virtual image after correction.
  • first correction amount by vibration correction
  • second correction amount by gradient correction
  • a correction overlap amount between the vibration correction amount and the gradient correction amount Based on, the correction amount of the display position of the virtual image Iv is determined.
  • the display system of the present disclosure will be described.
  • FIG. 7 shows a flowchart of the display process, the vibration correction process, and the gradient correction process of the display system 100.
  • the display processing shown in FIG. 7 is performed by the display control unit 32 of the display processing device 30. Further, the display process is started, for example, when the engine of the vehicle 200 is started, or when a button for instructing the display start of the virtual image Iv is operated.
  • the display control unit 32 acquires vehicle-related information from the information acquisition device 20 (S101).
  • the display control unit 32 determines the virtual image Iv to be displayed based on the vehicle-related information (S102).
  • the display control unit 32 acquires the reference position P0 of the virtual image Iv from an external device (S103).
  • the display control unit 32 acquires the vibration correction amount C3 output from the correction processing device 50, the gradient correction amount C4 output from the gradient correction processing device 60, and the correction overlap amount C5 (S104).
  • the vibration correction amount C3 may be referred to as a first correction amount C3
  • the gradient correction amount C4 may be referred to as a second correction amount C4.
  • the correction overlap amount C5 means a correction amount that overlaps with the vibration correction amount C3 and the gradient correction amount C4.
  • the display control unit 32 calculates the total correction amount C6 based on the vibration correction amount C3, the gradient correction amount C4, and the correction overlap amount C5 (S105).
  • the total correction amount C6 is calculated by "vibration correction amount C3 + gradient correction amount C4-correction overlap amount C5".
  • the display control unit 32 causes the projection device 10 to display the virtual image Iv based on the reference position P0 and the total correction amount C6 (S106). For example, the display control unit 32 reads the image data 33i of the virtual image Iv corresponding to the display target from the storage unit 33, sets the display position of the virtual image Iv to "reference position P0 + total correction amount C6", and causes the projection device 10 to use the image data 33i. Output.
  • the display control unit 32 determines whether or not to continue the display process (S107). For example, when the engine of the vehicle 200 is stopped, or when the button for instructing the end of the display of the virtual image Iv is operated, the display control unit 32 ends the display process. If the display process is to be continued, the process returns to step S101.
  • steps S104 to S106 described above describe an example in which the vibration correction process and the gradient correction process are performed in an overlapping manner, but the present invention is not limited to this.
  • the correction amount C3 of the display position output from the correction process device 50 may be acquired in step S104.
  • the display control unit 32 may display the virtual image Iv on the projection device 10 based on the reference position P0 and the correction amount C3.
  • the vibration correction processing shown in FIG. 7 is performed by the correction control unit 52 of the correction processing device 50.
  • the vibration correction process is started, for example, when the engine of the vehicle 200 is started, or when a button for instructing the start of displaying the virtual image Iv is operated.
  • the vibration correction process is started, for example, together with the display process.
  • the vibration correction process may be started when the button for instructing the start of the position correction of the virtual image Iv is operated.
  • the deviation amount calculation unit 52a acquires attitude fluctuation information indicating the angular velocity output from the gyro sensor 41 (S201).
  • the deviation amount calculation unit 52a calculates the deviation amount, which is an angle with respect to the attitude of the vehicle 200, for example, the pitch direction, based on the acquired attitude fluctuation information (S202). Specifically, the deviation amount calculation unit 52a calculates the pitch angle of the vehicle 200 by integrating the angular velocity.
  • the correction amount calculation unit 52b calculates the vibration correction amount C3 at the display position of the virtual image Iv based on the deviation amount with respect to the pitch direction (S203). Specifically, the correction amount calculation unit 52b converts the deviation amount of the vehicle 200 in the pitch direction into the number of pixels, and determines the vibration correction amount C3 that cancels the deviation amount indicated by the number of pixels.
  • the deviation amount corresponds to the inclination ⁇ 12 of the vehicle 200.
  • G is a conversion coefficient for converting the angle into the number of pixels.
  • the correction amount calculation unit 52b outputs the calculated vibration correction amount C3 to the display processing device 30 (S204).
  • the correction control unit 52 determines whether or not to continue the vibration correction process (S205). For example, when the engine of the vehicle 200 is stopped, or when the button for instructing the end of the display of the virtual image Iv is operated, the correction control unit 52 ends the vibration correction process. If the vibration correction process is to be continued, the process returns to step S201.
  • the gradient correction processing shown in FIG. 7 is performed by the gradient correction control unit 62 of the gradient correction processing device 60.
  • the gradient correction process is started, for example, when the engine of the vehicle 200 is started, or when a button for instructing the start of displaying the virtual image Iv is operated.
  • the gradient correction process is started, for example, together with the display process.
  • the gradient correction process may be started when the button for instructing the start of the position correction of the virtual image Iv is operated.
  • the gradient correction amount calculation unit 62a calculates the gradient of each position from the altitude information of each position on the route (S301).
  • the gradient correction processing device 60 acquires the route information 34 from the display processing device 30, and calculates the gradient of each position based on the altitude information at a plurality of positions on the route included in the route information 34.
  • FIG. 8 is an explanatory diagram showing an example of calculating the gradients of the runways 306 and 307.
  • the gradient correction processing device 60 calculates the gradients of a plurality of positions at predetermined distances on the tracks 306 and 307, respectively. For example, an example of calculation of the gradient of the self-position P M of the vehicle 200 on track 306.
  • Gradient correction processing unit 60 based on the altitude information of a plurality of positions around the own position P M of the vehicle 200, and calculates the gradient of the self-position P M.
  • the gradient correction control unit 62 based on the altitude H M self-position P M, altitude H M-1 in two positions before and after the self-position P M P M-1, P M + 1, H M + 1 and, calculating a gradient of the self-position P M. For example, P M-1, P M , and calculates a high degree of inclination of P M + 1.
  • the gradient of the position P N on the track 307, and advanced H N positions P N, the altitude H N-1 of the two positions before and after the position P N P N-1, P N + 1, in the H N + 1 Calculate based on.
  • the calculation of the gradient is not limited to this, and the gradient information of a plurality of positions can be obtained from the map data, or the gradient can be calculated by any various methods.
  • the gradient correction amount calculation unit 62a acquires the distance L1 from the self-position of the vehicle 200 to the superposition destination position (S302).
  • the gradient correction amount calculation unit 62a acquires, for example, the distance L1 from the self-position to the superposition destination position from the display processing device 30.
  • the distance L1 from the self-position to the superposition destination position is set to 50 m.
  • the gradient correction amount calculation unit 62a calculates the gradient difference d between the self-position and the superposition destination position (S303).
  • the gradient correction amount calculation unit 62a acquires the position information of the vehicle 200 acquired by the information acquisition device 20 from the display processing device 30, and acquires the gradient information of the self-position of the vehicle 200 based on the position information of the vehicle 200. To do. Specifically, the gradient correction amount calculation unit 62a acquires the gradient information of the self-position of the vehicle 200 based on the position information of the vehicle 200 and the gradient information of each position calculated in step S301.
  • the gradient correction amount calculation unit 62a determines the overlay destination position based on the gradient information of each position acquired in step S301 and the information of the distance L1 from the self position to the overlay destination position acquired in step S302. Get gradient information.
  • the gradient correction amount calculation unit 62a calculates the gradient difference d between the self-position and the superposition destination position based on the gradient information of the self-position and the gradient information of the superposition destination position.
  • the gradient correction amount calculation unit 62a calculates the gradient correction amount C4 based on the gradient difference d (S304). Specifically, the gradient correction amount calculation unit 62a converts the gradient difference d into the number of pixels and determines the gradient correction amount C4 that cancels the deviation amount indicated by the number of pixels.
  • the gradient difference d between the self-position Q2 and the superposition destination position Q3 is the difference between the slope ⁇ 11 of the road surface 304 on which the vehicle 200 is traveling and the slope ⁇ 13 of the slope 305. That is, in FIG. 6, the gradient of the self-position Q2 corresponds to ⁇ 11, and the gradient of the superposition destination position Q3 corresponds to ⁇ 13.
  • G is a conversion coefficient for converting the angle into the number of pixels.
  • the correction overlap amount setting unit 62b sets the correction overlap amount C5 based on the road surface inclination of the gradient correction amount calculation point (S305).
  • the road surface inclination at the gradient correction amount calculation point means the inclination of the road surface at the position of the vehicle 200 when the gradient correction amount (second correction amount) is calculated.
  • the slope ⁇ 11 of the road surface 304 at the self-position Q2 of the vehicle 200 corresponds to the road surface slope at the slope correction amount calculation point.
  • G is a conversion coefficient for converting the angle into the number of pixels.
  • the gradient correction control unit 62 outputs the gradient correction amount C4 and the correction overlap amount C5 to the display processing device 30 (S306).
  • the gradient correction control unit 62 determines whether or not to continue the gradient correction process (S307). For example, when the engine of the vehicle 200 is stopped, or when the button for instructing the end of the display of the virtual image Iv is operated, the gradient correction control unit 62 ends the gradient correction process. When continuing the gradient correction process, the process returns to step S301.
  • the display system 100 of the present disclosure includes an information acquisition device 20, a display processing device 30, a posture detection device 40, a correction processing device 50, a gradient correction processing device 60, and a correction overlap amount setting unit 62b. , Equipped with.
  • the information acquisition device 20 acquires vehicle-related information including the position information of the vehicle 200.
  • the display processing device 30 controls the display of the virtual image Iv based on the vehicle-related information acquired by the information acquisition device 20.
  • the attitude detection device 40 detects the attitude change of the vehicle 200.
  • the correction processing device 50 sets the first correction amount (vibration correction amount) C3 of the display position of the virtual image Iv based on the posture change of the vehicle 200.
  • the gradient correction processing device 60 has a second correction amount (gradient correction amount) of the display position of the virtual image Iv based on the gradient difference between the position of the vehicle 200 and the superposition destination position where the virtual image Iv is superimposed on the actual view in front of the vehicle 200.
  • the correction overlap amount setting unit 62b sets the correction overlap amount C5 that overlaps with the first correction amount C3 and the second correction amount C4.
  • the display processing device 30 controls the display of the virtual image Iv based on the first correction amount C3, the second correction amount C4, and the correction overlap amount C5.
  • the correction overlap amount setting unit 62b sets the correction overlap amount C5 based on the inclination ⁇ 12 of the road surface 304 of the position Q2 of the vehicle 200 when the second correction amount C4 is calculated. As a result, overcorrection due to overlapping vibration correction processing and gradient correction processing can be further suppressed. As a result, it is possible to further suppress a decrease in the correction accuracy of the display position of the virtual image Iv.
  • the correction overlap amount setting unit 62b only needs to be able to calculate the correction amount in which the vibration correction amount C3 and the gradient correction amount C4 overlap, and the parameter used for calculating the correction overlap amount C5 is not limited to ⁇ 11 itself.
  • the correction overlap amount setting unit 62b sets the correction overlap amount C5 based on the road surface inclination of the gradient correction amount calculation point.
  • the gradient correction processing device 60 calculates the gradient difference d between the self-position of the vehicle 200 and the superposition destination position, and performs gradient correction when the absolute value of the gradient difference d is equal to or greater than the threshold value T1.
  • the correction overlap amount setting unit 62b sets the correction overlap amount C5 based on the vibration correction amount C3 during the gradient correction.
  • FIG. 9 shows a flowchart showing the processing of the display system 100 in the second embodiment.
  • steps S401 to S403, S407, and S410 in FIG. 9 are the same as steps S301 to S303, S304, and S307 in FIG. 7 of the first embodiment, respectively.
  • the display control unit 32 acquires vehicle-related information from the information acquisition device 20 (S101).
  • the display control unit 32 determines the virtual image Iv to be displayed based on the vehicle-related information (S102).
  • the display control unit 32 acquires the reference position P0 of the virtual image Iv from an external device (S103).
  • the display control unit 32 acquires the vibration correction amount C3 output from the correction processing device 50, the gradient correction amount C4 output from the gradient correction processing device 60, and the correction overlap amount C5 (S104).
  • the display control unit 32 calculates the total correction amount C6 based on the vibration correction amount C3, the gradient correction amount C4, and the correction overlap amount C5 (S105).
  • the display control unit 32 causes the projection device 10 to display the virtual image Iv based on the reference position P0 and the total correction amount C6 (S106).
  • the display control unit 32 determines whether or not to continue the display process (S107).
  • the deviation amount calculation unit 52a acquires attitude fluctuation information indicating the angular velocity output from the gyro sensor 41 (S201).
  • the deviation amount calculation unit 52a calculates the deviation amount, which is an angle with respect to the attitude of the vehicle 200, for example, the pitch direction, based on the acquired attitude fluctuation information (S202).
  • the correction amount calculation unit 52b calculates the vibration correction amount C3 at the display position of the virtual image Iv based on the deviation amount with respect to the pitch direction (S203).
  • the correction amount calculation unit 52b outputs the calculated vibration correction amount C3 to the display processing device 30 and the gradient correction processing device 60 (S204).
  • the correction control unit 52 determines whether or not to continue the vibration correction process (S205).
  • the gradient correction amount calculation unit 62a calculates the gradient of each position from the altitude information of each position on the route (S401).
  • the gradient correction amount calculation unit 62a acquires the distance L1 from the self-position to the superposition destination position (S402).
  • the gradient correction amount calculation unit 62a calculates the gradient difference d between the self-position and the superposition destination position (S403).
  • the gradient correction control unit 62 determines whether or not the calculated absolute value of the gradient difference d is equal to or greater than the threshold value T1 (S404).
  • step S404 when the absolute value of the gradient difference d is equal to or greater than the threshold value T1, the correction overlap amount setting unit 62b acquires the vibration correction amount C3 from the correction processing device 50 (S405).
  • the correction overlap amount setting unit 62b sets the correction overlap amount C5 based on the vibration correction amount C3 (S406).
  • the correction overlap amount C5 is set to a value equal to the vibration correction amount C3.
  • the gradient correction amount calculation unit 62a calculates the gradient correction amount C4 based on the gradient difference d (S407).
  • step S404 when the absolute value of the gradient difference d is smaller than the threshold value T1, the gradient correction control unit 62 sets the gradient correction amount C4 and the correction overlap amount C5 to 0 (S408). Specifically, the gradient correction amount calculation unit 62a sets the gradient correction amount C4 to 0. The correction overlap amount setting unit 62b sets the correction overlap amount C5 to 0.
  • the gradient correction control unit 62 outputs the gradient correction amount C4 and the correction overlap amount C5 to the display processing device 30 (S409).
  • the gradient correction control unit 62 determines whether or not to continue the gradient correction process (S410).
  • the gradient difference d between the self-position of the vehicle 200 and the superposition destination position is calculated, and when the absolute value of the gradient difference d is equal to or greater than the threshold value T1, the gradient correction is performed. Further, the correction overlap amount setting unit 62b sets the correction overlap amount C5 based on the vibration correction amount C3 during the gradient correction. With such a configuration, the misalignment of the display position of the virtual image Iv can be suppressed. That is, it is possible to suppress overcorrection due to the overlapping of the vibration correction process and the gradient correction process, and it is possible to suppress a decrease in the correction accuracy of the display position of the virtual image Iv.
  • the correction overlap amount setting unit 62b has described an example in which the correction overlap amount C5 is set to a value equal to the vibration correction amount C3, but the present invention is not limited to this.
  • the correction overlap amount setting unit 62b may adjust the correction overlap amount C5 based on the vibration correction amount C3.
  • the correction processing device 50 may set the vibration correction amount C3 to 0 while performing the gradient correction processing.
  • the correction overlap amount setting unit 62b sets the correction overlap amount to 0. Even in such a configuration, it is possible to suppress a decrease in the correction accuracy of the display position of the virtual image Iv.
  • the gradient correction processing device 60 has described an example of determining whether or not to perform gradient correction based on the gradient difference between the self-position of the vehicle 200 and the superposition destination position of the virtual image Iv, but the present invention is not limited to this.
  • the gradient correction processing device 60 may determine whether or not to perform gradient correction based on the gradient information between the self-position of the vehicle 200 and the superposition destination position.
  • the gradient correction processing device 60 may determine whether or not to perform gradient correction based on the gradient ratio between the self-position of the vehicle 200 and the superposition destination position.
  • the case where the projection device 10, the information acquisition device 20, the display processing device 30, the posture detection device 40, the correction processing device 50, and the gradient correction processing device 60 are separate devices is illustrated.
  • a plurality of devices may be integrally formed as one device.
  • the display processing device 30 and the correction processing device 50 may be integrally formed as one device.
  • the information acquisition device 20 and the display processing device 30 may be integrally formed as one device.
  • the posture detection device 40 and the correction processing device 50 may be integrally formed as one device.
  • the display processing device 30 and the gradient correction processing device 60 may be integrally formed as one device.
  • the correction processing device 50 and the gradient correction processing device 60 may be integrally formed as one device.
  • the separately formed devices are communicatively connected to each other by wire or wirelessly.
  • the projection device 10, the information acquisition device 20, the display processing device 30, the posture detection device 40, the correction processing device 50, and the gradient correction processing device 60 may all be formed as one device. In this case, the communication units 31, 51, 61 may not be provided.
  • the information acquisition device 20 may include a distance sensor that measures the distance and direction from the vehicle 200 to the surrounding object, and may output distance information indicating the measured distance and direction to the display processing device 30. ..
  • the information acquisition device 20 may include a vehicle speed sensor that detects the speed of the vehicle 200, or may include a navigation system.
  • the information acquisition device 20 includes one or more of a GPS module 21, a distance sensor, a camera, an image processing device, an acceleration sensor, a radar, a sound wave sensor, and a white line detection device of ADAS (Advanced Driver-Assistance Systems). It may be.
  • the GPS module 21, the distance sensor, the camera, and the like having a function as the information acquisition device 20 may be built in one device, or may be individually attached to the vehicle 200.
  • the posture detection device 40 may include an acceleration sensor that detects the acceleration of the vehicle 200, and may output the detected acceleration as posture fluctuation information.
  • the posture detection device 40 may include a vehicle height sensor that detects the height from the road surface, and may output the detected height as posture fluctuation information.
  • the attitude detection device 40 may include other known sensors.
  • the attitude detection device 40 may include one or more of a gyro sensor 41, an acceleration sensor, a vehicle speed sensor, and the like. In this case, the gyro sensor 41, the acceleration sensor, the vehicle height sensor, and the like having a function as the attitude detection device 40 may be built in one device or may be individually attached to the vehicle 200.
  • the correction overlap amount setting unit 62b has described an example included in the gradient correction processing device 60, but the present invention is not limited to this.
  • the correction overlap amount setting unit may be included in the display processing device 30.
  • the correction overlap amount setting unit may be included in the correction processing device 50.
  • FIG. 10 shows a block diagram showing the internal configuration of the display system 100A of the modified example.
  • the correction overlap amount setting unit 52c is included in the correction processing device 50.
  • the display processing device 30 outputs the gradient information calculated by the gradient correction processing device 60 to the correction processing device 50.
  • the gradient information includes, for example, information on the road surface inclination at the gradient correction amount calculation point.
  • the correction overlap amount setting unit 52c sets the correction overlap amount C5 based on the gradient information, and outputs the correction overlap amount C5 to the correction amount calculation unit 52b.
  • the correction amount calculation unit 52b subtracts the correction overlap amount C5 from the vibration correction amount C3, and outputs the subtracted vibration correction amount to the display processing device 30. Even in such a configuration, it is possible to suppress overcorrection due to the overlapping of the vibration correction process and the gradient correction process, and it is possible to suppress a decrease in the correction accuracy of the display position of the virtual image Iv.
  • the display control unit 32 has described an example in which the total correction amount C6 is calculated by "vibration correction amount C3 + gradient correction amount C4-correction overlap amount C5", but the present invention is not limited to this.
  • the display control unit 32 may adjust the correction overlap amount C5 to calculate the total correction amount C6.
  • the display control unit 32 may adjust the correction overlap amount C5 by using the correction coefficient ⁇ for the correction overlap amount C5.
  • the display control unit 32 may calculate the total correction amount C6 by "vibration correction amount C3 + gradient correction amount C4-correction overlap amount C5 x correction coefficient ⁇ ".
  • the moving body is a vehicle 200 such as an automobile.
  • the moving body is not limited to the vehicle 200.
  • the moving body may be a vehicle traveling on the ground, for example, a train or a motorcycle.
  • the moving body may be an unmanned aerial vehicle capable of traveling by automatic driving.
  • the position where the image is displayed is not limited to the front.
  • the image may be displayed in the lateral direction or behind the moving body.
  • the display system 100 may include a liquid crystal display or an organic EL display instead of the projection device 10.
  • the display system 100 may include a screen and a projector.
  • the display system of the present disclosure includes an information acquisition device that acquires the position of a moving body, a display processing device that controls the display of an image based on the information acquired by the information acquisition device, and a posture change of the moving body.
  • An image is superimposed on the actual image of the position of the moving body and the display direction of the moving body, the posture detecting device for detecting, the correction processing device for setting the first correction amount of the image display position based on the posture fluctuation of the moving body, and the image.
  • a gradient correction processing device that sets the second correction amount of the image display position based on the gradient information of the superimposition destination position, and a correction overlap amount setting that sets the correction overlap amount that overlaps between the first correction amount and the second correction amount.
  • the display processing device controls the display of the image based on the first correction amount, the second correction amount, and the correction overlap amount. As a result, it is possible to suppress the displacement of the image display position.
  • the correction overlap amount setting unit may set the correction overlap amount based on the inclination of the road surface at the position of the moving body when the second correction amount is calculated.
  • the gradient correction processing device may determine whether or not to perform gradient correction using the second correction amount based on the gradient information.
  • the gradient correction processing device may calculate the gradient difference between the position of the moving body and the superimposition destination position, and perform gradient correction when the gradient difference is equal to or greater than the threshold value. ..
  • the correction overlap amount setting unit may set the correction overlap amount based on the first correction amount during the gradient correction.
  • the gradient information of the position of the moving body includes the gradient information calculated based on the altitude information of a plurality of positions around the position of the moving body, and is superimposed.
  • the gradient information of the destination position may include gradient information calculated based on the altitude information of a plurality of positions around the superposition destination position.
  • the correction overlap amount setting unit may adjust the correction overlap amount according to the correction coefficient.
  • a projection device that projects light representing an image may be further included.
  • the moving body may be a vehicle, and the image may be a virtual image displayed in front of the windshield of the vehicle.
  • the present disclosure is applicable to a display system that displays a virtual image in front of the windshield.
  • Projection device 20 Information acquisition device 21 GPS module 30 Display processing device 31 Communication unit 32 Display control unit 33 Storage unit 40 Attitude detection device 41 Gyro sensor 50 Correction processing device 51 Communication unit 52 Correction control unit 52a Misalignment amount calculation unit 52b Correction amount Calculation unit 52c Correction overlap amount setting unit 60 Gradient correction processing device 61 Communication unit 62 Gradient correction control unit 62a Gradient correction amount calculation unit 62b Correction overlap amount setting unit 63 Storage unit 100 Display system 200 Vehicle 210 Front glass 220 Display area

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Transportation (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Mechanical Engineering (AREA)
  • Computer Hardware Design (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optics & Photonics (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Navigation (AREA)

Abstract

表示システムは、移動体の位置を取得する情報取得装置と、情報取得装置が取得した情報に基づいて、像の表示を制御する表示処理装置と、移動体の姿勢変動を検出する姿勢検出装置と、移動体の姿勢変動に基づいて像の表示位置の第１補正量を設定する補正処理装置と、移動体の位置および像の表示方向の実景に対して像を重畳させる重畳先位置の勾配情報に基づいて像の表示位置の第２補正量を設定する勾配補正処理装置と、第１補正量と第２補正量とで重複する補正重複量を設定する補正重複量設定部と、を備え、表示処理装置は、第１補正量、第２補正量及び補正重複量に基づいて、像の表示を制御する。

Description

表示システム
　本開示は、像の表示位置を移動体の動きに応じて制御する表示システムに関する。
　特許文献１は、ヘッドアップディスプレイ（ＨＵＤ）装置を用いて、拡張現実（ＡＲ）表示を行う車両情報投影システムを開示している。ＨＵＤ装置は、車両のフロントガラスに虚像を表す光を投影することで、車両の乗員である視認者に、車両の外界の実景とともに虚像を視認させている。例えば、車両の案内経路を表す虚像を実景内の表示対象（例えば、道路）に対応付けて表示する。これにより、乗員は、実景を視認しながら案内経路を確認することができる。特許文献１に記載の車両情報投影システムは、車速センサを備え、加速度に応じて虚像の表示位置を補正している。これにより、車両の急減速及び急加速時に、虚像の位置ずれが生じることを抑制している。
特開２０１５－１０１３１１号公報
　本開示は、像の表示位置の位置ずれを抑制する表示システムを提供する。
　本開示の表示システムは、移動体の位置を取得する情報取得装置と、情報取得装置が取得した情報に基づいて、像の表示を制御する表示処理装置と、移動体の姿勢変動を検出する姿勢検出装置と、移動体の姿勢変動に基づいて像の表示位置の第１補正量を設定する補正処理装置と、移動体の位置および像の表示方向の実景に対して像を重畳させる重畳先位置の勾配情報に基づいて像の表示位置の第２補正量を設定する勾配補正処理装置と、第１補正量と第２補正量とで重複する補正重複量を設定する補正重複量設定部と、を備え、表示処理装置は、第１補正量、第２補正量及び補正重複量に基づいて、像の表示を制御する。
　これらの概括的かつ特定の態様は、システム、方法、及びコンピュータプログラム、並びに、それらの組み合わせにより、実現されてもよい。
　本開示の表示システムによれば、像の表示位置の位置ずれを抑制することができる。
ヘッドアップディスプレイ（ＨＵＤ）を説明するための図 第１実施形態における表示システムの内部構成を示すブロック図 車両が傾いていないときの例を示す図 フロントガラスから見える実景の例を示す図 虚像が基準位置に表示される例を示す図 拡張現実（ＡＲ）表示の一例を示す図 車両の後傾姿勢を示す図 車両が後傾姿勢のときに虚像の位置ずれが生じる例を説明するための図 振動補正処理後の虚像の表示例を示す図 勾配差補正処理の一例を説明するための図 振動補正処理と勾配補正処理との両方が実施される場合に、過補正となる例を示す説明図 第１実施形態における表示システムの処理を示すフローチャート 走路の勾配の算出の一例を示す説明図 第２実施形態における表示システムの処理を示すフローチャート 変形例の表示システムの内部構成を示すブロック図
（本開示の基礎となった知見）
　表示システムとして、例えば、実景である特定対象に対して所定の情報（虚像）を重畳させるヘッドアップディスプレイ（ＨＵＤ）システムが知られている。例えば、ＨＵＤシステムでは、路面の凹凸や移動体の加減速などにより動的に変化する移動体の状態（例えば、姿勢）をジャイロセンサの出力から算出し表示位置を補正する振動補正処理が行われている。また、ＨＵＤシステムでは、自己位置と前方の路面勾配差を算出し表示(位置、傾き)を補正する勾配補正処理が行われている。
　勾配補正処理は、自己位置と前方の重畳先位置の勾配差に応じて重畳対象に対する虚像の表示ずれを補正している。自己位置の勾配変化の情報は、ジャイロセンサの出力にも含まれるため、振動補正処理と勾配補正処理とによる表示ズレ補正が重複してしまう場合がある。この場合、表示ずれ補正が過補正になり、補正後の虚像の重畳対象への重畳精度が低下することがある。重畳対象は、人、標識、道路などである。
　そこで、本発明者らは、鋭意検討したところ、振動補正と勾配補正との補正重複量を算出し、振動補正と勾配補正と補正重複量とに基づいて虚像の表示を補正する表示システムを考案した。これにより、虚像の表示ずれ補正の過補正を抑制し、補正後の虚像の表示位置の精度の低下を抑制することができる。以下、本開示の表示システムについて説明する。
（第１実施形態）
　以下、第１実施形態について、図面を参照しながら説明する。第１実施形態では、移動体が自動車などの車両であり、表示システムが車両のフロントガラスの前方に像として虚像を表示するヘッドアップディスプレイ（ＨＵＤ）システムである場合を例にして説明する。
１．　表示システムの構成
　図１は、ＨＵＤシステムを説明するための図である。図１において、車両２００のロール軸をＸ軸とし、車両２００のピッチ軸をＹ軸とし、車両２００のヨー軸をＺ軸としている。すなわち、Ｘ軸は、Ｙ軸及びＺ軸と直交し、虚像Ｉｖを視認する乗員Ｄの視線方向に沿った軸である。Ｙ軸は、虚像Ｉｖを視認する乗員Ｄから見て左右方向に沿った軸である。Ｚ軸は、車両２００の高さ方向に沿った軸である。
　本実施形態の表示システム１００は、車両２００のフロントガラス２１０の前方の実景に虚像Ｉｖを重畳する、所謂、拡張現実（ＡＲ）表示を行うＨＵＤシステムである。虚像Ｉｖは、所定の情報を示す。例えば、虚像Ｉｖは、目的地へ案内するための経路、目的地への到達予想時刻、進行方向、速度、種々の警告などを示す図形及び文字である。表示システム１００は、車両２００に設置され、虚像Ｉｖを表す表示光Ｌｃを車両２００のフロントガラス２１０の表示領域２２０内に投影する。本実施形態において、表示領域２２０は、フロントガラス２１０の一部の領域である。なお、表示領域２２０は、フロントガラス２１０の全領域であってもよい。表示光Ｌｃは、フロントガラス２１０によって、車内の方向に反射される。これにより、車両２００内の乗員（視認者）Ｄは、反射された表示光Ｌｃを、車両２００の前方にある虚像Ｉｖとして視認する。
　表示システム１００は、投影装置１０、情報取得装置２０、表示処理装置３０、姿勢検出装置４０、補正処理装置５０、及び勾配補正処理装置６０を含む。
　投影装置１０は、虚像Ｉｖを表す表示光Ｌｃを表示領域２２０内に投影する。投影装置１０は、例えば、虚像Ｉｖの画像を表示する液晶表示素子、液晶表示素子を照明するＬＥＤなどの光源、液晶表示素子が表示する画像の表示光Ｌｃを表示領域２２０に反射するミラー及びレンズなどを含む。投影装置１０は、例えば、車両２００のダッシュボード内に設置される。
　情報取得装置２０は、車両２００の位置を取得する。具体的には、情報取得装置２０は、車両２００の位置を測定して位置を示す位置情報を生成する。情報取得装置２０は、車両２００の位置情報を含む車両関連情報を出力する。
　表示処理装置３０は、情報取得装置２０から得られる車両関連情報などに基づいて、虚像Ｉｖの表示を制御し、虚像Ｉｖの画像データを投影装置１０に出力する。表示処理装置３０は、虚像Ｉｖの表示タイミング（表示時間）、又は車両関連情報と表示タイミングの組み合わせに基づいて、虚像Ｉｖの表示を制御してもよい。表示タイミングは、例えば、１０秒間の表示と１秒間の非表示とを繰り返すことである。
　姿勢検出装置４０は、車両２００の姿勢変動を検出する。本実施形態において、姿勢検出装置４０は、例えば、角速度を検出するジャイロセンサ４１（図２参照）を含む。ジャイロセンサ４１は、検出した角速度を、車両２００の姿勢変動を示す姿勢変動情報として補正処理装置５０に出力する。
　補正処理装置５０は、姿勢検出装置４０によって検出された車両２００の姿勢変動に基づいて、虚像Ｉｖの表示位置の補正量を算出する。言い換えると、補正処理装置５０は、車両２００の姿勢変動による虚像Ｉｖの表示ずれを補正する振動補正処理を実施するための補正量を算出する。
　勾配補正処理装置６０は、車両２００の自己位置と重畳先位置との勾配差に基づいて、虚像Ｉｖの表示位置の補正量を算出する。言い換えると、勾配補正処理装置６０は、車両２００の自己位置と重畳先位置との勾配差による重畳対象に対する虚像Ｉｖの表示ずれを補正する勾配補正処理を実施するための補正量を算出する。本明細書において、重畳先位置とは、虚像Ｉｖの表示方向の実景に対して虚像Ｉｖを重畳させる位置であって、車両２００の前方へ所定距離離れた位置である。本実施形態では、一例として、重畳先位置は、車両２００の前方の実景に対して虚像Ｉｖを重畳させる位置であって、車両２００の前方５０ｍの位置である。なお、重畳先位置は、車両２００の前方５０ｍの位置に限定されるものではなく、例えば、虚像Ｉｖの種類、車両２００の状態（位置及び姿勢）、及び地図データなどに応じて変更してもよい。
　図２は、表示システム１００の内部構成を示すブロック図である。
　本実施形態において、情報取得装置２０は、地理座標系における車両２００の現在地を示す位置を検出するＧＰＳ（Global Positioning System）モジュール２１を含む。具体的には、ＧＰＳモジュール２１は、ＧＰＳ衛星からの電波を受信して、受信した地点の緯度及び経度を測位する。ＧＰＳモジュール２１は、測位した緯度及び経度を示す位置情報を生成する。情報取得装置２０は、位置情報及含む車両関連情報を表示処理装置３０に出力する。
　表示処理装置３０は、通信部３１、表示制御部３２、及び記憶部３３を含む。
　通信部３１は、所定の通信規格（例えば、ＬＡＮ、Ｗｉ－Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＵＳＢ、ＨＤＭＩ（登録商標）、ＣＡＮ（controller area network）、ＳＰＩ（Serial Peripheral Interface））に準拠して外部機器との通信を行う回路を含む。
　表示制御部３２は、半導体素子などで実現可能である。表示制御部３２は、例えば、マイコン、ＣＰＵ、ＭＰＵ、ＧＰＵ、ＤＳＰ、ＦＰＧＡ、ＡＳＩＣで構成することができる。表示制御部３２の機能は、ハードウェアのみで構成してもよいし、ハードウェアとソフトウェアとを組み合わせることにより実現してもよい。表示制御部３２は、記憶部３３に格納されたデータやプログラムを読み出して種々の演算処理を行うことで、予め定められた機能を実現する。
　記憶部３３は、表示処理装置３０の機能を実現するために必要なプログラム及びデータを記憶する記憶媒体である。記憶部３３は、例えば、ハードディスク（ＨＤＤ）、ＳＳＤ、ＲＡＭ、ＤＲＡＭ、強誘電体メモリ、フラッシュメモリ、磁気ディスク、又はこれらの組み合わせによって実現できる。
　記憶部３３には、虚像Ｉｖを表す複数の画像データ３３ｉが格納されている。表示制御部３２は、情報取得装置２０から得られる車両関連情報に基づいて、表示する虚像Ｉｖを決定する。表示制御部３２は、決定した虚像Ｉｖの画像データ３３ｉを記憶部３３から読み出して、投影装置１０に出力する。さらに、表示制御部３２は、虚像Ｉｖの表示位置を設定する。
　また、記憶部３３には、経路情報３４が格納されている。経路情報３４は、車両２００が走行する経路の情報を意味する。例えば、経路情報３４は、経路上において、所定の間隔を有する複数の位置の高度情報を含む。高度情報は、例えば、国土地理院の標高データを使用することができる。表示処理装置３０は、外部から経路情報３４を取得し、記憶部３３に格納する。また、表示処理装置３０は、経路情報３４を記憶部３３から読み出し、勾配補正処理装置６０に出力する。
　補正処理装置５０は、通信部５１と補正制御部５２と記憶部５３とを含む。
　通信部５１は、所定の通信規格（例えばＬＡＮ、Ｗｉ－Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＵＳＢ、ＨＤＭＩ（登録商標）、ＣＡＮ（controller area network）、ＳＰＩ（Serial Peripheral Interface））に準拠して外部機器との通信を行う回路を含む。
　補正制御部５２は、半導体素子などで実現可能な演算装置である。補正制御部５２は、例えば、マイコン、ＣＰＵ、ＭＰＵ、ＧＰＵ、ＤＳＰ、ＦＰＧＡ、ＡＳＩＣで構成することができる。補正制御部５２の機能は、ハードウェアのみで構成してもよいし、ハードウェアとソフトウェアとを組み合わせることにより実現してもよい。補正制御部５２は、補正処理装置５０内の記憶部５３に格納されたデータやプログラムを読み出して種々の演算処理を行うことで、予め定められた機能を実現する。
　補正制御部５２は、機能的構成として、ずれ量算出部５２ａ及び補正量算出部５２ｂを含む。
　ずれ量算出部５２ａは、姿勢検出装置４０が出力する姿勢変動情報に基づいて、車両２００の姿勢（角度のずれ量）を算出する。例えば、ずれ量算出部５２ａは、ジャイロセンサ４１が検出した角速度を積分演算することによって、車両２００のピッチ軸周りの角度（ピッチ角）を算出する。これにより、図１に示すＹ軸（ピッチ軸）を中心とした回転方向における車両２００のずれ量（角度）を算出することができる。なお、本実施形態では、ピッチ角度を算出するが、ヨー角度又はロール角度を算出してもよい。例えば、Ｘ軸、Ｙ軸及びＺ軸周りの角度を全て算出してもよい。
　補正量算出部５２ｂは、車両２００の姿勢（角度のずれ量）に応じて、虚像Ｉｖの表示位置の補正量（振動補正量）を算出する。具体的には、補正量算出部５２ｂは、ずれ量算出部５２ａが算出した角度（ピッチ角）のずれ量を画素数に換算して、ずれている分の画素数を元に戻すような補正量を決定する。例えば、補正量算出部５２ｂは、ピッチ角のずれ量を元に戻すような補正量を決定する。補正量算出部５２ｂは、算出した補正量を表示処理装置３０に出力する。なお、本実施形態では、ピッチ軸方向の補正量を算出するが、ヨー軸方向及びロール方向の補正量を算出してもよい。ロール角については、角度のまま、ロール角のずれ量を元に戻すような補正量を決定する。
　姿勢検出装置４０の出力の演算処理は、姿勢検出装置４０又は補正処理装置５０のずれ量算出部５２ａ、又は、他の構成で行われてもよい。
　記憶部５３は、補正制御部５２の機能を実現するために必要なプログラム及びデータを記憶する記憶媒体である。したがって、例えば、プロセッサ等の演算装置を補正制御部５２として機能させるために必要なプログラム及びデータが記憶部５３に格納されている。記憶部５３は、例えば、ハードディスク（ＨＤＤ）、ＳＳＤ、ＲＡＭ、ＤＲＡＭ、強誘電体メモリ、フラッシュメモリ、磁気ディスク、又はこれらの組み合わせによって実現できる。
　補正処理装置５０は、表示処理装置３０に補正量を出力する。
　勾配補正処理装置６０は、通信部６１と勾配補正制御部６２と記憶部６３とを含む。
　通信部６１は、所定の通信規格（例えばＬＡＮ、Ｗｉ－Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＵＳＢ、ＨＤＭＩ（登録商標）、ＣＡＮ（controller area network）、ＳＰＩ（Serial Peripheral Interface））に準拠して外部機器との通信を行う回路を含む。
　勾配補正制御部６２は、半導体素子などで実現可能な演算装置である。勾配補正制御部６２は、例えば、マイコン、ＣＰＵ、ＭＰＵ、ＧＰＵ、ＤＳＰ、ＦＰＧＡ、ＡＳＩＣで構成することができる。勾配補正制御部６２の機能は、ハードウェアのみで構成してもよいし、ハードウェアとソフトウェアとを組み合わせることにより実現してもよい。
　勾配補正制御部６２は、機能的構成として、勾配補正量算出部６２ａ及び補正重複量設定部６２ｂを含む。
　勾配補正量算出部６２ａは、車両２００の自己位置と虚像Ｉｖの重畳先位置との勾配差を算出し、算出した勾配差に応じて虚像Ｉｖの表示位置の補正量（勾配補正量）を算出する。具体的には、勾配補正量算出部６２ａは、算出した勾配差をずれ量の画素数に変換して、ずれている分の画素数を元に戻すような補正量を決定する。勾配補正量算出部６２ａは、算出した補正量を表示処理装置３０に出力する。
　補正重複量設定部６２ｂは、補正処理装置５０により算出された振動補正量と、勾配補正量算出部６２ａにより算出された勾配補正量とにおいて重複する補正重複量を設定する。補正重複量設定部６２ｂは、算出した補正重複量を表示処理装置３０に出力する。
　記憶部６３は、勾配補正制御部６２の機能を実現するために必要なプログラム及びデータを記憶する記憶媒体である。したがって、例えば、プロセッサ等の演算装置を勾配補正制御部６２として機能させるために必要なプログラム及びデータが記憶部６３に格納されている。記憶部６３は、例えば、ハードディスク（ＨＤＤ）、ＳＳＤ、ＲＡＭ、ＤＲＡＭ、強誘電体メモリ、フラッシュメモリ、磁気ディスク、又はこれらの組み合わせによって実現できる。
　なお、本明細書では、補正処理装置５０により算出された補正量を振動補正量又は第１補正量と称し、勾配補正処理装置６０により算出された補正量を勾配補正量又は第２補正量と称する場合がある。
　図３Ａ～図３Ｄを参照して、ＡＲ表示について説明する。図３Ａは、車両２００が傾いていないときの例を示している。図３Ｂは、図３Ａに示す車両２００のフロントガラス２１０から見える実景の例を示している。図３Ｃは、表示領域２２０から見える虚像Ｉｖの一例を示している。図３Ｄは、図３Ｂに示す実景に図３Ｃに示す虚像Ｉｖが重なって表示される例を示している。表示システム１００は、図３Ｂに示す実景に図３Ｃに示す虚像Ｉｖを重畳させる。虚像Ｉｖの基準位置（初期位置）Ｐ０は、虚像Ｉｖの種類、車両２００の状態（位置及び姿勢）、及び地図データなどに基づいて決定された位置であり、当該基準位置Ｐ０は、外部装置により決定される。例えば、表示対象２３０が走行車線であって、虚像Ｉｖが進行方向を示す矢印の場合、基準位置Ｐ０は走行車線の中央を矢印の先端が指し示すときの液晶上の表示位置である。基準位置Ｐ０は、例えば、図３Ｃにおいて、表示領域２２０内におけるＹ座標とＺ座標の値に対応する液晶表示上の画素の位置で設定される。
　基準位置Ｐ０は、外部装置から取得される。外部装置は、例えば、マイコン、ＣＰＵ、ＭＰＵ、ＧＰＵ、ＤＳＰ、ＦＰＧＡ、または、ＡＳＩＣと、ＧＰＳモジュール２１とで構成することができる。外部装置の機能は、ハードウェアのみで構成してもよいし、ハードウェアとソフトウェアとを組み合わせることにより実現してもよい。外部装置から出力される基準位置Ｐ０は、乗員数、荷重の変動、及び燃料の減少などによる姿勢の変動に基づいて変化する場合があるため、例えば、最初に取得した基準位置（初期位置）と異なる場合がある。それ故、表示処理装置３０は、外部装置から取得される基準位置Ｐ０を、乗員数、荷重の変動、及び燃料の減少などによる姿勢の変動に基づいて変更してもよい。なお、表示処理装置３０が、車両関連情報及び地図データなどに基づいて、基準位置Ｐ０を設定してもよい。表示処理装置３０は、車両関連情報に基づいて、虚像Ｉｖの大きさを設定してもよい。
　図４Ａ～４Ｃを参照して、振動補正処理について説明する。図４Ａは、車両２００が後傾姿勢になった状態の例を示している。図４Ｂは、車両２００の姿勢変動に応じて、虚像Ｉｖの表示位置が表示対象２３０からずれた場合を例示している。図４Ｃは、振動補正後の虚像Ｉｖの表示位置を示している。
　路面の凹凸、車両２００の急加速又は急減速などにより、車両２００が傾く場合がある。例えば、車両２００が路面３０１の凸部３０３に乗り上げると、図４Ａに示すように車両２００は後傾姿勢になる。この場合、図４Ｂに示すように、フロントガラス２１０から見える表示対象２３０の位置が車両２００の走路に対する傾きθ１に応じて変動する。そのため、虚像Ｉｖを基準位置Ｐ０に表示した場合、虚像Ｉｖが表示対象２３０からずれる。
　例えば、図４Ｂに示すように、車両２００が路面３０１の凸部３０３により後傾姿勢になると、表示対象２３０の位置が通常走行時よりもう下方に変動する。したがって、基準位置Ｐ０に表示を出力すると、表示される虚像Ｉｖの矢印の先が車線外にずれてしまう。よって、表示システム１００は、車両２００の姿勢に応じてずれを戻す方向に虚像Ｉｖの表示位置を調整する。
　具体的には、図４Ｃに示すように、補正処理装置５０が、車両２００の角度に起因した表示位置のずれがない位置Ｐ１となるように補正量Ｃ１を算出する。すなわち、表示処理装置３０は、虚像Ｉｖの表示位置を「基準位置Ｐ０＋補正量Ｃ１」に設定する。これにより、投影装置１０は、虚像Ｉｖを表示対象２３０に対応する位置Ｐ１に表示することができる。このように、車両２００が傾いた場合であっても、虚像Ｉｖの表示位置を補正量Ｃ１に基づいて基準位置Ｐ０から変更することで、実景内の表示対象２３０に対応する位置Ｐ１に虚像Ｉｖを表示することができる。
　図５を参照して、勾配補正処理について説明する。図５は、勾配補正処理の一例を説明するための図である。図５に示すように、車両２００の前方に斜度θ２を有する坂道３０２があり、車両２００の自己位置Ｑ０から前方へ所定距離Ｌ１離れた重畳先位置Ｑ１に虚像Ｉｖを表示する場合を例として説明する。なお、説明を容易にするため、車両２００の自己位置Ｑ０における勾配はないものとする。
　車両２００の前方に斜度θ２を有する坂道３０２がある場合、虚像Ｉｖを基準位置Ｐ０に表示すると、車両２００の自己位置Ｑ０と重畳先位置Ｑ１との勾配差によって、重畳先位置Ｑ１に対して虚像Ｉｖの表示位置がずれる。具体的には、虚像Ｉｖが重畳先位置Ｑ１よりも下方に表示されてしまう。よって、勾配補正処理装置６０は、車両２００の自己位置Ｑ０と重畳先位置Ｑ１の勾配差によるずれを戻す方向に虚像Ｉｖの表示位置を調整する。
　具体的には、勾配補正処理装置６０は、車両２００の自己位置Ｑ０と重畳先位置Ｑ１との勾配差に基づいて、虚像Ｉｖの表示位置を重畳先位置Ｑ１に対応するように補正量Ｃ２を算出する。すなわち、表示処理装置３０は、虚像Ｉｖの表示位置を「基準位置Ｐ０＋補正量Ｃ２」に設定する。これにより、投影装置１０は、表示領域２２０において虚像Ｉｖを重畳先位置Ｑ１に対応する位置に表示することができる。このように、自己位置に対して重畳先の勾配が変化している場合であっても、虚像Ｉｖの表示位置を補正量Ｃ２に基づいて基準位置Ｐ０から変更することで、重畳先位置Ｑ１に対応する位置に虚像Ｉｖを表示することができる。
　しかしながら、自己位置Ｑ０の勾配変化の情報は、ジャイロセンサ４１の出力にも含まれるため、振動補正処理と勾配補正処理とによる補正が重複してしまう場合がある。即ち、振動補正処理と勾配補正処理が互いに干渉して過補正になり、虚像Ｉｖの表示位置の補正精度が低下する。
　図６は、振動補正処理と勾配補正処理との両方が実施される場合に、過補正となる例を示す説明図である。図６に示す例において、車両２００が斜度θ１１の凸部を有する路面３０４を走行しており、車両２００が走路に対する傾きθ１２で前傾姿勢となっている。また、車両２００の自己位置Ｑ２から所定距離Ｌ１離れた重畳先位置Ｑ３は、斜度θ１３の坂道３０５に位置する。斜度θ１３は、例えば、斜度θ１１よりも大きい。
　なお、斜度θ１１の路面３０４を走行する車両２００の傾きθ１２は、車両２００のサスペンション及び／又は車両２００の重心バランスによって変化する。また、車両２００の傾きθ１２は、ジャイロセンサなどによって検出しており、この検出はリアルタイム、且つ高サンプリングである。これに対し、路面３０４の斜度θ１１は、既知の情報（例えば、高度情報）に基づいて算出され、且つ低サンプリングである。このため、車両２００の傾きθ１２は、路面３０４の斜度θ１１と等価にならない場合がある。本実施形態では、車両２００の傾きθ１２は、路面３０４の斜度θ１１とほぼ等しいものとみなしている。
　補正処理装置５０は、路面３０４の凸部により生じる振動による虚像Ｉｖの表示位置のずれを補正するための振動補正量Ｃ３を算出する。具体的には、補正処理装置５０は、姿勢検出装置４０が出力する姿勢変動情報に基づいて、車両２００の姿勢（角度のずれ量）、即ち傾きθ１２を算出する。補正処理装置５０は、車両２００の姿勢（傾きθ１２）に起因した虚像Ｉｖの表示位置のずれがなくなるように振動補正量Ｃ３を算出する。図６に示す例においては、補正処理装置５０は、基準位置Ｐ０から、車両２００の姿勢に起因した虚像Ｉｖの表示位置のずれがなくなる位置Ｐ３に虚像Ｉｖの表示位置が移動するように、振動補正量Ｃ３を算出する。
　勾配補正処理装置６０は、車両２００の自己位置Ｑ２と重畳先位置Ｑ３との勾配差に基づいて、勾配差により生じる虚像Ｉｖの表示位置のずれを補正するための勾配補正量Ｃ４を算出する。具体的には、勾配補正処理装置６０は、斜度θ１１の凸部を有する路面３０４の勾配と、斜度θ１３を有する坂道３０５の勾配とに基づいて勾配差を算出し、勾配差に起因した虚像Ｉｖの表示位置のずれがなくなるように勾配補正量Ｃ４を算出する。
　このように、図６に示す補正処理装置５０による振動補正処理と勾配補正処理装置６０による勾配補正処理との両方が実施される場合、表示処理装置３０は、虚像Ｉｖの表示位置を「基準位置Ｐ０＋振動補正量Ｃ３＋勾配補正量Ｃ４」に設定する。図６に示す例では、振動補正処理は、斜度θ１１を有する路面３０４に起因する車両２００の傾きθ１２に基づいて振動補正量Ｃ３を算出している。勾配補正処理は、路面３０４の勾配（斜度）θ１１に基づいて勾配補正量Ｃ４を算出している。このため、振動補正量Ｃ３と勾配補正量Ｃ４とでは、互いに重複する補正量が存在する。よって、振動補正処理と勾配補正処理との両方が実施されると、過補正となる。具体的には、振動補正処理と勾配補正処理との両方が実施されると、虚像Ｉｖは重畳先位置Ｑ３よりも上方の位置Ｐ４に表示される。このように、振動補正処理と勾配補正処理とが重複して実施される場合、補正後の虚像Ｉｖの表示位置が、重畳先位置Ｑ３に対応せず、実景に対してずれてしまう場合がある。
　そこで、本実施形態の表示システム１００は、振動補正による振動補正量（第１補正量）、勾配補正による勾配補正量（第２補正量）、及び振動補正量と勾配補正量との補正重複量に基づいて、虚像Ｉｖの表示位置の補正量を決定する。これにより、振動補正処理と勾配補正処理とが重複することによる虚像Ｉｖの表示位置の過補正を抑制し、補正後の虚像の表示位置の補正精度の低下を抑制することができる。以下、本開示の表示システムについて説明する。
　図７を用いて表示システム１００の処理について説明する。図７は、表示システム１００の表示処理、振動補正処理及び勾配補正処理のフローチャートを示している。
２．　表示処理
　図７に示す表示処理は、表示処理装置３０の表示制御部３２によって行われる。また、表示処理は、例えば、車両２００のエンジンが始動したとき、又は虚像Ｉｖの表示開始を指示するためのボタンが操作されたときなどに開始される。
　表示制御部３２は、情報取得装置２０から車両関連情報を取得する（Ｓ１０１）。表示制御部３２は、車両関連情報に基づいて、表示する虚像Ｉｖを決定する（Ｓ１０２）。表示制御部３２は、虚像Ｉｖの基準位置Ｐ０を外部装置から取得する（Ｓ１０３）。
　表示制御部３２は、補正処理装置５０から出力される振動補正量Ｃ３、勾配補正処理装置６０から出力される勾配補正量Ｃ４及び補正重複量Ｃ５を取得する（Ｓ１０４）。なお、本明細書では、振動補正量Ｃ３を第１補正量Ｃ３、勾配補正量Ｃ４を第２補正量Ｃ４と称する場合がある。また、補正重複量Ｃ５は、振動補正量Ｃ３と勾配補正量Ｃ４とで重複する補正量を意味する。
　表示制御部３２は、振動補正量Ｃ３、勾配補正量Ｃ４及び補正重複量Ｃ５に基づいて、総補正量Ｃ６を算出する（Ｓ１０５）。例えば、総補正量Ｃ６は、「振動補正量Ｃ３＋勾配補正量Ｃ４－補正重複量Ｃ５」によって算出される。
　表示制御部３２は、基準位置Ｐ０と総補正量Ｃ６とに基づいて、投影装置１０に虚像Ｉｖを表示させる（Ｓ１０６）。例えば、表示制御部３２は、表示対象に対応する虚像Ｉｖの画像データ３３ｉを記憶部３３から読み出し、虚像Ｉｖの表示位置を「基準位置Ｐ０＋総補正量Ｃ６」に設定して、投影装置１０に出力する。
　表示制御部３２は、表示処理を継続するか否かを判断する（Ｓ１０７）。例えば、車両２００のエンジンが停止したとき、又は虚像Ｉｖの表示の終了を指示するためのボタンが操作されたときなどに、表示制御部３２は表示処理を終了する。表示処理を継続する場合は、ステップＳ１０１に戻る。
　なお、上述したステップＳ１０４～Ｓ１０６は、振動補正処理と勾配補正処理とを重複して実施する例について説明しているが、これに限定されない。例えば、勾配補正処理を実施せず、振動補正処理を実施する場合、ステップＳ１０４においては、補正処理装置５０から出力される表示位置の補正量Ｃ３を取得してもよい。ステップＳ１０６においては、表示制御部３２は、基準位置Ｐ０と補正量Ｃ３とに基づいて、投影装置１０に虚像Ｉｖを表示させてもよい。
３．　振動補正処理
　図７に示す振動補正処理は、補正処理装置５０の補正制御部５２によって行われる。振動補正処理は、例えば、車両２００のエンジンが始動したとき、又は虚像Ｉｖの表示開始を指示するためのボタンが操作されたときなどに開始される。振動補正処理は、例えば、表示処理と共に開始される。なお、振動補正処理は、虚像Ｉｖの位置補正の開始を指示するためのボタンが操作されたときに開始されてもよい。
　ずれ量算出部５２ａは、ジャイロセンサ４１から出力される角速度を示す姿勢変動情報を取得する（Ｓ２０１）。ずれ量算出部５２ａは、取得した姿勢変動情報に基づいて、車両２００の姿勢、例えば、ピッチ方向に対する角度であるずれ量を算出する（Ｓ２０２）。具体的には、ずれ量算出部５２ａは、角速度を積分演算することによって、車両２００のピッチ角を算出する。補正量算出部５２ｂは、ピッチ方向に対するずれ量に基づいて、虚像Ｉｖの表示位置の振動補正量Ｃ３を算出する（Ｓ２０３）。具体的には、補正量算出部５２ｂは、ピッチ方向における車両２００のずれ量を画素数に換算して、画素数で示されるずれ量を相殺するような振動補正量Ｃ３を決定する。
　図６に示す例では、ずれ量は、車両２００の傾きθ１２に相当する。例えば、振動補正量Ｃ３は、「Ｃ３＝θ１２×Ｇ」により算出される。ここで、Ｇは、角度を画素数に換算するための換算係数である。
　補正量算出部５２ｂは、算出した振動補正量Ｃ３を表示処理装置３０に出力する（Ｓ２０４）。
　補正制御部５２は、振動補正処理を継続するか否かを判断する（Ｓ２０５）。例えば、車両２００のエンジンが停止したとき、又は虚像Ｉｖの表示の終了を指示するためのボタンが操作されたときなどに、補正制御部５２は振動補正処理を終了する。振動補正処理を継続する場合は、ステップＳ２０１に戻る。
４．　勾配補正処理
　図７に示す勾配補正処理は、勾配補正処理装置６０の勾配補正制御部６２によって行われる。勾配補正処理は、例えば、車両２００のエンジンが始動したとき、又は虚像Ｉｖの表示開始を指示するためのボタンが操作されたときなどに開始される。勾配補正処理は、例えば、表示処理と共に開始される。なお、勾配補正処理は、虚像Ｉｖの位置補正の開始を指示するためのボタンが操作されたときに開始されてもよい。
　勾配補正量算出部６２ａは、経路上の各位置の高度情報から各位置の勾配を算出する（Ｓ３０１）。勾配補正処理装置６０は、表示処理装置３０から経路情報３４を取得し、経路情報３４に含まれる経路上の複数の位置における高度情報に基づいて各位置の勾配を算出する。
　図８は、走路３０６、３０７の勾配の算出の一例を示す説明図である。図８に示すように、勾配補正処理装置６０は、走路３０６，３０７上の所定の距離毎の複数の位置の勾配をそれぞれ算出する。例えば、走路３０６上の車両２００の自己位置ＰＭの勾配の算出の一例について説明する。勾配補正処理装置６０は、車両２００の自己位置ＰＭの周囲の複数の位置の高度情報に基づいて、自己位置ＰＭの勾配を算出する。例えば、勾配補正制御部６２は、自己位置ＰＭの高度ＨＭと、自己位置ＰＭの前後の２つの位置ＰＭ－１，ＰＭ＋１の高度ＨＭ－１，ＨＭ＋１とに基づいて、自己位置ＰＭの勾配を算出する。例えば、ＰＭ－１，ＰＭ，ＰＭ＋１の高度の傾きを算出する。同様に、走路３０７上の位置ＰＮの勾配は、位置ＰＮの高度ＨＮと、位置ＰＮの前後の２つの位置ＰＮ－１，ＰＮ＋１の高度ＨＮ－１，ＨＮ＋１とに基づいて、算出する。なお、勾配の算出は、これに限定されず、地図データから複数の位置の勾配情報を取得したり、任意の様々な方法で、勾配を算出することができる。
　勾配補正量算出部６２ａは、車両２００の自己位置から重畳先位置までの距離Ｌ１を取得する（Ｓ３０２）。勾配補正量算出部６２ａは、例えば、自己位置から重畳先位置までの距離Ｌ１を表示処理装置３０から取得する。本実施形態では、自己位置から重畳先位置までの距離Ｌ１は、５０ｍに設定されている。
　勾配補正量算出部６２ａは、自己位置と重畳先位置との勾配差ｄを算出する（Ｓ３０３）。勾配補正量算出部６２ａは、情報取得装置２０で取得された車両２００の位置の情報を表示処理装置３０から取得し、車両２００の位置の情報に基づいて車両２００の自己位置の勾配情報を取得する。具体的には、勾配補正量算出部６２ａは、車両２００の位置情報と、ステップＳ３０１で算出した各位置の勾配情報とに基づいて、車両２００の自己位置の勾配情報を取得する。次に、勾配補正量算出部６２ａは、ステップＳ３０１で取得した各位置の勾配情報と、ステップＳ３０２で取得した自己位置から重畳先位置までの距離Ｌ１の情報と、に基づいて、重畳先位置の勾配情報を取得する。勾配補正量算出部６２ａは、自己位置の勾配情報と重畳先位置の勾配情報とに基づいて、自己位置と重畳先位置との勾配差ｄを算出する。
　勾配補正量算出部６２ａは、勾配差ｄに基づいて勾配補正量Ｃ４を算出する（Ｓ３０４）。具体的には、勾配補正量算出部６２ａは、勾配差ｄを画素数に換算して、画素数で示されるずれ量を相殺するような勾配補正量Ｃ４を決定する。
　図６に示す例では、自己位置Ｑ２と重畳先位置Ｑ３との勾配差ｄは、車両２００が走行している路面３０４の斜度θ１１と、坂道３０５の斜度θ１３との差である。即ち、図６において、自己位置Ｑ２の勾配はθ１１に相当し、重畳先位置Ｑ３の勾配はθ１３に相当する。例えば、自己位置Ｑ２と重畳先位置Ｑ３との勾配差ｄは、例えば、「ｄ＝θ１３－θ１１」により算出される。例えば、勾配補正量Ｃ４は、「Ｃ４＝ｄ×Ｇ」により算出される。ここで、Ｇは、角度を画素数に換算するための換算係数である。
　補正重複量設定部６２ｂは、勾配補正量算出地点の路面傾きに基づいて補正重複量Ｃ５を設定する（Ｓ３０５）。勾配補正量算出地点の路面傾きとは、勾配補正量（第２補正量）を算出したときの車両２００の位置の路面の傾きを意味する。図６に示す例では、車両２００の自己位置Ｑ２における路面３０４の斜度θ１１が勾配補正量算出地点の路面傾きに相当する。例えば、補正重複量Ｃ５は、「Ｃ５＝θ１１×Ｇ」により算出される。ここで、Ｇは、角度を画素数に換算するための換算係数である。
　勾配補正制御部６２は、勾配補正量Ｃ４と補正重複量Ｃ５とを表示処理装置３０に出力する（Ｓ３０６）。
　勾配補正制御部６２は、勾配補正処理を継続するか否かを判断する（Ｓ３０７）。例えば、車両２００のエンジンが停止したとき、又は虚像Ｉｖの表示の終了を指示するためのボタンが操作されたときなどに、勾配補正制御部６２は勾配補正処理を終了する。勾配補正処理を継続する場合は、ステップＳ３０１に戻る。
５．　効果及び補足等
　本開示の表示システム１００は、情報取得装置２０と、表示処理装置３０と、姿勢検出装置４０と、補正処理装置５０と、勾配補正処理装置６０と、補正重複量設定部６２ｂと、を備える。情報取得装置２０は、車両２００の位置情報を含む車両関連情報を取得する。表示処理装置３０は、情報取得装置２０が取得した車両関連情報に基づいて、虚像Ｉｖの表示を制御する。姿勢検出装置４０は、車両２００の姿勢変動を検出する。補正処理装置５０は、車両２００の姿勢変動に基づいて虚像Ｉｖの表示位置の第１補正量（振動補正量）Ｃ３を設定する。勾配補正処理装置６０は、車両２００の位置と車両２００の前方の実景に対して虚像Ｉｖを重畳させる重畳先位置との勾配差に基づいて虚像Ｉｖの表示位置の第２補正量（勾配補正量）Ｃ４を設定する。補正重複量設定部６２ｂは、第１補正量Ｃ３と第２補正量Ｃ４とで重複する補正重複量Ｃ５を設定する。表示処理装置３０は、第１補正量Ｃ３、第２補正量Ｃ４及び補正重複量Ｃ５に基づいて、虚像Ｉｖの表示を制御する。
　このような構成により、重畳対象に対する虚像Ｉｖの表示位置の位置ずれを抑制することができる。具体的には、振動補正処理と勾配補正処理との両方を実施する表示システム１００において、振動補正処理と勾配補正処理とが重複して実施されることによる過補正を抑制することができる。これにより、虚像Ｉｖの表示位置の補正精度の低下を抑制することができる。
　補正重複量設定部６２ｂは、第２補正量Ｃ４を算出したときの車両２００の位置Ｑ２の路面３０４の傾きθ１２に基づいて補正重複量Ｃ５を設定する。これにより、振動補正処理と勾配補正処理とが重複して実施されることによる過補正を更に抑制することができる。その結果、これにより、虚像Ｉｖの表示位置の補正精度の低下を更に抑制することができる。
　なお、本実施形態では、補正重複量設定部６２ｂは、「Ｃ５＝θ１１×Ｇ」により補正重複量Ｃ５を算出する例について説明したが、これに限定されない。補正重複量設定部６２ｂは、振動補正量Ｃ３と勾配補正量Ｃ４とで重複している補正量を算出できればよく、補正重複量Ｃ５の算出に用いるパラメータは、θ１１そのものに限定されない。
（第２実施形態）
　第１実施形態では、補正重複量設定部６２ｂは、勾配補正量算出地点の路面傾きに基づいて補正重複量Ｃ５を設定した。本実施形態では、勾配補正処理装置６０は、車両２００の自己位置と重畳先位置との勾配差ｄを算出し、勾配差ｄの絶対値が閾値Ｔ１以上であるとき、勾配補正を実施する。補正重複量設定部６２ｂは、勾配補正を実施している間の振動補正量Ｃ３に基づいて補正重複量Ｃ５を設定する。
　図９を参照して、第２実施形態における表示システム１００の動作について説明する。図９は、第２実施形態における表示システム１００の処理を示すフローチャートを示している。図９に示すステップにおいて、第１実施形態の図７に示すステップと同じステップは同じ符号で示している。また、図９のステップＳ４０１～Ｓ４０３，Ｓ４０７，Ｓ４１０は、それぞれ、第１実施形態の図７のステップＳ３０１～Ｓ３０３，Ｓ３０４，Ｓ３０７と同一である。
　図９に示す表示処理においては、表示制御部３２は、情報取得装置２０から車両関連情報を取得する（Ｓ１０１）。表示制御部３２は、車両関連情報に基づいて、表示する虚像Ｉｖを決定する（Ｓ１０２）。表示制御部３２は、虚像Ｉｖの基準位置Ｐ０を外部装置から取得する（Ｓ１０３）。表示制御部３２は、補正処理装置５０から出力される振動補正量Ｃ３、勾配補正処理装置６０から出力される勾配補正量Ｃ４及び補正重複量Ｃ５を取得する（Ｓ１０４）。表示制御部３２は、振動補正量Ｃ３、勾配補正量Ｃ４及び補正重複量Ｃ５に基づいて、総補正量Ｃ６を算出する（Ｓ１０５）。表示制御部３２は、基準位置Ｐ０と総補正量Ｃ６とに基づいて、投影装置１０に虚像Ｉｖを表示させる（Ｓ１０６）。表示制御部３２は、表示処理を継続するか否かを判断する（Ｓ１０７）。
　図９に示す振動補正処理においては、ずれ量算出部５２ａは、ジャイロセンサ４１から出力される角速度を示す姿勢変動情報を取得する（Ｓ２０１）。ずれ量算出部５２ａは、取得した姿勢変動情報に基づいて、車両２００の姿勢、例えば、ピッチ方向に対する角度であるずれ量を算出する（Ｓ２０２）。補正量算出部５２ｂは、ピッチ方向に対するずれ量に基づいて、虚像Ｉｖの表示位置の振動補正量Ｃ３を算出する（Ｓ２０３）。補正量算出部５２ｂは、算出した振動補正量Ｃ３を表示処理装置３０及び勾配補正処理装置６０に出力する（Ｓ２０４）。補正制御部５２は、振動補正処理を継続するか否かを判断する（Ｓ２０５）。
　図９に示す勾配補正処理においては、勾配補正量算出部６２ａは、経路上の各位置の高度情報から各位置の勾配を算出する（Ｓ４０１）。勾配補正量算出部６２ａは、自己位置から重畳先位置までの距離Ｌ１を取得する（Ｓ４０２）。勾配補正量算出部６２ａは、自己位置と重畳先位置との勾配差ｄを算出する（Ｓ４０３）。
　勾配補正制御部６２は、算出した勾配差ｄの絶対値が閾値Ｔ１以上であるか否かを判定する（Ｓ４０４）。
　ステップＳ４０４において、勾配差ｄの絶対値が閾値Ｔ１以上である場合、補正重複量設定部６２ｂは、補正処理装置５０から振動補正量Ｃ３を取得する（Ｓ４０５）。補正重複量設定部６２ｂは、振動補正量Ｃ３に基づいて補正重複量Ｃ５を設定する（Ｓ４０６）。例えば、補正重複量Ｃ５は、振動補正量Ｃ３と等しい値に設定される。次に、勾配補正量算出部６２ａは、勾配差ｄに基づいて勾配補正量Ｃ４を算出する（Ｓ４０７）。
　ステップＳ４０４において、勾配差ｄの絶対値が閾値Ｔ１より小さい場合、勾配補正制御部６２は、勾配補正量Ｃ４と補正重複量Ｃ５とを０に設定する（Ｓ４０８）。具体的には、勾配補正量算出部６２ａは、勾配補正量Ｃ４を０に設定する。補正重複量設定部６２ｂは、補正重複量Ｃ５を０に設定する。
　勾配補正制御部６２は、勾配補正量Ｃ４と補正重複量Ｃ５とを表示処理装置３０に出力する（Ｓ４０９）。
　勾配補正制御部６２は、勾配補正処理を継続するか否かを判断する（Ｓ４１０）。
　このように、本実施形態においては、車両２００の自己位置と重畳先位置との勾配差ｄを算出し、勾配差ｄの絶対値が閾値Ｔ１以上であるとき、勾配補正を実施する。また、補正重複量設定部６２ｂは、勾配補正を実施している間の振動補正量Ｃ３に基づいて補正重複量Ｃ５を設定する。このような構成により、虚像Ｉｖの表示位置の位置ずれを抑制することができる。即ち、振動補正処理と勾配補正処理とが重複して実施されることによる過補正を抑制することができ、虚像Ｉｖの表示位置の補正精度の低下を抑制することができる。
　なお、本実施形態では、補正重複量設定部６２ｂは、補正重複量Ｃ５を振動補正量Ｃ３と等しい値に設定する例について説明したが、これに限定されない。補正重複量設定部６２ｂは、振動補正量Ｃ３に基づいて補正重複量Ｃ５を調整してもよい。
　補正処理装置５０は、勾配補正処理を行っている間、振動補正量Ｃ３を０に設定してもよい。この場合、補正重複量設定部６２ｂは、補正重複量を０に設定する。このような構成においても、虚像Ｉｖの表示位置の補正精度の低下を抑制することができる。
　勾配補正処理装置６０は、車両２００の自己位置と虚像Ｉｖの重畳先位置との勾配差に基づいて、勾配補正を実施するか否かを判定する例について説明したが、これに限定されない。勾配補正処理装置６０は、車両２００の自己位置と重畳先位置との勾配情報に基づいて、勾配補正を実施するか否かを判定してもよい。例えば、勾配補正処理装置６０は、車両２００の自己位置と重畳先位置との勾配比に基づいて、勾配補正を実施するか否かを判定してもよい。
（他の実施形態）
　以上のように、本出願において開示する技術の例示として、上記実施形態を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施形態にも適用可能である。そこで、以下、他の実施形態を例示する。
　上記実施形態では、投影装置１０、情報取得装置２０、表示処理装置３０、姿勢検出装置４０、補正処理装置５０、及び勾配補正処理装置６０がそれぞれ別個の装置である場合を例示した。しかし、複数の装置が一つの装置として一体的に形成されてもよい。例えば、表示処理装置３０と補正処理装置５０が一つの装置として一体的に形成されてもよい。情報取得装置２０と表示処理装置３０とが一つの装置として一体的に形成されてもよい。姿勢検出装置４０と補正処理装置５０が一つの装置として一体的に形成されてもよい。表示処理装置３０と勾配補正処理装置６０が一つの装置として一体的に形成されてもよい。補正処理装置５０と勾配補正処理装置６０が一つの装置として一体的に形成されてもよい。別個に形成された装置は、有線又は無線により互いに通信可能に接続される。なお、投影装置１０、情報取得装置２０、表示処理装置３０、姿勢検出装置４０、補正処理装置５０、及び勾配補正処理装置６０の全てが一つの装置として形成されてもよい。この場合、通信部３１，５１，６１はなくてもよい。
　上記実施形態では、情報取得装置２０がＧＰＳモジュール２１を含む例について説明した。しかし、情報取得装置２０は、車両２００から周囲の対象物までの距離と方向を計測する距離センサを含んでもよく、計測した距離と方向を示す距離情報を表示処理装置３０に出力してもよい。情報取得装置２０は、車両２００の速度を検出する車速センサを含んでもよいし、ナビゲーションシステムを含んでもよい。情報取得装置２０は、ＧＰＳモジュール２１、距離センサ、及びカメラ、画像処理装置、加速度センサ、レーダー、音波センサ、及びＡＤＡＳ（Advanced Driver-Assistance Systems）の白線検知装置などのうち、１つ以上を含んでもよい。この場合、情報取得装置２０としての機能を有するＧＰＳモジュール２１、距離センサ、及びカメラなどは、一つの装置に内蔵されてもよいし、個別に車両２００に取り付けられてもよい。
　上記実施形態では、姿勢検出装置４０がジャイロセンサ４１を含む例について説明した。しかし、姿勢検出装置４０は、車両２００の加速度を検出する加速度センサを含んでもよく、検出した加速度を姿勢変動情報として出力してもよい。姿勢検出装置４０は、路面からの高さを検出する車高センサを含んでもよく、検出した高さを姿勢変動情報として出力してもよい。姿勢検出装置４０は、他の公知のセンサを含んでもよい。姿勢検出装置４０は、ジャイロセンサ４１、加速度センサ、及び車速センサなどのうちの１つ以上を含んでもよい。この場合、姿勢検出装置４０としての機能を有するジャイロセンサ４１、加速度センサ、及び車高センサなどは、一つの装置に内蔵されてもよいし、個別に車両２００に取り付けられてもよい。
　上記実施形態では、補正重複量設定部６２ｂは、勾配補正処理装置６０に含まれる例について説明したが、これに限定されない。補正重複量設定部は、表示処理装置３０に含まれてもよい。あるいは、補正重複量設定部は、補正処理装置５０に含まれてもよい。
　図１０は、変形例の表示システム１００Ａの内部構成を示すブロック図を示している。図１０に示す表示システム１００Ａにおいては、補正重複量設定部５２ｃは、補正処理装置５０に含まれている。表示システム１００Ａにおいては、表示処理装置３０は、勾配補正処理装置６０によって算出された勾配情報を補正処理装置５０に出力する。勾配情報は、例えば、勾配補正量算出地点の路面傾きの情報を含む。補正重複量設定部５２ｃは、勾配情報に基づいて補正重複量Ｃ５を設定し、補正重複量Ｃ５を補正量算出部５２ｂに出力する。補正量算出部５２ｂは、振動補正量Ｃ３から補正重複量Ｃ５を減算し、減算した振動補正量を表示処理装置３０に出力する。このような構成においても、振動補正処理と勾配補正処理とが重複して実施されることによる過補正を抑制することができ、虚像Ｉｖの表示位置の補正精度の低下を抑制することができる。
　上記実施形態では、表示制御部３２は、総補正量Ｃ６を「振動補正量Ｃ３＋勾配補正量Ｃ４－補正重複量Ｃ５」により算出する例について説明したが、これに限定されない。表示制御部３２は、補正重複量Ｃ５を調整して総補正量Ｃ６を算出してもよい。例えば、表示制御部３２は、補正重複量Ｃ５に補正係数αを用いて補正重複量Ｃ５を調整してもよい。一例として、表示制御部３２は、総補正量Ｃ６を「振動補正量Ｃ３＋勾配補正量Ｃ４－補正重複量Ｃ５×補正係数α」により算出してもよい。
　上記実施形態では、移動体が、自動車などの車両２００である場合について説明した。しかし、移動体は車両２００に限らない。移動体は、地上を走行する乗り物であってもよく、例えば、列車又はオートバイであってもよい。移動体は、自動運転で走行することができる無人機であってもよい。
　上記実施形態では、移動体の前方に像を表示する場合について説明した。しかし、像を表示する位置は、前方に限らない。例えば、像は、移動体の側面方向や後方に表示されてもよい。
　上記実施形態では、表示システム１００がＨＵＤシステムである例について説明した。しかし、表示システム１００はＨＵＤシステムでなくてもよい。表示システム１００は、投影装置１０に代えて、液晶ディスプレイ又は有機ＥＬディスプレイを備えてもよい。表示システム１００は、スクリーン及びプロジェクタを含んでもよい。
（実施形態の概要）
　（１）本開示の表示システムは、移動体の位置を取得する情報取得装置と、情報取得装置が取得した情報に基づいて、像の表示を制御する表示処理装置と、移動体の姿勢変動を検出する姿勢検出装置と、移動体の姿勢変動に基づいて像の表示位置の第１補正量を設定する補正処理装置と、移動体の位置および像の表示方向の実景に対して像を重畳させる重畳先位置の勾配情報に基づいて像の表示位置の第２補正量を設定する勾配補正処理装置と、第１補正量と第２補正量とで重複する補正重複量を設定する補正重複量設定部と、を備え、表示処理装置は、第１補正量、第２補正量及び補正重複量に基づいて、像の表示を制御する。これにより、像の表示位置の位置ずれを抑制することができる。
　（２）（１）の表示システムにおいて、補正重複量設定部は、第２補正量を算出したときの移動体の位置の路面の傾きに基づいて補正重複量を設定してもよい。
　（３）（１）の表示システムにおいて、勾配補正処理装置は、勾配情報に基づいて、第２補正量を用いた勾配補正を実施するか否かを判定してもよい。
　（４）（３）の表示システムにおいて、勾配補正処理装置は、移動体の位置と重畳先位置との勾配差を算出し、勾配差が閾値以上であるとき、勾配補正を実施してもよい。
　（５）（３）又は（４）の表示システムにおいて、補正重複量設定部は、勾配補正を実施している間の第１補正量に基づいて補正重複量を設定してもよい。
　（６）（１）～（５）の表示システムにおいて、移動体の位置の勾配情報は、移動体の位置の周囲における複数の位置の高度情報に基づいて算出された勾配の情報を含み、重畳先位置の勾配情報は、重畳先位置の周囲における複数の位置の高度情報に基づいて算出された勾配の情報を含んでもよい。
　（７）（１）～（６）の表示システムにおいて、補正重複量設定部は、補正係数によって補正重複量を調整してもよい。
　（８）（１）～（７）の表示システムにおいて、像を表す光を投影する投影装置をさらに含んでもよい。
　（９）（１）～（８）の表示システムにおいて、移動体は、車両であり、像は、車両のフロントガラスの前方に表示される虚像であってもよい。
　本開示は、虚像をフロントガラスの前方に表示する表示システムに適用可能である。
　　１０　　　投影装置
　　２０　　　情報取得装置
　　２１　　　ＧＰＳモジュール
　　３０　　　表示処理装置
　　３１　　　通信部
　　３２　　　表示制御部
　　３３　　　記憶部
　　４０　　　姿勢検出装置
　　４１　　　ジャイロセンサ
　　５０　　　補正処理装置
　　５１　　　通信部
　　５２　　　補正制御部
　　５２ａ　　ずれ量算出部
　　５２ｂ　　補正量算出部
　　５２ｃ　　補正重複量設定部
　　６０　　　勾配補正処理装置
　　６１　　　通信部
　　６２　　　勾配補正制御部
　　６２ａ　　勾配補正量算出部
　　６２ｂ　　補正重複量設定部
　　６３　　　記憶部
　　１００　　表示システム
　　２００　　車両
　　２１０　　フロントガラス
　　２２０　　表示領域

Claims (9)

  1. 　移動体の位置を取得する情報取得装置と、
    　前記情報取得装置が取得した情報に基づいて、像の表示を制御する表示処理装置と、
    　前記移動体の姿勢変動を検出する姿勢検出装置と、
    　前記移動体の姿勢変動に基づいて前記像の表示位置の第１補正量を設定する補正処理装置と、
    　前記移動体の位置および前記像の表示方向の実景に対して前記像を重畳させる重畳先位置の勾配情報に基づいて前記像の表示位置の第２補正量を設定する勾配補正処理装置と、
    　前記第１補正量と前記第２補正量とで重複する補正重複量を設定する補正重複量設定部と、
    を備え、
    　前記表示処理装置は、前記第１補正量、前記第２補正量及び前記補正重複量に基づいて、前記像の表示を制御する、
    　表示システム。
  2. 　前記補正重複量設定部は、前記第２補正量を算出したときの前記移動体の位置の路面の傾きに基づいて前記補正重複量を設定する、
    　請求項１に記載の表示システム。
  3. 　前記勾配補正処理装置は、前記勾配情報に基づいて、前記第２補正量を用いた勾配補正を実施するか否かを判定する、
    　請求項１に記載の表示システム。
  4. 　前記勾配補正処理装置は、
    　　前記移動体の位置と前記重畳先位置との勾配差を算出し、
    　　前記勾配差が閾値以上であるとき、前記勾配補正を実施する、
    請求項３に記載の表示システム。
  5. 　前記補正重複量設定部は、前記勾配補正を実施している間の前記第１補正量に基づいて前記補正重複量を設定する、
    　請求項３又は４に記載の表示システム。
  6. 　前記移動体の位置の勾配情報は、前記移動体の位置の周囲における複数の位置の高度情報に基づいて算出された勾配の情報を含み、
    　前記重畳先位置の勾配情報は、前記重畳先位置の周囲における複数の位置の高度情報に基づいて算出された勾配の情報を含む、
    請求項１～５のいずれか一項に記載の表示システム。
  7. 　前記補正重複量設定部は、補正係数によって前記補正重複量を調整する、
    　請求項１～６のいずれか一項に記載の表示システム。
  8. 　前記像を表す光を投影する投影装置をさらに含む、
    　請求項１～７のいずれか一項に記載の表示システム。
  9. 　前記移動体は、車両であり、
    　前記像は、車両のフロントガラスの前方に表示される虚像である、
    　請求項１～８のいずれか一項に記載の表示システム。
PCT/JP2020/007110 2019-05-22 2020-02-21 表示システム WO2020235160A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2021520052A JP7417907B2 (ja) 2019-05-22 2020-02-21 表示システム
US17/472,966 US11875760B2 (en) 2019-05-22 2021-09-13 Display system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-096324 2019-05-22
JP2019096324 2019-05-22

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/472,966 Continuation US11875760B2 (en) 2019-05-22 2021-09-13 Display system

Publications (1)

Publication Number Publication Date
WO2020235160A1 true WO2020235160A1 (ja) 2020-11-26

Family

ID=73458529

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/007110 WO2020235160A1 (ja) 2019-05-22 2020-02-21 表示システム

Country Status (3)

Country Link
US (1) US11875760B2 (ja)
JP (1) JP7417907B2 (ja)
WO (1) WO2020235160A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2020241094A1 (ja) * 2019-05-31 2020-12-03

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010156608A (ja) * 2008-12-26 2010-07-15 Toshiba Corp 車載用表示システム及び表示方法
JP2010256878A (ja) * 2009-03-30 2010-11-11 Equos Research Co Ltd 情報表示装置
KR20170057892A (ko) * 2015-11-17 2017-05-26 현대오트론 주식회사 헤드업 디스플레이의 표시 제어 장치 및 방법
KR20170065082A (ko) * 2015-12-02 2017-06-13 현대오트론 주식회사 헤드업 디스플레이를 이용한 안전 운전정보 표시장치 및 그 제어방법
JP2018167669A (ja) * 2017-03-29 2018-11-01 日本精機株式会社 ヘッドアップディスプレイ装置
JP2018189590A (ja) * 2017-05-10 2018-11-29 パナソニックＩｐマネジメント株式会社 表示装置及び表示制御方法
JP2019059247A (ja) * 2016-03-25 2019-04-18 マクセル株式会社 ヘッドアップディスプレイ装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6201690B2 (ja) 2013-11-28 2017-09-27 日本精機株式会社 車両情報投影システム
US20160216521A1 (en) * 2013-10-22 2016-07-28 Nippon Seiki Co., Ltd. Vehicle information projection system and projection device
WO2017134865A1 (ja) * 2016-02-05 2017-08-10 日立マクセル株式会社 ヘッドアップディスプレイ装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010156608A (ja) * 2008-12-26 2010-07-15 Toshiba Corp 車載用表示システム及び表示方法
JP2010256878A (ja) * 2009-03-30 2010-11-11 Equos Research Co Ltd 情報表示装置
KR20170057892A (ko) * 2015-11-17 2017-05-26 현대오트론 주식회사 헤드업 디스플레이의 표시 제어 장치 및 방법
KR20170065082A (ko) * 2015-12-02 2017-06-13 현대오트론 주식회사 헤드업 디스플레이를 이용한 안전 운전정보 표시장치 및 그 제어방법
JP2019059247A (ja) * 2016-03-25 2019-04-18 マクセル株式会社 ヘッドアップディスプレイ装置
JP2018167669A (ja) * 2017-03-29 2018-11-01 日本精機株式会社 ヘッドアップディスプレイ装置
JP2018189590A (ja) * 2017-05-10 2018-11-29 パナソニックＩｐマネジメント株式会社 表示装置及び表示制御方法

Also Published As

Publication number Publication date
JPWO2020235160A1 (ja) 2020-11-26
US20210407466A1 (en) 2021-12-30
US11875760B2 (en) 2024-01-16
JP7417907B2 (ja) 2024-01-19

Similar Documents

Publication Publication Date Title
US8558758B2 (en) Information display apparatus
WO2019106941A1 (ja) 虚像表示装置
WO2019106942A1 (ja) 虚像表示装置
US11305692B2 (en) Display system
JP7411915B2 (ja) 表示システム、表示装置、及び表示制御方法
US11945309B2 (en) Display system
US20220028307A1 (en) Gradient change detection system, display system using same, and storage medium that stores program for moving body
WO2020235160A1 (ja) 表示システム
JP7057327B2 (ja) 表示制御装置
WO2019168157A1 (ja) 表示システム
WO2020208883A1 (ja) 表示システム
JP2020179745A (ja) 表示システム
JP7394306B2 (ja) 表示システム、表示装置、及び表示制御方法
WO2020032189A1 (ja) 表示システム
JP7120982B2 (ja) 表示制御装置
US11982817B2 (en) Display system
WO2020241094A1 (ja) 表示システム
WO2021251116A1 (ja) 表示システム
WO2019230198A1 (ja) 位置調整装置およびそれを備えた投影システム
WO2021251117A1 (ja) 表示システム、及び、振動検出システム
JP2021072455A (ja) 投影システム
US20230162634A1 (en) Image display system

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20809527

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021520052

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20809527

Country of ref document: EP

Kind code of ref document: A1