WO2020241094A1 - 表示システム - Google Patents

表示システム Download PDF

Info

Publication number
WO2020241094A1
WO2020241094A1 PCT/JP2020/016455 JP2020016455W WO2020241094A1 WO 2020241094 A1 WO2020241094 A1 WO 2020241094A1 JP 2020016455 W JP2020016455 W JP 2020016455W WO 2020241094 A1 WO2020241094 A1 WO 2020241094A1
Authority
WO
WIPO (PCT)
Prior art keywords
reference position
display
vehicle
correction
amount
Prior art date
Application number
PCT/JP2020/016455
Other languages
English (en)
French (fr)
Inventor
智司 松井
範一 勝山
Original Assignee
パナソニックＩｐマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックＩｐマネジメント株式会社 filed Critical パナソニックＩｐマネジメント株式会社
Priority to EP20813893.3A priority Critical patent/EP3978290A4/en
Priority to JP2021522690A priority patent/JP7535758B2/ja
Publication of WO2020241094A1 publication Critical patent/WO2020241094A1/ja
Priority to US17/533,751 priority patent/US11945310B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/60—Instruments characterised by their location or relative disposition in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/22—Display screens
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/23—Head-up displays [HUD]
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3185—Geometric adjustment, e.g. keystone or convergence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191—Testing thereof
    • H04N9/3194—Testing thereof including sensor feedback
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/149—Instrument input by detecting viewing direction not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/166—Navigation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/40—Hardware adaptations for dashboards or instruments
    • B60K2360/48—Sensors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/80—Arrangements for controlling instruments
    • B60K35/81—Arrangements for controlling instruments for controlling displays
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2200/00—Type of vehicle
    • B60Y2200/10—Road Vehicles
    • B60Y2200/11—Passenger cars; Automobiles
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0141—Head-up displays characterised by optical features characterised by the informative content of the display
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0183—Adaptation to parameters characterising the motion of the vehicle
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B2027/0192—Supplementary details
    • G02B2027/0198—System for aligning or maintaining alignment of an image in a predetermined direction
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0464—Positioning
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0464—Positioning
    • G09G2340/0471—Vertical positioning
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00—Specific applications
    • G09G2380/10—Automotive applications

Definitions

  • the present disclosure relates to a display system that controls the display position of an image according to the movement of a moving body.
  • Patent Document 1 discloses a vehicle information projection system that performs augmented reality (AR) display using a head-up display (HUD) device.
  • the HUD device projects a light representing a virtual image onto the windshield of the vehicle so that a viewer who is a occupant of the vehicle can see the virtual image together with the actual view of the outside world of the vehicle.
  • a virtual image representing a vehicle guidance route is displayed in association with a display target (for example, a road) in the actual scene.
  • a display target for example, a road
  • the vehicle information projection system of Patent Document 1 includes a vehicle speed sensor and corrects a virtual image display position according to acceleration. As a result, it is possible to prevent the virtual image from being displaced during sudden deceleration and sudden acceleration of the vehicle.
  • the misalignment of the image may occur not only when the vehicle is suddenly decelerated or accelerated, but also when it is stopped, for example. This is because the posture of the vehicle changes according to the number of passengers in the vehicle, the load state of luggage, and the amount of fuel in the fuel tank.
  • the present disclosure provides a display system that suppresses image misalignment.
  • the display system of the present disclosure includes a posture detection device that detects the amount of posture fluctuation of a moving body, and A posture estimation unit that estimates the posture state of the moving body based on the posture fluctuation amount, A reference position setting device that sets a reference position of an image based on the posture state, and A correction processing device that sets a correction amount for the display position of the image based on the posture fluctuation amount, and A display processing device that controls the display position of the image based on the reference position, the correction amount, and the timing command is provided.
  • the display system of the present disclosure it is possible to provide a display system that suppresses image misalignment.
  • a diagram for explaining a head-up display Block diagram showing the internal configuration of the display system according to the first embodiment
  • AR augmented reality
  • the figure which shows the display example of the virtual image after correction Flowchart showing display processing in the first embodiment
  • Flow chart showing correction processing in the first embodiment A flowchart showing a reference position calculation process in the first embodiment
  • Explanatory drawing showing an example of resetting the correction amount to zero Block diagram showing the internal configuration of the display system according to the second embodiment
  • a flowchart showing a reference position calculation process in the second embodiment A flowchart showing a reference position calculation process in the second embodiment
  • Explanatory drawing showing an example of reducing the magnitude of the correction amount over a certain period of time A flowchart showing a reference position calculation process in the third embodiment
  • the main causes of the misalignment of the image are the unevenness of the runway, vibration due to suspension, entry into the slope and exit from the slope, but in addition to this, the posture of the stationary vehicle due to the loading condition of the vehicle.
  • the loading state of the vehicle changes, for example, depending on the number of passengers, the amount of fuel in the fuel tank, and the weight of the loaded luggage. By changing these states, the posture of the vehicle in the stationary state changes, and the reference position for displaying the image shifts. Therefore, even if the correction caused by the vibration is performed in the running state, the misalignment will occur.
  • the display system of the present disclosure corrects the deviation of the reference position of the image in the stationary state of the vehicle together with the correction of the deviation by the vibration correction during traveling. As a result, the deviation of the reference position of the image can be corrected without being noticeable to the driver.
  • the moving body is a vehicle such as an automobile and the display system is a head-up display (HUD) system that displays a virtual image as an image in front of the windshield of the vehicle will be described as an example.
  • HUD head-up display
  • FIG. 1 is a diagram for explaining a HUD system.
  • the roll axis of the vehicle 200 is the X axis
  • the pitch axis of the vehicle 200 is the Y axis
  • the yaw axis of the vehicle 200 is the Z axis. That is, the X-axis is an axis orthogonal to the Y-axis and the Z-axis and along the line-of-sight direction of the occupant D who visually recognizes the virtual image Iv.
  • the Y-axis is an axis along the left-right direction when viewed from the occupant D who visually recognizes the virtual image Iv.
  • the Z-axis is an axis along the height direction of the vehicle 200.
  • the display system 100 of the present embodiment is a HUD system that performs so-called augmented reality (AR) display by superimposing a virtual image Iv on the actual view in front of the windshield 210 of the vehicle 200.
  • the virtual image Iv indicates predetermined information.
  • the virtual image Iv is a figure and a character indicating a route for guiding to a destination, an estimated time of arrival at the destination, a traveling direction, a speed, various warnings, and the like.
  • the display system 100 is installed in the vehicle 200 and projects the display light Lc representing the virtual image Iv into the display area 220 of the windshield 210 of the vehicle 200.
  • the display area 220 is a part of the windshield 210.
  • the display area 220 may be the entire area of the windshield 210.
  • the indicator light Lc is reflected in the vehicle interior direction by the windshield 210. As a result, the occupant (viewer) D in the vehicle 200 visually recognizes the reflected display light Lc as a virtual image Iv in front of the vehicle
  • the display system 100 includes a projection device 10, an information acquisition device 20, a display processing device 30, a posture detection device 40, a vibration correction processing device 50, and a reference position setting device 60.
  • the projection device 10 projects the display light Lc representing the virtual image Iv into the display area 220.
  • the projection device 10 is, for example, a liquid crystal display element for displaying an image of a virtual image Iv, a light source such as an LED for illuminating the liquid crystal display element, a mirror and a lens for reflecting the display light Lc of the image displayed by the liquid crystal display element on the display area 220. And so on.
  • the projection device 10 is installed, for example, in the dashboard of the vehicle 200.
  • the information acquisition device 20 acquires information on the position of the vehicle and the outside of the vehicle. Specifically, the information acquisition device 20 measures the position of the vehicle 200 and generates position information indicating the position. The information acquisition device 20 further acquires information outside the vehicle indicating the object and the distance to the object. Objects are people, signs, roads, and so on. The information acquisition device 20 outputs vehicle-related information including at least one of the position information and the outside information of the vehicle 200.
  • the display processing device 30 controls the display of the virtual image Iv based on the vehicle-related information obtained from the information acquisition device 20, and outputs the image data of the virtual image Iv to the projection device 10.
  • the display processing device 30 may control the display of the virtual image Iv based on the display timing (display time) of the virtual image Iv or the combination of the vehicle-related information and the display timing.
  • the display timing is, for example, repeating display for 10 seconds and non-display for 1 second.
  • the posture detection device 40 detects the posture change of the vehicle 200.
  • the vibration correction processing device 50 calculates the correction amount of the display position of the virtual image Iv based on the posture change of the vehicle 200 detected by the posture detection device 40.
  • the reference position setting device 60 estimates the vehicle attitude based on the attitude change of the vehicle 200 detected by the attitude detection device 40, and calculates the reference position of the display position of the virtual image Iv.
  • FIG. 2 is a block diagram showing the internal configuration of the display system 100.
  • the information acquisition device 20 includes a GPS (Global Positioning System) module 21 that detects a position indicating the current location of the vehicle 200 in the geographic coordinate system. Specifically, the GPS module 21 receives radio waves from GPS satellites and positions the latitude and longitude of the received points. The GPS module 21 generates position information indicating the measured latitude and longitude.
  • the information acquisition device 20 further includes a camera 22 that captures an outside scene and generates imaging data.
  • the information acquisition device 20 identifies an object from the captured data by image processing, for example, and measures the distance to the object.
  • the information acquisition device 20 generates information indicating the object and the distance to the object as outside information.
  • the information acquisition device 20 outputs vehicle-related information including position information and outside vehicle information to the display processing device 30.
  • the imaging data generated by the camera 22 may be output to the display processing device 30.
  • the information acquisition device 20 further includes a vehicle speed sensor 23 that detects the speed of the vehicle 200.
  • the display processing device 30 includes a communication unit 31, a display control unit 32, and a storage unit 33.
  • the communication unit 31 is a predetermined communication standard (for example, LAN, Wi-Fi (registered trademark), Bluetooth (registered trademark), USB, HDMI (registered trademark), CAN (controller area network), SPI (Serial Peripheral Interface)). Includes a circuit that communicates with external devices in accordance with.
  • LAN local area network
  • Wi-Fi registered trademark
  • Bluetooth registered trademark
  • USB USB
  • HDMI registered trademark
  • CAN controller area network
  • SPI Serial Peripheral Interface
  • the display control unit 32 can be realized by a semiconductor element or the like.
  • the display control unit 32 can be composed of, for example, a microcomputer, a CPU, an MPU, a GPU, a DSP, an FPGA, and an ASIC.
  • the function of the display control unit 32 may be configured only by hardware, or may be realized by combining hardware and software.
  • the display control unit 32 realizes a predetermined function by reading data or a program stored in the storage unit 33 and performing various arithmetic processes.
  • the storage unit 33 is a storage medium that stores programs and data necessary for realizing the functions of the display processing device 30.
  • the storage unit 33 can be realized by, for example, a hard disk (HDD), SSD, RAM, DRAM, ferroelectric memory, flash memory, magnetic disk, or a combination thereof.
  • a plurality of image data 33i representing a virtual image Iv are stored in the storage unit 33.
  • the display control unit 32 determines the virtual image Iv to be displayed based on the vehicle-related information obtained from the information acquisition device 20.
  • the display control unit 32 reads the image data 33i of the determined virtual image Iv from the storage unit 33 and outputs it to the projection device 10. Further, the display control unit 32 sets the display position of the virtual image Iv.
  • the display control unit 32 outputs display information indicating whether or not the virtual image Iv is displayed or whether or not the virtual image Iv is being displayed to the vibration correction processing device 50.
  • the attitude detection device 40 includes, for example, a gyro sensor 41 that detects angular velocities (roll angular velocity, pitch angular velocity, yaw angular velocity) of each of the three axes of X, Y, and Z, and an acceleration sensor in each of the three axes of X, Y, and Z. It includes 42 and a vehicle height sensor 43 that detects the height of the vehicle 200 from the road surface. Vibration correction processing is performed using the detected angular velocity by the gyro sensor 41, the detected acceleration by the acceleration sensor 42, and the detected vehicle height by the vehicle height sensor 43 as attitude change information (attitude change amount) indicating the attitude change of the vehicle 200.
  • attitude change information attitude change amount
  • the attitude detection device 40 may include other known sensors.
  • the gyro sensor 41, the acceleration sensor, the vehicle height sensor 43, and the like having a function as the attitude detection device 40 may be built in one device or may be individually attached to the vehicle 200. Further, the gyro sensor 41 may directly detect the roll angle, pitch angle, and yaw angle, or the posture detection device 40 has a calculation unit, and the calculation unit integrates the angular velocity information detected by the gyro sensor 41. It may be output as angle information.
  • the vibration correction processing device 50 includes a communication unit 51, a correction control unit 52, and a storage unit 53.
  • the communication unit 51 has the same configuration as the communication unit 31.
  • the correction control unit 52 is an arithmetic unit that can be realized by a semiconductor element or the like.
  • the correction control unit 52 can be composed of, for example, a microcomputer, a CPU, an MPU, a GPU, a DSP, an FPGA, and an ASIC.
  • the correction control unit 52 realizes a predetermined function by reading data and a program stored in the storage unit 53 in the vibration correction processing device 50 and performing various arithmetic processes.
  • the function of the correction control unit 52 may be configured only by hardware, or may be realized by combining hardware and software.
  • the correction control unit 52 includes a deviation amount calculation unit 52a, a correction amount calculation unit 52b, and a determination unit 52c as functional configurations.
  • the deviation amount calculation unit 52a calculates the attitude (angle deviation amount) of the vehicle 200 based on the attitude fluctuation information output by the attitude detection device 40.
  • the amount of deviation indicates the amount of change in posture from the posture state that is the reference of the moving body.
  • the reference posture state of the moving body is, for example, a stationary vehicle state placed in a horizontal state.
  • the deviation amount calculation unit 52a calculates the angle (pitch angle) around the pitch axis of the vehicle 200 by integrating the angular velocity detected by the gyro sensor 41. Thereby, the deviation amount (angle) of the vehicle 200 in the rotation direction about the Y axis (pitch axis) shown in FIG. 1 can be calculated.
  • the yaw angle or roll angle may be calculated, and for example, all angles around the X-axis, Y-axis, and Z-axis may be calculated.
  • the pitch angle, the yaw angle, and the roll angle are each 0 °.
  • the posture of the vehicle 200 that is, the amount of deviation, which is an angle with respect to the three axial directions, is calculated.
  • the posture detection device 40 outputs the roll angle, pitch angle, and yaw angle, these values are processed as the deviation amount.
  • the correction amount calculation unit 52b calculates the correction amount of the display position of the virtual image Iv according to the posture change (angle deviation amount) of the vehicle 200. Specifically, the correction amount calculation unit 52b converts the deviation amount of the angle (pitch angle) calculated by the deviation amount calculation unit 52a into the number of pixels, and the number of pixels for the deviation (hereinafter, “the number of deviation pixels”). ”) Is determined so as to restore the original amount. For example, the deviation amount calculation unit 52a determines a correction amount that restores the deviation amount of the pitch angle. The correction amount calculation unit 52b outputs the calculated correction amount to the display processing device 30.
  • the determination unit 52c determines whether or not to reset the correction amount to zero based on the attitude change (angle deviation amount) of the vehicle 200 and the display information of the display processing device. When the determination unit 52c determines that the correction amount is reset to zero, for example, when a large amplitude that does not correspond to the correction occurs, when turning left or right, when there is a large change in the yaw direction due to curve running, or when entering or exiting a slope. is there. The determination unit 52c compares the magnitude relationship between the predetermined threshold value and the output of the posture detection device 40 or the result of arithmetic processing of the output of the posture detection device 40 (hereinafter referred to as the fluctuation amount X) to correct the amount. Determines whether to reset to zero. Further, the determination unit 52c determines that the correction amount is reset to zero even when the virtual image is hidden. When the virtual image Iv is hidden, a signal indicating that is sent from the display control unit 32 to the correction control unit 52A.
  • the calculation processing of the output of the posture detection device 40 may be performed by the deviation amount calculation unit 52a or the determination unit 52c of the posture detection device 40 or the vibration correction processing device 50, or another configuration.
  • the amount of fluctuation X is, for example, the amount of change in the angle obtained by integrating the angular velocity detected by the gyro sensor 41 over a certain period of time.
  • the determination unit 52c outputs, for example, Boolean type binarized data as a determination flag. If the fluctuation amount X is equal to or less than the first threshold value, it is TRUE, and if the fluctuation amount X is larger than the first threshold value, it is FALSE.
  • the determination unit 52c is not limited to the Boolean type, but may be an integer type, or may output other than that.
  • the storage unit 53 is a storage medium that stores programs and data necessary for realizing the functions of the correction control unit 52. Therefore, for example, a program and data necessary for making an arithmetic unit such as a processor function as the determination unit 52c are also stored in the storage unit 53.
  • the storage unit 53 can be realized by, for example, a hard disk (HDD), SSD, RAM, DRAM, ferroelectric memory, flash memory, magnetic disk, or a combination thereof.
  • the reference position setting device 60 includes a communication unit 61, a reference position calculation processing unit 62, and a storage unit 63.
  • the communication unit 61 has the same configuration as the communication units 31 and 51.
  • the communication unit 61 can communicate with the communication unit 31 via the communication unit 51, but may directly communicate with the communication unit 31.
  • the reference position calculation processing unit 62 is a calculation device that can be realized by a semiconductor element or the like.
  • the reference position calculation processing unit 62 can be composed of, for example, a microcomputer, a CPU, an MPU, a GPU, a DSP, an FPGA, and an ASIC.
  • the reference position calculation processing unit 62 realizes a predetermined function by reading data or a program stored in the storage unit 63 in the reference position setting device 60 and performing various calculation processes.
  • the function of the reference position calculation processing unit 62 may be configured only by hardware, or may be realized by combining hardware and software.
  • the reference position calculation processing unit 62 includes a vehicle posture estimation unit 62a and a reference position calculation unit 62b as a functional configuration.
  • the vehicle attitude estimation unit 62a estimates the amount of deviation from the reference vehicle attitude at rest based on the attitude change information of the vehicle 200 sent from the attitude detection device 40. For example, the amount of deviation in the pitch direction of the front end of the vehicle 200 is estimated based on the amount of vehicle height from the vehicle height sensor 43. This amount of deviation is estimated, for example, as an amount of angle from a reference level. The estimated deviation amount of the vehicle posture is output to the reference position calculation unit 62b.
  • the reference position calculation unit 62b calculates the reference position for displaying the virtual image Iv based on the estimated deviation amount of the vehicle posture.
  • the reference position calculation unit 62b stores the calculated reference position of the virtual image Iv in the storage unit 63.
  • the reference position P0 may be set based on the vehicle-related information and the map data that can be acquired from the information acquisition device 20.
  • the storage unit 63 is a storage medium that stores programs and data necessary for realizing the functions of the reference position calculation processing unit 62. Therefore, for example, a program and data necessary for making an arithmetic unit such as a processor function as a reference position arithmetic processing unit 62 are also stored in the storage unit 63.
  • the storage unit 63 can be realized by, for example, a hard disk (HDD), SSD, RAM, DRAM, ferroelectric memory, flash memory, magnetic disk, or a combination thereof.
  • FIG. 3A shows an example when the vehicle 200 is not tilted.
  • FIG. 3B shows an example of an actual view seen from the windshield 210 of the vehicle 200 shown in FIG. 3A.
  • FIG. 3C shows an example of the virtual image Iv seen from the display area 220.
  • FIG. 3D shows an example in which the virtual image Iv shown in FIG. 3C is superposed on the actual scene shown in FIG. 3B.
  • the display system 100 superimposes the virtual image Iv shown in FIG. 3C on the actual scene shown in FIG. 3B.
  • the reference position (initial position) P0 of the virtual image Iv is a position determined based on the type of the virtual image Iv, the state (position and posture) of the vehicle 200, the map data, and the like, and the reference position P0 is the reference position setting. Determined by device 60.
  • the reference position P0 is the display position on the liquid crystal when the tip of the arrow points to the center of the traveling lane.
  • the reference position P0 is set, for example, in FIG. 3C at the position of the pixel on the liquid crystal display corresponding to the values of the Y coordinate and the Z coordinate in the display area 220.
  • the display processing device 30 may set the size of the virtual image Iv based on the vehicle-related information.
  • FIG. 4A shows an example of a state in which the vehicle 200 is in a backward leaning posture.
  • FIG. 4B illustrates a case where the display position of the virtual image Iv deviates from the display target 230 in response to the posture change of the vehicle 200.
  • FIG. 4C shows the display position of the corrected virtual image Iv.
  • the vehicle 200 may tilt due to unevenness of the road surface, sudden acceleration or deceleration of the vehicle 200, or the like. For example, when the vehicle 200 rides on the convex portion 303 of the road surface 301, the vehicle 200 is in a backward leaning posture as shown in FIG. 4A. In this case, as shown in FIG. 4B, the position of the display target 230 seen from the windshield 210 changes according to the inclination ⁇ 1 of the vehicle 200 with respect to the runway. Therefore, when the virtual image Iv is displayed at the reference position P0, the virtual image Iv deviates from the display target 230.
  • the display system 100 adjusts the display position of the virtual image Iv in the direction of returning the deviation according to the posture of the vehicle 200.
  • the correction amount C is calculated so that the vibration correction processing device 50 is at the position P1 where the display position does not shift due to the angle of the vehicle 200. That is, the display processing device 30 sets the display position of the virtual image Iv to "reference position P0 + correction amount C". As a result, the projection device 10 can display the virtual image Iv at the position P1 corresponding to the display target 230. In this way, even when the vehicle 200 is tilted, by changing the display position of the virtual image Iv from the reference position P0 based on the correction amount C, the virtual image Iv is moved to the position P1 corresponding to the display target 230 in the actual scene. Can be displayed.
  • the reference position P0 may change based on the number of occupants, the fluctuation of the load, and the fluctuation of the posture due to the decrease of gasoline, for example, it may be different from the reference position (initial position) calculated first. ..
  • the display system 100 of the present embodiment can update the reference position P0 by estimating the change in the vehicle posture of the vehicle 200 and calculating the reference position from the estimated change in the vehicle posture. it can.
  • FIG. 5 shows the display processing performed by the display control unit 32 of the display processing device 30.
  • the display process shown in FIG. 5 is started, for example, when the engine of the vehicle 200 is started, or when a button for instructing the display start of the virtual image Iv is operated.
  • the display control unit 32 acquires vehicle-related information from the information acquisition device 20 (S101).
  • the display control unit 32 determines the virtual image Iv to be displayed based on the vehicle-related information (S102).
  • the display control unit 32 receives the timing signal Fa3 for resetting the vibration correction from the vibration correction processing device 50, the display control unit 32 sets the reference position P0 of the virtual image Iv from the storage unit 63 of the reference position setting device 60 via the vibration correction processing device 50.
  • the reference position setting device 60 may transmit the reference position P0 directly from the storage unit 63 of the reference position setting device 60 to the display processing device 30.
  • the display control unit 32 uses the reference position P0 used last time.
  • the display control unit 32 acquires the correction amount C of the display position output from the vibration correction processing device 50 (S104).
  • the display control unit 32 causes the projection device 10 to display the virtual image Iv based on the reference position P0 and the correction amount C (S105). For example, the display control unit 32 reads the image data 33i of the virtual image Iv corresponding to the display target from the storage unit 33, sets the display position of the virtual image Iv to "reference position P0 + correction amount C", and outputs the image data to the projection device 10. To do.
  • the display control unit 32 determines whether or not to continue the display process (S106). For example, when the engine of the vehicle 200 is stopped, or when the button for instructing the end of the display of the virtual image Iv is operated, the display control unit 32 ends the display process. If the display process is to be continued, the process returns to step S101.
  • FIG. 6 shows the correction processing performed by the correction control unit 52 of the vibration correction processing device 50.
  • the correction process shown in FIG. 6 is started, for example, when the engine of the vehicle 200 is started, or when a button for instructing the start of displaying the virtual image Iv is operated.
  • the correction process of FIG. 6 is started together with the display process of FIG. 5, for example.
  • the correction process shown in FIG. 6 may be started when the button for instructing the start of the position correction of the virtual image Iv is operated.
  • the deviation amount calculation unit 52a acquires attitude fluctuation information indicating the angular velocity output from the gyro sensor 41 (S201).
  • the deviation amount calculation unit 52a calculates the attitude of the vehicle 200, that is, the deviation amount which is an angle with respect to the three axial directions, based on the acquired attitude change information (S202). Specifically, the deviation amount calculation unit 52a calculates the angle of the vehicle 200 by integrating the angular velocity.
  • the correction amount calculation unit 52b calculates the correction amount C of the display position of the virtual image Iv based on the deviation amount with respect to the three axial directions (S203).
  • the correction amount calculation unit 52b converts the deviation amount, which is the angle of the vehicle 200 with respect to the pitch angle and the yaw angle, into the number of pixels, and corrects the correction amount C so as to cancel the deviation amount indicated by the number of pixels. decide.
  • the correction amount C that cancels the deviation amount is determined while keeping the angle.
  • the amount of deviation at the time of zero reset is also referred to as an offset value.
  • the offset value is set in step S207 described later.
  • the initial value of the offset value is, for example, zero.
  • the deviation amount calculation unit 52a calculates "-current posture (angle) + offset value (angle)" in angle units and outputs the correction amount to the correction amount calculation unit 52b.
  • the calculation unit 52b may convert the input value into the number of pixels.
  • the deviation amount calculation unit 52a outputs the current posture (angle) to the correction amount calculation unit 52b, and after the correction amount calculation unit 52b converts the posture (angle) into the number of pixels, "-current deviation”. Amount (number of pixels) + offset value (number of pixels) "may be calculated.
  • the determination unit 52c of the correction control unit 52 determines whether or not the correction amount C is reset to zero (S204). When the determination unit 52c determines that the correction amount C is not reset to zero (No in S204), the correction amount calculation unit 52b outputs the calculated correction amount C to the display processing device 30 (S205). As a result, the virtual image Iv is displayed at the position indicated by "reference position P0 + correction amount C".
  • the vibration correction processing device 50 transmits the timing signal Fa3 for resetting the vibration correction to the reference position setting device 60 and the display processing device 30.
  • the correction control unit 52 resets the correction amount C to zero (S207).
  • the deviation amount calculation unit 52a outputs the correction amount calculation unit 52b to the angle indicated by "-posture (angle) + offset value (angle)", that is, 0 degree.
  • the correction control unit 52 determines whether or not to continue the correction process (S206). For example, when the engine of the vehicle 200 is stopped, or when the button for instructing the end of the display of the virtual image Iv is operated, the correction control unit 52 ends the correction process. If the correction process is to be continued, the process returns to step S201. After returning to step S201, the offset value set in the previous step S207 is used in the calculation of the correction amount in the next S203.
  • FIG. 7 shows calculation processing performed by the reference position calculation processing unit 62 of the reference position setting device 60.
  • the arithmetic processing shown in FIG. 7 is started, for example, when the engine of the vehicle 200 is started, or when a button for instructing the start of displaying the virtual image Iv is operated.
  • the arithmetic processing of FIG. 7 is started together with, for example, the display processing of FIG. 5 and the correction processing of FIG.
  • the vehicle attitude estimation unit 62a acquires the attitude change information output from the attitude detection device 40, estimates the vehicle attitude of the vehicle 200, and estimates the amount of attitude deviation from the reference position when stationary (S301).
  • the reference position calculation unit 62b calculates the reference position of the virtual image Iv based on the estimated posture deviation amount (S302).
  • the reference position calculation processing unit 62 determines whether or not the calculation of the reference position is completed (S303), and when the calculation of the reference position is completed by the reference position calculation unit 62b (Yes in S303), the calculation is performed.
  • the reference position P0 is held in the storage unit 63 as the reference position P0 to be updated (S304). Further, the reference position calculation processing unit 62 sets the updateable flag Fa2 of the reference position to ON (S305).
  • the reference position calculation processing unit 62 of the reference position setting device 60 Acquire the state of the vibration correction processing device 50 (S306).
  • the reference position calculation processing unit 62 receives the timing signal Fa3 for resetting the vibration correction from the correction control unit 52.
  • the reference position calculation processing unit 62 Upon receiving the timing signal Fa3 from the correction control unit 52, the reference position calculation processing unit 62 recognizes that the correction amount is reset (Yes in step S307), and the reference position calculation processing unit 62 further updates the updatable flag Fa2. Determines whether or not is in the ON state (S309).
  • the communication unit 61 displays the latest update reference position P0 held in the storage unit 63. It is transmitted to the device 30.
  • the display control unit 32 updates the reference position by displaying the virtual image Iv using the reference position P0 for updating (S310).
  • the updateable flag Fa2 of the reference position is set to OFF (S311).
  • the reference position calculation processing unit 62 determines whether or not to continue the calculation process of the reference position (S308). For example, when the engine of the vehicle 200 is stopped, or when the button for instructing the end of the display of the virtual image Iv is operated, the reference position calculation processing unit 62 ends the calculation process of the reference position. When continuing the calculation process of the reference position, the process returns to step S301. Further, the reference position calculation processing unit 62 proceeds to step S308 when the correction amount is not reset (No in step S307) or when it is determined that the updateable flag Fa2 is in the OFF state (No in S309).
  • FIG. 8 is a diagram showing the relationship between the reference position calculation timing, the reference position updateable flag, the vibration correction reset timing signal, and the reference position update timing.
  • FIG. 8A shows an example of the reference position calculation timing Fa1.
  • FIG. 8B shows the updatable flag Fa2 of the reference position.
  • FIG. 8C shows a timing signal Fa3 for resetting the vibration correction.
  • FIG. 8D is a diagram showing the update timing Fa4 of the reference position.
  • the reference position calculation unit 62b calculates the reference position P0 at any time if the vehicle 200 is in a state suitable for calculating the reference position.
  • the reference position P0 is calculated at the time points of T1, T2, T4, and T7.
  • the state of the vehicle 200 suitable for calculating the reference position is, for example, a state in which the vehicle 200 is stationary or a state in which the acceleration is within a predetermined threshold value. These states are determined by the vehicle attitude estimation unit 62a based on the information from the information acquisition device 20 and the attitude change information from the attitude detection device 40.
  • the reference position calculation unit 62b When the reference position calculation unit 62b completes the calculation of the reference position, the reference position calculation unit 62b turns on the updateable flag Fa2 of the reference position.
  • the vibration correction processing device 50 transmits a timing signal Fa3 for resetting the vibration correction to the reference position setting device 60 and the display processing device 30.
  • the time T3 when the updateable flag Fa2 is ON and the timing signal Fa3 is turned ON becomes the update timing Fa4 of the reference position.
  • the reference position setting device 60 transmits the reference position P0 for update to the display control unit 32.
  • the display control unit 32 corrects to the updated reference position P0 by displaying an image based on the reset correction amount, the update reference position P0 transmitted from the storage unit 63, and the timing signal Fa3. It is possible to display a virtual image whose quantity has been reset.
  • FIG. 9 is an explanatory diagram illustrating an example of resetting the correction amount to zero.
  • the display control unit 32 immediately resets the correction amount to zero. Since the reference position P0 is updated in accordance with this timing, it is possible to make the movement due to the update of the reference position inconspicuous to the driver.
  • the display system 100 of the present disclosure includes a posture detection device 40 that detects the posture fluctuation amount of the vehicle 200, a vehicle posture estimation unit 62a that estimates the posture state of the vehicle 200 based on the posture fluctuation amount, and a posture state.
  • the reference position setting device 60 for setting the reference position P0 of the virtual image Iv
  • the vibration correction processing device 50 for setting the correction amount of the display position of the virtual image Iv based on the posture fluctuation amount, and the reference position, the correction amount, and the vibration correction.
  • a display processing device 30 that controls the display position of the virtual image Iv based on the timing signal Fa3 that resets the image Iv is provided.
  • the deviation correction of the reference position of the virtual image Iv becomes inconspicuous to the driver and stress Can be reduced.
  • the display system 100 of the present embodiment further includes a projection device 10 that projects light representing a virtual image.
  • the moving body is a vehicle
  • the image is a virtual image displayed in front of the windshield of the vehicle.
  • step S210 the method of resetting the correction amount to zero is arbitrary.
  • the correction amount C is reset to zero by setting the deviation amount itself to zero. Specifically, when the vehicle attitude is calculated based on the output of the gyro sensor 41, the integrated amount of the angular velocity calculated by the deviation amount calculation unit 52a is reset to zero.
  • the reference position is updated instantly in accordance with the zero reset of the correction amount.
  • the update of the reference position is gradually brought closer to the update position as the correction amount is gradually reset over time.
  • FIG. 10 is a block diagram showing an internal configuration of the display system 100A according to the second embodiment.
  • the display system 100A according to the second embodiment includes a projection device 10, an information acquisition device 20, a display processing device 30, a vibration correction processing device 50A, a reference position setting device 60A, and a posture detection device 40.
  • the correction control unit 52A of the vibration correction processing device 50A in the second embodiment has a configuration in which the offset amount calculation unit 52d is added to the correction control unit 52 of the vibration correction processing device 50 in the first embodiment.
  • the reference position calculation processing unit 62A of the reference position setting device 60A in the second embodiment has a configuration in which the offset amount calculation unit 62c is added to the reference position calculation processing unit 62 of the reference position setting device 60 in the first embodiment. Is.
  • the reset time ⁇ t1 for resetting the correction amount is set in advance, and the offset amount Df1 in one sampling is calculated from the sampling cycle ts and the correction amount C1 at the start of reset.
  • Df1 C1 ⁇ ts / ⁇ t1.
  • the correction control unit 52A reduces the correction amount C1 by C1 ⁇ ts / ⁇ t1. For example, if the sampling period is 1/1000 [sec], the reset time ⁇ t1 is 1 [sec], and the correction amount C1 is 100 pixels, the correction amount is reduced by 0.1 pixel per sampling cycle.
  • the update time ⁇ t2 for bringing the reference position closer to the updated reference position P0 is set in advance, and may be the same as the reset time ⁇ t1 of the correction amount, or the reset time ⁇ t1. May be shorter than.
  • the timing signal Fa3 transmitted from the correction control unit 52 is a signal for starting the process of reducing the vibration correction amount by the offset amount Df1.
  • the reference position calculation processing unit 62A Upon receiving the timing signal Fa3 from the correction control unit 52, the reference position calculation processing unit 62A recognizes that the correction amount is reduced by a predetermined amount (Yes in step S307), and the reference position calculation processing unit 62A raises the updatable flag Fa2. Is determined to be in the ON state (Yes in S309), the offset amount calculation unit 62c calculates the offset amount B1 at the reference position via the reference numerals A in FIGS.
  • the vibration correction processing device 50A offsets the correction amount by the offset amount Df
  • the display control unit 32 changes the reference position P0 to the updated reference position P0 by the offset amount B1 (S312).
  • the reference position calculation processing unit 62A uses a counter to determine whether or not the update reference position has been reached from the number of times the offset amount B1 has been changed to the updated reference position P0 (S313).
  • the reference position calculation processing unit 62A When the reference position calculation processing unit 62A does not determine that the reference position to be updated has been reached (No in step S313), it is displayed again as the vibration correction processing device 50A offsets the correction amount by the offset amount Df.
  • the control unit 32 changes the reference position P0 to the updated reference position P0 by the offset amount B1.
  • the reference position calculation processing unit 62A determines that the reference position to be updated has been reached (Yes in step S313), the reference position calculation processing unit 62A turns off the updateable flag Fa2 (S314). After that, it is determined whether or not to continue the calculation process via the reference numerals B of FIGS. 11B and 11A (S308).
  • the position of the virtual image Iv gradually returns to the reference position P0. Since the position of the virtual image Iv does not suddenly change significantly, it is possible to prevent the occupant D from feeling uncomfortable with the change in the display position of the virtual image Iv. Further, the reference position setting device 60A gradually brings the reference position closer to the updated reference position as the vibration correction processing device 50A gradually resets the correction amount. As a result, it is possible to reduce the conspicuous update display of the reference position of the virtual image Iv.
  • the reference position is updated at the timing of resetting the correction amount to zero.
  • the reference position is updated at the timing of hiding the virtual image instead of the timing of resetting the correction amount to zero. Since this point and the configuration other than the points described below are common to the present embodiment and the first embodiment, detailed description thereof will be omitted.
  • FIG. 13 shows the calculation process performed by the reference position calculation processing unit 62 of the reference position setting device 60 in the third embodiment. Since steps S301 to S305 and S308 to S311 of the third embodiment are the same as those of the first embodiment, the description thereof will be omitted.
  • the reference position calculation processing unit 62 implements steps S301 to S303.
  • the reference position calculation processing unit 62 changes the state of the display processing device 30.
  • Acquire S321.
  • the reference position calculation processing unit 62 receives a display switching signal for switching the display / non-display state of the virtual image from the display control unit 32.
  • the display control unit 32 turns on the display switching signal, for example, when switching the virtual image to non-display.
  • the reference position calculation processing unit 62 When the reference position calculation processing unit 62 receives the display switching signal in the ON state from the display control unit 32, the reference position calculation processing unit 62 recognizes that the virtual image is switched to non-display (No in step S322), and the reference position calculation processing unit 62 further It is determined whether or not the updatable flag Fa2 is in the ON state (S309). When the reference position calculation processing unit 62 determines that the updatable flag Fa2 is in the ON state (Yes in S309), the communication unit 61 displays the latest update reference position P0 held in the storage unit 63. It is transmitted to the device 30. The display control unit 32 updates the reference position by displaying the virtual image Iv using the reference position P0 for updating (S310). When the reference position calculation processing unit 62 setting device 60 transmits the reference position P0 for update to the display processing device 30, the reference position calculation processing unit 62 sets the updateable flag Fa2 of the reference position to OFF (S311).
  • the reference position calculation processing unit 62 determines whether or not to continue the calculation process of the reference position (S308). When continuing the calculation process of the reference position, the process returns to step S301. Further, when the display control unit 32 displays the virtual image, that is, when the reference position calculation processing unit 62 recognizes that the virtual image is not hidden when the display switching signal is OFF (Yes in S322), the updatable flag When it is determined that Fa2 is in the OFF state (No in S309), the process proceeds to step S308.
  • the display device 30 can update the reference position P0.
  • the reference position P0 of the virtual image Iv with respect to the stationary state of the vehicle 200 can be updated at the timing when the virtual image Iv is hidden regardless of the zero reset operation of the correction amount of the vibration correction.
  • the deviation correction of the reference position of the virtual image Iv becomes inconspicuous to the driver, and stress can be reduced.
  • the case where the projection device 10, the information acquisition device 20, the display processing device 30, the posture detection device 40, the vibration correction processing device 50, and the reference position setting device 60 are separate devices is illustrated.
  • a plurality of devices may be integrally formed as one device.
  • the display processing device 30 and the vibration correction processing device 50 may be integrally formed as one device.
  • the information acquisition device 20 and the display processing device 30 may be integrally formed as one device.
  • the posture detection device 40 and the vibration correction processing device 50 may be integrally formed as one device.
  • the separately formed devices are communicatively connected to each other by wire or wirelessly.
  • the projection device 10, the information acquisition device 20, the display processing device 30, the posture detection device 40, the vibration correction processing device 50, and the reference position setting device 60 may all be formed as one device. In this case, the communication units 31, 51, 61 may not be provided.
  • the information acquisition device 20 may include a distance sensor that measures the distance and direction from the vehicle 200 to the surrounding object, and may output distance information indicating the measured distance and direction to the display processing device 30. ..
  • the information acquisition device 20 may include a navigation system.
  • the information acquisition device 20 includes one or more of the GPS module 21, the distance sensor, the camera 22, the image processing device, the acceleration sensor, the radar, the sound wave sensor, and the white line detection device of ADAS (Advanced Driver-Assistance Systems). It may be included.
  • the GPS module 21, the camera 22, the vehicle speed sensor 23, the distance sensor, and the like having a function as the information acquisition device 20 may be built in one device or may be individually attached to the vehicle 200. ..
  • the moving body is a vehicle 200 such as an automobile.
  • the moving body is not limited to the vehicle 200.
  • the moving body may be a vehicle traveling on the ground, for example, a train or a motorcycle.
  • the moving body may be an unmanned aerial vehicle capable of traveling by automatic driving.
  • the position where the image is displayed is not limited to the front.
  • the image may be displayed in the lateral direction or behind the moving body.
  • the display system 100 may include a liquid crystal display or an organic EL display instead of the projection device 10.
  • the display system 100 may include a screen and a projector.
  • the display system of the present disclosure includes a posture detection device that detects the posture fluctuation amount of the moving body, a posture estimation unit that estimates the posture state of the moving body based on the posture fluctuation amount, and a posture state. Based on the reference position setting device that sets the reference position of the image, the correction processing device that sets the correction amount of the image display position based on the posture fluctuation amount, and the reference position, the correction amount, and the timing command, A display system including a display processing device that controls the display position of the image.
  • the reference position for displaying the image can be adjusted, so that the misalignment of the image can be corrected with high accuracy. Further, since the position shift correction of the reference position is performed at the same time as the position shift correction due to vibration, it can be made inconspicuous. As a result, the display quality of the image can be maintained.
  • the timing command may be a signal transmitted from the correction processing device at the timing when the correction processing device resets the correction amount to zero.
  • the timing command may be a signal transmitted from the correction processing device at the timing when the correction processing device starts the process of reducing the correction amount by a predetermined amount.
  • the timing command may be a signal generated at the timing when the display processing device hides the image.
  • the display processing device may change the reference position based on the timing command.
  • a projection device for projecting light representing an image may be further included.
  • the moving body may be a vehicle, and the image may be a virtual image displayed in front of the windshield of the vehicle.
  • the display system described in the present disclosure is realized by cooperation with hardware resources such as a processor, a memory, and a program.
  • the present disclosure is applicable to a display system that displays a virtual image in front of the windshield.
  • Projection device 20 Information acquisition device 21 GPS module 22 Camera 23 Vehicle speed sensor 30 Display processing device 31 Communication unit 32 Display control unit 33 Storage unit 40 Attitude detection device 41 Gyro sensor 42 Acceleration sensor 43 Vehicle height sensor 50 Vibration correction processing device 51 Communication 52a Correction control unit 52a Misalignment amount calculation unit 52b Correction amount calculation unit 52c Judgment unit 60 Reference position setting device 61 Communication unit 62 Reference position calculation processing unit 62a Vehicle attitude estimation unit 62b Reference position calculation unit 63 Storage unit 100 Display system 200 Vehicle 210 Front glass 220 Display area

Landscapes

  • Engineering & Computer Science (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Geometry (AREA)
  • Optics & Photonics (AREA)
  • Instrument Panels (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

表示システム（１００）は、車両（２００）の姿勢変動量を検出する姿勢検出装置（４０）と、姿勢変動量に基づいて、車両（２００）の姿勢状態を推定する車両姿勢推定部（６２ａ）と、姿勢状態に基づいて、虚像Ｉｖの基準位置Ｐ０を設定する基準位置設定装置（６０Ａ）と、姿勢変動量に基づいて、虚像Ｉｖの表示位置の補正量を設定する振動補正処理装置（５０Ａ）と、基準位置と補正量とタイミング信号Ｆａ３とに基づいて、虚像Ｉｖの表示位置を制御する表示処理装置（３０）とを備える。

Description

表示システム
　本開示は、像の表示位置を移動体の動きに応じて制御する表示システムに関する。
　特許文献１は、ヘッドアップディスプレイ（ＨＵＤ）装置を用いて、拡張現実（ＡＲ）表示を行う車両情報投影システムを開示している。ＨＵＤ装置は、車両のフロントガラスに虚像を表す光を投影することで、車両の乗員である視認者に、車両の外界の実景とともに虚像を視認させている。例えば、車両の案内経路を表す虚像を実景内の表示対象（例えば、道路）に対応付けて表示する。これにより、乗員は、実景を視認しながら案内経路を確認することができる。特許文献１の車両情報投影システムは、車速センサを備え、加速度に応じて虚像の表示位置を補正している。これにより、車両の急減速及び急加速時に、虚像の位置ずれが生じることを抑制している。
特開２０１５－１０１３１１号公報
　しかしながら、像の位置ずれは、車両の急減速及び急加速時以外にも、例えば、停止時にも発生する場合がある。車両の乗車人数や、荷物の積載状態および燃料タンク内の燃料の量に応じて、車両の姿勢が変化するからである。
　本開示は、像の位置ずれを抑制した表示システムを提供する。
　本開示の表示システムは、移動体の姿勢変動量を検出する姿勢検出装置と、
　前記姿勢変動量に基づいて、前記移動体の姿勢状態を推定する姿勢推定部と、
　前記姿勢状態に基づいて、像の基準位置を設定する基準位置設定装置と、
　前記姿勢変動量に基づいて、前記像の表示位置の補正量を設定する補正処理装置と、
　前記基準位置と前記補正量とタイミング指令とに基づいて、前記像の表示位置を制御する表示処理装置と、を備える。
　これらの概括的かつ特定の態様は、システム、方法、及びコンピュータプログラム、並びに、それらの組み合わせにより、実現されてもよい。
　本開示の表示システムによれば、像の位置ずれを抑制した表示システムを提供することができる。
ヘッドアップディスプレイ（ＨＵＤ）を説明するための図 第１実施形態における表示システムの内部構成を示すブロック図 車両が傾いていないときの例を示す図 フロントガラスから見える実景の例を示す図 虚像が基準位置に表示される例を示す図 拡張現実（ＡＲ）表示の一例を示す図 車両の後傾姿勢を示す図 車両が後傾姿勢のときに虚像の位置ずれが生じる例を説明するための図 補正後の虚像の表示例を示す図 第１実施形態における表示処理を示すフローチャート 第１実施形態における補正処理を示すフローチャート 第１実施形態における基準位置算出処理を示すフローチャート 基準位置算出タイミングと、基準位置更新可能フラグと、振動補正リセットタイミングと、基準位置更新タイミングとの関係を示す図 補正量をゼロにリセットする一例を示す説明図 第２実施形態における表示システムの内部構成を示すブロック図 第２実施形態における基準位置算出処理を示すフローチャート 第２実施形態における基準位置算出処理を示すフローチャート 補正量の大きさを一定時間かけて小さくする一例を示す説明図 第３実施形態における基準位置算出処理を示すフローチャート
（本開示の基礎となった知見）
　像の位置ずれの主な原因は、走路の凹凸やサスペンションによる振動や、坂道への進入および坂道からの退出であるが、これ以外にも、車両の積載状態に起因する静止状態の車両の姿勢そのものの変化もある。車両の積載状態は、例えば、乗車人数や燃料タンク内の燃料量、積載荷物の重量によって変化する。これらの状態が変化することで、静止状態における車両姿勢が変化し、像を表示する基準位置がずれてしまう。したがって、走行状態において振動を原因とする補正を行っても、位置ずれが発生してしまう。
　また、車両の静止状態における基準位置のずれを、静止状態において振動補正とは別に補正すると目立ってしまい、運転者に違和感を与えてしまう。
　本開示の表示システムは、車両の静止状態における像の基準位置のずれを、走行中の振動補正によるずれの補正時に共に補正する。これにより、像の基準位置のずれを運転者に目立つことなく補正することができる。
（第１実施形態）
　以下、第１実施形態について、図面を参照しながら説明する。第１実施形態では、移動体が自動車などの車両であり、表示システムが車両のフロントガラスの前方に像として虚像を表示するヘッドアップディスプレイ（ＨＵＤ）システムである場合を例にして説明する。
１．　表示システムの構成
　図１は、ＨＵＤシステムを説明するための図である。図１において、車両２００のロール軸をＸ軸とし、車両２００のピッチ軸をＹ軸とし、車両２００のヨー軸をＺ軸としている。すなわち、Ｘ軸は、Ｙ軸及びＺ軸と直交し、虚像Ｉｖを視認する乗員Ｄの視線方向に沿った軸である。Ｙ軸は、虚像Ｉｖを視認する乗員Ｄから見て左右方向に沿った軸である。Ｚ軸は、車両２００の高さ方向に沿った軸である。
　本実施形態の表示システム１００は、車両２００のフロントガラス２１０の前方の実景に虚像Ｉｖを重畳する、所謂、拡張現実（ＡＲ）表示を行うＨＵＤシステムである。虚像Ｉｖは、所定の情報を示す。例えば、虚像Ｉｖは、目的地へ案内するための経路、目的地への到達予想時刻、進行方向、速度、種々の警告などを示す図形及び文字である。表示システム１００は、車両２００に設置され、虚像Ｉｖを表す表示光Ｌｃを車両２００のフロントガラス２１０の表示領域２２０内に投影する。本実施形態において、表示領域２２０は、フロントガラス２１０の一部の領域である。なお、表示領域２２０は、フロントガラス２１０の全領域であってもよい。表示光Ｌｃは、フロントガラス２１０によって、車内の方向に反射される。これにより、車両２００内の乗員（視認者）Ｄは、反射された表示光Ｌｃを、車両２００の前方にある虚像Ｉｖとして視認する。
　表示システム１００は、投影装置１０、情報取得装置２０、表示処理装置３０、姿勢検出装置４０、振動補正処理装置５０、及び基準位置設定装置６０を含む。
　投影装置１０は、虚像Ｉｖを表す表示光Ｌｃを表示領域２２０内に投影する。投影装置１０は、例えば、虚像Ｉｖの画像を表示する液晶表示素子、液晶表示素子を照明するＬＥＤなどの光源、液晶表示素子が表示する画像の表示光Ｌｃを表示領域２２０に反射するミラー及びレンズなどを含む。投影装置１０は、例えば、車両２００のダッシュボード内に設置される。
　情報取得装置２０は、車両の位置及び車外の情報を取得する。具体的には、情報取得装置２０は、車両２００の位置を測定して位置を示す位置情報を生成する。情報取得装置２０は、さらに、対象物、及び対象物までの距離などを示す車外情報を取得する。対象物は、人、標識、道路などである。情報取得装置２０は、車両２００の位置情報及び車外情報のうちの少なくとも１つを含む車両関連情報を出力する。
　表示処理装置３０は、情報取得装置２０から得られる車両関連情報などに基づいて、虚像Ｉｖの表示を制御し、虚像Ｉｖの画像データを投影装置１０に出力する。表示処理装置３０は、虚像Ｉｖの表示タイミング（表示時間）、又は車両関連情報と表示タイミングの組み合わせに基づいて、虚像Ｉｖの表示を制御してもよい。表示タイミングは、例えば、１０秒間の表示と１秒間の非表示とを繰り返すことである。
　姿勢検出装置４０は、車両２００の姿勢変動を検出する。振動補正処理装置５０は、姿勢検出装置４０によって検出された車両２００の姿勢変動に基づいて、虚像Ｉｖの表示位置の補正量を算出する。
　基準位置設定装置６０は、姿勢検出装置４０によって検出された車両２００の姿勢変動に基づいて、車両姿勢を推定し、虚像Ｉｖの表示位置の基準位置を算出する。
　図２は、表示システム１００の内部構成を示すブロック図である。
　本実施形態において、情報取得装置２０は、地理座標系における車両２００の現在地を示す位置を検出するＧＰＳ（Global Positioning System）モジュール２１を含む。具体的には、ＧＰＳモジュール２１は、ＧＰＳ衛星からの電波を受信して、受信した地点の緯度及び経度を測位する。ＧＰＳモジュール２１は、測位した緯度及び経度を示す位置情報を生成する。情報取得装置２０は、さらに、外景を撮像して撮像データを生成するカメラ２２を含む。情報取得装置２０は、例えば、画像処理により撮像データから対象物を特定し、対象物までの距離を測定する。情報取得装置２０は、対象物及び対象物までの距離を示す情報を車外情報として生成する。情報取得装置２０は、位置情報及び車外情報を含む車両関連情報を表示処理装置３０に出力する。なお、カメラ２２によって生成された撮像データが表示処理装置３０に出力されてもよい。情報取得装置２０は、さらに、車両２００の速度を検出する車速センサ２３を含む。
　表示処理装置３０は、通信部３１、表示制御部３２、及び記憶部３３を含む。
　通信部３１は、所定の通信規格（例えば、ＬＡＮ、Ｗｉ－Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＵＳＢ、ＨＤＭＩ（登録商標）、ＣＡＮ（controller area network）、ＳＰＩ（Serial Peripheral Interface））に準拠して外部機器との通信を行う回路を含む。
　表示制御部３２は、半導体素子などで実現可能である。表示制御部３２は、例えば、マイコン、ＣＰＵ、ＭＰＵ、ＧＰＵ、ＤＳＰ、ＦＰＧＡ、ＡＳＩＣで構成することができる。表示制御部３２の機能は、ハードウェアのみで構成してもよいし、ハードウェアとソフトウェアとを組み合わせることにより実現してもよい。表示制御部３２は、記憶部３３に格納されたデータやプログラムを読み出して種々の演算処理を行うことで、予め定められた機能を実現する。
　記憶部３３は、表示処理装置３０の機能を実現するために必要なプログラム及びデータを記憶する記憶媒体である。記憶部３３は、例えば、ハードディスク（ＨＤＤ）、ＳＳＤ、ＲＡＭ、ＤＲＡＭ、強誘電体メモリ、フラッシュメモリ、磁気ディスク、又はこれらの組み合わせによって実現できる。
　記憶部３３には、虚像Ｉｖを表す複数の画像データ３３ｉが格納されている。表示制御部３２は、情報取得装置２０から得られる車両関連情報に基づいて、表示する虚像Ｉｖを決定する。表示制御部３２は、決定した虚像Ｉｖの画像データ３３ｉを記憶部３３から読み出して、投影装置１０に出力する。さらに、表示制御部３２は、虚像Ｉｖの表示位置を設定する。表示制御部３２は、虚像Ｉｖを表示するか否か又は表示中か否かを示す表示情報を振動補正処理装置５０に出力する。
　姿勢検出装置４０は、例えば、Ｘ、Ｙ、Ｚそれぞれの３軸の角速度（ロール角速度、ピッチ角速度、ヨー角速度）を検出するジャイロセンサ４１と、Ｘ、Ｙ、Ｚそれぞれの３軸方向の加速度センサ４２と、車両２００の路面からの高さを検出する車高センサ４３と、を含む。ジャイロセンサ４１は検出した角速度を、加速度センサ４２は検出した加速度を、車高センサ４３は検出した車高を、それぞれ、車両２００の姿勢変動を示す姿勢変動情報（姿勢変動量）として振動補正処理装置５０及び基準位置設定装置６０に出力する。また、姿勢検出装置４０は、他の公知のセンサを含んでもよい。姿勢検出装置４０としての機能を有するジャイロセンサ４１、加速度センサ、及び車高センサ４３などは、一つの装置に内蔵されてもよいし、個別に車両２００に取り付けられてもよい。また、ジャイロセンサ４１は、ロール角度、ピッチ角度、ヨー角度を直接検出してもよいし、姿勢検出装置４０が演算部を有して、ジャイロセンサ４１が検出した角速度情報を演算部が積分して角度情報として出力してもよい。
　振動補正処理装置５０は、通信部５１、補正制御部５２、及び記憶部５３を含む。通信部５１は、通信部３１と同様の構成である。
　補正制御部５２は、半導体素子などで実現可能な演算装置である。補正制御部５２は、例えば、マイコン、ＣＰＵ、ＭＰＵ、ＧＰＵ、ＤＳＰ、ＦＰＧＡ、ＡＳＩＣで構成することができる。補正制御部５２は、振動補正処理装置５０内の記憶部５３に格納されたデータやプログラムを読み出して種々の演算処理を行うことで、予め定められた機能を実現する。補正制御部５２の機能は、ハードウェアのみで構成してもよいし、ハードウェアとソフトウェアとを組み合わせることにより実現してもよい。
　補正制御部５２は、機能的構成として、ずれ量算出部５２ａ、補正量算出部５２ｂ及び判定部５２ｃを含む。
　ずれ量算出部５２ａは、姿勢検出装置４０が出力する姿勢変動情報に基づいて、車両２００の姿勢（角度のずれ量）を算出する。ずれ量とは、移動体の基準となる姿勢状態から姿勢が変化した変化量を示す。移動体の基準となる姿勢状態は、例えば、水平状態に置かれた静止状態の車両状態である。例えば、ずれ量算出部５２ａは、ジャイロセンサ４１が検出した角速度を積分演算することによって、車両２００のピッチ軸周りの角度（ピッチ角）を算出する。これにより、図１に示すＹ軸（ピッチ軸）を中心とした回転方向における車両２００のずれ量（角度）を算出することができる。同様に、ヨー角度又はロール角度を算出し、例えば、Ｘ軸、Ｙ軸及びＺ軸周りの角度を全て算出してもよい。移動体が基準となる姿勢状態においては、ピッチ角度、ヨー角度、およびロール角度はそれぞれ０°である。このようにして、車両２００の姿勢、すなわち、３軸方向に対する角度であるずれ量を算出する。なお、姿勢検出装置４０がロール角度、ピッチ角度、ヨー角度を出力する場合は、これらの値をずれ量として処理する。
　補正量算出部５２ｂは、車両２００の姿勢変動（角度のずれ量）に応じて、虚像Ｉｖの表示位置の補正量を算出する。具体的には、補正量算出部５２ｂは、ずれ量算出部５２ａが算出した角度（ピッチ角）のずれ量を画素数に換算して、ずれている分の画素数（以下、「ずれ画素数」ともいう）を元に戻すような補正量を決定する。例えば、ずれ量算出部５２ａは、ピッチ角のずれ量を元に戻すような補正量を決定する。補正量算出部５２ｂは、算出した補正量を表示処理装置３０に出力する。
　判定部５２ｃは、車両２００の姿勢変動（角度のずれ量）および表示処理装置の表示情報に基づいて、補正量をゼロにリセットするか否かを判定する。判定部５２ｃが補正量をゼロにリセットすると判定する場合は、例えば、補正対応外の大振幅発生時や、右左折時、カーブ走行によるヨー方向の大変動時、坂道への進入及び退出時である。判定部５２ｃは、予め定められた閾値と姿勢検出装置４０の出力又は姿勢検出装置４０の出力を演算処理した結果（以後、変動量Ｘとする）との大小関係を比較することで、補正量をゼロにリセットするか否かを判定する。また、判定部５２ｃは、虚像が非表示の場合にも補正量をゼロにリセットすると判定する。虚像Ｉｖが非表示の場合、そのことを示す信号が表示制御部３２から補正制御部５２Ａへ送られる。
　姿勢検出装置４０の出力の演算処理は、姿勢検出装置４０又は振動補正処理装置５０のずれ量算出部５２ａや判定部５２ｃ、又は、他の構成で行われてもよい。
　変動量Ｘは、例えばジャイロセンサ４１により検出される角速度を積分した角度の一定時間における変化量である。判定部５２ｃは、例えば、判定フラグとして、例えばブーリアン型の２値化データを出力する。変動量Ｘが第１閾値ａ以下であればＴＲＵＥ、変動量Ｘが第１閾値ａより大きいときはＦＡＬＳＥとなる。判定部５２ｃは、データをブーリアン型に限定せず、整数型でもよく、それ以外で出力してもよい。
　記憶部５３は、補正制御部５２の機能を実現するために必要なプログラム及びデータを記憶する記憶媒体である。したがって、例えば、プロセッサ等の演算装置を判定部５２ｃとして機能させるために必要なプログラム及びデータも記憶部５３に格納されている。記憶部５３は、例えば、ハードディスク（ＨＤＤ）、ＳＳＤ、ＲＡＭ、ＤＲＡＭ、強誘電体メモリ、フラッシュメモリ、磁気ディスク、又はこれらの組み合わせによって実現できる。
　基準位置設定装置６０は、通信部６１、基準位置演算処理部６２、及び記憶部６３を含む。通信部６１は、通信部３１、５１と同様の構成である。通信部６１は、通信部５１を介して通信部３１と通信することができるが、直接、通信部３１と通信してもよい。
　基準位置演算処理部６２は、半導体素子などで実現可能な演算装置である。基準位置演算処理部６２は、例えば、マイコン、ＣＰＵ、ＭＰＵ、ＧＰＵ、ＤＳＰ、ＦＰＧＡ、ＡＳＩＣで構成することができる。基準位置演算処理部６２は、基準位置設定装置６０内の記憶部６３に格納されたデータやプログラムを読み出して種々の演算処理を行うことで、予め定められた機能を実現する。基準位置演算処理部６２の機能は、ハードウェアのみで構成してもよいし、ハードウェアとソフトウェアとを組み合わせることにより実現してもよい。
　基準位置演算処理部６２は、機能的構成として、車両姿勢推定部６２ａと、基準位置算出部６２ｂとを含む。
　車両姿勢推定部６２ａは、姿勢検出装置４０から送られる車両２００の姿勢変動情報に基づいて、静止時における基準となる車両姿勢からのずれ量を推定する。例えば、車高センサ４３からの車高量に基づいて、車両２００の前端のピッチ方向のずれ量を推定する。このずれ量は、例えば、基準となるレベルからの角度量として推定される。推定された車両姿勢のずれ量は基準位置算出部６２ｂに出力される。
　基準位置算出部６２ｂは、推定された車両姿勢のずれ量に基づいて、虚像Ｉｖを表示する基準位置を算出する。基準位置算出部６２ｂは、算出した虚像Ｉｖの基準位置を、記憶部６３に記憶する。なお、情報取得装置２０から取得することができる車両関連情報及び地図データなどに基づいて、基準位置Ｐ０を設定してもよい。
　記憶部６３は、基準位置演算処理部６２の機能を実現するために必要なプログラム及びデータを記憶する記憶媒体である。したがって、例えば、プロセッサ等の演算装置を基準位置演算処理部６２として機能させるために必要なプログラム及びデータも記憶部６３に格納されている。記憶部６３は、例えば、ハードディスク（ＨＤＤ）、ＳＳＤ、ＲＡＭ、ＤＲＡＭ、強誘電体メモリ、フラッシュメモリ、磁気ディスク、又はこれらの組み合わせによって実現できる。
　図３Ａ～図３Ｄを参照して、ＡＲ表示について説明する。図３Ａは、車両２００が傾いていないときの例を示している。図３Ｂは、図３Ａに示す車両２００のフロントガラス２１０から見える実景の例を示している。図３Ｃは、表示領域２２０から見える虚像Ｉｖの一例を示している。図３Ｄは、図３Ｂに示す実景に図３Ｃに示す虚像Ｉｖが重なって表示される例を示している。表示システム１００は、図３Ｂに示す実景に図３Ｃに示す虚像Ｉｖを重畳させる。虚像Ｉｖの基準位置（初期位置）Ｐ０は、虚像Ｉｖの種類、車両２００の状態（位置及び姿勢）、及び地図データなどに基づいて決定された位置であり、当該基準位置Ｐ０は、基準位置設定装置６０により決定される。例えば、表示対象２３０が走行車線であって、虚像Ｉｖが進行方向を示す矢印の場合、基準位置Ｐ０は走行車線の中央を矢印の先端が指し示すときの液晶上の表示位置である。基準位置Ｐ０は、例えば、図３Ｃにおいて、表示領域２２０内におけるＹ座標とＺ座標の値に対応する液晶表示上の画素の位置で設定される。表示処理装置３０は、車両関連情報に基づいて、虚像Ｉｖの大きさを設定してもよい。
　図４Ａは、車両２００が後傾姿勢になった状態の例を示している。図４Ｂは、車両２００の姿勢変動に応じて、虚像Ｉｖの表示位置が表示対象２３０からずれた場合を例示している。図４Ｃは、補正後の虚像Ｉｖの表示位置を示している。
　路面の凹凸、車両２００の急加速又は急減速などにより、車両２００が傾く場合がある。例えば、車両２００が路面３０１の凸部３０３に乗り上げると、図４Ａに示すように車両２００は後傾姿勢になる。この場合、図４Ｂに示すように、フロントガラス２１０から見える表示対象２３０の位置が車両２００の走路に対する傾きθ１に応じて変動する。そのため、虚像Ｉｖを基準位置Ｐ０に表示した場合、虚像Ｉｖが表示対象２３０からずれる。
　例えば、図４Ｂに示すように、車両２００が路面３０１の凸部３０３により後傾姿勢になると、表示対象２３０の位置が通常走行時よりも下方に変動する。したがって、基準位置Ｐ０に表示される虚像Ｉｖの矢印の先が車線外にずれてしまう。よって、表示システム１００は、車両２００の姿勢に応じてずれを戻す方向に虚像Ｉｖの表示位置を調整する。
　具体的には、図４Ｃに示すように、振動補正処理装置５０が、車両２００の角度に起因した表示位置のずれがない位置Ｐ１となるように補正量Ｃを算出する。すなわち、表示処理装置３０は、虚像Ｉｖの表示位置を「基準位置Ｐ０＋補正量Ｃ」に設定する。これにより、投影装置１０は、虚像Ｉｖを表示対象２３０に対応する位置Ｐ１に表示することができる。このように、車両２００が傾いた場合であっても、虚像Ｉｖの表示位置を補正量Ｃに基づいて基準位置Ｐ０から変更することで、実景内の表示対象２３０に対応する位置Ｐ１に虚像Ｉｖを表示することができる。
　しかしながら、基準位置Ｐ０は、乗員数、荷重の変動、及びガソリンの減少などによる姿勢の変動に基づいて変化する場合があるので、例えば、最初に算出した基準位置（初期位置）と異なる場合がある。
　本実施形態の表示システム１００は、後述するように、車両２００の車両姿勢の変化を推定し、推定された車両姿勢の変化量から基準位置を算出することで、基準位置Ｐ０を更新することができる。
２．　表示処理装置の動作
　図５は、表示処理装置３０の表示制御部３２が行う表示処理を示している。図５に示す表示処理は、例えば、車両２００のエンジンが始動したとき、又は虚像Ｉｖの表示開始を指示するためのボタンが操作されたときなどに開始される。
　表示制御部３２は、情報取得装置２０から車両関連情報を取得する（Ｓ１０１）。表示制御部３２は、車両関連情報に基づいて、表示する虚像Ｉｖを決定する（Ｓ１０２）。表示制御部３２は、振動補正処理装置５０から振動補正をリセットするタイミング信号Ｆａ３を受信している場合、虚像Ｉｖの基準位置Ｐ０を基準位置設定装置６０の記憶部６３から振動補正処理装置５０経由で取得する（Ｓ１０３）。なお、基準位置設定装置６０は、基準位置設定装置６０の記憶部６３から直接、表示処理装置３０へ基準位置Ｐ０を送信してもよい。また、表示制御部３２は、振動補正処理装置５０から振動補正をリセットするタイミング信号Ｆａ３を受信していない場合、前回使用した基準位置Ｐ０を用いる。表示制御部３２は、振動補正処理装置５０から出力される表示位置の補正量Ｃを取得する（Ｓ１０４）。
　表示制御部３２は、基準位置Ｐ０と補正量Ｃとに基づいて、投影装置１０に虚像Ｉｖを表示させる（Ｓ１０５）。例えば、表示制御部３２は、表示対象に対応する虚像Ｉｖの画像データ３３ｉを記憶部３３から読み出し、虚像Ｉｖの表示位置を「基準位置Ｐ０＋補正量Ｃ」に設定して、投影装置１０に出力する。
　表示制御部３２は、表示処理を継続するか否かを判断する（Ｓ１０６）。例えば、車両２００のエンジンが停止したとき、又は虚像Ｉｖの表示の終了を指示するためのボタンが操作されたときなどに、表示制御部３２は表示処理を終了する。表示処理を継続する場合は、ステップＳ１０１に戻る。
３．　補正処理装置の動作
　図６は、振動補正処理装置５０の補正制御部５２が行う補正処理を示している。図６に示す補正処理は、例えば、車両２００のエンジンが始動したとき、又は虚像Ｉｖの表示開始を指示するためのボタンが操作されたときなどに開始される。図６の補正処理は、例えば、図５の表示処理と共に開始される。なお、図６に示す補正処理は、虚像Ｉｖの位置補正の開始を指示するためのボタンが操作されたときに開始されてもよい。
　ずれ量算出部５２ａは、ジャイロセンサ４１から出力される角速度を示す姿勢変動情報を取得する（Ｓ２０１）。ずれ量算出部５２ａは、取得した姿勢変動情報に基づいて、車両２００の姿勢、すなわち、３軸方向に対する角度であるずれ量を算出する（Ｓ２０２）。具体的には、ずれ量算出部５２ａは、角速度を積分演算することによって、車両２００の角度を算出する。補正量算出部５２ｂは、３軸方向に対するずれ量に基づいて、虚像Ｉｖの表示位置の補正量Ｃを算出する（Ｓ２０３）。具体的には、補正量算出部５２ｂは、ピッチ角及びヨー角について車両２００の角度であるずれ量を画素数に換算して、画素数で示されるずれ量を相殺するような補正量Ｃを決定する。ロール角については、角度のまま、ずれ量を相殺する補正量Ｃを決定する。
　本実施形態では、補正量Ｃを「補正量Ｃ＝－（現時点のずれ量）＋（ゼロリセット時のずれ量）」として定義する。以下、ゼロリセット時のずれ量をオフセット値とも称する。オフセット値は、後述するステップＳ２０７において設定される。オフセット値の初期値は、例えばゼロである。ステップＳ２０３の補正量の算出において、ずれ量算出部５２ａが、角度単位で、「－現時点の姿勢（角度）＋オフセット値（角度）」を算出して補正量算出部５２ｂに出力し、補正量算出部５２ｂは入力した値を画素数に換算してもよい。また、ずれ量算出部５２ａは、現時点の姿勢（角度）を補正量算出部５２ｂに出力し、補正量算出部５２ｂが、姿勢（角度）を画素数に換算した後で、「－現時点のずれ量（画素数）＋オフセット値（画素数）」を算出してもよい。
　補正制御部５２の判定部５２ｃが、補正量Ｃをゼロにリセットするか否かを判定する（Ｓ２０４）。判定部５２ｃが、補正量Ｃをゼロにリセットしないと判定すると（Ｓ２０４でＮｏ）、補正量算出部５２ｂは、算出した補正量Ｃを表示処理装置３０に出力する（Ｓ２０５）。これにより、虚像Ｉｖが「基準位置Ｐ０＋補正量Ｃ」で示される位置に表示される。
　判定部５２ｃが、補正量Ｃをゼロにリセットすると判定すると（Ｓ２０４でＹｅｓ）、振動補正処理装置５０は、振動補正をリセットするタイミング信号Ｆａ３を基準位置設定装置６０および表示処理装置３０に送信し、補正制御部５２は、補正量Ｃをゼロにリセットする（Ｓ２０７）。具体的には、例えば、ずれ量算出部５２ａが、オフセット値（角度）を「オフセット値（角度）＝姿勢（角度）」に設定する。これにより、ずれ量算出部５２ａから補正量算出部５２ｂに、「－姿勢（角度）＋オフセット値（角度）」で示される角度、すなわち０度が出力される。又は、補正量算出部５２ｂは、ずれ量算出部５２ａが算出した姿勢（角度）を画素数（ずれ画素数）に換算し、オフセット値（画素数）を「オフセット値（画素数）＝ずれ画素数」に設定する。これにより、「－ずれ量（画素数）＋オフセット値（画素数）」で算出される補正量Ｃがゼロになる。このようにして、判定部５２ｃが補正量をリセットすると判定したときに、表示位置が基準位置Ｐ０に戻される。
　補正制御部５２は、補正処理を継続するか否かを判断する（Ｓ２０６）。例えば、車両２００のエンジンが停止したとき、又は虚像Ｉｖの表示の終了を指示するためのボタンが操作されたときなどに、補正制御部５２は補正処理を終了する。補正処理を継続する場合は、ステップＳ２０１に戻る。ステップＳ２０１に戻った後は、次のＳ２０３の補正量の算出において、前のステップＳ２０７で設定したオフセット値が使用される。
　以上のように、本実施形態では、外乱が発生したときに、「オフセット値＝ずれ量」に設定することで、補正量Ｃをゼロにする。換言すると、虚像Ｉｖが大きく振動するときに、表示位置が基準位置Ｐ０にリセットされる。「補正量Ｃ＝－ずれ量＋オフセット値」であるため、次に虚像Ｉｖを表示するとき（図５のステップＳ１０５）の表示位置である「基準位置Ｐ０＋補正量Ｃ」は、「基準位置Ｐ０＋オフセット値－ずれ量」に相当する。
４．　基準位置設定装置の動作
　図７は、基準位置設定装置６０の基準位置演算処理部６２が行う演算処理を示している。図７に示す演算処理は、例えば、車両２００のエンジンが始動したとき、又は虚像Ｉｖの表示開始を指示するためのボタンが操作されたときなどに開始される。図７の演算処理は、例えば、図５の表示処理及び図６の補正処理と共に開始される。
　車両姿勢推定部６２ａは、姿勢検出装置４０から出力される姿勢変動情報を取得して、車両２００の車両姿勢を推定し、静止時における基準位置からの姿勢ずれ量を推定する（Ｓ３０１）。基準位置算出部６２ｂは、推定された姿勢ずれ量を基に、虚像Ｉｖの基準位置を算出する（Ｓ３０２）。基準位置演算処理部６２は、基準位置の算出が完了したか否かを判定し（Ｓ３０３）、基準位置算出部６２ｂにより基準位置の算出が完了している場合（Ｓ３０３でＹｅｓ）、算出された基準位置Ｐ０を更新する基準位置Ｐ０として記憶部６３に保持する（Ｓ３０４）。さらに、基準位置演算処理部６２は、基準位置の更新可能フラグＦａ２をＯＮに設定する（Ｓ３０５）。また、基準位置算出部６２ｂにより基準位置の算出が完了していない場合（Ｓ３０３でＮｏ）、及び、更新可能フラグＦａ２がＯＮされた後は、基準位置設定装置６０の基準位置演算処理部６２は、振動補正処理装置５０の状態を取得する（Ｓ３０６）。例えば、基準位置演算処理部６２は、補正制御部５２から振動補正をリセットするタイミング信号Ｆａ３を受信する。
　基準位置演算処理部６２は、補正制御部５２からタイミング信号Ｆａ３を受信すると、補正量をリセットすることを認識し（ステップＳ３０７でＹｅｓ）、さらに、基準位置演算処理部６２は、更新可能フラグＦａ２がＯＮ状態であるか否かを判定する（Ｓ３０９）。基準位置演算処理部６２は、更新可能フラグＦａ２がＯＮ状態であると判定すると（Ｓ３０９でＹｅｓ）、記憶部６３に保持されている更新用の最新の基準位置Ｐ０を、通信部６１から表示処理装置３０へ送信する。表示制御部３２が更新用の基準位置Ｐ０を用いて虚像Ｉｖを表示することで、基準位置を更新する（Ｓ３１０）。基準位置演算処理部６２が、更新用の基準位置Ｐ０を表示処理装置３０へ送信すると、基準位置の更新可能フラグＦａ２をＯＦＦに設定する（Ｓ３１１）。
　基準位置演算処理部６２は、基準位置の算出処理を継続するか否かを判断する（Ｓ３０８）。例えば、車両２００のエンジンが停止したとき、又は虚像Ｉｖの表示の終了を指示するためのボタンが操作されたときなどに、基準位置演算処理部６２は基準位置の算出処理を終了する。基準位置の算出処理を継続する場合は、ステップＳ３０１に戻る。また、基準位置演算処理部６２は、補正量をリセットしない（ステップＳ３０７でＮｏ）ときや、更新可能フラグＦａ２がＯＦＦ状態であると判定する（Ｓ３０９でＮｏ）とき、ステップＳ３０８に移行する。
　図８は、基準位置算出タイミングと、基準位置更新可能フラグと、振動補正リセットタイミング信号と、基準位置更新タイミングとの関係を示す図である。図８（ａ）は、基準位置算出タイミングＦａ１の一例を示す。図８（ｂ）は、基準位置の更新可能フラグＦａ２を示す。図８（ｃ）は、振動補正をリセットするタイミング信号Ｆａ３を示す。図８（ｄ）は、基準位置の更新タイミングＦａ４を示す図である。
　図８（ａ）に示すように、基準位置算出部６２ｂは、車両２００が基準位置を算出するのに適した状態であれば、随時、基準位置Ｐ０を算出する。図８（ａ）では、Ｔ１、Ｔ２、Ｔ４、Ｔ７の時点で基準位置Ｐ０が算出されている。基準位置を算出するのに適した車両２００の状態とは、例えば、車両２００が静止している状態や、加速度が予め定められた閾値以内の状態である。これらの状態は、情報取得装置２０からの情報や、姿勢検出装置４０からの姿勢変動情報を基に、車両姿勢推定部６２ａが判定する。
　基準位置算出部６２ｂが基準位置の算出を完了すると、基準位置算出部６２ｂは基準位置の更新可能フラグＦａ２をＯＮする。この基準位置の更新可能フラグＦａ２がＯＮ状態のときに、振動補正処理装置５０が、振動補正をリセットするタイミング信号Ｆａ３を基準位置設定装置６０および表示処理装置３０に送信する。更新可能フラグＦａ２がＯＮ状態でタイミング信号Ｆａ３がＯＮにされた時点Ｔ３が、基準位置の更新タイミングＦａ４となる。この基準位置の更新タイミングＦａ４の時点で、基準位置設定装置６０は更新用の基準位置Ｐ０を表示制御部３２へ送信する。表示制御部３２は、リセットされる補正量と、記憶部６３から送信された更新用の基準位置Ｐ０と、タイミング信号Ｆａ３とに基づいて像を表示することで、更新された基準位置Ｐ０に補正量がリセットされた虚像を表示することができる。
　図９は、補正量をゼロにリセットする一例を説明する説明図である。例えば、時刻ｔ１で表示制御部３２が補正量を即時にゼロにリセットする。このタイミングに合わせて、基準位置Ｐ０が更新されるので、運転者に対して基準位置の更新による動きを目立たなくすることができる。
４．　効果及び補足等
　本開示の表示システム１００は、車両２００の姿勢変動量を検出する姿勢検出装置４０と、姿勢変動量に基づいて、車両２００の姿勢状態を推定する車両姿勢推定部６２ａと、姿勢状態に基づいて、虚像Ｉｖの基準位置Ｐ０を設定する基準位置設定装置６０と、姿勢変動量に基づいて、虚像Ｉｖの表示位置の補正量を設定する振動補正処理装置５０と、基準位置と補正量と振動補正をリセットするタイミング信号Ｆａ３とに基づいて、虚像Ｉｖの表示位置を制御する表示処理装置３０とを備える。
　車両２００の静止状態に対する虚像Ｉｖの基準位置Ｐ０の更新を走行中の振動補正によるずれの補正量のリセットと同時に行うので、虚像Ｉｖの基準位置のずれ補正が運転者に対して目立たなくなり、ストレスを軽減することができる。
　また、本実施形態の表示システム１００は、虚像を表す光を投影する投影装置１０をさらに含む。本実施形態において、移動体は、車両であり、像は、車両のフロントガラスの前方に表示される虚像である。
　なお、ステップＳ２１０において、補正量をゼロにリセットする方法は任意である。本実施形態では、「補正量Ｃ＝－ずれ量＋オフセット値」としたが、補正量Ｃを「補正量Ｃ＝－ずれ量」としてもよい。この場合、ずれ量自体をゼロにすることで、補正量Ｃをゼロにリセットする。具体的には、ジャイロセンサ４１の出力に基づいて車両姿勢を算出する場合に、ずれ量算出部５２ａにおいて算出される角速度の積分量をゼロにリセットする。
（第２実施形態）
　第１実施形態では、補正量のゼロリセットに合わせて、基準位置の更新も瞬時に行っていた。第２実施形態では、時間をかけて補正量を徐々にリセットするのに合わせて、基準位置の更新も徐々に更新位置に近づける。
　図１０は、第２実施形態における表示システム１００Ａの内部構成を示すブロック図である。第２実施形態における表示システム１００Ａは、投影装置１０、情報取得装置２０、表示処理装置３０、振動補正処理装置５０Ａ、基準位置設定装置６０Ａ、及び姿勢検出装置４０を備える。第２実施形態における振動補正処理装置５０Ａの補正制御部５２Ａは、第１実施形態における振動補正処理装置５０の補正制御部５２に、オフセット量算出部５２ｄを加えた構成である。また、第２実施形態における、基準位置設定装置６０Ａの基準位置演算処理部６２Ａは、第１実施形態における基準位置設定装置６０の基準位置演算処理部６２に、オフセット量算出部６２ｃを加えた構成である。
　補正制御部５２のオフセット量算出部５２ｄにおいて、例えば、補正量をリセットするリセット時間Δｔ１は予め設定されており、サンプリング周期ｔｓとリセット開始時の補正量Ｃ１から、１サンプリングでのオフセット量Ｄｆ１を、Ｄｆ１＝Ｃ１×ｔｓ／Δｔ１として算出する。補正制御部５２Ａは、Ｃ１×ｔｓ／Δｔ１ずつ補正量Ｃ１を小さくする。例えば、サンプリング周期を１／１０００［ｓｅｃ］とし、リセット時間Δｔ１を１［ｓｅｃ］とし、補正量Ｃ１を１００ピクセルとすると、１サンプリング周期につき、０．１ピクセルずつ補正量が小さくされる。
　基準位置演算処理部６２のオフセット量算出部６２ｃにおいて、更新された基準位置Ｐ０へ基準位置を近づける更新時間Δｔ２は予め設定されており、補正量のリセット時間Δｔ１と同じでもよいし、リセット時間Δｔ１よりも短くてもよい。
　図１１Ａ、図１１Ｂは、第２実施形態において基準位置設定装置６０Ａの基準位置演算処理部６２Ａが行う演算処理を示している。本実施形態では、補正制御部５２から送信されるタイミング信号Ｆａ３は、振動補正量をオフセット量Ｄｆ１低減する処理を開始する信号である。基準位置演算処理部６２Ａは、補正制御部５２からタイミング信号Ｆａ３を受信すると、補正量を所定量低減することを認識し（ステップＳ３０７でＹｅｓ）、基準位置演算処理部６２Ａは、更新可能フラグＦａ２がＯＮ状態であると判定すると（Ｓ３０９でＹｅｓ）、図１１Ａ及び図１１Ｂの符号Ａを経由して、オフセット量算出部６２ｃが、基準位置のオフセット量Ｂ１を算出する（Ｓ３１１）。振動補正処理装置５０Ａがオフセット量Ｄｆ分だけ補正量をオフセットするのに合わせて、表示制御部３２は、基準位置Ｐ０を更新された基準位置Ｐ０にオフセット量Ｂ１だけ変更する（Ｓ３１２）。基準位置演算処理部６２Ａは、例えば、カウンタを用いて、更新された基準位置Ｐ０へオフセット量Ｂ１だけ変更した回数から更新する基準位置へ到達したか判定する（Ｓ３１３）。
　基準位置演算処理部６２Ａが、更新する基準位置へ到達したと判定しない場合（ステップＳ３１３でＮｏ）、再び、振動補正処理装置５０Ａがオフセット量Ｄｆ分だけ補正量をオフセットするのに合わせて、表示制御部３２は基準位置Ｐ０を更新された基準位置Ｐ０にオフセット量Ｂ１だけ変更する。基準位置演算処理部６２Ａが、更新する基準位置へ到達したと判定した場合（ステップＳ３１３でＹｅｓ）、基準位置演算処理部６２Ａが更新可能フラグＦａ２をＯＦＦにする（Ｓ３１４）。その後、図１１Ｂ及び図１１Ａの符号Ｂを経由して、算出処理を継続するか否かが判定される（Ｓ３０８）。
　図１２に示すように、振動補正処理装置５０Ａにより補正量の大きさが徐々に小さくなるので、虚像Ｉｖの位置が徐々に基準位置Ｐ０に戻る。虚像Ｉｖの位置が急に大きく変わらないので、乗員Ｄが、虚像Ｉｖの表示位置の変化に対して違和感を覚えることを抑制することができる。さらに、基準位置設定装置６０Ａは、振動補正処理装置５０Ａが補正量を徐々にリセットするのに合わせて、基準位置も更新された基準位置に徐々に近づける。これにより、虚像Ｉｖの基準位置の更新表示が目立つのを低減することができる。
（第３実施形態）
　第１実施形態では、補正量をゼロリセットするタイミングに合わせて、基準位置の更新を行っていた。第３実施形態では、補正量をゼロリセットするタイミングの代わりに虚像を非表示にするタイミングに合わせて、基準位置の更新を行う。この点および以下に説明する点以外の構成は、本実施形態と第１実施形態と共通であるので詳細な説明を省略する。
　図１３は、第３実施形態において、基準位置設定装置６０の基準位置演算処理部６２が行う演算処理を示している。第３実施形態のステップＳ３０１～Ｓ３０５、およびＳ３０８～Ｓ３１１は、第１実施形態と同様であるので、説明を省略する。
　第１実施形態と同様に、基準位置演算処理部６２は、ステップＳ３０１～Ｓ３０３を実施する。基準位置算出部６２ｂにより基準位置の算出が完了していない場合（Ｓ３０３でＮｏ）、及び、更新可能フラグＦａ２がＯＮされた後は、基準位置演算処理部６２は、表示処理装置３０の状態を取得する（Ｓ３２１）。例えば、基準位置演算処理部６２は、表示制御部３２から虚像の表示・非表示状態を切り替える表示切り替え信号を受信する。表示制御部３２は、例えば、虚像を非表示に切り替える場合に、表示切り替え信号をＯＮ状態にする。
　基準位置演算処理部６２は、表示制御部３２からＯＮ状態の表示切り替え信号を受信すると、虚像が非表示へ切り替わることを認識し（ステップＳ３２２でＮｏ）、さらに、基準位置演算処理部６２は、更新可能フラグＦａ２がＯＮ状態であるか否かを判定する（Ｓ３０９）。基準位置演算処理部６２は、更新可能フラグＦａ２がＯＮ状態であると判定すると（Ｓ３０９でＹｅｓ）、記憶部６３に保持されている更新用の最新の基準位置Ｐ０を、通信部６１から表示処理装置３０へ送信する。表示制御部３２が更新用の基準位置Ｐ０を用いて虚像Ｉｖを表示することで、基準位置を更新する（Ｓ３１０）。基準位置演算処理部６２設定装置６０が、更新用の基準位置Ｐ０を表示処理装置３０へ送信すると、基準位置演算処理部６２は、基準位置の更新可能フラグＦａ２をＯＦＦに設定する（Ｓ３１１）。
　基準位置演算処理部６２は、基準位置の算出処理を継続するか否かを判断する（Ｓ３０８）。基準位置の算出処理を継続する場合は、ステップＳ３０１に戻る。また、表示制御部３２が虚像を表示させるとき、すなわち、基準位置演算処理部６２は、表示切り替え信号がＯＦＦ状態で虚像を非表示にしないと認識するとき（Ｓ３２２でＹｅｓ）や、更新可能フラグＦａ２がＯＦＦ状態であると判定する（Ｓ３０９でＮｏ）とき、ステップＳ３０８に移行する。
　このような構成により、表示装置３０が基準位置Ｐ０を更新することができる。車両２００の静止状態に対する虚像Ｉｖの基準位置Ｐ０の更新を、振動補正の補正量のゼロリセット動作に関係なく、虚像Ｉｖが非表示になるタイミングで行うことができる。これにより、虚像Ｉｖの基準位置のずれ補正が運転者に対して目立たなくなり、ストレスを軽減することができる。
（他の実施形態）
　以上のように、本出願において開示する技術の例示として、上記実施形態を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施形態にも適用可能である。そこで、以下、他の実施形態を例示する。
　上記実施形態では、投影装置１０、情報取得装置２０、表示処理装置３０、姿勢検出装置４０、振動補正処理装置５０及び基準位置設定装置６０がそれぞれ別個の装置である場合を例示した。しかし、複数の装置が一つの装置として一体的に形成されてもよい。例えば、表示処理装置３０と振動補正処理装置５０が一つの装置として一体的に形成されてもよい。情報取得装置２０と表示処理装置３０とが一つの装置として一体的に形成されてもよい。姿勢検出装置４０と振動補正処理装置５０が一つの装置として一体的に形成されてもよい。別個に形成された装置は、有線又は無線により互いに通信可能に接続される。なお、投影装置１０、情報取得装置２０、表示処理装置３０、姿勢検出装置４０、振動補正処理装置５０及び基準位置設定装置６０の全てが一つの装置として形成されてもよい。この場合、通信部３１、５１、６１はなくてもよい。
　上記実施形態では、情報取得装置２０がＧＰＳモジュール２１、カメラ２２及び車速センサ２３を含む例について説明した。しかし、情報取得装置２０は、車両２００から周囲の対象物までの距離と方向を計測する距離センサを含んでもよく、計測した距離と方向を示す距離情報を表示処理装置３０に出力してもよい。情報取得装置２０は、ナビゲーションシステムを含んでもよい。情報取得装置２０は、ＧＰＳモジュール２１、距離センサ、及びカメラ２２、画像処理装置、加速度センサ、レーダー、音波センサ、及びＡＤＡＳ（Advanced Driver-Assistance Systems）の白線検知装置などのうち、１つ以上を含んでもよい。この場合、情報取得装置２０としての機能を有するＧＰＳモジュール２１、カメラ２２、車速センサ２３、及び距離センサなどは、一つの装置に内蔵されてもよいし、個別に車両２００に取り付けられてもよい。
　上記実施形態では、移動体が、自動車などの車両２００である場合について説明した。しかし、移動体は車両２００に限らない。移動体は、地上を走行する乗り物であってもよく、例えば、列車又はオートバイであってもよい。移動体は、自動運転で走行することができる無人機であってもよい。
　上記実施形態では、移動体の前方に像を表示する場合について説明した。しかし、像を表示する位置は、前方に限らない。例えば、像は、移動体の側面方向や後方に表示されてもよい。
　上記実施形態では、表示システム１００がＨＵＤシステムである例について説明した。しかし、表示システム１００はＨＵＤシステムでなくてもよい。表示システム１００は、投影装置１０に代えて、液晶ディスプレイ又は有機ＥＬディスプレイを備えてもよい。表示システム１００は、スクリーン及びプロジェクタを含んでもよい。
（実施形態の概要）
　（１）本開示の表示システムは、移動体の姿勢変動量を検出する姿勢検出装置と、姿勢変動量に基づいて、移動体の姿勢状態を推定する姿勢推定部と、姿勢状態に基づいて、像の基準位置を設定する基準位置設定装置と、姿勢変動量に基づいて、像の表示位置の補正量を設定する補正処理装置と、前記基準位置と前記補正量とタイミング指令とに基づいて、前記像の表示位置を制御する表示処理装置と、を備える、表示システム。
　これにより、像を表示する基準位置を調整することができるので、像の位置ずれを精度良く補正することができる。さらに、基準位置の位置ずれ補正を振動による位置ずれの補正と同時に行うので目立たなくすることができる。この結果、像の表示品位を維持することもできる。
　（２）（１）の表示システムにおいて、タイミング指令は、補正処理装置が補正量をゼロにリセットするタイミングで補正処理装置から送信される信号でもよい。
　（３）（１）の表示システムにおいて、タイミング指令は、補正処理装置が補正量を所定量低減する処理を開始するタイミングで補正処理装置から送信される信号でもよい。
　（４）（１）の表示システムにおいて、タイミング指令は、表示処理装置が像を非表示にするタイミングで発生させる信号でもよい。
　（５）（２）から（４）の表示システムにおいて、表示処理装置は、前記タイミング指令に基づいて、前記基準位置を変更してもよい。
　（６）（１）から（５）の表示システムにおいて、像を表す光を投影する投影装置をさらに含んでもよい。
　（７）（１）から（６）の表示システムにおいて、移動体は、車両であり、像は、車両のフロントガラスの前方に表示される虚像であってもよい。
　本開示に記載の表示システムは、ハードウェア資源、例えば、プロセッサ、メモリ、及びプログラムとの協働などによって、実現される。
　本開示は、虚像をフロントガラスの前方に表示する表示システムに適用可能である。
　　１０　　　投影装置
　　２０　　　情報取得装置
　　２１　　　ＧＰＳモジュール
　　２２　　　カメラ
　　２３　　　車速センサ
　　３０　　　表示処理装置
　　３１　　　通信部
　　３２　　　表示制御部
　　３３　　　記憶部
　　４０　　　姿勢検出装置
　　４１　　　ジャイロセンサ
　　４２　　　加速度センサ
　　４３　　　車高センサ
　　５０　　　振動補正処理装置
　　５１　　　通信部
　　５２　　　補正制御部
　　５２ａ　　ずれ量算出部
　　５２ｂ　　補正量算出部
　　５２ｃ　　判定部
　　６０　　　基準位置設定装置
　　６１　　　通信部
　　６２　　　基準位置演算処理部
　　６２ａ　　車両姿勢推定部
　　６２ｂ　　基準位置算出部
　　６３　　　記憶部
　　１００　　表示システム
　　２００　　車両
　　２１０　　フロントガラス
　　２２０　　表示領域

Claims (7)

  1. 　移動体の姿勢変動量を検出する姿勢検出装置と、
    　前記姿勢変動量に基づいて、前記移動体の姿勢状態を推定する姿勢推定部と、
    　前記姿勢状態に基づいて、像の基準位置を設定する基準位置設定装置と、
    　前記姿勢変動量に基づいて、前記像の表示位置の補正量を設定する補正処理装置と、
    　前記基準位置と前記補正量とタイミング指令とに基づいて、前記像の表示位置を制御する表示処理装置と、を備える、
    　表示システム。
  2. 　前記タイミング指令は、前記補正処理装置が前記補正量をゼロにリセットするタイミングで前記補正処理装置から送信される信号である、
    　請求項１に記載の表示システム。
  3. 　前記タイミング指令は、前記補正処理装置が前記補正量を所定量低減する処理を開始するタイミングで前記補正処理装置から送信される信号である、
    　請求項１に記載の表示システム。
  4. 　前記タイミング指令は、前記表示処理装置が前記像を非表示にするタイミングで発生させる信号である、
    　請求項１に記載の表示システム。
  5. 　前記表示処理装置は、前記タイミング指令に基づいて、前記基準位置を変更する、
    請求項２から４のいずれか１つに記載の表示システム。
  6. 　前記像を表す光を投影する投影装置をさらに含む、
    　請求項１から５のいずれか１つに記載の表示システム。
  7. 　前記移動体は、車両であり、
    　前記像は、車両のフロントガラスの前方に表示される虚像である、
    　請求項１から６のいずれか１つに記載の表示システム。
PCT/JP2020/016455 2019-05-31 2020-04-14 表示システム WO2020241094A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP20813893.3A EP3978290A4 (en) 2019-05-31 2020-04-14 DISPLAY SYSTEM
JP2021522690A JP7535758B2 (ja) 2019-05-31 2020-04-14 表示システム
US17/533,751 US11945310B2 (en) 2019-05-31 2021-11-23 Display system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-102925 2019-05-31
JP2019102925 2019-05-31

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/533,751 Continuation US11945310B2 (en) 2019-05-31 2021-11-23 Display system

Publications (1)

Publication Number Publication Date
WO2020241094A1 true WO2020241094A1 (ja) 2020-12-03

Family

ID=73552882

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/016455 WO2020241094A1 (ja) 2019-05-31 2020-04-14 表示システム

Country Status (4)

Country Link
US (1) US11945310B2 (ja)
EP (1) EP3978290A4 (ja)
JP (1) JP7535758B2 (ja)
WO (1) WO2020241094A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102020209971A1 (de) * 2020-08-06 2022-02-10 Volkswagen Aktiengesellschaft Intelligentes Head-Up-Display

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011001775A (ja) * 2009-06-19 2011-01-06 Caterpillar Sarl 建設機械のディスプレイ装置
JP2015101311A (ja) 2013-11-28 2015-06-04 日本精機株式会社 車両情報投影システム
JP2016222061A (ja) * 2015-05-28 2016-12-28 日本精機株式会社 車両用表示システム
WO2019092996A1 (ja) * 2017-11-10 2019-05-16 株式会社デンソー 姿勢検出装置、及び姿勢検出プログラム
WO2019092995A1 (ja) * 2017-11-10 2019-05-16 株式会社デンソー 表示制御装置、及び表示制御プログラム

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6111940B2 (ja) 2013-09-05 2017-04-12 株式会社デンソー 車両用ヘッドアップディスプレイ装置
WO2015060193A1 (ja) 2013-10-22 2015-04-30 日本精機株式会社 車両情報投影システム及び投影装置
US9873355B2 (en) * 2014-04-25 2018-01-23 Mitsubishi Electric Corporation Automatic adjuster, automatic adjusting system and automatic adjusting method
JP6629889B2 (ja) * 2016-02-05 2020-01-15 マクセル株式会社 ヘッドアップディスプレイ装置
WO2017134865A1 (ja) * 2016-02-05 2017-08-10 日立マクセル株式会社 ヘッドアップディスプレイ装置
CN109643021B (zh) * 2016-08-29 2024-05-07 麦克赛尔株式会社 平视显示装置
JP6601441B2 (ja) * 2017-02-28 2019-11-06 株式会社デンソー 表示制御装置及び表示制御方法
WO2019168156A1 (ja) * 2018-03-02 2019-09-06 パナソニックＩｐマネジメント株式会社 表示システム
JP7194906B2 (ja) * 2018-03-30 2022-12-23 パナソニックＩｐマネジメント株式会社 映像表示システム、映像表示方法、プログラム、及び映像表示システムを備える移動体
JP6919621B2 (ja) * 2018-04-24 2021-08-18 株式会社Ｓｏｋｅｎ 表示制御ユニット、及び表示制御プログラム
WO2020032189A1 (ja) * 2018-08-09 2020-02-13 パナソニックＩｐマネジメント株式会社 表示システム
EP3868594B1 (en) * 2018-10-16 2023-12-27 Panasonic Intellectual Property Management Co., Ltd. Display system, display device and display control method
WO2020080459A1 (ja) * 2018-10-19 2020-04-23 パナソニックＩｐマネジメント株式会社 表示システム、表示装置、及び表示制御方法
WO2020084954A1 (ja) * 2018-10-23 2020-04-30 マクセル株式会社 ヘッドアップディスプレイシステム
JP7507439B2 (ja) * 2019-04-11 2024-06-28 パナソニックＩｐマネジメント株式会社 勾配変化検出システム、それを用いた表示システム及び移動体用プログラム
WO2020235160A1 (ja) * 2019-05-22 2020-11-26 パナソニックＩｐマネジメント株式会社 表示システム
JP7450230B2 (ja) * 2019-05-29 2024-03-15 パナソニックＩｐマネジメント株式会社 表示システム
JP7555662B2 (ja) * 2021-03-30 2024-09-25 パナソニックオートモーティブシステムズ株式会社 表示補正システム、表示システム、表示補正方法、及びプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011001775A (ja) * 2009-06-19 2011-01-06 Caterpillar Sarl 建設機械のディスプレイ装置
JP2015101311A (ja) 2013-11-28 2015-06-04 日本精機株式会社 車両情報投影システム
JP2016222061A (ja) * 2015-05-28 2016-12-28 日本精機株式会社 車両用表示システム
WO2019092996A1 (ja) * 2017-11-10 2019-05-16 株式会社デンソー 姿勢検出装置、及び姿勢検出プログラム
WO2019092995A1 (ja) * 2017-11-10 2019-05-16 株式会社デンソー 表示制御装置、及び表示制御プログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3978290A4

Also Published As

Publication number Publication date
JP7535758B2 (ja) 2024-08-19
EP3978290A1 (en) 2022-04-06
US11945310B2 (en) 2024-04-02
EP3978290A4 (en) 2022-08-03
JPWO2020241094A1 (ja) 2020-12-03
US20220080832A1 (en) 2022-03-17

Similar Documents

Publication Publication Date Title
CN111433067B (zh) 平视显示装置及其显示控制方法
WO2014162182A1 (en) Head-up display apparatus and control method of head-up display apparatus
EP3694740A1 (en) Display device, program, image processing method, display system, and moving body
WO2020241134A1 (ja) 表示システム
US11305692B2 (en) Display system
US20220028307A1 (en) Gradient change detection system, display system using same, and storage medium that stores program for moving body
JPWO2020080459A1 (ja) 表示システム、表示装置、及び表示制御方法
WO2020241094A1 (ja) 表示システム
US11875760B2 (en) Display system
US20210109358A1 (en) Display system
WO2020208883A1 (ja) 表示システム
JP2020179745A (ja) 表示システム
WO2021251117A1 (ja) 表示システム、及び、振動検出システム
WO2019074114A1 (en) DISPLAY DEVICE, PROGRAM, IMAGE PROCESSING METHOD, DISPLAY SYSTEM, AND MOBILE BODY
US11982817B2 (en) Display system
US12039898B2 (en) Image display system
WO2021251116A1 (ja) 表示システム
JP6432312B2 (ja) ナビゲーションシステム、ナビゲーション方法、及びナビゲーションプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20813893

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021522690

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2020813893

Country of ref document: EP

Effective date: 20220103