WO2021251115A1 - 表示システム - Google Patents

表示システム Download PDF

Info

Publication number
WO2021251115A1
WO2021251115A1 PCT/JP2021/019531 JP2021019531W WO2021251115A1 WO 2021251115 A1 WO2021251115 A1 WO 2021251115A1 JP 2021019531 W JP2021019531 W JP 2021019531W WO 2021251115 A1 WO2021251115 A1 WO 2021251115A1
Authority
WO
WIPO (PCT)
Prior art keywords
display
correction
image correction
amount
image
Prior art date
Application number
PCT/JP2021/019531
Other languages
English (en)
French (fr)
Inventor
智司 松井
範一 勝山
Original Assignee
パナソニックIpマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックIpマネジメント株式会社 filed Critical パナソニックIpマネジメント株式会社
Priority to JP2022530102A priority Critical patent/JPWO2021251115A1/ja
Priority to EP21820862.7A priority patent/EP4163156A4/en
Publication of WO2021251115A1 publication Critical patent/WO2021251115A1/ja
Priority to US18/075,659 priority patent/US11982817B2/en

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191Testing thereof
    • H04N9/3194Testing thereof including sensor feedback
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/23Head-up displays [HUD]
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/29Instruments characterised by the way in which information is handled, e.g. showing information on plural displays or prioritising information according to driving conditions
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/80Arrangements for controlling instruments
    • B60K35/81Arrangements for controlling instruments for controlling displays
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/38Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory with means for controlling the display position
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179Video signal processing therefor
    • H04N9/3185Geometric adjustment, e.g. keystone or convergence
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16Type of output information
    • B60K2360/166Navigation
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16Type of output information
    • B60K2360/167Vehicle dynamics information
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/18Information management
    • B60K2360/186Displaying information according to relevancy
    • B60K2360/1868Displaying information according to relevancy according to driving situations
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/18Information management
    • B60K2360/186Displaying information according to relevancy
    • B60K2360/1876Displaying information according to relevancy according to vehicle situations
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • G02B2027/0183Adaptation to parameters characterising the motion of the vehicle
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B2027/0192Supplementary details
    • G02B2027/0196Supplementary details having transparent supporting structure for display mounting, e.g. to a window or a windshield
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/04Changes in size, position or resolution of an image
    • G09G2340/0464Positioning
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00Specific applications
    • G09G2380/10Automotive applications

Definitions

  • the present disclosure relates to a display system that controls the display position of display content according to the movement of a moving object.
  • Patent Document 1 discloses a vehicle information projection system that performs augmented reality (AR) display using a head-up display (HUD) device.
  • the HUD device projects a light representing a virtual image onto the windshield of the vehicle so that the viewer, who is a occupant of the vehicle, can see the virtual image together with the actual view of the outside world of the vehicle.
  • a virtual image representing a vehicle guidance route is displayed in association with a display target (for example, a road) in the actual scene.
  • a display target for example, a road
  • the vehicle information projection system described in Patent Document 1 includes a vehicle speed sensor and corrects the display position of a virtual image according to the acceleration. As a result, it is possible to prevent the virtual image from being displaced during sudden deceleration and sudden acceleration of the vehicle.
  • the present disclosure provides a display system that suppresses misalignment of the display position of display content.
  • the display system of the present disclosure includes a display processing device that controls the display of display contents, an image correction unit that performs image correction that accompanies a change in the display position of the display contents based on image correction data stored in advance, and a moving body. It is generated by the posture detection device that detects the amount of change in the posture of the image, and the vibration correction process that corrects the amount of change in the posture of the moving body and the display deviation caused by the change in the posture of the moving body after performing image correction by the image correction unit.
  • the display processing device includes a vibration correction processing device that calculates a correction amount of the display position of the display content based on the image correction error of the image correction, and the display processing device controls the display position of the display content based on the correction amount.
  • the display system of the present disclosure it is possible to suppress the misalignment of the display position of the displayed content.
  • a diagram for explaining a head-up display A block diagram showing the internal configuration of the display system according to the first embodiment.
  • a diagram showing an example of the initial position of the display content Figure showing another example of the initial position of the display content Diagram showing an example when the vehicle is not tilted
  • a diagram showing an example of a real scene seen from the windshield The figure which shows the example which the display content is displayed in a reference position.
  • Diagram showing an example of augmented reality (AR) display Diagram showing the backward leaning posture of the vehicle A diagram for explaining an example in which the displayed content is misaligned when the vehicle is in a backward leaning posture.
  • AR augmented reality
  • the figure which shows the display example of the display content after vibration correction processing Image diagram for explaining image correction processing Diagram showing an example of multiple compartment areas in the display area Diagram showing an example of image correction data
  • Flow chart showing display processing in the first embodiment A flowchart showing the correction process in the first embodiment
  • Flow chart showing the correction process in the second embodiment The figure which shows the example of the 2nd correction value table which includes the 2nd correction value of the image correction assigned to the deviation correction amount from the initial position of a display content.
  • the display position of the display content (for example, arrow, figure, character, etc.) displayed in the display area is electronically corrected according to the state (for example, posture) of the moving object detected based on the output of the sensor. It is known to do.
  • the display system performs vibration correction processing that corrects the display position of the displayed content based on the vibration of the moving body detected by the sensor.
  • the displayed image when the display content is displayed in the display area, the displayed image may be distorted or rotated.
  • the display content when the display content is displayed in front of the windshield of a moving vehicle, the display content may be distorted when the display content is reflected by the windshield.
  • the displayed content may be displayed at an angle due to variations in the manufacturing of the display system. Therefore, in the display system, in order to correct distortion and rotation deviation of the display content, an image correction process for changing the display position of the display content is performed.
  • the display system acquires information such as distortion and rotation deviation when the displayed content is displayed in the display area at the time of manufacturing or design, and stores the image correction data calculated based on the information in the storage unit. Keep it.
  • the image correction data includes information on a correction value that corrects a deviation in the display position of the display content such as distortion and rotation deviation.
  • the display system corrects distortion, rotation deviation, and the like by performing image correction processing based on image correction data stored in advance in the storage unit.
  • the display position of the displayed content may be displayed deviating from the target display position.
  • the image correction value of the image correction process assigned at each position may be different before and after the vibration correction process.
  • the image correction processing is performed with the image correction value of the second position instead of the image correction value of the first position. Is desirable.
  • the image correction process may be performed with the image correction value of the first position before the display position is changed by the vibration correction. Therefore, an image correction error occurs due to the image correction process, and the display position of the displayed content is displayed deviated from the target display position.
  • the image correction process when the image correction process is performed after the vibration correction process is performed, the image correction process requires more time than the vibration correction process, so that the posture of the moving body changes during the image correction process.
  • the vibration correction amount of the vibration correction process may change. That is, a delay time occurs from the vibration correction process to the display of the content due to the execution of the image correction process, so that a vibration correction error due to the vibration correction process occurs. As a result, the display position of the displayed content is displayed deviated from the target display position.
  • the display system of the present disclosure performs vibration correction processing after performing image correction processing. Further, in the vibration correction process, the display content is displayed based on the amount of change in the posture of the moving body and the image correction error of the image correction caused by the vibration correction process for correcting the display deviation caused by the change in the posture of the moving body. Calculate the vibration correction amount of the position. As a result, the position shift of the display position of the display content is suppressed.
  • the moving body is a vehicle such as an automobile and the display system is a head-up display (HUD) system for displaying display contents in front of the windshield of the vehicle will be described as an example.
  • HUD head-up display
  • FIG. 1 is a diagram for explaining the HUD system.
  • the roll axis of the vehicle 200 is the X axis
  • the pitch axis of the vehicle 200 is the Y axis
  • the yaw axis of the vehicle 200 is the Z axis. That is, the X-axis is orthogonal to the Y-axis and the Z-axis, and is an axis along the line-of-sight direction of the occupant D who visually recognizes the displayed content Iv.
  • the Y-axis is an axis along the left-right direction when viewed from the occupant D who visually recognizes the displayed content Iv.
  • the Z axis is an axis along the height direction of the vehicle 200.
  • the display system 100 of the present embodiment is a so-called augmented reality (AR) display in which the display content Iv is superimposed on the actual view in front of the windshield 210 of the vehicle 200.
  • the display content Iv is content indicating predetermined information displayed in the display area 220.
  • the display content Iv is a figure and characters indicating a route for guiding to a destination, an estimated time of arrival at the destination, a traveling direction, a speed, various warnings, and the like.
  • an arrow indicating a route for guiding to the destination will be described as an example of the display content Iv.
  • the display system 100 is installed in the vehicle 200 and projects the display light Lc representing the display content Iv into the display area 220 of the windshield 210 of the vehicle 200.
  • the display area 220 is a part of the windshield 210.
  • the display area 220 may be the entire area of the windshield 210.
  • the display light Lc is reflected in the vehicle interior direction by the windshield 210. As a result, the occupant D in the vehicle 200 visually recognizes the reflected display light Lc as the display content Iv in front of the vehicle 200.
  • the display system 100 includes a projection device 10, an information acquisition device 20, a display processing device 30, a posture detection device 40, and a vibration correction processing device 50.
  • the projection device 10 projects the display light Lc representing the display content Iv into the display area 220.
  • the projection device 10 includes, for example, a liquid crystal display element that displays an image of display content Iv, a light source such as an LED that illuminates the liquid crystal display element, a mirror that reflects the display light Lc of the image displayed by the liquid crystal display element to the display area 220, and a mirror. Including lenses and the like.
  • the projection device 10 is installed, for example, in the dashboard of the vehicle 200.
  • the information acquisition device 20 acquires information indicating the position of the vehicle 200. Specifically, the information acquisition device 20 measures the position of the vehicle 200 and generates position information indicating the position. The information acquisition device 20 outputs vehicle-related information including the position information of the vehicle 200.
  • the display processing device 30 controls the display of the display content Iv based on the vehicle-related information obtained from the information acquisition device 20, and outputs the image data of the display content Iv to the projection device 10.
  • the display processing device 30 may control the display of the display content Iv based on the display timing (display time) of the display content Iv or the combination of the vehicle-related information and the display timing.
  • the display timing is, for example, repeating display for 10 seconds and non-display for 1 second.
  • the display processing device 30 performs image correction processing accompanied by changing the display position of the display content Iv based on the image correction data, and corrects the display deviation such as distortion and rotation deviation of the display content Iv.
  • the posture detection device 40 detects the posture change of the vehicle 200. Specifically, the posture detecting device 40 detects the amount of change in the posture of the vehicle 200.
  • the amount of change in attitude is the angular velocity.
  • the attitude detection device 40 includes, for example, a gyro sensor 41 (see FIG. 2) that detects an angular velocity.
  • the gyro sensor 41 outputs the detected angular velocity to the vibration correction processing device 50 as a posture change amount indicating the posture change of the vehicle 200.
  • the vibration correction processing device 50 is a vibration correction amount of the display position of the display content Iv based on the posture change of the vehicle 200 detected by the posture detection device 40 and the image correction error of the image correction processing caused by the posture change. Is calculated.
  • the vibration correction processing device 50 outputs the calculated vibration correction amount to the display processing device 30. As a result, the display position of the display content Iv is corrected in the display area 220 according to the change in the actual view seen from the windshield 210.
  • FIG. 2 is a block diagram showing the internal configuration of the display system 100.
  • the information acquisition device 20 includes a GPS (Global Positioning System) module 21 that detects a position indicating the current location of the vehicle 200 in the geographic coordinate system. Specifically, the GPS module 21 receives radio waves from GPS satellites and determines the latitude and longitude of the received points. The GPS module 21 generates position information indicating the measured latitude and longitude. The information acquisition device 20 outputs vehicle-related information including position information to the display processing device 30.
  • GPS Global Positioning System
  • the display processing device 30 includes a communication unit 31, a display control unit 32, a storage unit 33, and an image correction unit 34.
  • the communication unit 31 includes a circuit that communicates with an external device in accordance with a predetermined communication standard.
  • Predetermined communication standards include, for example, LAN, Wi-Fi (registered trademark), Bluetooth (registered trademark), USB, HDMI (registered trademark), CAN (controller area network), SPI (Serial Peripheral Interface).
  • the display control unit 32 can be realized by a semiconductor element or the like.
  • the display control unit 32 can be composed of, for example, a microcomputer, a CPU, an MPU, a GPU, a DSP, an FPGA, and an ASIC.
  • the function of the display control unit 32 may be configured only by hardware, or may be realized by combining hardware and software.
  • the display control unit 32 realizes a predetermined function by reading data and programs stored in the storage unit 33 and performing various arithmetic processes.
  • the storage unit 33 is a storage medium for storing programs and data necessary for realizing the functions of the display processing device 30.
  • the storage unit 33 can be realized by, for example, a hard disk (HDD), SSD, RAM, DRAM, ferroelectric memory, flash memory, magnetic disk, or a combination thereof.
  • the storage unit 33 stores a plurality of image data 33i representing the display content Iv. Further, the storage unit 33 stores the image correction data 33g used for the image correction processing.
  • the image correction data 33g includes, for example, an image correction value for correcting display deviation such as distortion and / or rotation deviation of an image representing display content Iv.
  • the image correction value is known data calculated based on, for example, image distortion and / or rotation deviation measured by inspection at the time of manufacture of the display system 100, and is a static value.
  • the distortion is, for example, distortion that occurs when the display content Iv is reflected by the windshield 210 when the display content Iv is displayed in front of the windshield 210 of the vehicle 200.
  • the rotation deviation is a deviation caused by a variation in installation, for example, when the projection device 10 is installed at an angle with respect to the windshield 210 on which light is projected from the projection device 10.
  • the image correction data 33g may divide the display area 220 into a plurality of division areas and store the image correction value assigned to each of the plurality of division areas.
  • the image correction data 33g may store an image correction table showing image correction values assigned to each of the plurality of partition areas.
  • the image correction data 33g may include an image correction value for correcting a display deviation that causes a change in the display position of the display content Iv other than distortion and / or rotation deviation.
  • the image correction unit 34 performs image correction accompanied by a change in the display position of the display content Iv based on the image correction data 33g stored in advance in the storage unit 33.
  • the image correction accompanied by the change of the display position of the display content Iv includes, for example, correction of distortion of the image and / or correction of rotation deviation of the image.
  • the image correction unit 34 corrects distortion and / or rotation deviation of the display content Iv projected on the windshield 210 of the vehicle 200 by the projection device 10.
  • the image correction unit 34 reads out the image correction data 33g stored in advance in the storage unit 33, and determines an image correction value for correcting the display deviation of the display position of the display content Iv caused by distortion and / or rotation deviation. ..
  • the image correction unit 34 determines the image correction value using the image correction table of the image correction data 33g.
  • the image correction value determined by the image correction unit 34 is output to the display control unit 32.
  • the image correction unit 34 may be included in the display control unit 32.
  • the display control unit 32 determines the display content Iv to be displayed in the display area 220 based on the vehicle-related information obtained from the information acquisition device 20.
  • the display control unit 32 reads the image data 33i of the determined display content Iv from the storage unit 33 and outputs the image data 33i to the projection device 10.
  • the display control unit 32 acquires information indicating the display reference position from an external device (not shown) via the communication unit 31.
  • the display reference position is a position that serves as a reference for displaying the display content Iv in the display area 220.
  • the display control unit 32 acquires content information indicating information on the display content Iv.
  • the content information includes, for example, information such as the shape, size, display edge, and display reference position of the display content Iv.
  • information on display content including display reference position and content information (for example, information such as size of display content) is referred to as content display information.
  • the content display information includes at least a feature portion that determines the shape of the displayed content.
  • the feature portion is, for example, a pixel position of a content display.
  • the content display information is stored in the storage unit 33 together with the image data 33i.
  • the display control unit 32 acquires vehicle-related information from the information acquisition device 20 via the communication unit 31, and uses the images to be used among the plurality of image data 33i stored in the storage unit 33 based on the vehicle-related information. Determine the data. As a result, the display control unit 32 acquires information indicating the shape, size, display end, and the like of the display content Iv.
  • the display control unit 32 outputs the content display information to the vibration correction processing device 50.
  • the display control unit 32 acquires the image correction value of the display content Iv from the image correction unit 34, and changes the display position of the display content Iv based on the image correction value. Further, the display control unit 32 acquires the vibration correction amount from the vibration correction processing device 50. The display control unit 32 sets the display position of the display content Iv based on the display reference position and the vibration correction amount.
  • the attitude detection device 40 includes a gyro sensor 41 that detects an angular velocity.
  • the gyro sensor 41 outputs the detected angular velocity to the vibration correction processing device 50 as a posture change amount indicating the posture change of the vehicle 200.
  • the calculation processing of the output of the posture detection device 40 may be performed by the deviation amount calculation unit 52a of the posture detection device 40 or the vibration correction processing device 50, or another configuration.
  • the vibration correction processing device 50 includes a communication unit 51, a correction control unit 52, and a storage unit 53.
  • the communication unit 51 includes a circuit that communicates with an external device in accordance with a predetermined communication standard.
  • Predetermined communication standards include, for example, LAN, Wi-Fi (registered trademark), Bluetooth (registered trademark), USB, HDMI (registered trademark), CAN (controller area network), SPI (Serial Peripheral Interface).
  • the correction control unit 52 can be realized by a semiconductor element or the like.
  • the correction control unit 52 can be composed of, for example, a microcomputer, a CPU, an MPU, a GPU, a DSP, an FPGA, and an ASIC.
  • the function of the display control unit 32 may be configured only by hardware, or may be realized by combining hardware and software.
  • the correction control unit 52 realizes a predetermined function by reading data or a program stored in a storage unit (not shown) in the vibration correction processing device 50 and performing various arithmetic processing.
  • the correction control unit 52 includes a deviation amount calculation unit 52a, a correction amount calculation unit 52b, and an image correction error calculation unit 52c as functional configurations.
  • the deviation amount calculation unit 52a calculates the attitude (angle deviation amount) of the vehicle 200 based on the attitude change amount output by the attitude detection device 40.
  • the amount of deviation of the angle is the posture angle with respect to the posture state that is the reference of the moving body.
  • the reference posture state of the moving body is, for example, a stationary vehicle state placed in a horizontal state.
  • the deviation amount calculation unit 52a calculates the angle (pitch angle) around the pitch axis of the vehicle 200 by integrating the angular velocity detected by the gyro sensor 41. Thereby, the deviation amount (angle) of the vehicle 200 in the rotation direction about the Y axis (pitch axis) shown in FIG. 1 can be calculated.
  • the pitch angle is calculated, but the yaw angle or the roll angle may be calculated.
  • all angles around the X-axis, Y-axis, and Z-axis may be calculated.
  • the pitch angle, the yaw angle, and the roll angle are 0 °, respectively.
  • the amount of deviation which is an angle with respect to the three axial directions, may be calculated.
  • the posture detection device 40 outputs the pitch angle, yaw angle, and roll angle, these values may be processed as the deviation amount.
  • the correction amount calculation unit 52b is based on the posture (angle deviation amount) of the vehicle 200 and the image correction error of the image correction processing caused by the vibration correction processing for correcting the display deviation caused by the posture change of the vehicle 200.
  • the correction amount (vibration correction amount) of the display position of the display content Iv is calculated.
  • the correction amount calculation unit 52b calculates the vibration correction amount based on the deviation amount calculated by the deviation amount calculation unit 52a and the image correction error calculated by the image correction error calculation unit 52c.
  • the image correction error calculation unit 52c calculates the image correction error of the image correction process caused by the vibration correction process for correcting the display deviation caused by the posture change of the vehicle 200. Specifically, the image correction error calculation unit 52c calculates the initial position of the display content Iv based on the content display information output from the display processing device 30.
  • the initial position means the display position of the display content Iv when the vibration correction amount is “0”.
  • the initial position may be the display reference position first acquired from the external device, or may be the position of the characteristic portion of the display content Iv when the vibration correction amount is “0”.
  • the initial position is the display position of the characteristic portion of the display content Iv when the vibration correction amount is "0".
  • the feature portion is the tip portion of the arrow.
  • the initial position is the display position of the tip of the arrow.
  • FIG. 3A is a diagram showing an example of the initial position x1 of the display content Iv.
  • the display content Iv shown in FIG. 3A is an arrow having a linear shape extending in one direction.
  • the initial position x1 of the display content Iv coincides with the display reference position P0 which is the display position of the display content Iv when the vibration correction amount is “0”.
  • FIG. 3B is a diagram showing another example of the initial position x1 of the display content Iv.
  • the display content Iv shown in FIG. 3B is an arrow having a shape bent by 90 °.
  • the initial position x1 of the display content Iv is different from the display reference position P0.
  • the image correction error calculation unit 52c acquires an image correction value (image correction data) from the display processing device 30 via the communication unit 31.
  • the image correction error calculation unit 52c is an image based on the initial position of the display content Iv, the deviation amount calculated by the deviation amount calculation unit 52a, and the image correction value (image correction data) acquired from the display processing device 30. Calculate the correction error.
  • the image correction error calculation unit 52c acquires a correction value (first image correction value) for image correction at the initial position of the display content Iv. Further, the image correction error calculation unit 52c is a correction value (second image) of the image correction at the display position of the display content Iv displayed when the vibration is corrected based on the deviation amount calculated by the deviation amount calculation unit 52a. Correction value) is acquired. The image correction error calculation unit 52c calculates the image correction error by subtracting the first image correction value from the second image correction value. That is, the image correction error is the first image correction value at the initial position of the display content Iv and the second image at the display position of the display content Iv after vibration correction based on the deviation amount calculated by the deviation amount calculation unit 52a. It is the difference between the correction value and.
  • the image correction error calculation unit 52c stores a correction value table to which correction values for image correction corresponding to the amount of deviation from the initial position are assigned.
  • the image correction error calculation unit 52c has a storage unit and stores the correction value table in the storage unit.
  • the image correction error calculation unit 52c calculates the image correction error based on the initial position, the deviation amount, and the correction value table.
  • the correction value of the image correction corresponding to the deviation amount from the initial position may be referred to as a first correction value
  • the correction value table may be referred to as a first correction value table
  • the vibration correction processing device 50 outputs the vibration correction amount to the display processing device 30.
  • the display processing device 30 and the vibration correction processing device 50 communicate in both directions by the communication units 31 and 51.
  • the display processing device 30 outputs the content display information to the vibration correction processing device 50.
  • the vibration correction processing device 50 outputs correction information indicating a vibration correction amount to the display processing device 30.
  • FIG. 4A shows an example when the vehicle 200 is not tilted.
  • FIG. 4B shows an example of an actual view seen from the windshield 210 of the vehicle 200 shown in FIG. 4A.
  • FIG. 4C shows an example of the display content Iv visible from the display area 220.
  • FIG. 4D shows an example in which the display content Iv shown in FIG. 4C is displayed so as to overlap with the actual scene shown in FIG. 4B.
  • the display system 100 superimposes the display content Iv shown in FIG. 4C on the actual scene shown in FIG. 4B.
  • the display reference position P0 of the display content Iv is a position determined based on the type of the display content Iv, the state (position and posture) of the vehicle 200, the map data, and the like. For example, when the display target 230 is a traveling lane and the display content Iv is an arrow indicating a traveling direction, the display reference position P0 is a display position on the liquid crystal display when the tip of the arrow points to the center of the traveling lane.
  • the display reference position P0 is set, for example, in FIG. 4C at the position of the pixel on the liquid crystal display corresponding to the values of the Y coordinate and the Z coordinate in the display area 220.
  • the display reference position P0 is acquired from an external device.
  • the external device can be composed of, for example, a microcomputer, a CPU, an MPU, a GPU, a DSP, an FPGA, or an ASIC, and a GPS module 21.
  • the function of the external device may be configured only by hardware, or may be realized by combining hardware and software.
  • the display reference position P0 output from the external device may change based on the change in posture due to the number of occupants, the change in load, the decrease in gasoline, etc., so for example, when it is different from the display reference position initially acquired. There is. Therefore, the display processing device 30 may change the display reference position P0 acquired from the external device based on the change in posture due to the number of occupants, the change in load, the decrease in gasoline, and the like.
  • the display processing device 30 may set the display reference position P0 based on vehicle-related information, map data, and the like.
  • the display processing device 30 may set the size of the display content Iv based on the vehicle-related information.
  • FIG. 5A shows an example of a state in which the vehicle 200 is in a forward leaning posture.
  • FIG. 5B illustrates a case where the display position of the display content Iv deviates from the display target 230 in response to the posture change of the vehicle 200.
  • FIG. 5C shows the display position of the display content Iv after vibration correction.
  • the vehicle 200 may tilt due to unevenness of the road surface, sudden acceleration or deceleration of the vehicle 200, or the like. For example, when the vehicle 200 suddenly decelerates, the vehicle 200 is in a forward leaning posture as shown in FIG. 5A. In this case, as shown in FIG. 5B, the position of the display target 230 seen from the windshield 210 changes according to the inclination of the vehicle 200. Therefore, when the display content Iv is displayed at the display reference position P0, the display content Iv deviates from the display target 230. For example, as shown in FIG. 5B, the tip of the arrow is in the oncoming lane 231.
  • the display system 100 adjusts the display position of the display content Iv in the direction of returning the deviation according to the posture of the vehicle 200.
  • the vibration correction processing device 50 calculates the vibration correction amount C so that the position P1 has no deviation of the display position due to the angle of the vehicle 200. That is, the display processing device 30 sets the display position of the display content Iv to "display reference position P0 + vibration correction amount C". As a result, the projection device 10 can display the display content Iv at the position P1 corresponding to the display target 230.
  • the position P1 corresponding to the display target 230 in the actual scene is changed.
  • the display content Iv can be displayed in.
  • FIG. 6 shows an image diagram for explaining the image correction process.
  • a distortion correction process when distortion occurs in the vertical direction of the display area 220 will be described.
  • the sizes of the plurality of compartment areas differ due to distortion.
  • the sizes of the upper areas L11 and L12 and the lower areas L15 and L16 are smaller than those of the section area when there is no distortion.
  • the sizes of the central regions L13 and L14 are larger than those of the compartmentalized region when there is no distortion.
  • the sizes of the display contents Iv11 to Iv16 displayed in each section area change, and the display positions P11 to P16 at the tips of the arrows, which are characteristic portions of the display contents Iv11 to Iv16, deviate from the superimposed positions Q11 to Q16.
  • the image correction unit 34 performs image correction accompanied by a change in the display position of the display content Iv based on the image correction data 33g stored in advance in the storage unit 33. Specifically, the image correction unit 34 determines the image correction value using the image correction table of the image correction data 33g, and outputs the image correction value to the display control unit 32. In the example shown in FIG. 6, the image correction unit 34 determines the image correction value so that the display contents Iv11, Iv12 and Iv15, Iv16 become larger in the vertical direction in the upper regions L11, L12 and the lower regions L15, L16. .. Further, the image correction unit 34 determines the image correction value so that the display contents Iv13 and Iv14 become smaller in the vertical direction in the central regions L13 and L14. As a result, the display control unit 32 can control the display positions P11 to P16 of the display contents Iv11 to Iv16 based on the determined image correction value and superimpose the display contents on the superimposed positions Q11 to Q16.
  • FIG. 7A shows an example of a plurality of compartment areas R11 to R64 in the display area 220.
  • the display area 220 on which the display content Iv is displayed has a plurality of partition areas R11 to R64.
  • the plurality of partition areas R11 to R64 are partitioned vertically and horizontally in a mesh shape.
  • the display area 220 is divided into six vertical and four horizontal division areas R11 to R64.
  • the number and arrangement of the partition areas are not limited to this.
  • the display area 220 may have a plurality of compartment areas.
  • FIG. 7B shows an example of image correction data 33 g.
  • the image correction data 33g has an image correction table including image correction values U11 to U64 assigned to each of the plurality of partition areas R11 to R64 of the display area 220.
  • the image correction values U11 to U64 of the image correction data 33g correspond to a plurality of division areas R11 to R64 of the display area 220, respectively.
  • the image correction value U22 is adopted as the image correction value.
  • FIG. 8 shows an example in which an image correction error E1 of the image correction processing occurs when the vibration correction processing is performed after the image correction processing is performed.
  • the display area 220 is distorted in the vertical direction. Therefore, when the display area 220 is divided into a plurality of compartment areas, the sizes of the plurality of compartment areas differ due to distortion.
  • the sizes of the upper areas L21 and L22 and the lower areas L25 and L26 are smaller than those of the section area when there is no distortion. Further, the sizes of the central regions L23 and L24 are larger than those of the compartmentalized region when there is no distortion. Therefore, in the upper regions L21 and L22 and the lower regions L25 and L26, the display content Iv is corrected so as to increase in the vertical direction. Further, in the central regions L23 and L24, the display content Iv is corrected so as to be smaller in the vertical direction.
  • the reduction processing is applied, and the display content Iv is corrected so as to be smaller in the vertical direction.
  • the enlargement processing is applied, and the display content Iv is corrected so as to increase in the vertical direction.
  • the display position of the display content Iv is not changed by the vibration correction process. Therefore, the display position of the display content Iv21 after the vibration correction is not changed from the display reference position P0. That is, the display content Iv21 does not deviate from the superimposed position.
  • the display content Iv is an arrow having a shape bent by 90 °
  • the initial position x1 is the same as the display reference position P0 in the yaw axis direction (Z axis direction), but the present invention is limited to this. Not done.
  • the initial position x1 may be different from the display reference position P0.
  • the target display position P2 of the corrected display content Iv22 is calculated by "display reference position (initial position) P0 + vibration correction amount C10".
  • the target display position P2 is calculated by "initial position x1 + vibration correction amount C10". ..
  • the display content Iv22 is displayed in the upper region L22 one above the central region L23 (see “A3” in FIG. 8).
  • the display content Iv22 is displayed in the upper region L22
  • the enlargement processing of “A4 ⁇ A3” of the upper region L22 in FIG. 8 is applied as the image correction processing. That is, when the display content Iv22 is displayed in the upper region L22, it is preferable that the display content Iv is corrected so as to increase in the vertical direction.
  • the vibration correction process is performed after the image correction process is performed.
  • the display content Iv is displayed in the central region L23 before the vibration correction process is performed, that is, when the image correction process is performed. Therefore, in the image correction processing, the reduction processing of “A1 ⁇ A2” of the central region L23 of FIG. 8 is applied instead of the enlargement processing of “A4 ⁇ A3” of the upper region L22 of FIG. That is, the display content Iv is corrected so as to be smaller in the vertical direction.
  • the vibration correction process is performed after the image correction process, and the vibration correction amount of the display position of the display content Iv is calculated based on the vibration and the image correction error.
  • FIG. 9 shows the display processing performed by the display control unit 32 of the display processing device 30.
  • the display process shown in FIG. 9 is started, for example, when the engine of the vehicle 200 is started, or when the button for instructing the display start of the display content Iv is operated.
  • the display control unit 32 acquires vehicle-related information including the position information of the vehicle 200 from the information acquisition device 20 (S101). The display control unit 32 determines whether or not to display the display content Iv corresponding to the display target 230 based on the vehicle-related information (S102).
  • the display control unit 32 decides to display the display content Iv (Yes in S103)
  • the display control unit 32 acquires the information indicating the display reference position P0 of the display content Iv from the external device and also acquires the content information from the storage unit 33. (S104).
  • the display control unit 32 outputs the content display information to the vibration correction processing device 50 (S105).
  • the content display information includes a display reference position and content information.
  • the display control unit 32 acquires information indicating the image correction value U of the display content Iv from the image correction unit 34 (S106).
  • the display control unit 32 sets the display position of the display content Iv based on the display reference position P0, the content information, and the image correction value U (S107). For example, the display control unit 32 corrects the entire area in the display area 220 by using each image correction value U to make corrections such as enlargement, reduction, and / or rotation of the image.
  • the display control unit 32 sets the display position of the display content Iv to the reference display position P0 after performing the image correction.
  • the display control unit 32 acquires the vibration correction amount C calculated based on the image correction error E1 from the vibration correction processing device 50 (S108).
  • the display control unit 32 changes the display position of the display content Iv based on the display reference position P0 and the vibration correction amount C, and displays the display content Iv (S109). For example, the display control unit 32 sets the display position of the display content Iv to "display reference position P0 + vibration correction amount C" and outputs the display content to the projection device 10.
  • the display control unit 32 decides not to display the display content Iv (No in S103), the display control unit 32 hides the display content Iv (S111).
  • the display control unit 32 determines whether or not to continue the display process (S110). For example, when the engine of the vehicle 200 is stopped, or when the button for instructing the end of the display of the display content Iv is operated, the display control unit 32 ends the display process. To continue the display process, the process returns to step S101.
  • FIG. 10 shows a correction process performed by the correction control unit 52 of the vibration correction processing device 50.
  • the correction process shown in FIG. 10 is started, for example, when the engine of the vehicle 200 is started, or when the button for instructing the display start of the display content Iv is operated.
  • the correction process of FIG. 10 is started together with the display process of FIG. 9, for example.
  • the correction process shown in FIG. 10 may be started when the button for instructing the start of the position correction of the display content Iv is operated.
  • the correction control unit 52 acquires the content display information of the display content Iv from the display processing device 30 (S201).
  • the correction control unit 52 acquires a posture change amount indicating the angular velocity of the vehicle 200 output from the gyro sensor 41 (S202).
  • the correction control unit 52 calculates the posture of the vehicle 200, that is, the deviation amount y with respect to the three axial directions, based on the posture change amount (S203).
  • the correction control unit 52 corrects the image caused by the vibration correction process for correcting the display deviation caused by the posture change of the vehicle 200 based on the content display information and the deviation amount y calculated based on the posture change amount.
  • the image correction error E1 is calculated (S204).
  • the correction control unit 52 calculates the initial position x1 of the display content Iv when the vibration correction amount is "0" based on the content display information output from the display processing device 30.
  • the initial position x1 may change depending on the display reference position P0 and / or the feature portion of the display content Iv (see FIGS. 3A and 3B). Therefore, the initial position x1 is calculated based on the content display information (for example, display reference position P0, content information).
  • the correction control unit 52 calculates the image correction error E1 based on the initial position x1, the deviation amount y, and the image correction value U of the display content Iv.
  • the image correction error E1 is calculated by the difference between the first image correction value at the initial position x1 of the display content Iv and the second image correction value at the display position of the display content Iv after vibration correction based on the deviation amount y. Will be done.
  • the calculation of the image correction error E1 will be described.
  • the image correction error E1 can be calculated in all the partition areas shown in FIGS. 7A and 7B, while the vibration correction amount C is one. Therefore, the image correction error E1 that can be added to the vibration correction is also one. Since the display content Iv is displayed across a plurality of compartment areas, the image correction error of which of the plurality of compartment areas in which the display content Iv is located is selected to be added to the vibration correction amount. , The correction accuracy of the display content Iv can be improved. In the present embodiment, the display position of the feature portion of the display content Iv, that is, the partition area used for calculating the image correction error E1 based on the initial position x1 is selected. This makes it possible to improve the accuracy of the display deviation correction of the characteristic portion of the display content Iv.
  • FIG. 11A shows an example of the display position of the display content Iv before and after the vibration correction in the display area 220.
  • FIG. 11B is a diagram illustrating a first image correction value before vibration correction and a second image correction value after vibration correction in the example of FIG. 11A.
  • the display content Iv represented by the solid line indicates the display position before the vibration correction
  • the display content Iv represented by the dotted line indicates the display position after the vibration correction.
  • FIG. 11B shows an image correction table including image correction values U11 to U64 assigned to each of the plurality of partition areas R11 to R64 of the display area 220 shown in FIG. 11A.
  • the tip of the arrow which is a characteristic portion of the display content Iv
  • the initial position x1 of the display content Iv is the first section area R33.
  • the tip of the arrow which is a characteristic portion of the display content Iv
  • the display position x2 of the characteristic portion of the display content Iv after the vibration correction is the second section region R13.
  • the first image correction value assigned to the first section area R33 is “U33”.
  • the second image correction value assigned to the second section area R13 is "U13".
  • the image correction error E1 is calculated by subtracting the first image correction value U33 from the second image correction value U13.
  • the correction control unit 52 has a first correction value table to which the first correction value Ea for image correction corresponding to the deviation amount y from the initial position x1 is assigned.
  • the correction control unit 52 calculates the image correction error E1 based on the initial position x1, the deviation amount y, and the first correction value table.
  • the correction control unit 52 acquires the correction value Ex as the first image correction value for image correction at the initial position x1.
  • the correction value Ex is acquired from the image correction values U11 to U64 assigned to the plurality of partition areas R11 to R64 shown in FIGS. 7A and 7B.
  • the correction control unit 52 refers to the first correction value table and uses the first correction value as the second image correction value of the image correction at the display position x2 of the display content Iv after the vibration correction based on the deviation amount y from the initial position x1. Acquire the correction value Ea.
  • the correction control unit 52 calculates the image correction error E1 by subtracting the correction value Ex from the first correction value Ea.
  • FIG. 12 shows an example of a first correction value table including the first correction value Ea of the image correction assigned to the deviation amount y from the initial position x1 of the display content Iv.
  • a first correction value table including a first correction value Ea showing an image correction value in the Z-axis direction corresponding to an angle deviation amount y around the Y-axis from the initial position x1 is shown.
  • the first correction value Ea is set every time the angle deviation amount y changes by 0.01 [deg.].
  • the first correction value Ea is E100, and the angle deviation amount y is ⁇ M / 100 ⁇ y ⁇ (M-1) / 100. At that time, the first correction value Ea is Em. Further, when the angle deviation amount y is 0.00 ⁇ y ⁇ +0.01, the first correction value Ea is E200, and when the angle deviation amount y is + (N-1) / 100 ⁇ y ⁇ + N / 100, The first correction value Ea is En. Note that "M" and "N" mean arbitrary constants.
  • the present invention is not limited to this.
  • the range of the deviation amount y to which the first correction value Ea is assigned is not limited to every 0.01 [deg.].
  • the first correction value Ea is assigned to the deviation amount y in the pitch axis direction from the initial position x1, but the deviation amount in the yaw axis direction and the roll direction from the initial position x1.
  • a correction value may be assigned to.
  • the correction value Ex (first image correction value) for image correction at the initial position x1 of the display content Iv is calculated based on the initial position x1 and the image correction data 33g. For example, when the initial position x1 is in the compartment area R23 shown in FIG. 7A, the correction value Ex is determined to be the image correction value U23.
  • the first correction value Ea (second image correction value) for image correction at the display position x2 of the display content Iv after vibration correction based on the deviation amount y from the initial position x1 is the initial position x1, the deviation amount y, and the first. Calculated based on the correction value table.
  • the display position x2 of the display content Iv after vibration correction is a position of ⁇ 0.015 [deg.] Around the Y axis from the initial position x1, the deviation is referred to with reference to the first correction value table shown in FIG.
  • the image correction value E101 in the Z direction corresponding to the amount “ ⁇ 0.02 ⁇ y ⁇ 0.01” is determined as the first correction value Ea.
  • the image correction error E1 is calculated by subtracting the image correction value U23 from the image correction value E101.
  • the correction control unit 52 calculates the initial position x1 which is the display position of the characteristic portion of the display content Iv when the vibration correction amount is "0" based on the content display information. For example, when the display content Iv is an arrow, the correction control unit 52 calculates the display position at the tip of the arrow when the vibration correction amount is “0” as the initial position ⁇ 1.
  • the first correction value Ea is the first image correction value (correction value Ex) of the first display position (initial position) of the feature portion of the display content Iv when the vibration correction amount is "0", and the display after vibration correction. It is calculated based on the difference between the second image correction value (first correction value Ea) of the second display position of the feature portion of the content Iv. Thereby, the display processing device 30 can control the display position of the feature portion of the display content Iv.
  • the correction control unit 52 calculates the vibration correction amount C based on the deviation amount y and the image correction error E1 (S205). For example, the correction control unit 52 restores the deviation amount y of the pitch angle and determines the vibration correction amount C so as to eliminate the image correction error E1. Specifically, the correction control unit 52 converts the deviation amount y, which is the angle information, into the number of pixels to calculate the deviation correction amount. The correction control unit 52 adds the image correction error E1 to the deviation correction amount, and determines the vibration correction amount C that restores the number of pixels corresponding to the deviation.
  • the correction control unit 52 outputs the information of the vibration correction amount C to the display processing device 30 (S206).
  • the correction control unit 52 determines whether or not to continue the correction process (S207). For example, when the engine of the vehicle 200 is stopped, or when the button for instructing the end of the display of the display content Iv is operated, the correction control unit 52 ends the correction process. If the correction process is to be continued, the process returns to step S201.
  • the correction control unit 52 displays based on the posture change amount and the image correction error E1 of the image correction caused by the vibration correction process for correcting the display deviation caused by the posture change.
  • the vibration correction amount C of the display position of the content Iv is calculated. As a result, it is possible to suppress the positional deviation of the display position of the display content Iv.
  • the display system 100 of the present disclosure includes a display processing device 30, an image correction unit 34, a posture detection device 40, and a vibration correction processing device 50.
  • the display processing device 30 controls the display of the display content Iv.
  • the image correction unit 34 performs image correction accompanied by a change in the display position of the display content Iv based on the image correction data 33g stored in advance.
  • the posture detection device 40 detects the amount of change in posture of the moving vehicle 200.
  • the vibration correction processing device 50 corrects the image by the image correction unit 34, and then corrects the amount of change in the posture of the moving body and the display deviation caused by the change in the posture of the moving body.
  • the vibration correction amount C of the display position of the display content Iv is calculated based on the correction error E1.
  • the display processing device 30 controls the display position of the display content Iv based on the vibration correction amount C.
  • the vibration correction processing device 50 calculates the deviation amount y of the display position of the display content Iv based on the posture change amount of the moving body.
  • the vibration correction processing device 50 calculates the initial position x1 of the displayed content Iv based on the content display information output from the display processing device 30.
  • the vibration correction processing device 50 calculates the image correction error E1 based on the initial position x1, the deviation amount y, and the image correction value U (image correction data).
  • the vibration correction processing device 50 calculates the vibration correction amount C based on the deviation amount y and the image correction error E1.
  • the image correction error E1 can be calculated from the deviation amount y, and the image correction error E1 can be calculated with higher accuracy.
  • the positional deviation of the display position of the display content Iv can be further suppressed.
  • the vibration correction processing device 50 has a first correction value table to which the first correction value Ea of image correction corresponding to the deviation amount y from the initial position x1 is assigned, and has the initial position x1, the deviation amount y, and the first correction.
  • the image correction error E1 is calculated based on the value table. Thereby, the image correction error E1 can be easily calculated based on the deviation amount y from the initial position x1. As a result, the positional deviation of the display position of the display content Iv can be further suppressed.
  • the display processing device 30 controls at least the display position of the feature portion that determines the shape of the display content Iv. Thereby, the display position of the feature portion of the display content Iv can be controlled with high accuracy.
  • the display area 220 on which the display content Iv is displayed has a plurality of partition areas R11 to R64.
  • the image correction data 33g includes the image correction values U11 to U64 assigned to each of the plurality of partition areas R11 to R64.
  • the image correction unit 34 determines the image correction value U for image correction based on the section area in which the display content Iv is displayed and the image correction value assigned to the section area. Thereby, the image correction value U can be easily determined.
  • the correction control unit 52 has a first correction value table showing the first correction value Ea of the image correction corresponding to the deviation amount y from the initial position x1 of the display content Iv has been described. Not limited to this.
  • the correction control unit 52 does not have to have the first correction value table.
  • the storage unit 53 may store the first correction value table.
  • the correction control unit 52 may read out the first correction value table stored in the storage unit 53 and calculate the image correction error E1.
  • the correction control unit 52 uses the first correction table to which the first correction value Ea of the image correction corresponding to the deviation amount y of the angle from the initial position x1 of the display content Iv is assigned to the image.
  • the correction error E1 was calculated.
  • the correction control unit 52 uses a second correction table to which the second correction value Eb of the image correction corresponding to the deviation correction amount G of the number of pixels from the initial position x1 of the display content Iv is assigned.
  • the image correction error E1 is calculated.
  • FIG. 13 shows the correction processing performed by the correction control unit 52 of the vibration correction processing device 50 in the second embodiment.
  • Steps S301 to S303 and S307 to S308 in FIG. 13 are the same as steps S201 to S203 and S206 to S207 in FIG. 10 of the first embodiment.
  • the correction control unit 52 acquires content display information from the display processing device 30 (S301).
  • the correction control unit 52 acquires a posture change amount indicating the angular velocity of the vehicle 200 output from the gyro sensor 41 (S302).
  • the correction control unit 52 calculates the posture of the vehicle 200, that is, the deviation amount y with respect to the three axial directions, based on the posture change amount (S303).
  • the correction control unit 52 calculates the deviation correction amount G based on the deviation amount y calculated based on the posture change amount (S304).
  • the correction control unit 52 converts the deviation amount y into the number of pixels, and determines the deviation correction amount G that cancels the deviation amount indicated by the number of pixels.
  • the correction control unit 52 calculates the image correction error E1 based on the content display information, the deviation correction amount G, and the image correction value U (S305).
  • the correction control unit 52 has a second correction value table to which the second correction value Eb of the image correction corresponding to the deviation correction amount G from the initial position x1 of the display content Iv is assigned.
  • the second correction value table is stored in a storage unit provided in the image correction error calculation unit 52c.
  • FIG. 14 shows an example of a second correction value table including the second correction value Eb of the image correction assigned to the deviation correction amount G from the initial position x1 of the display content Iv.
  • a second correction value table including a second correction value Eb showing an image correction value in the Z-axis direction corresponding to the deviation correction amount G in the Z direction from the initial position x1 is shown.
  • the second correction value Eb is set for every 1 [pixel] of the deviation correction amount G.
  • the second correction value Eb is E300
  • the second correction value Eb is Eb
  • the correction value Eb is Ej.
  • the second correction value Eb becomes E400
  • the deviation correction amount G is + (K-1) ⁇ G ⁇ + K
  • the second correction value is obtained.
  • Eb becomes Ek. Note that "J" and "K” mean arbitrary constants.
  • a second correction value Eb is assigned every time the deviation correction amount G from the initial position x1 changes by 1 [pixel], but the present invention is not limited to this.
  • the range of the deviation correction amount G to which the second correction value Eb is assigned is not limited to 1 [pixel].
  • the second correction value Eb is assigned to the deviation correction amount G in the pitch axis direction, but the second correction value is assigned to the deviation correction amount in the yaw axis direction and the roll direction. It may be assigned.
  • the correction control unit 52 calculates the image correction error E1 based on the initial position x1 of the display content Iv, the deviation correction amount G, and the second correction value table. Specifically, the correction control unit 52 acquires a correction value Ex (first image correction value) for image correction at the initial position x1. Further, the correction control unit 52 refers to the second correction value table, and the second correction value Eb (second correction value Eb) of the image correction at the display position of the display content Iv after the vibration correction based on the deviation correction amount G from the initial position x1. Image correction value) is acquired. The correction control unit 52 calculates the image correction error E1 by subtracting the correction value Ex from the second correction value Eb.
  • the image correction error E1 is the correction value Ex (first image correction value) at the initial position x1 of the display content Iv and the display position x2 of the display content Iv after vibration correction based on the deviation correction amount G from the initial position x1. It is calculated by the difference between the second correction value Eb (second image correction value) and.
  • the correction value Ex for image correction at the initial position x1 of the display content Iv is calculated based on the initial position x1 and the image correction data 33g. For example, when the initial position x1 is in the compartment area R23 shown in FIG. 7A, the correction value Ex is determined to be the image correction value U23 shown in FIG. 7B.
  • the second correction value Eb of the image correction at the display position of the display content Iv after the vibration correction based on the deviation correction amount G is calculated based on the initial position x1, the deviation correction amount G, and the second correction value table. For example, when the display position of the display content Iv after vibration correction based on the deviation correction amount G is a position of ⁇ 0.8 [pixel] in the Z-axis direction from the initial position x1, the second correction value table shown in FIG. 14 is displayed. With reference to this, the image correction value E300 in the Z direction corresponding to the deviation correction amount “ ⁇ 1.0 ⁇ G ⁇ 0.0” is determined as the second correction value Eb. In this case, the image correction error E1 is calculated by subtracting the image correction value U23 from the image correction value E300.
  • the correction control unit 52 calculates the vibration correction amount C based on the deviation correction amount G and the image correction error E1 (S306).
  • the correction control unit 52 calculates the vibration correction amount C by adding the image correction error E1 to the deviation correction amount G. Specifically, the correction control unit 52 adds the image correction error E1 to the deviation correction amount G, and determines the vibration correction amount C that restores the number of pixels corresponding to the deviation. For example, the correction control unit 52 restores the pitch angle deviation correction amount G and determines a vibration correction amount C that eliminates the image correction error E1.
  • the correction control unit 52 outputs the information of the vibration correction amount C to the display processing device 30 (S307).
  • the correction control unit 52 determines whether or not to continue the correction process (S308). For example, when the engine of the vehicle 200 is stopped, or when the button for instructing the end of the display of the display content Iv is operated, the correction control unit 52 ends the correction process. If the correction process is to be continued, the process returns to step S301.
  • the vibration correction processing device 50 calculates the deviation amount y of the display position of the display content Iv based on the posture change amount of the moving body, and the deviation correction amount G based on the deviation amount y. Is calculated.
  • the vibration correction processing device 50 calculates the initial position x1 of the displayed content Iv based on the content display information output from the display processing device 30.
  • the vibration correction processing device 50 calculates the image correction error E1 based on the initial position x1, the deviation correction amount G, and the image correction value U (image correction data).
  • the vibration correction processing device 50 calculates the vibration correction amount C based on the initial position x1, the deviation correction amount G, and the image correction error E1.
  • the image correction error E1 can be calculated based on the deviation correction amount G calculated from the deviation amount y, and the image correction error E1 can be calculated with higher accuracy. As a result, it is possible to suppress the positional deviation of the display position of the display content Iv.
  • the vibration correction processing device 50 has a second correction value table to which the second correction value Eb of the image correction corresponding to the deviation correction amount G from the initial position x1 is assigned.
  • the vibration correction processing device 50 calculates the image correction error E1 based on the initial position, the deviation correction amount G, and the second correction value table. Thereby, the image correction error E1 can be easily calculated based on the deviation correction amount G. As a result, the positional deviation of the display position of the display content Iv can be further suppressed.
  • the vibration correction processing device 50 may calculate the image correction error E1 by using the image correction data 33g stored in the storage unit 33 of the display processing device 30. That is, the vibration correction processing device 50 may receive the image correction data 33g from the display processing device 30 and calculate the image correction error E1 based on the image correction value included in the image correction data 33g. As a result, the number of parts of the vibration correction processing device 50 can be reduced.
  • the vibration correction processing device 50 has the second correction value table, the number of communications between the communication unit 31 and the communication unit 51 can be reduced.
  • the case where the projection device 10, the information acquisition device 20, the display processing device 30, the posture detection device 40, and the vibration correction processing device 50 are separate devices is exemplified.
  • a plurality of devices may be integrally formed as one device.
  • the display processing device 30 and the vibration correction processing device 50 may be integrally formed as one device.
  • the information acquisition device 20 and the display processing device 30 may be integrally formed as one device.
  • the posture detection device 40 and the vibration correction processing device 50 may be integrally formed as one device.
  • the separately formed devices are communicably connected to each other by wire or wirelessly.
  • the projection device 10, the information acquisition device 20, the display processing device 30, the posture detection device 40, and the vibration correction processing device 50 may all be formed as one device. In this case, the communication units 31 and 51 may be omitted.
  • the information acquisition device 20 may include a distance sensor that measures the distance and direction from the vehicle 200 to a surrounding object, and may output distance information indicating the measured distance and direction to the display processing device 30. ..
  • the information acquisition device 20 may include a vehicle speed sensor that detects the speed of the vehicle 200, or may include a navigation system.
  • the information acquisition device 20 includes one or more of a GPS module 21, a distance sensor, a camera, an image processing device, an acceleration sensor, a radar, a sound wave sensor, and a white line detection device of ADAS (Advanced Driver-Assistance Systems). But it may be.
  • the GPS module 21, the distance sensor, the camera, and the like having a function as the information acquisition device 20 may be built in one device, or may be individually attached to the vehicle 200.
  • the posture detection device 40 may include an acceleration sensor that detects the acceleration of the vehicle 200, or may output the detected acceleration as a posture change amount.
  • the posture detection device 40 may include a vehicle height sensor that detects the height from the road surface, or may output the detected height as a posture change amount.
  • the attitude detection device 40 may include other known sensors.
  • the attitude detection device 40 may include one or more of a gyro sensor 41, an acceleration sensor, a vehicle speed sensor, and the like. In this case, the gyro sensor 41, the acceleration sensor, the vehicle height sensor, and the like having a function as the attitude detection device 40 may be built in one device or may be individually attached to the vehicle 200.
  • the image correction unit 34 is included in the display processing device 30
  • the present invention is not limited to this.
  • the image correction unit 34 may be included in the vibration correction processing device 50.
  • the moving body is a vehicle 200 such as an automobile.
  • the moving body is not limited to the vehicle 200.
  • the moving body may be a vehicle traveling on the ground, for example, a train or a motorcycle.
  • the moving body may be an unmanned aerial vehicle capable of traveling by automatic driving.
  • the position where the image is displayed is not limited to the front.
  • the image may be displayed sideways or behind the moving object.
  • the display system 100 may include a liquid crystal display or an organic EL display instead of the projection device 10.
  • the display system 100 may include a screen and a projector.
  • the display system of the present disclosure includes a display processing device that controls the display of display contents, and an image correction unit that performs image correction that accompanies a change in the display position of the display contents based on image correction data stored in advance.
  • a posture detection device that detects the amount of change in the posture of the moving body, and a vibration correction that corrects the amount of change in the posture of the moving body and the display deviation that occurs due to the change in the posture of the moving body after performing image correction by the image correction unit.
  • the display processing device includes a vibration correction processing device that calculates the vibration correction amount of the display position of the display content based on the image correction error of the image correction caused by the processing, and the display processing device displays the display content based on the vibration correction amount. Control the position. As a result, it is possible to suppress the positional deviation of the display position of the display content.
  • the vibration correction processing device calculates the amount of deviation of the display position of the display content based on the amount of change in the posture of the moving body, and is based on the content display information output from the display processing device.
  • the initial position of the display content may be calculated, the image correction error may be calculated based on the initial position, the deviation amount, and the image correction data, and the vibration correction amount may be calculated based on the deviation amount and the image correction error.
  • the vibration correction processing device has a first correction value table to which the first correction error value of the image correction corresponding to the deviation amount from the initial position is assigned, and the initial position, The image correction error may be calculated based on the deviation amount and the first correction value table.
  • the image correction error is the image at the display position displayed when the correction value of the image correction at the initial position and the vibration correction are performed based on the deviation amount. It may be the difference between the correction value of the correction and the correction value.
  • the vibration correction processing device calculates the amount of deviation of the display position of the display content based on the amount of change in the posture of the moving body, and is based on the content display information output from the display processing device.
  • the initial position of the displayed content is calculated, the deviation correction amount is calculated based on the initial position, the deviation amount, and the image correction data, the image correction error is calculated based on the deviation correction amount, and the deviation correction amount and the image correction error.
  • the vibration correction amount may be calculated based on.
  • the vibration correction processing device has a second correction value table to which a second correction value of image correction corresponding to a deviation correction amount from the initial position is assigned, and the initial position, The image correction error may be calculated based on the deviation correction amount and the second correction value table.
  • the image correction error is the correction value of the image correction at the initial position and the display position displayed when the vibration is corrected based on the deviation correction amount. It may be the difference between the correction value of the image correction and the correction value.
  • the display processing device may at least control the display position of the feature portion that determines the shape of the display content.
  • the display area in which the display content is displayed has a plurality of section areas, and the image correction data is image correction assigned to each of the plurality of section areas.
  • the image correction unit may determine the image correction value of the image correction based on the section area in which the display content is displayed and the image correction value assigned to the section area including the value.
  • the image correction unit corrects the distortion of the displayed content, and the image correction error may be a correction error due to the distortion correction.
  • a projection device that projects light representing the display content may be further included.
  • the moving body may be a vehicle, and the display content may be content displayed in front of the windshield of the vehicle.
  • This disclosure is applicable to a display system that controls the display position of display content according to the movement of a moving object.
  • Projection device 20 Information acquisition device 21 GPS module 30 Display processing device 31 Communication unit 32 Display control unit 33 Storage unit 34 Image correction unit 40 Attitude detection device 41 Gyro sensor 50 Vibration correction processing device 51 Communication unit 52 Correction control unit 52a Calculation unit 52b Correction amount calculation unit 52c Image correction error calculation unit 53 Storage unit 100 Display system 200 Vehicle 210 Front glass 220 Display area

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Combustion & Propulsion (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Geometry (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

本開示の表示システムは、表示コンテンツの表示を制御する表示処理装置と、予め記憶された画像補正データに基づいて、前記表示コンテンツの表示位置の変更を伴う画像補正を行う画像補正部と、移動体の姿勢変化量を検出する姿勢検出装置と、前記画像補正部により前記画像補正を行った後、前記移動体の姿勢変化量と、前記移動体の姿勢変動に伴って生じる表示ズレを補正する振動補正処理によって生じる前記画像補正の画像補正誤差と、に基づいて前記表示コンテンツの表示位置の振動補正量を算出する振動補正処理装置と、を備え、前記表示処理装置は、前記振動補正量に基づいて前記表示コンテンツの表示位置を制御する。

Description

表示システム
 本開示は、表示コンテンツの表示位置を移動体の動きに応じて制御する表示システムに関する。
 特許文献1は、ヘッドアップディスプレイ(HUD)装置を用いて、拡張現実(AR)表示を行う車両情報投影システムを開示している。HUD装置は、車両のフロントガラスに虚像を表す光を投影することで、車両の乗員である視認者に、車両の外界の実景とともに虚像を視認させている。例えば、車両の案内経路を表す虚像を実景内の表示対象(例えば、道路)に対応付けて表示する。これにより、乗員は、実景を視認しながら案内経路を確認することができる。特許文献1に記載の車両情報投影システムは、車速センサを備え、加速度に応じて虚像の表示位置を補正している。これにより、車両の急減速及び急加速時に、虚像の位置ずれが生じることを抑制している。
特開2015-101311号公報
 本開示は、表示コンテンツの表示位置の位置ずれを抑制する表示システムを提供する。
 本開示の表示システムは、表示コンテンツの表示を制御する表示処理装置と、予め記憶された画像補正データに基づいて、表示コンテンツの表示位置の変更を伴う画像補正を行う画像補正部と、移動体の姿勢変化量を検出する姿勢検出装置と、画像補正部により画像補正を行った後、移動体の姿勢変化量と、移動体の姿勢変動に伴って生じる表示ズレを補正する振動補正処理によって生じる画像補正の画像補正誤差と、に基づいて表示コンテンツの表示位置の補正量を算出する振動補正処理装置と、を備え、表示処理装置は、補正量に基づいて表示コンテンツの表示位置を制御する。
 これらの概括的かつ特定の態様は、システム、方法、及びコンピュータプログラム、並びに、それらの組み合わせにより、実現されてもよい。
 本開示の表示システムによれば、表示コンテンツの表示位置の位置ずれを抑制することができる。
ヘッドアップディスプレイ(HUD)を説明するための図 第1実施形態における表示システムの内部構成を示すブロック図 表示コンテンツの初期位置の一例を示す図 表示コンテンツの初期位置の別例を示す図 車両が傾いていないときの例を示す図 フロントガラスから見える実景の例を示す図 表示コンテンツが基準位置に表示される例を示す図 拡張現実(AR)表示の一例を示す図 車両の後傾姿勢を示す図 車両が後傾姿勢のときに表示コンテンツの位置ずれが生じる例を説明するための図 振動補正処理後の表示コンテンツの表示例を示す図 画像補正処理を説明するためのイメージ図 表示領域における複数の区画領域の例を示す図 画像補正データの例を示す図 画像補正処理と振動補正処理との両方が実施される場合に、画像補正処理による画像補正誤差が生じる例を示す図 第1実施形態における表示処理を示すフローチャート 第1実施形態における補正処理を示すフローチャート 表示領域において振動補正前後の表示コンテンツの表示位置の例を示す図 振動補正前の第1画像補正値と振動補正後の第2画像補正値とを説明する図 表示コンテンツの初期位置からのずれ量に対して割り当てられた画像補正の第1補正値を含む第1補正値テーブルの例を示す図 第2実施形態における補正処理を示すフローチャート 表示コンテンツの初期位置からのずれ補正量に対して割り当てられた画像補正の第2補正値を含む第2補正値テーブルの例を示す図
(本開示の基礎となった知見)
 表示システムにおいて、センサの出力に基づいて検出した移動体の状態(例えば、姿勢)に応じて表示領域に表示された表示コンテンツ(例えば、矢印、図形、文字など)の表示位置を電子的に補正することが知られている。例えば、表示システムは、センサによって検出した移動体の振動に基づいて表示コンテンツの表示位置を補正する振動補正処理を行っている。
 このような表示システムにおいては、表示コンテンツを表示領域に表示する場合、表示された画像に歪みや回転ずれなどが生じる場合がある。例えば、移動体である車両のフロントガラスの前方に表示コンテンツを表示する場合、表示コンテンツがフロントガラスで反射した時に表示コンテンツの歪みが生じることがある。あるいは、表示システムの製造時のばらつきなどによって、表示コンテンツが傾いて表示されることがある。このため、表示システムにおいては、表示コンテンツの歪みや回転ずれなどを補正するために、表示コンテンツの表示位置を変更する画像補正処理を行っている。
 例えば、表示システムは、製造時又は設計時において、表示コンテンツを表示領域に表示した際の歪みや回転ずれなどの情報を取得し、当該情報に基づいて算出した画像補正データを記憶部に記憶しておく。画像補正データは、歪みや回転ずれなどの表示コンテンツの表示位置のずれを補正する補正値の情報を含んでいる。表示システムは、記憶部に予め記憶された画像補正データに基づいて画像補正処理を行うことによって、歪みや回転ずれなどを補正している。
 しかしながら、振動補正処理と画像補正処理との両方を実施する場合、表示コンテンツの表示位置が目標表示位置からずれて表示される場合がある。
 例えば、画像補正処理を実施した後に振動補正処理を実施する場合、振動補正処理の前後でそれぞれの位置で割り当てられている画像補正処理の画像補正値が異なっていることがある。例えば、振動補正処理を実施することによって表示コンテンツが第1位置から第2位置に移動した場合、画像補正処理において第1位置の画像補正値ではなく第2位置の画像補正値で実施されることが望ましい。しかしながら、振動補正により表示位置が変更される前に、画像補正処理が第1位置の画像補正値で実施されてしまう場合がある。このため、画像補正処理による画像補正誤差が生じ、表示コンテンツの表示位置が目標表示位置からずれて表示される。
 また、振動補正処理を実施した後に画像補正処理を実施する場合、画像補正処理は、振動補正処理と比べて時間を要するため、画像補正処理を実施している間に移動体の姿勢が変わり、振動補正処理の振動補正量が変化することがある。即ち、画像補正処理の実施により振動補正処理からコンテンツの表示までに遅延時間が生じることによって、振動補正処理による振動補正誤差が生じる。これにより、表示コンテンツの表示位置が目標表示位置からずれて表示される。
 本開示の表示システムは、画像補正処理を行った後に振動補正処理を行っている。また、振動補正処理においては、移動体の姿勢変化量と、移動体の姿勢変動に伴って生じる表示ズレを補正する振動補正処理によって生じる画像補正の画像補正誤差と、に基づいて表示コンテンツの表示位置の振動補正量を算出する。これにより、表示コンテンツの表示位置の位置ずれを抑制する。
(第1実施形態)
 以下、第1実施形態について、図面を参照しながら説明する。第1実施形態では、移動体が自動車などの車両であり、表示システムが車両のフロントガラスの前方に表示コンテンツを表示するヘッドアップディスプレイ(HUD)システムである場合を例にして説明する。
1. 表示システムの構成
 図1及び図2を参照して、本実施形態の表示システムの構成について説明する。
 図1は、HUDシステムを説明するための図である。図1において、車両200のロール軸をX軸とし、車両200のピッチ軸をY軸とし、車両200のヨー軸をZ軸としている。すなわち、X軸は、Y軸及びZ軸と直交し、表示コンテンツIvを視認する乗員Dの視線方向に沿った軸である。Y軸は、表示コンテンツIvを視認する乗員Dから見て左右方向に沿った軸である。Z軸は、車両200の高さ方向に沿った軸である。
 本実施形態の表示システム100は、車両200のフロントガラス210の前方の実景に表示コンテンツIvを重畳する、所謂、拡張現実(AR)表示を行うHUDシステムである。表示コンテンツIvは、表示領域220内に表示される所定の情報を示すコンテンツである。例えば、表示コンテンツIvは、目的地へ案内するための経路、目的地への到達予想時刻、進行方向、速度、種々の警告などを示す図形及び文字である。本実施形態においては、目的地へ案内するための経路を示す矢印を表示コンテンツIvの例として説明する。表示システム100は、車両200に設置され、表示コンテンツIvを表す表示光Lcを車両200のフロントガラス210の表示領域220内に投影する。本実施形態において、表示領域220は、フロントガラス210の一部の領域である。なお、表示領域220は、フロントガラス210の全領域であってもよい。表示光Lcは、フロントガラス210によって、車内の方向に反射される。これにより、車両200内の乗員Dは、反射された表示光Lcを、車両200の前方にある表示コンテンツIvとして視認する。
 表示システム100は、投影装置10、情報取得装置20、表示処理装置30、姿勢検出装置40、及び振動補正処理装置50を含む。
 投影装置10は、表示コンテンツIvを表す表示光Lcを表示領域220内に投影する。投影装置10は、例えば、表示コンテンツIvの画像を表示する液晶表示素子、液晶表示素子を照明するLEDなどの光源、液晶表示素子が表示する画像の表示光Lcを表示領域220に反射するミラー及びレンズなどを含む。投影装置10は、例えば、車両200のダッシュボード内に設置される。
 情報取得装置20は、車両200の位置を示す情報を取得する。具体的には、情報取得装置20は、車両200の位置を測定して位置を示す位置情報を生成する。情報取得装置20は、車両200の位置情報を含む車両関連情報を出力する。
 表示処理装置30は、情報取得装置20から得られる車両関連情報などに基づいて、表示コンテンツIvの表示を制御し、表示コンテンツIvの画像データを投影装置10に出力する。表示処理装置30は、表示コンテンツIvの表示タイミング(表示時間)、又は車両関連情報と表示タイミングの組み合わせに基づいて、表示コンテンツIvの表示を制御してもよい。表示タイミングは、例えば、10秒間の表示と1秒間の非表示とを繰り返すことである。また、表示処理装置30は、画像補正データに基づいて表示コンテンツIvの表示位置の変更を伴う画像補正処理を行い、表示コンテンツIvの歪みや回転ずれなどの表示ずれを補正する。
 姿勢検出装置40は、車両200の姿勢変動を検出する。具体的には、姿勢検出装置40は、車両200の姿勢変化量を検出する。姿勢変化量とは、角速度である。
 本実施形態において、姿勢検出装置40は、例えば、角速度を検出するジャイロセンサ41(図2参照)を含む。ジャイロセンサ41は、検出した角速度を、車両200の姿勢変動を示す姿勢変化量として振動補正処理装置50に出力する。
 振動補正処理装置50は、姿勢検出装置40によって検出された車両200の姿勢変動と、姿勢変動に伴って生じる画像補正処理の画像補正誤差とに基づいて、表示コンテンツIvの表示位置の振動補正量を算出する。振動補正処理装置50は、算出した振動補正量を表示処理装置30に出力する。これにより、表示コンテンツIvは、フロントガラス210から見える実景の変化に応じて、表示領域220内において表示位置が補正される。
 図2は、表示システム100の内部構成を示すブロック図である。
 本実施形態において、情報取得装置20は、地理座標系における車両200の現在地を示す位置を検出するGPS(Global Positioning System)モジュール21を含む。具体的には、GPSモジュール21は、GPS衛星からの電波を受信して、受信した地点の緯度及び経度を測位する。GPSモジュール21は、測位した緯度及び経度を示す位置情報を生成する。情報取得装置20は、位置情報を含む車両関連情報を、表示処理装置30に出力する。
 表示処理装置30は、通信部31、表示制御部32、記憶部33及び画像補正部34を含む。
 通信部31は、所定の通信規格に準拠して外部機器との通信を行う回路を含む。所定の通信規格は、例えば、LAN、Wi-Fi(登録商標)、Bluetooth(登録商標)、USB、HDMI(登録商標)、CAN(controller area network)、SPI(Serial Peripheral Interface)を含む。
 表示制御部32は、半導体素子などで実現可能である。表示制御部32は、例えば、マイコン、CPU、MPU、GPU、DSP、FPGA、ASICで構成することができる。表示制御部32の機能は、ハードウェアのみで構成してもよいし、ハードウェアとソフトウェアとを組み合わせることにより実現してもよい。表示制御部32は、記憶部33に格納されたデータやプログラムを読み出して種々の演算処理を行うことで、所定の機能を実現する。
 記憶部33は、表示処理装置30の機能を実現するために必要なプログラム及びデータを記憶する記憶媒体である。記憶部33は、例えば、ハードディスク(HDD)、SSD、RAM、DRAM、強誘電体メモリ、フラッシュメモリ、磁気ディスク、又はこれらの組み合わせによって実現できる。
 記憶部33には、表示コンテンツIvを表す複数の画像データ33iが格納されている。また、記憶部33には、画像補正処理に用いられる画像補正データ33gが格納されている。
 画像補正データ33gは、例えば、表示コンテンツIvを表す画像の歪み及び/又は回転ずれなどの表示ずれを補正するための画像補正値を含む。画像補正値は、例えば、表示システム100の製造時の検査によって測定された画像の歪み及び/又は回転ずれに基づいて算出される既知のデータであって、静的な値である。
 本明細書において、歪みとは、例えば、車両200のフロントガラス210の前方に表示コンテンツIvを表示したときに、表示コンテンツIvがフロントガラス210で反射したときに生じる歪みである。回転ずれとは、例えば、投影装置10から光が投影されるフロントガラス210に対して投影装置10が傾いて設置される場合などの設置のばらつきによって生じるずれである。
 例えば、画像補正データ33gは、表示領域220を複数の区画領域に分割し、複数の区画領域のそれぞれに対して割り当てられた画像補正値を格納していてもよい。具体的には、画像補正データ33gは、複数の区画領域のそれぞれに対して割り当てられた画像補正値を示す画像補正テーブルを格納していてもよい。
 なお、本実施形態では、画像補正データ33gが歪み及び/又は回転ずれを補正する画像補正値を含む例を説明したが、これに限定されない。画像補正データ33gは、歪み及び/又は回転ずれ以外の表示コンテンツIvの表示位置の変更が生じる表示ずれを補正する画像補正値を含んでいてもよい。
 画像補正部34は、記憶部33に予め記憶された画像補正データ33gに基づいて、表示コンテンツIvの表示位置の変更を伴う画像補正を行う。表示コンテンツIvの表示位置の変更を伴う画像補正とは、例えば、画像の歪み補正及び/又は画像の回転ずれなどの補正を含む。画像補正部34は、投影装置10によって車両200のフロントガラス210に投影される表示コンテンツIvの歪み及び/又は回転ずれなどを補正する。
 例えば、画像補正部34は、記憶部33に予め記憶された画像補正データ33gを読み出し、歪み及び/又は回転ずれなどによって生じる表示コンテンツIvの表示位置の表示ずれを補正する画像補正値を決定する。画像補正部34は、画像補正データ33gの画像補正テーブルを用いて画像補正値を決定する。
 画像補正部34によって決定された画像補正値は、表示制御部32に出力される。
 なお、画像補正部34は、表示制御部32に含まれていてもよい。
 表示制御部32は、情報取得装置20から得られる車両関連情報に基づいて、表示領域220に表示する表示コンテンツIvを決定する。表示制御部32は、決定した表示コンテンツIvの画像データ33iを記憶部33から読み出して、投影装置10に出力する。
 表示制御部32は、図示しない外部装置から、通信部31を介して、表示基準位置を示す情報を取得する。表示基準位置とは、表示領域220内において表示コンテンツIvの表示の基準となる位置である。
 表示制御部32は、表示コンテンツIvの情報を示すコンテンツ情報を取得する。コンテンツ情報は、例えば、表示コンテンツIvの形状、サイズ、表示端、表示基準位置などの情報を含む。本明細書では、表示基準位置及びコンテンツ情報(例えば、表示コンテンツのサイズなどの情報)を含む表示コンテンツの情報をコンテンツ表示情報と称する。コンテンツ表示情報には、少なくとも表示コンテンツの形状を決定する特徴部分が含まれている。特徴部分は、例えば、コンテンツ表示の画素位置である。コンテンツ表示情報は、画像データ33iとともに記憶部33に格納されている。また、表示制御部32は、情報取得装置20から通信部31を介して車両関連情報を取得し、車両関連情報に基づいて記憶部33に記憶されている複数の画像データ33iのうち利用する画像データを決定する。これにより、表示制御部32は、表示コンテンツIvの形状、サイズ、表示端などを示す情報を取得する。
 表示制御部32は、コンテンツ表示情報を振動補正処理装置50に出力する。
 表示制御部32は、画像補正部34から表示コンテンツIvの画像補正値を取得し、画像補正値に基づいて表示コンテンツIvの表示位置を変更する。また、表示制御部32は、振動補正量を振動補正処理装置50から取得する。表示制御部32は、表示コンテンツIvの表示位置を表示基準位置と振動補正量とに基づいて設定する。
 姿勢検出装置40は、角速度を検出するジャイロセンサ41を含む。ジャイロセンサ41は、検出した角速度を、車両200の姿勢変動を示す姿勢変化量として振動補正処理装置50に出力する。
 姿勢検出装置40の出力の演算処理は、姿勢検出装置40又は振動補正処理装置50のずれ量算出部52a、又は、他の構成で行われてもよい。
 振動補正処理装置50は、通信部51、補正制御部52及び記憶部53を含む。
 通信部51は、所定の通信規格に準拠して外部機器との通信を行う回路を含む。所定の通信規格は、例えばLAN、Wi-Fi(登録商標)、Bluetooth(登録商標)、USB、HDMI(登録商標)、CAN(controller area network)、SPI(Serial Peripheral Interface)を含む。
 補正制御部52は、半導体素子などで実現可能である。補正制御部52は、例えば、マイコン、CPU、MPU、GPU、DSP、FPGA、ASICで構成することができる。表示制御部32の機能は、ハードウェアのみで構成してもよいし、ハードウェアとソフトウェアとを組み合わせることにより実現してもよい。補正制御部52は、振動補正処理装置50内の図示しない記憶部に格納されたデータやプログラムを読み出して種々の演算処理を行うことで、所定の機能を実現する。
 補正制御部52は、機能的構成として、ずれ量算出部52a、補正量算出部52b、及び画像補正誤差算出部52cを含む。
 ずれ量算出部52aは、姿勢検出装置40が出力する姿勢変化量に基づいて、車両200の姿勢(角度のずれ量)を算出する。角度のずれ量とは、移動体の基準となる姿勢状態に対する姿勢角となる。移動体の基準となる姿勢状態は、例えば、水平状態に置かれた静止状態の車両状態である。例えば、ずれ量算出部52aは、ジャイロセンサ41が検出した角速度を積分演算することによって、車両200のピッチ軸周りの角度(ピッチ角)を算出する。これにより、図1に示すY軸(ピッチ軸)を中心とした回転方向における車両200のずれ量(角度)を算出することができる。なお、本実施形態では、ピッチ角度を算出するが、ヨー角度又はロール角度を算出してもよい。例えば、X軸、Y軸及びZ軸周りの角度を全て算出してもよい。移動体が基準となる姿勢状態においては、ピッチ角度、ヨー角度及びロール角度は、それぞれ0°である。このようにして、3軸方向に対する角度であるずれ量を算出してもよい。なお、姿勢検出装置40がピッチ角度、ヨー角度及びロール角度を出力する場合は、これらの値をずれ量として処理してもよい。
 補正量算出部52bは、車両200の姿勢(角度のずれ量)と、車両200の姿勢変動に伴って生じる表示ズレを補正する振動補正処理によって生じる画像補正処理の画像補正誤差と、に基づいて表示コンテンツIvの表示位置の補正量(振動補正量)を算出する。具体的には、補正量算出部52bは、ずれ量算出部52aで算出されたずれ量と、画像補正誤差算出部52cで算出された画像補正誤差と、に基づいて振動補正量を算出する。
 画像補正誤差算出部52cは、車両200の姿勢変動に伴って生じる表示ズレを補正する振動補正処理によって生じる画像補正処理の画像補正誤差を算出する。具体的には、画像補正誤差算出部52cは、表示処理装置30から出力されたコンテンツ表示情報に基づいて表示コンテンツIvの初期位置を算出する。初期位置とは、振動補正量が「0」のときの表示コンテンツIvの表示位置を意味する。例えば、初期位置とは、外部装置から最初に取得した表示基準位置であってもよいし、振動補正量が「0」のときの表示コンテンツIvの特徴部分の位置であってもよい。
 本実施形態では、初期位置は、振動補正量が「0」のときの表示コンテンツIvの特徴部分の表示位置である。例えば、表示コンテンツIvが矢印である場合、特徴部分は矢印の先端部分である。この場合、初期位置は、矢印の先端部分の表示位置となる。図3Aは、表示コンテンツIvの初期位置x1の一例を示す図である。図3Aに示す表示コンテンツIvは一方向に伸びる直線形状を有する矢印である。図3Aに示す例においては、表示コンテンツIvの初期位置x1は、振動補正量が「0」のときの表示コンテンツIvの表示位置である表示基準位置P0と一致する。図3Bは、表示コンテンツIvの初期位置x1の別例を示す図である。図3Bに示す表示コンテンツIvは90°屈曲した形状を有する矢印である。図3Bに示す例においては、表示コンテンツIvの初期位置x1は、表示基準位置P0と異なる。
 画像補正誤差算出部52cは、表示処理装置30から、通信部31を介して、画像補正値(画像補正データ)を取得する。画像補正誤差算出部52cは、表示コンテンツIvの初期位置と、ずれ量算出部52aで算出されたずれ量と、表示処理装置30から取得された画像補正値(画像補正データ)とに基づいて画像補正誤差を算出する。
 例えば、画像補正誤差算出部52cは、表示コンテンツIvの初期位置での画像補正の補正値(第1画像補正値)を取得する。また、画像補正誤差算出部52cは、ずれ量算出部52aで算出されたずれ量に基づいて振動補正された場合に表示される表示コンテンツIvの表示位置での画像補正の補正値(第2画像補正値)を取得する。画像補正誤差算出部52cは、第2画像補正値から第1画像補正値を減算することによって、画像補正誤差を算出する。即ち、画像補正誤差は、表示コンテンツIvの初期位置での第1画像補正値と、ずれ量算出部52aで算出されたずれ量に基づく振動補正後の表示コンテンツIvの表示位置での第2画像補正値と、の差である。
 本実施形態では、画像補正誤差算出部52cは、初期位置からのずれ量に対応する画像補正の補正値が割り当てられた補正値テーブルを格納している。例えば、画像補正誤差算出部52cは記憶部を有し、補正値テーブルを記憶部に格納している。画像補正誤差算出部52cは、初期位置、ずれ量及び補正値テーブルに基づいて画像補正誤差を算出する。
 本明細書では、初期位置からのずれ量に対応する画像補正の補正値を第1補正値と称し、補正値テーブルを第1補正値テーブルと称する場合がある。
 振動補正処理装置50は、表示処理装置30に振動補正量を出力する。
 上述のように、表示処理装置30と振動補正処理装置50は、通信部31,51により、双方向に通信する。表示処理装置30は、振動補正処理装置50にコンテンツ表示情報を出力する。振動補正処理装置50は、表示処理装置30に振動補正量を示す補正情報を出力する。
2. AR表示
 図4A~図4Dを参照して、AR表示について説明する。図4Aは、車両200が傾いていないときの例を示している。図4Bは、図4Aに示す車両200のフロントガラス210から見える実景の例を示している。図4Cは、表示領域220から見える表示コンテンツIvの一例を示している。図4Dは、図4Bに示す実景に図4Cに示す表示コンテンツIvが重なって表示される例を示している。表示システム100は、図4Bに示す実景に図4Cに示す表示コンテンツIvを重畳させる。表示コンテンツIvの表示基準位置P0は、表示コンテンツIvの種類、車両200の状態(位置及び姿勢)、及び地図データなどに基づいて、決定された位置である。例えば、表示対象230が走行車線であって、表示コンテンツIvが進行方向を示す矢印の場合、表示基準位置P0は走行車線の中央を矢印の先端が指し示すときの液晶上の表示位置である。表示基準位置P0は、例えば、図4Cにおいて、表示領域220内におけるY座標とZ座標の値に対応する液晶表示上の画素の位置で設定される。表示基準位置P0は、外部装置から取得される。外部装置は、例えば、マイコン、CPU、MPU、GPU、DSP、FPGA、または、ASICと、GPSモジュール21とで構成することができる。外部装置の機能は、ハードウェアのみで構成してもよいし、ハードウェアとソフトウェアとを組み合わせることにより実現してもよい。外部装置から出力される表示基準位置P0は、乗員数、荷重の変動、及びガソリンの減少などによる姿勢の変動に基づいて変化する場合があるため、例えば、最初に取得した表示基準位置と異なる場合がある。それ故、表示処理装置30は、外部装置から取得される表示基準位置P0を、乗員数、荷重の変動、及びガソリンの減少などによる姿勢の変動に基づいて変更してもよい。なお、表示処理装置30が、車両関連情報及び地図データなどに基づいて、表示基準位置P0を設定してもよい。表示処理装置30は、車両関連情報に基づいて、表示コンテンツIvのサイズを設定してもよい。
3. 表示コンテンツの表示の振動補正処理
 図5A~5Cを参照して、表示コンテンツIvの表示の振動補正処理について説明する。図5Aは、車両200が前傾姿勢になった状態の例を示している。図5Bは、車両200の姿勢変動に応じて、表示コンテンツIvの表示位置が表示対象230からずれた場合を例示している。図5Cは、振動補正後の表示コンテンツIvの表示位置を示している。
 路面の凸凹、車両200の急加速又は急減速などにより、車両200が傾く場合がある。例えば、車両200が急減速すると、図5Aに示すように車両200は前傾姿勢になる。この場合、図5Bに示すように、フロントガラス210から見える表示対象230の位置が車両200の傾きに応じて変動する。そのため、表示コンテンツIvを表示基準位置P0に表示した場合、表示コンテンツIvが表示対象230からずれる。例えば、図5Bに示すように矢印の先が対向車線231内になる。よって、表示システム100は、車両200の姿勢に応じたずれを戻す方向に表示コンテンツIvの表示位置を調整する。具体的には、図5Cに示すように、振動補正処理装置50が、車両200の角度に起因した表示位置のずれがない位置P1となるように振動補正量Cを算出する。すなわち、表示処理装置30は、表示コンテンツIvの表示位置を「表示基準位置P0+振動補正量C」に設定する。これにより、投影装置10は、表示コンテンツIvを表示対象230に対応する位置P1に表示することができる。このように、車両200が傾いた場合であっても、表示コンテンツIvの表示位置を振動補正量Cに基づいて表示基準位置P0から変更することで、実景内の表示対象230に対応する位置P1に表示コンテンツIvを表示することができる。
4. 表示コンテンツの表示の画像補正処理
 図6を参照して、表示コンテンツIvの表示の画像補正処理について説明する。図6は、画像補正処理を説明するためのイメージ図を示す。図6に示す例では、表示領域220の上下方向に歪みが生じている場合の歪み補正処理について説明する。図6に示すように、表示領域220を複数の区画領域に分割する場合、歪みによって複数の区画領域のサイズが異なっている。図6に示す例では、表示領域220の上下方向において、上側領域L11、L12及び下側領域L15、L16のサイズは、歪みがない場合の区画領域と比べて小さくなっている。また、中央領域L13,L14のサイズは、歪みがない場合の区画領域と比べて大きくなっている。この場合、各区画領域に表示される表示コンテンツIv11~Iv16のサイズが変化し、表示コンテンツIv11~Iv16の特徴部分である矢印の先端の表示位置P11~P16が重畳位置Q11~Q16からずれる。
 画像補正部34は、記憶部33に予め記憶された画像補正データ33gに基づいて、表示コンテンツIvの表示位置の変更を伴う画像補正を行う。具体的には、画像補正部34は、画像補正データ33gの画像補正テーブルを用いて画像補正値を決定し、表示制御部32に出力する。図6に示す例では、画像補正部34は、上側領域L11、L12及び下側領域L15、L16において、表示コンテンツIv11、Iv12及びIv15、Iv16が上下方向に大きくなるように画像補正値を決定する。また、画像補正部34は、中央領域L13,L14において、表示コンテンツIv13及びIv14が上下方向に小さくなるように画像補正値を決定する。これにより、表示制御部32は、決定された画像補正値に基づいて表示コンテンツIv11~Iv16の表示位置P11~P16を制御し、重畳位置Q11~Q16に重畳させることができる。
 図7A及び図7Bを参照して、画像補正値の決定について説明する。図7Aは、表示領域220における複数の区画領域R11~R64の例を示す。図7Aに示すように、表示コンテンツIvが表示される表示領域220は、複数の区画領域R11~R64を有している。例えば、複数の区画領域R11~R64は、縦横にメッシュ状に区画されている。図7Aに示す例では、表示領域220は、縦6つ、横4つの区画領域R11~R64に分割されている。なお、表示領域220において、区画領域の数及び配置はこれに限定されない。表示領域220は、複数の区画領域を有していればよい。
 図7Bは、画像補正データ33gの例を示す。図7Bに示すように、画像補正データ33gは、表示領域220の複数の区画領域R11~R64のそれぞれに対して割り当てられた画像補正値U11~U64を含む画像補正テーブルを有する。画像補正テーブルにおいて、画像補正データ33gの画像補正値U11~U64は、それぞれ、表示領域220の複数の区画領域R11~R64に対応している。例えば、表示コンテンツIvが区画領域R22に表示される場合、画像補正値として画像補正値U22が採用される。
5. 振動補正処理により生じる画像補正処理の画像補正誤差
 図8を参照して、振動補正処理により生じる画像補正処理の画像補正誤差E1について説明する。図8は、画像補正処理を実施した後に振動補正処理を実施する場合に、画像補正処理の画像補正誤差E1が生じる例を示す。図8に示す例では、表示領域220の上下方向に歪みが生じている。このため、表示領域220を複数の区画領域に分割すると、歪みによって複数の区画領域のサイズが異なっている。
 図8に示す例では、表示領域220の上下方向において、上側領域L21,L22及び下側領域L25、L26のサイズは、歪みがない場合の区画領域と比べて小さくなっている。また、中央領域L23,L24のサイズは、歪みがない場合の区画領域と比べて大きくなっている。したがって、上側領域L21,L22及び下側領域L25、L26において、表示コンテンツIvは、上下方向に大きくなるように補正される。また、中央領域L23,L24において、表示コンテンツIvは、上下方向に小さくなるように補正される。
 即ち、図8の中央領域L23の「A1→A2」の画像補正処理においては、縮小処理が適用され、表示コンテンツIvが上下方向に小さくなるように補正される。図8の上側領域L22の「A4→A3」の画像補正処理においては、拡大処理が適用され、表示コンテンツIvが上下方向に大きくなるように補正される。
 まず、補正処理前において表示コンテンツIvが中央領域L23に表示され、振動補正処理による振動補正量が「0」である場合を説明する。この場合、画像補正処理において、図8の中央領域L23の「A1→A2」の縮小処理が適用され、表示コンテンツIvが上下方向に小さくなるように補正される。
 振動補正処理においては、振動補正量が「0」であるため、表示コンテンツIvの表示位置は振動補正処理によって変更されない。このため、振動補正後の表示コンテンツIv21の表示位置は、表示基準位置P0から変更されない。即ち、表示コンテンツIv21は、重畳位置からずれない。なお、図8に示す例においては、表示コンテンツIvが90°屈曲した形状を有する矢印とし、ヨー軸方向(Z軸方向)において初期位置x1を表示基準位置P0と同じであるが、これに限定されない。初期位置x1は、表示基準位置P0と異なっていてもよい。
 次に、補正処理前において表示コンテンツIvが中央領域L23に表示され、振動補正処理によるヨー軸方向(Z軸方向)への振動補正量が「C10」である場合を説明する。この場合、補正後の表示コンテンツIv22の目標表示位置P2は、「表示基準位置(初期位置)P0+振動補正量C10」によって算出される。例えば、振動補正量が「0」であるときの表示コンテンツIvの初期位置(表示基準位置P0)がx1である場合、目標表示位置P2は、「初期位置x1+振動補正量C10」によって算出される。図8に示す例では、表示コンテンツIv22は、中央領域L23の1つ上の上側領域L22に表示される(図8の「A3」参照)。
 表示コンテンツIv22が上側領域L22に表示されるとき、画像補正処理としては、図8の上側領域L22の「A4→A3」の拡大処理が適用されることが好ましい。即ち、表示コンテンツIv22が上側領域L22に表示されるとき、表示コンテンツIvが上下方向に大きくなるように補正されることが好ましい。
 しかしながら、上述したように、補正処理においては、画像補正処理が行われた後に、振動補正処理が行われる。図8に示す例では、振動補正処理を実施する前、即ち、画像補正処理が実施されるとき、表示コンテンツIvは、中央領域L23に表示されている。このため、画像補正処理においては、図8の上側領域L22の「A4→A3」の拡大処理ではなく、図8の中央領域L23の「A1→A2」の縮小処理が適用される。即ち、表示コンテンツIvが上下方向に小さくなるように補正される。
 このように、振動補正処理によって表示コンテンツIv22の表示位置が変更されると、振動補正処理の前に実施された画像補正処理に画像補正誤差E1が生じる。これにより、補正後の表示コンテンツIv22は、目標表示位置P2よりも低い表示位置P3に表示されてしまう。
 そこで、本実施形態の表示システム100では、画像補正処理の後に振動補正処理を実施し、振動と画像補正誤差とに基づいて表示コンテンツIvの表示位置の振動補正量を算出する。これにより、補正後の表示コンテンツIvの表示位置が目標表示位置からずれることを抑制し、表示コンテンツIvの表示位置の補正精度の低下を抑制することができる。
6. 表示処理装置の動作
 図9を参照して、表示処理装置30の表示制御部32の動作について説明する。図9は、表示処理装置30の表示制御部32が行う表示処理を示している。図9に示す表示処理は、例えば、車両200のエンジンが始動したとき、又は表示コンテンツIvの表示開始を指示するためのボタンが操作されたときなどに開始される。
 表示制御部32は、情報取得装置20から車両200の位置情報を含む車両関連情報を取得する(S101)。表示制御部32は、車両関連情報に基づいて、表示対象230に対応する表示コンテンツIvを表示するか否かを決定する(S102)。
 表示制御部32は、表示コンテンツIvを表示することを決定した場合(S103でYes)、表示コンテンツIvの表示基準位置P0を示す情報を外部装置から取得すると共に、記憶部33からコンテンツ情報を取得する(S104)。表示制御部32は、コンテンツ表示情報を振動補正処理装置50に出力する(S105)。例えば、コンテンツ表示情報は、表示基準位置及びコンテンツ情報を含む。
 表示制御部32は、画像補正部34から表示コンテンツIvの画像補正値Uを示す情報を取得する(S106)。表示制御部32は、表示基準位置P0、コンテンツ情報及び画像補正値Uに基づいて、表示コンテンツIvの表示位置を設定する(S107)。例えば、表示制御部32は、表示領域220内の各領域全てに対して各画像補正値Uを用いて画像の拡大、縮小及び/又は回転などの補正を行う。表示制御部32は、画像補正を行った後に、表示コンテンツIvの表示位置を基準表示位置P0に設定する。
 表示制御部32は、画像補正誤差E1に基づいて算出された振動補正量Cを振動補正処理装置50から取得する(S108)。表示制御部32は、表示基準位置P0と振動補正量Cとに基づいて表示コンテンツIvの表示位置を変更して、表示コンテンツIvを表示させる(S109)。例えば、表示制御部32は、表示コンテンツIvの表示位置を「表示基準位置P0+振動補正量C」に設定して、投影装置10に出力する。
 表示制御部32は、表示コンテンツIvを表示しないことを決定した場合は(S103でNo)、表示コンテンツIvを非表示にする(S111)。
 表示制御部32は、表示処理を継続するか否かを判断する(S110)。例えば、車両200のエンジンが停止したとき、又は表示コンテンツIvの表示の終了を指示するためのボタンが操作されたときなどに、表示制御部32は表示処理を終了する。表示処理を継続する場合は、ステップS101に戻る。
7. 補正処理装置の動作
 図10を参照して、第1実施形態における振動補正処理装置50の補正制御部52の動作について説明する。図10は、振動補正処理装置50の補正制御部52が行う補正処理を示す。
 図10に示す補正処理は、例えば、車両200のエンジンが始動したとき、又は表示コンテンツIvの表示開始を指示するためのボタンが操作されたときなどに開始される。図10の補正処理は、例えば、図9の表示処理と共に開始される。なお、図10に示す補正処理は、表示コンテンツIvの位置補正の開始を指示するためのボタンが操作されたときに開始されてもよい。
 補正制御部52は、表示処理装置30から表示コンテンツIvのコンテンツ表示情報を取得する(S201)。補正制御部52は、ジャイロセンサ41から出力される車両200の角速度を示す姿勢変化量を取得する(S202)。補正制御部52は、姿勢変化量に基づいて、車両200の姿勢、すなわち、3軸方向に対するずれ量yを算出する(S203)。
 補正制御部52は、コンテンツ表示情報と、姿勢変化量に基づいて算出されたずれ量yと、に基づいて、車両200の姿勢変動に伴って生じる表示ズレを補正する振動補正処理によって生じる画像補正の画像補正誤差E1を算出する(S204)。補正制御部52は、表示処理装置30から出力されたコンテンツ表示情報に基づいて、振動補正量が「0」のときの表示コンテンツIvの初期位置x1を算出する。初期位置x1は、表示コンテンツIvの表示基準位置P0及び/又は特徴部分によって変化する場合がある(図3A及び図3B参照)。よって、初期位置x1は、コンテンツ表示情報(例えば、表示基準位置P0、コンテンツ情報)に基づいて算出される。補正制御部52は、表示コンテンツIvの初期位置x1、ずれ量y及び画像補正値Uに基づいて画像補正誤差E1を算出する。画像補正誤差E1は、表示コンテンツIvの初期位置x1での第1画像補正値と、ずれ量yに基づく振動補正後の表示コンテンツIvの表示位置での第2画像補正値と、の差によって算出される。
 画像補正誤差E1の算出について説明する。画像補正誤差E1は、図7A及び図7Bに示す全ての区画領域で算出することができる一方、振動補正量Cは1つである。したがって、振動補正に加算できる画像補正誤差E1も1つになる。表示コンテンツIvは、複数の区画領域に跨って表示されるため、表示コンテンツIvが位置する複数の区画領域のうちいずれの区画領域の画像補正誤差を振動補正量に加算するかを選択することによって、表示コンテンツIvの補正精度を向上させることができる。本実施形態では、表示コンテンツIvの特徴部分の表示位置、即ち、初期位置x1に基づいて画像補正誤差E1の算出に用いられる区画領域を選択している。これにより、表示コンテンツIvの特徴部分の表示ズレ補正の精度を向上させることができる。
 図11A及び図11Bを参照して、画像補正誤差E1の算出の例を説明する。図11Aは、表示領域220において振動補正前後の表示コンテンツIvの表示位置の例を示す。図11Bは、図11Aの例における振動補正前の第1画像補正値と振動補正後の第2画像補正値とを説明する図である。なお、図11Aにおいて、実線で表した表示コンテンツIvは振動補正前の表示位置を示し、点線で表した表示コンテンツIvは振動補正後の表示位置を示す。図11Bは、図11Aに示す表示領域220の複数の区画領域R11~R64のそれぞれに対して割り当てられた画像補正値U11~U64を含む画像補正テーブルを示す。
 図11Aに示す例では、振動補正前、即ち、振動補正量が「0」であるとき、表示コンテンツIvの特徴部分である矢印の先端は、第1区画領域R33に位置する。よって、表示コンテンツIvの初期位置x1は、第1区画領域R33となる。振動補正後、表示コンテンツIvの特徴部分である矢印の先端は、第1区画領域R33の上方の第2区画領域R13に位置する。よって、振動補正後の表示コンテンツIvの特徴部分の表示位置x2は、第2区画領域R13となる。
 図11Bを参照すると、第1区画領域R33に対して割り当てられている第1画像補正値は「U33」である。また、第2区画領域R13に対して割り当てられている第2画像補正値は「U13」である。
 したがって、画像補正誤差E1は、第2画像補正値U13から第1画像補正値U33を減算することによって算出される。
 本実施形態では、補正制御部52は、初期位置x1からのずれ量yに対応する画像補正の第1補正値Eaが割り当てられた第1補正値テーブルを有する。補正制御部52は、初期位置x1、ずれ量y及び第1補正値テーブルに基づいて画像補正誤差E1を算出する。具体的には、補正制御部52は、初期位置x1での画像補正の第1画像補正値として補正値Exを取得する。例えば、補正値Exは、図7A及び図7Bに示す複数の区画領域R11~R64に対して割り当てられる画像補正値U11~U64から取得される。また、補正制御部52は、第1補正値テーブルを参照し、初期位置x1からのずれ量yに基づく振動補正後の表示コンテンツIvの表示位置x2における画像補正の第2画像補正値として第1補正値Eaを取得する。補正制御部52は、第1補正値Eaから補正値Exを減算することによって、画像補正誤差E1を算出する。
 図12は、表示コンテンツIvの初期位置x1からのずれ量yに対して割り当てられた画像補正の第1補正値Eaを含む第1補正値テーブルの例を示す。図12に示す例では、初期位置x1からのY軸周りの角度ずれ量yに対応するZ軸方向の画像補正値を示す第1補正値Eaを含む第1補正値テーブルを示す。図12に示すように、第1補正値テーブルは、角度ずれ量yが0.01[deg.]変化する毎に第1補正値Eaが定められている。例えば、角度ずれ量yが-0.01≦y<0.00のとき、第1補正値EaはE100となり、角度ずれ量yが-M/100≦y<-(M-1)/100のとき、第1補正値EaはEmとなる。また、角度ずれ量yが0.00≦y<+0.01のとき、第1補正値EaはE200となり、角度ずれ量yが+(N-1)/100≦y<+N/100のとき、第1補正値EaはEnとなる。なお、「M」,「N」は任意の定数を意味する。
 なお、図12に示す例では、初期位置x1からのずれ量yが0.01[deg.]変化する毎に第1補正値Eaが割り当てられている例について説明したが、これに限定されない。第1補正値Eaが割り当てられているずれ量yの範囲は、0.01[deg.]毎に限定されない。また、図12に示す例では、初期位置x1からのピッチ軸方向のずれ量yに対して第1補正値Eaが割り当てられているが、初期位置x1からのヨー軸方向及びロール方向のずれ量に対して補正値が割り当てられていてもよい。
 図12に示す第1補正値テーブルを用いた画像補正誤差E1の算出の例について説明する。表示コンテンツIvの初期位置x1での画像補正の補正値Ex(第1画像補正値)は、初期位置x1と画像補正データ33gに基づいて算出される。例えば、初期位置x1が図7Aに示す区画領域R23内にある場合、補正値Exは画像補正値U23に決定される。初期位置x1からのずれ量yに基づく振動補正後の表示コンテンツIvの表示位置x2での画像補正の第1補正値Ea(第2画像補正値)は、初期位置x1、ずれ量y及び第1補正値テーブルに基づいて算出される。例えば、振動補正後の表示コンテンツIvの表示位置x2が初期位置x1からY軸周りに-0.015[deg.]の位置である場合、図12に示す第1補正値テーブルを参照し、ずれ量「-0.02≦y<-0.01」に対応するZ方向の画像補正値E101が第1補正値Eaとして決定される。この場合、画像補正誤差E1は、画像補正値E101から画像補正値U23を減算することによって算出される。
 本実施形態では、補正制御部52は、コンテンツ表示情報に基づいて振動補正量が「0」のときの表示コンテンツIvの特徴部分の表示位置である初期位置x1を算出している。例えば、補正制御部52は、表示コンテンツIvが矢印である場合、振動補正量が「0」のときの矢印の先端の表示位置を初期位置x1として算出する。第1補正値Eaは、振動補正量が「0」のときの表示コンテンツIvの特徴部分の第1表示位置(初期位置)の第1画像補正値(補正値Ex)と、振動補正後の表示コンテンツIvの特徴部分の第2表示位置の第2画像補正値(第1補正値Ea)と、の差に基づいて算出される。これにより、表示処理装置30は、表示コンテンツIvの特徴部分の表示位置を制御することができる。
 図10に戻って、補正制御部52は、ずれ量y及び画像補正誤差E1に基づいて振動補正量Cを算出する(S205)。例えば、補正制御部52は、ピッチ角のずれ量yを元に戻すと共に、画像補正誤差E1をなくすような振動補正量Cを決定する。具体的には、補正制御部52は、角度情報であるずれ量yを画素数に換算してずれ補正量を算出する。補正制御部52は、ずれ補正量に画像補正誤差E1を加算して、ずれている分の画素数を元に戻すような振動補正量Cを決定する。
 補正制御部52は、振動補正量Cの情報を表示処理装置30に出力する(S206)。
 補正制御部52は、補正処理を継続するか否かを判断する(S207)。例えば、車両200のエンジンが停止したとき、又は表示コンテンツIvの表示の終了を指示するためのボタンが操作されたときなどに、補正制御部52は補正処理を終了する。補正処理を継続する場合は、ステップS201に戻る。
 以上のように、本実施形態では、補正制御部52は、姿勢変化量と、姿勢変動に伴って生じる表示ズレを補正する振動補正処理によって生じる画像補正の画像補正誤差E1と、に基づいて表示コンテンツIvの表示位置の振動補正量Cを算出している。これにより、表示コンテンツIvの表示位置の位置ずれを抑制することができる。
8. 効果及び補足等
 本開示の表示システム100は、表示処理装置30と、画像補正部34と、姿勢検出装置40と、振動補正処理装置50と、を備える。表示処理装置30は、表示コンテンツIvの表示を制御する。画像補正部34は、予め記憶された画像補正データ33gに基づいて、表示コンテンツIvの表示位置の変更を伴う画像補正を行う。姿勢検出装置40は、移動体である車両200の姿勢変化量を検出する。振動補正処理装置50は、画像補正部34により画像補正を行った後、移動体の姿勢変化量と、移動体の姿勢変動に伴って生じる表示ズレを補正する振動補正処理によって生じる画像補正の画像補正誤差E1と、に基づいて表示コンテンツIvの表示位置の振動補正量Cを算出する。表示処理装置30は、振動補正量Cに基づいて表示コンテンツIvの表示位置を制御する。
 このような構成により、重畳対象に対する表示コンテンツIvの表示位置の位置ずれを抑制することができる。具体的には、画像補正処理を実施した後に振動補正処理を実施する表示システム100において、振動補正処理に伴って生じる画像補正の画像補正誤差E1による表示コンテンツIvの表示位置の位置ずれを抑制することができる。これにより、表示コンテンツIvの表示位置の補正精度の低下を抑制することができる。
 振動補正処理装置50は、移動体の姿勢変化量に基づいて表示コンテンツIvの表示位置のずれ量yを算出する。振動補正処理装置50は、表示処理装置30から出力されたコンテンツ表示情報に基づいて表示コンテンツIvの初期位置x1を算出する。振動補正処理装置50は、初期位置x1、ずれ量y及び画像補正値U(画像補正データ)に基づいて画像補正誤差E1を算出する。振動補正処理装置50は、ずれ量yと画像補正誤差E1とに基づいて振動補正量Cを算出する。これにより、ずれ量yから画像補正誤差E1を算出することができ、画像補正誤差E1をより精度高く算出することができる。その結果、表示コンテンツIvの表示位置の位置ずれをさらに抑制することができる。
 振動補正処理装置50は、初期位置x1からのずれ量yに対応する画像補正の第1補正値Eaが割り当てられた第1補正値テーブルを有し、初期位置x1、ずれ量y及び第1補正値テーブルに基づいて画像補正誤差E1を算出する。これにより、初期位置x1からのずれ量yに基づいて画像補正誤差E1を容易に算出することができる。その結果、表示コンテンツIvの表示位置の位置ずれをさらに抑制することができる。
 表示処理装置30は、少なくとも表示コンテンツIvの形状を決定する特徴部分の表示位置を制御する。これにより、表示コンテンツIvの特徴部分の表示位置を精度高く制御することができる。
 表示コンテンツIvが表示される表示領域220は、複数の区画領域R11~R64を有する。画像補正データ33gは、複数の区画領域R11~R64のそれぞれに割り当てられた画像補正値U11~U64を含む。画像補正部34は、表示コンテンツIvが表示される区画領域と、当該区画領域に割り当てられた画像補正値とに基づいて、画像補正の画像補正値Uを決定する。これにより、画像補正値Uを容易に決定することができる。
 なお、本実施形態では、補正制御部52が表示コンテンツIvの初期位置x1からのずれ量yに対応する画像補正の第1補正値Eaを示す第1補正値テーブルを有する例について説明したが、これに限定されない。例えば、補正制御部52は、第1補正値テーブルを有していなくてもよい。この場合、記憶部53が第1補正値テーブルを格納していてもよい。補正制御部52は、記憶部53に記憶された第1補正値テーブルを読み出して、画像補正誤差E1を算出してもよい。
(第2実施形態)
 第1実施形態では、補正制御部52は、表示コンテンツIvの初期位置x1からの角度のずれ量yに対応する画像補正の第1補正値Eaが割り当てられた第1補正テーブルを用いて、画像補正誤差E1を算出した。本実施形態では、補正制御部52は、表示コンテンツIvの初期位置x1からの画素数のずれ補正量Gに対応する画像補正の第2補正値Ebが割り当てられた第2補正テーブルを用いて、画像補正誤差E1を算出する。
 図13を参照して、第2実施形態における振動補正処理装置50の補正制御部52の動作について説明する。図13は、第2実施形態における振動補正処理装置50の補正制御部52が行う補正処理を示している。図13のステップS301~S303及びS307~S308は、第1実施形態の図10のステップS201~S203及びS206~S207と同一である。
 補正制御部52は、表示処理装置30からコンテンツ表示情報を取得する(S301)。補正制御部52は、ジャイロセンサ41から出力される車両200の角速度を示す姿勢変化量を取得する(S302)。補正制御部52は、姿勢変化量に基づいて、車両200の姿勢、すなわち、3軸方向に対するずれ量yを算出する(S303)。
 補正制御部52は、姿勢変化量に基づいて算出されたずれ量yに基づいて、ずれ補正量Gを算出する(S304)。補正制御部52は、ずれ量yを画素数に換算して、画素数で示されるずれ量を相殺するようなずれ補正量Gを決定する。
 補正制御部52は、コンテンツ表示情報、ずれ補正量G及び画像補正値Uに基づいて画像補正誤差E1を算出する(S305)。補正制御部52は、表示コンテンツIvの初期位置x1からのずれ補正量Gに対応する画像補正の第2補正値Ebが割り当てられた第2補正値テーブルを有する。例えば、第2補正値テーブルは、画像補正誤差算出部52cに備えられる記憶部に格納されている。
 図14は、表示コンテンツIvの初期位置x1からのずれ補正量Gに対して割り当てられた画像補正の第2補正値Ebを含む第2補正値テーブルの例を示す。図14に示す例では、初期位置x1からのZ方向のずれ補正量Gに対応するZ軸方向の画像補正値を示す第2補正値Ebを含む第2補正値テーブルを示す。図14に示すように、第2補正値テーブルは、ずれ補正量Gが1[pixel]毎に第2補正値Ebが定められている。例えば、ずれ補正量Gが-1.0≦G<0.0のとき、第2補正値EbはE300となり、ずれ補正量Gが-J≦G<-(J-1)のとき、第2補正値EbはEjとなる。また、ずれ補正量Gが0.0≦G<+1.0のとき、第2補正値EbはE400となり、ずれ補正量Gが+(K-1)≦G<+Kのとき、第2補正値EbはEkとなる。なお、「J」,「K」は任意の定数を意味する。
 なお、図14に示す例では、初期位置x1からのずれ補正量Gに対して1[pixel]変化する毎に第2補正値Ebが割り当てられている例について説明したが、これに限定されない。第2補正値Ebが割り当てられているずれ補正量Gの範囲は、1[pixel]に限定されない。また、図14に示す例では、ピッチ軸方向のずれ補正量Gに対して第2補正値Ebが割り当てられているが、ヨー軸方向及びロール方向のずれ補正量に対して第2補正値が割り当てられていてもよい。
 補正制御部52は、表示コンテンツIvの初期位置x1、ずれ補正量G及び第2補正値テーブルに基づいて画像補正誤差E1を算出する。具体的には、補正制御部52は、初期位置x1での画像補正の補正値Ex(第1画像補正値)を取得する。また、補正制御部52は、第2補正値テーブルを参照し、初期位置x1からのずれ補正量Gに基づく振動補正後の表示コンテンツIvの表示位置における画像補正の第2補正値Eb(第2画像補正値)を取得する。補正制御部52は、第2補正値Ebから補正値Exを減算することによって、画像補正誤差E1を算出する。
 図14に示す第2補正値テーブルを用いた画像補正誤差E1の算出の例について説明する。画像補正誤差E1は、表示コンテンツIvの初期位置x1での補正値Ex(第1画像補正値)と、初期位置x1からのずれ補正量Gに基づく振動補正後の表示コンテンツIvの表示位置x2での第2補正値Eb(第2画像補正値)と、の差によって算出される。表示コンテンツIvの初期位置x1での画像補正の補正値Exは、初期位置x1と画像補正データ33gに基づいて算出される。例えば、初期位置x1が図7Aに示す区画領域R23内にある場合、補正値Exは図7Bに示す画像補正値U23に決定される。ずれ補正量Gに基づく振動補正後の表示コンテンツIvの表示位置での画像補正の第2補正値Ebは、初期位置x1、ずれ補正量G及び第2補正値テーブルに基づいて算出される。例えば、ずれ補正量Gに基づく振動補正後の表示コンテンツIvの表示位置が初期位置x1からZ軸方向に-0.8[pixel]の位置である場合、図14に示す第2補正値テーブルを参照し、ずれ補正量「-1.0≦G<0.0」に対応するZ方向の画像補正値E300が第2補正値Ebとして決定される。この場合、画像補正誤差E1は、画像補正値E300から画像補正値U23を減算することによって算出される。
 図13に戻って、補正制御部52は、ずれ補正量G及び画像補正誤差E1に基づいて振動補正量Cを算出する(S306)。補正制御部52は、ずれ補正量Gに画像補正誤差E1を加算することによって、振動補正量Cを算出する。具体的には、補正制御部52は、ずれ補正量Gに画像補正誤差E1を加算し、ずれている分の画素数を元に戻すような振動補正量Cを決定する。例えば、補正制御部52は、ピッチ角のずれ補正量Gを元に戻すと共に、画像補正誤差E1をなくすような振動補正量Cを決定する。
 補正制御部52は、振動補正量Cの情報を表示処理装置30に出力する(S307)。
 補正制御部52は、補正処理を継続するか否かを判断する(S308)。例えば、車両200のエンジンが停止したとき、又は表示コンテンツIvの表示の終了を指示するためのボタンが操作されたときなどに、補正制御部52は補正処理を終了する。補正処理を継続する場合は、ステップS301に戻る。
 以上のように、本実施形態では、振動補正処理装置50は、移動体の姿勢変化量に基づいて表示コンテンツIvの表示位置のずれ量yを算出し、ずれ量yに基づいてずれ補正量Gを算出する。振動補正処理装置50は、表示処理装置30から出力されたコンテンツ表示情報に基づいて表示コンテンツIvの初期位置x1を算出する。振動補正処理装置50は、初期位置x1、ずれ補正量G及び画像補正値U(画像補正データ)に基づいて画像補正誤差E1を算出する。振動補正処理装置50は、初期位置x1、ずれ補正量G及び画像補正誤差E1に基づいて振動補正量Cを算出する。このような構成により、ずれ量yから算出したずれ補正量Gに基づいて画像補正誤差E1を算出することができ、画像補正誤差E1をより精度高く算出することができる。その結果、表示コンテンツIvの表示位置の位置ずれを抑制することができる。
 また、振動補正処理装置50は、初期位置x1からのずれ補正量Gに対応する画像補正の第2補正値Ebが割り当てられた第2補正値テーブルを有する。振動補正処理装置50は、初期位置、ずれ補正量G及び第2補正値テーブルに基づいて画像補正誤差E1を算出する。これにより、ずれ補正量Gに基づいて画像補正誤差E1を容易に算出することができる。その結果、表示コンテンツIvの表示位置の位置ずれをさらに抑制することができる。
 なお、本実施形態では、振動補正処理装置50が第2補正値テーブルを有する例について説明したが、これに限定されない。例えば、振動補正処理装置50は、第2補正値テーブルを有していなくてもよい。この場合、振動補正処理装置50は、表示処理装置30の記憶部33に格納される画像補正データ33gを用いて、画像補正誤差E1を算出してもよい。即ち、振動補正処理装置50は、表示処理装置30から画像補正データ33gを受信し、画像補正データ33gに含まれる画像補正値に基づいて画像補正誤差E1を算出してもよい。これにより、振動補正処理装置50の部品点数を減らすことができる。なお、振動補正処理装置50が第2補正値テーブルを有している場合、通信部31と通信部51との間の通信回数を低減することができる。
(他の実施形態)
 以上のように、本出願において開示する技術の例示として、上記実施形態を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施形態にも適用可能である。そこで、以下、他の実施形態を例示する。
 上記実施形態では、投影装置10、情報取得装置20、表示処理装置30、姿勢検出装置40及び振動補正処理装置50がそれぞれ別個の装置である場合を例示した。しかし、複数の装置が一つの装置として一体的に形成されてもよい。例えば、表示処理装置30と振動補正処理装置50が一つの装置として一体的に形成されてもよい。情報取得装置20と表示処理装置30とが一つの装置として一体的に形成されてもよい。姿勢検出装置40と振動補正処理装置50が一つの装置として一体的に形成されてもよい。別個に形成された装置は、有線又は無線により互いに通信可能に接続される。なお、投影装置10、情報取得装置20、表示処理装置30、姿勢検出装置40及び振動補正処理装置50の全てが一つの装置として形成されてもよい。この場合、通信部31,51はなくてもよい。
 上記実施形態では、情報取得装置20がGPSモジュール21を含む例について説明した。しかし、情報取得装置20は、車両200から周囲の対象物までの距離と方向を計測する距離センサを含んでもよく、計測した距離と方向を示す距離情報を表示処理装置30に出力してもよい。情報取得装置20は、車両200の速度を検出する車速センサを含んでもよいし、ナビゲーションシステムを含んでもよい。情報取得装置20は、GPSモジュール21、距離センサ、及びカメラ、画像処理装置、加速度センサ、レーダー、音波センサ、及びADAS(Advanced Driver-Assistance Systems)の白線検知装置などのうち、1つ以上を含んでもよい。この場合、情報取得装置20としての機能を有するGPSモジュール21、距離センサ、及びカメラなどは、一つの装置に内蔵されてもよいし、個別に車両200に取り付けられてもよい。
 上記実施形態では、姿勢検出装置40がジャイロセンサ41を含む例について説明した。しかし、姿勢検出装置40は、車両200の加速度を検出する加速度センサを含んでもよく、検出した加速度を姿勢変化量として出力してもよい。姿勢検出装置40は、路面からの高さを検出する車高センサを含んでもよく、検出した高さを姿勢変化量として出力してもよい。姿勢検出装置40は、他の公知のセンサを含んでもよい。姿勢検出装置40は、ジャイロセンサ41、加速度センサ、及び車速センサなどのうちの1つ以上を含んでもよい。この場合、姿勢検出装置40としての機能を有するジャイロセンサ41、加速度センサ、及び車高センサなどは、一つの装置に内蔵されてもよいし、個別に車両200に取り付けられてもよい。
 上記実施形態では、画像補正部34が表示処理装置30に含まれる例について説明したが、これに限定されない。画像補正部34は、振動補正処理装置50に含まれてもよい。
 上記実施形態では、移動体が、自動車などの車両200である場合について説明した。しかし、移動体は車両200に限らない。移動体は、地上を走行する乗り物であってもよく、例えば、列車又はオートバイであってもよい。移動体は、自動運転で走行することができる無人機であってもよい。
 上記実施形態では、移動体の前方に像を表示する場合について説明した。しかし、像を表示する位置は、前方に限らない。例えば、像は、移動体の側面方向や後方に表示されてもよい。
 上記実施形態では、表示システム100がHUDシステムである例について説明した。しかし、表示システム100はHUDシステムでなくてもよい。表示システム100は、投影装置10に代えて、液晶ディスプレイ又は有機ELディスプレイを備えてもよい。表示システム100は、スクリーン及びプロジェクタを含んでもよい。
(実施形態の概要)
 (1)本開示の表示システムは、表示コンテンツの表示を制御する表示処理装置と、予め記憶された画像補正データに基づいて、表示コンテンツの表示位置の変更を伴う画像補正を行う画像補正部と、移動体の姿勢変化量を検出する姿勢検出装置と、画像補正部により画像補正を行った後、移動体の姿勢変化量と、移動体の姿勢変動に伴って生じる表示ズレを補正する振動補正処理によって生じる画像補正の画像補正誤差と、に基づいて表示コンテンツの表示位置の振動補正量を算出する振動補正処理装置と、を備え、表示処理装置は、振動補正量に基づいて表示コンテンツの表示位置を制御する。これにより、表示コンテンツの表示位置の位置ずれを抑制することができる。
 (2)(1)の表示システムにおいて、振動補正処理装置は、移動体の姿勢変化量に基づいて表示コンテンツの表示位置のずれ量を算出し、表示処理装置から出力されたコンテンツ表示情報に基づいて表示コンテンツの初期位置を算出し、初期位置、ずれ量及び前記画像補正データに基づいて画像補正誤差を算出し、ずれ量と画像補正誤差とに基づいて振動補正量を算出してもよい。
 (3)(2)の表示システムにおいて、振動補正処理装置は、初期位置からのずれ量に対応する画像補正の第1補正誤値が割り当てられた第1補正値テーブルを有し、初期位置、ずれ量及び第1補正値テーブルに基づいて画像補正誤差を算出してもよい。
 (4)(2)又は(3)の表示システムにおいて、画像補正誤差は、初期位置での画像補正の補正値と、ずれ量に基づいて振動補正された場合に表示される表示位置での画像補正の補正値と、の差であってもよい。
 (5)(1)の表示システムにおいて、振動補正処理装置は、移動体の姿勢変化量に基づいて表示コンテンツの表示位置のずれ量を算出し、表示処理装置から出力されたコンテンツ表示情報に基づいて表示コンテンツの初期位置を算出し、初期位置とずれ量と画像補正データとに基づいてずれ補正量を算出し、ずれ補正量に基づいて画像補正誤差を算出し、ずれ補正量と画像補正誤差とに基づいて振動補正量を算出してもよい。
 (6)(5)の表示システムにおいて、振動補正処理装置は、初期位置からのずれ補正量に対応する画像補正の第2補正値が割り当てられた第2補正値テーブルを有し、初期位置、ずれ補正量及び第2補正値テーブルに基づいて画像補正誤差を算出してもよい。
 (7)(5)又は(6)の表示システムにおいて、画像補正誤差は、初期位置での画像補正の補正値と、ずれ補正量に基づいて振動補正された場合に表示される表示位置での画像補正の補正値と、の差であってもよい。
 (8)(1)~(7)の表示システムにおいて、表示処理装置は、少なくとも前記表示コンテンツの形状を決定する特徴部分の表示位置を制御してもよい。
 (9)(1)~(8)の表示システムにおいて、表示コンテンツが表示される表示領域は、複数の区画領域を有し、画像補正データは、複数の区画領域のそれぞれに割り当てられた画像補正値を含み、画像補正部は、表示コンテンツが表示される区画領域と、当該区画領域に割り当てられた画像補正値とに基づいて、画像補正の画像補正値を決定してもよい。
 (10)(1)~(9)の表示システムにおいて、画像補正部は、表示コンテンツの歪み補正を行い、画像補正誤差は、歪み補正による補正誤差であってもよい。
 (11)(1)~(10)の表示システムにおいて、表示コンテンツを表す光を投影する投影装置をさらに含んでもよい。
 (12)(1)~(11)の表示システムにおいて、移動体は、車両であり、表示コンテンツは、車両のフロントガラスの前方に表示されるコンテンツであってもよい。
 本開示は、表示コンテンツの表示位置を移動体の動きに応じて制御する表示システムに適用可能である。
  10   投影装置
  20   情報取得装置
  21   GPSモジュール
  30   表示処理装置
  31   通信部
  32   表示制御部
  33   記憶部
  34   画像補正部
  40   姿勢検出装置
  41   ジャイロセンサ
  50   振動補正処理装置
  51   通信部
  52   補正制御部
  52a  ずれ量算出部
  52b  補正量算出部
  52c  画像補正誤差算出部
  53   記憶部
  100  表示システム
  200  車両
  210  フロントガラス
  220  表示領域

Claims (12)

  1.  表示コンテンツの表示を制御する表示処理装置と、
     予め記憶された画像補正データに基づいて、前記表示コンテンツの表示位置の変更を伴う画像補正を行う画像補正部と、
     移動体の姿勢変化量を検出する姿勢検出装置と、
     前記画像補正部により前記画像補正を行った後、前記移動体の姿勢変化量と、前記移動体の姿勢変動に伴って生じる表示ズレを補正する振動補正処理によって生じる前記画像補正の画像補正誤差と、に基づいて前記表示コンテンツの表示位置の振動補正量を算出する振動補正処理装置と、
    を備え、
     前記表示処理装置は、前記振動補正量に基づいて前記表示コンテンツの表示位置を制御する、
     表示システム。
  2.  前記振動補正処理装置は、
      前記移動体の姿勢変化量に基づいて前記表示コンテンツの表示位置のずれ量を算出し、
      前記表示処理装置から出力されたコンテンツ表示情報に基づいて前記表示コンテンツの初期位置を算出し、
      前記初期位置、前記ずれ量及び前記画像補正データに基づいて前記画像補正誤差を算出し、
      前記ずれ量と前記画像補正誤差とに基づいて前記振動補正量を算出する、
     請求項1に記載の表示システム。
  3.  前記振動補正処理装置は、
      前記初期位置からの前記ずれ量に対応する前記画像補正の第1補正値が割り当てられた第1補正値テーブルを有し、
      前記初期位置、前記ずれ量及び前記第1補正値テーブルに基づいて前記画像補正誤差を算出する、
     請求項2に記載の表示システム。
  4.  前記画像補正誤差は、前記初期位置での前記画像補正の補正値と、前記ずれ量に基づいて振動補正された場合に表示される表示位置での前記画像補正の補正値と、の差である、
     請求項2又は3のいずれか一項に記載の表示システム。
  5.  前記振動補正処理装置は、
      前記移動体の姿勢変化量に基づいて前記表示コンテンツの表示位置のずれ量を算出し、
      前記ずれ量に基づいてずれ補正量を算出し、
      前記表示処理装置から出力されたコンテンツ表示情報に基づいて前記表示コンテンツの初期位置を算出し、
      前記初期位置、前記ずれ補正量及び前記画像補正データに基づいて前記画像補正誤差を算出し、
      前記ずれ補正量と前記画像補正誤差とに基づいて前記振動補正量を算出する、
     請求項1に記載の表示システム。
  6.  前記振動補正処理装置は、
      前記初期位置からの前記ずれ補正量に対応する前記画像補正の第2補正値が割り当てられた第2補正値テーブルを有し、
      前記初期位置、前記ずれ補正量及び前記第2補正値テーブルに基づいて前記画像補正誤差を算出する、
     請求項5に記載の表示システム。
  7.  前記画像補正誤差は、前記初期位置での前記画像補正の補正値と、前記ずれ補正量に基づいて振動補正された場合に表示される表示位置での前記画像補正の補正値と、の差である、
     請求項5又は6のいずれか一項に記載の表示システム。
  8.  前記表示処理装置は、少なくとも前記表示コンテンツの形状を決定する特徴部分の表示位置を制御する、
    請求項1~7のいずれか一項に記載の表示システム。
  9.  前記表示コンテンツが表示される表示領域は、複数の区画領域を有し、
     前記画像補正データは、前記複数の区画領域のそれぞれに割り当てられた画像補正値を含み、
     前記画像補正部は、前記表示コンテンツが表示される区画領域と、当該区画領域に割り当てられた画像補正値とに基づいて、前記画像補正の画像補正値を決定する、
     請求項1~8のいずれか一項に記載の表示システム。
  10.  前記画像補正部は、前記表示コンテンツの歪み補正を行い、
     前記画像補正誤差は、前記歪み補正による補正誤差である、
     請求項1~9のいずれか一項に記載の表示システム。
  11.  前記表示コンテンツを表す光を投影する投影装置をさらに含む、
     請求項1~10のいずれか1項に記載の表示システム。
  12.  前記移動体は、車両であり、
     前記表示コンテンツは、車両のフロントガラスの前方に表示されるコンテンツである、
     請求項1~11のいずれか1項に記載の表示システム。
PCT/JP2021/019531 2020-06-08 2021-05-24 表示システム WO2021251115A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2022530102A JPWO2021251115A1 (ja) 2020-06-08 2021-05-24
EP21820862.7A EP4163156A4 (en) 2020-06-08 2021-05-24 DISPLAY SYSTEM
US18/075,659 US11982817B2 (en) 2020-06-08 2022-12-06 Display system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-099648 2020-06-08
JP2020099648 2020-06-08

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/075,659 Continuation US11982817B2 (en) 2020-06-08 2022-12-06 Display system

Publications (1)

Publication Number Publication Date
WO2021251115A1 true WO2021251115A1 (ja) 2021-12-16

Family

ID=78846007

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/019531 WO2021251115A1 (ja) 2020-06-08 2021-05-24 表示システム

Country Status (4)

Country Link
US (1) US11982817B2 (ja)
EP (1) EP4163156A4 (ja)
JP (1) JPWO2021251115A1 (ja)
WO (1) WO2021251115A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015101311A (ja) 2013-11-28 2015-06-04 日本精機株式会社 車両情報投影システム
JP2016222061A (ja) * 2015-05-28 2016-12-28 日本精機株式会社 車両用表示システム
JP2018058544A (ja) * 2016-10-07 2018-04-12 株式会社デンソー 車載表示制御装置
WO2018167844A1 (ja) * 2017-03-14 2018-09-20 マクセル株式会社 ヘッドアップディスプレイ装置とその画像表示方法
WO2018193708A1 (ja) * 2017-04-19 2018-10-25 マクセル株式会社 ヘッドアップディスプレイ装置およびその表示制御方法
WO2019168156A1 (ja) * 2018-03-02 2019-09-06 パナソニックIpマネジメント株式会社 表示システム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4300818B2 (ja) * 2002-11-25 2009-07-22 日産自動車株式会社 車載表示装置および携帯表示装置
JP2010070066A (ja) * 2008-09-18 2010-04-02 Toshiba Corp ヘッドアップディスプレイ
WO2015060193A1 (ja) 2013-10-22 2015-04-30 日本精機株式会社 車両情報投影システム及び投影装置
JP5930231B2 (ja) * 2014-08-20 2016-06-08 日本精機株式会社 投影装置及びヘッドアップディスプレイ装置
CN108473054B (zh) * 2016-02-05 2021-05-28 麦克赛尔株式会社 平视显示器装置
KR102550382B1 (ko) * 2018-03-19 2023-07-04 소니그룹주식회사 화상 표시 시스템, 정보 처리 장치, 정보 처리 방법, 프로그램, 및 이동체
JP7194906B2 (ja) 2018-03-30 2022-12-23 パナソニックIpマネジメント株式会社 映像表示システム、映像表示方法、プログラム、及び映像表示システムを備える移動体
JP7040485B2 (ja) * 2018-09-21 2022-03-23 株式会社デンソー 表示制御装置及び表示制御プログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015101311A (ja) 2013-11-28 2015-06-04 日本精機株式会社 車両情報投影システム
JP2016222061A (ja) * 2015-05-28 2016-12-28 日本精機株式会社 車両用表示システム
JP2018058544A (ja) * 2016-10-07 2018-04-12 株式会社デンソー 車載表示制御装置
WO2018167844A1 (ja) * 2017-03-14 2018-09-20 マクセル株式会社 ヘッドアップディスプレイ装置とその画像表示方法
WO2018193708A1 (ja) * 2017-04-19 2018-10-25 マクセル株式会社 ヘッドアップディスプレイ装置およびその表示制御方法
WO2019168156A1 (ja) * 2018-03-02 2019-09-06 パナソニックIpマネジメント株式会社 表示システム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4163156A4

Also Published As

Publication number Publication date
JPWO2021251115A1 (ja) 2021-12-16
US11982817B2 (en) 2024-05-14
EP4163156A4 (en) 2023-12-06
EP4163156A1 (en) 2023-04-12
US20230098787A1 (en) 2023-03-30

Similar Documents

Publication Publication Date Title
US8212662B2 (en) Automotive display system and display method
US20210109357A1 (en) Display system, display device and display control method
US11305692B2 (en) Display system
US20220072959A1 (en) Display system
US20220028307A1 (en) Gradient change detection system, display system using same, and storage medium that stores program for moving body
US20220146840A1 (en) Display control device, and display control method
WO2021251115A1 (ja) 表示システム
US20210407466A1 (en) Display system
WO2020208883A1 (ja) 表示システム
WO2021251116A1 (ja) 表示システム
US20210109358A1 (en) Display system
US11482195B2 (en) Display system, display device and display control method for controlling a display position of an image based on a moving body
US20210011299A1 (en) Position adjustment apparatus and projection system including the same
US11945310B2 (en) Display system
JP2020179745A (ja) 表示システム
JP2021072455A (ja) 投影システム
WO2021251117A1 (ja) 表示システム、及び、振動検出システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21820862

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022530102

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2021820862

Country of ref document: EP

Effective date: 20230109