WO2020195430A1 - 画像表示システム、移動体、画像表示方法及びプログラム - Google Patents

画像表示システム、移動体、画像表示方法及びプログラム Download PDF

Info

Publication number
WO2020195430A1
WO2020195430A1 PCT/JP2020/007099 JP2020007099W WO2020195430A1 WO 2020195430 A1 WO2020195430 A1 WO 2020195430A1 JP 2020007099 W JP2020007099 W JP 2020007099W WO 2020195430 A1 WO2020195430 A1 WO 2020195430A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
posture angle
moving body
detection value
image display
Prior art date
Application number
PCT/JP2020/007099
Other languages
English (en)
French (fr)
Inventor
文人 犬飼
森 俊也
勝長 辻
研一 笠澄
幸広 長久
Original Assignee
パナソニックIpマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2019059194A external-priority patent/JP7253719B2/ja
Priority claimed from JP2019059468A external-priority patent/JP7228761B2/ja
Application filed by パナソニックIpマネジメント株式会社 filed Critical パナソニックIpマネジメント株式会社
Priority to DE112020001523.8T priority Critical patent/DE112020001523T5/de
Publication of WO2020195430A1 publication Critical patent/WO2020195430A1/ja
Priority to US17/484,905 priority patent/US11619811B2/en

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/02Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments
    • B60Q1/04Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/02Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/38Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory with means for controlling the display position
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • G02B2027/0183Adaptation to parameters characterising the motion of the vehicle

Definitions

  • the present disclosure relates to an image display system, a moving body, an image display method and a program, and more specifically, an image display system that projects and displays an image on a display object, a moving body equipped with this image display system, and an image display. Regarding methods and programs.
  • Patent Document 1 discloses a head-up display device mounted on a vehicle.
  • This head-up display device projects information from the image display onto the front shield of the vehicle and displays it. As a result, the information from the image display is superimposed and displayed in the field of view of the observer.
  • This head-up display device calculates the posture angle of the vehicle by detecting the acceleration of the vehicle (moving body), and corrects the display position of the superimposed image by the posture angle.
  • the acceleration of the vehicle may fluctuate greatly due to the influence of the disturbance that the vehicle receives while the vehicle is running. Therefore, the posture angle of the vehicle cannot be calculated accurately. Therefore, the information from the image display cannot be accurately corrected according to the posture angle of the vehicle.
  • the present disclosure provides an image display system, a moving body, an image display method, and a program that can calculate the posture angle of a moving body more accurately.
  • the image display system is an image display system mounted on a moving body.
  • the image display system is based on an image projection unit that projects an image onto a display object of the moving body and displays it, and time-series data of acceleration detection values of the acceleration of the moving body in a predetermined period.
  • a posture angle calculation unit that calculates a posture angle, a display control unit that controls a display position for projecting and displaying the image on the display object according to the posture angle calculated by the posture angle calculation unit, and a display control unit.
  • the acceleration detection value includes components in two directions.
  • the posture angle calculation unit excludes the acceleration detection value included in the exclusion period in which the ratio of the components in the two directions is out of the predetermined range in the predetermined period from the time series data used for calculating the posture angle. ..
  • the image display system of one aspect of the present disclosure is an image display system mounted on a moving body.
  • the image display system is based on an image projection unit that projects an image onto a display object of the moving body and displays it, and time-series data of acceleration detection values of the acceleration of the moving body in a predetermined period.
  • a posture angle calculation unit that calculates a posture angle, a display control unit that controls a display position for projecting and displaying the image on the display object according to the posture angle calculated by the posture angle calculation unit, and a display control unit.
  • the acceleration detection value includes components in two directions.
  • the posture angle calculation unit excludes the acceleration detection value included in the exclusion period in which the angular velocity detection value of the angular velocity of the moving body is outside the predetermined range from the time series data used for calculating the posture angle.
  • the moving body of one aspect of the present disclosure includes the image display system of the above-mentioned aspect and a moving body main body equipped with the image display system.
  • the display object is the front shield of the moving body body.
  • the image display method of one aspect of the present disclosure is an image display method that controls an image display system mounted on a moving body.
  • the image display method is based on an image projection process of projecting an image onto a display object of the moving body and displaying it, and time-series data of acceleration detection values of the acceleration of the moving body in a predetermined period of time.
  • the acceleration detection value includes components in two directions.
  • the posture angle calculation process excludes the acceleration detection value included in the exclusion period in which the ratio of the components in the two directions is out of the predetermined range in the predetermined period from the time series data used for calculating the posture angle. ..
  • the image display method of one aspect of the present disclosure is an image display method that controls an image display system mounted on a moving body.
  • the image display method is based on an image projection process of projecting an image onto a display object of the moving body and displaying it, and time-series data of acceleration detection values of the acceleration of the moving body in a predetermined period of time.
  • the acceleration detection value includes components in two directions. In the posture angle calculation process, the acceleration detection value included in the exclusion period in which the angular velocity detection value of the angular velocity of the moving body is outside the predetermined range is excluded from the time series data used for calculating the posture angle.
  • the program according to one aspect of the present disclosure is a program for causing a computer system to execute the image display method of the above aspect.
  • FIG. 1 is a conceptual diagram showing a configuration of an image display system according to the first embodiment.
  • FIG. 2 is a conceptual diagram of an automobile provided with the same image display system.
  • FIG. 3 is a conceptual diagram showing a user's field of view when the same image display system is used.
  • FIG. 4A is an explanatory diagram illustrating the kinetic acceleration acting on the automobile when the automobile is not tilted.
  • FIG. 4B is an explanatory diagram illustrating the kinetic acceleration acting on the automobile when the automobile is tilted.
  • FIG. 5A is a schematic view of the same car that is not tilted as seen from the side.
  • FIG. 5B is a conceptual diagram showing the field of view of the user driving the automobile in the state of FIG. 5A.
  • FIG. 6A is a schematic view of the same inclined automobile as viewed from the side.
  • FIG. 6B is a conceptual diagram showing the field of view of the user driving the automobile in the state of FIG. 6A.
  • FIG. 7 is a comparative diagram comparing the detection value G of the acceleration sensor in the same image display system with the ratio W1 of the acceleration components in the two directions of the acceleration sensor.
  • FIG. 8A is a distribution map showing an example of the distribution of the detection value G of the acceleration sensor when the vehicle of the above is not subjected to disturbance.
  • FIG. 8B is a distribution map showing an example of the distribution of the detection value G of the acceleration sensor when the vehicle of the above is subject to disturbance.
  • FIG. 9 is an explanatory diagram illustrating the acceleration component of the acceleration sensor in the first modification of the first embodiment.
  • FIG. 10 is a comparative diagram comparing the detection value G of the acceleration sensor and the ratio W1 of the acceleration components in the two directions of the acceleration sensor in the image display system according to the second modification of the first embodiment.
  • FIG. 11 is a conceptual diagram showing the configuration of the image display system according to the second embodiment.
  • FIG. 12 is an explanatory diagram illustrating the relationship between the acceleration detection value G of the acceleration sensor and the angular velocity detection value Q1 of the angular velocity sensor in the image display system according to the second embodiment.
  • FIG. 13 is a diagram showing a vehicle equipped with a HUD.
  • FIG. 14 is a diagram showing an example of a region in which light is projected by the display device according to the third embodiment.
  • FIG. 15 is a diagram showing an example in which a virtual image is displayed so as to overlap the foreground.
  • FIG. 16 is a diagram showing a main configuration of an embodiment for realizing a virtual image display position adjusting function.
  • FIG. 17 is a diagram showing a state of irradiation of the reference line of the real image by the irradiation unit.
  • FIG. 18 is a diagram showing a forward view from the driver.
  • FIG. 19 is a diagram showing a steering switch having a function as a projection position adjustment operation unit.
  • FIG. 20 is a diagram showing a configuration example of another embodiment.
  • the image display system 10 is, for example, a head-up display (HUD) provided in an automobile 100 as a moving body. That is, the moving body 100 includes a moving body main body and an image display system 10 provided in the moving body main body.
  • HUD head-up display
  • This image display system 10 is installed in the passenger compartment of the automobile 100 so as to project an image from below onto the front shield 101 (window shield) of the automobile 100.
  • the image display system 10 is arranged in the dashboard 102 below the front shield 101.
  • the image displayed on the front shield 101 as a display object is visually recognized by the user 200 (driver).
  • the user 200 visually recognizes the virtual image 300 projected on the target space 400 set in front of the automobile 100 (outside the vehicle) through the front shield 101.
  • the "virtual image” here means an image in which when the light emitted from the image display system 10 is diverged by a display object such as the front shield 101, the divergent light rays are connected so that an object actually exists. .. Therefore, as shown in FIG. 3, the user 200 driving the automobile 100 can see the virtual image 300 projected by the image display system 10 by superimposing it on the real space spreading in front of the automobile 100.
  • various driving support information such as vehicle speed information, navigation information, pedestrian information, vehicle ahead vehicle information, lane departure information, and vehicle condition information are displayed as a virtual image 300. It can be visually recognized by the user 200. As a result, the user 200 can visually acquire the driving support information with only a slight movement of the line of sight from the state in which the line of sight is directed to the front of the front shield 101.
  • the virtual image 300 formed in the target space 400 includes at least two types of virtual images, a first virtual image 301 and a second virtual image 302.
  • the "first virtual image” referred to here is, for example, information indicating the traveling direction of the automobile 100 as navigation information, and it is possible to present an arrow indicating a right turn or a left turn on the road surface 600.
  • This type of first virtual image 301 is an image displayed using Augmented Reality (AR) technology, and is a real landscape (road surface 600, buildings, surrounding vehicles, pedestrians, etc.) seen by the user 200. ) Is superimposed and displayed at a specific position.
  • AR Augmented Reality
  • the second virtual image 302 is, for example, vehicle speed information, and can present the current traveling speed (vehicle speed) of the automobile 100.
  • the first virtual image 301 represents, as an example, an arrow instructing "turn left" on the clove road in front of the automobile 100.
  • the second virtual image 302 displays the information "50 km / h" as an example.
  • the virtual image 300 formed in the target space 400 is formed on the virtual surface 501 intersecting the optical axis 500 of the image display system 10.
  • the optical axis 500 is along the road surface 600 in front of the automobile 100 in the target space 400 in front of the automobile 100.
  • the virtual surface 501 on which the virtual image 300 is formed is substantially perpendicular to the road surface 600. For example, if the road surface 600 is a horizontal plane, the virtual image 300 will be displayed along the vertical plane.
  • the image display system 10 includes an image projection unit 30 and a main body unit 1.
  • the image projection unit 30 forms the image 700 and projects the formed image 700 onto the front shield 101 to display it, thereby projecting the virtual image 300 corresponding to the image 700 onto the target space 400.
  • the image projection unit 30 includes an image forming unit 2 and a projection unit 3.
  • the image forming unit 2 has a display surface 20 and forms an image 700 (see FIG. 8) on the display surface 20.
  • the image forming unit 2 projects the formed image onto the projection unit 3 by the output light.
  • the projection unit 3 projects the virtual image 300 corresponding to the image 700 onto the target space 400 by projecting the image projected from the image forming unit 2 onto the front shield 101.
  • the image forming unit 2 and the projection unit 3 are mounted on the main body unit 1.
  • the posture of the main body 1 changes with the posture of the automobile 100 due to the load of the automobile 100.
  • the posture of the image projection unit 30 is mounted on the main body 1, the posture of the image projection unit 30 is the same as the posture of the main body 1. Therefore, the posture of the main body 1 is also the posture of the image projection unit 30.
  • the main body 1 when the automobile 100 is in a forward leaning posture when there are occupants in the driver's seat and the passenger's seat, the main body 1 is also in the forward leaning posture, and when there is an occupant in the rear seat or a load is placed on the trunk. If the vehicle is tilted backward, the main body 1 is also tilted backward.
  • the posture of the main body 1 of the image display system 10 tiltus, the posture angle of the image projection unit 30
  • the position of the virtual image 300 projected by the image display system 10 in the target space 400 also changes.
  • the first virtual image 301 is superposed at a position deviated from a specific position that should be superposed in the actual landscape seen by the user 200. May be displayed.
  • the image display system 10 further has a position correction unit 4 for correcting the display position of the virtual image 300.
  • the position correction unit 4 changes the display position of the virtual image 300 relative to the main body 1 (hence, the moving body 100) based on the posture angle of the main body 1 (hence, the posture angle of the moving body 100).
  • the posture angle of the main body 1 is, for example, the inclination of the vertical axis of the main body 1 from the vertical axis orthogonal to the road surface.
  • the display position of the image 700 on the front shield 101 is adjusted according to the posture angle of the main body 1, so that the display position of the virtual image 300 is adjusted. Therefore, for example, even if the automobile 100 is in a forward leaning posture or a backward leaning posture, if the first virtual image 301 is used, the image display system 10 is a specific position that should be superposed in the actual landscape seen by the user 200. It is possible to superimpose on and display.
  • the image display system 10 includes a main body unit 1, an image projection unit 30, a position correction unit 4, a display control unit 51, and an acceleration sensor 52.
  • the image projection unit 30 includes an image forming unit 2 and a projection unit 3.
  • the main body 1 is composed of, for example, one housing.
  • the image forming unit 2 and the projection unit 3 are housed in the main body 1, so that the image forming unit 2 and the projection unit 3 are mounted on the main body 1.
  • components (position correction unit 4 and display control unit 51) other than the image forming unit 2 and the projection unit 3 are also mounted (accommodated) in the main body unit 1.
  • the main body 1 is fixed in the dashboard 102 of the automobile 100.
  • the components (position correction unit 4 and display control unit 51) other than the image forming unit 2 and the projection unit 3 may not be mounted on the main body unit 1.
  • the main body 1 may be composed of a plurality of housings, and may not be a housing in the first place, but may be, for example, a frame or a plate material.
  • the image projection unit 30 forms the image 700 and projects the formed image 700 onto the front shield 101 to display it, thereby projecting the virtual image 300 corresponding to the image 700 onto the target space 400.
  • the image forming unit 2 has a display surface 20 and forms an image 700 on the display surface 20.
  • the image forming unit 2 has a liquid crystal panel 21 (LCD: Liquid Crystal Display) and a light source device 22 as shown in FIG.
  • the liquid crystal panel 21 is arranged in front of the light source device 22.
  • the front surface of the liquid crystal panel 21 (the surface opposite to the light source device 22) constitutes the display surface 20.
  • the light source device 22 is used as a backlight for the liquid crystal panel 21.
  • the light from the light source device 22 passes through the liquid crystal panel 21 from the back side of the liquid crystal panel 21 and is output from the image forming unit 2.
  • the light source device 22 is a surface light source that irradiates substantially the entire back surface of the liquid crystal panel 21 with a solid-state light emitting element such as a light emitting diode or a laser diode.
  • the light source device 22 emits light while the image 700 is displayed on the liquid crystal panel 21, and the light output forward from the light source device 22 passes through the liquid crystal panel 21 to form a liquid crystal. It is output forward from the front surface (display surface 20) of the panel 21. At this time, the light output forward from the display surface 20 is light (image light) that reflects the image 700 displayed on the liquid crystal panel 21. Therefore, when the display surface 20 is viewed from the front, the image 700 appears to be displayed on the display surface 20, and the image 700 is formed on the display surface 20.
  • the image forming unit 2 is configured to include the liquid crystal panel 201, but is not limited to such a configuration.
  • the image forming unit 2 may be configured to scan the laser beam from the back surface of the display surface 20 of the image forming unit 2 to form the image 700.
  • the vertical direction of the display surface 20 is the vertical direction of the image 700
  • the horizontal direction of the display surface 20 is the horizontal direction of the image 700.
  • the vertical direction of the projected image 700 is along the vertical direction of the virtual image 300 (see FIG. 2) projected on the target space 400 (see FIG. 2), that is, along the vertical direction in the field of view of the user 200 (see FIG. 2).
  • the horizontal direction of the projected image 700 is the horizontal direction of the virtual image 300 projected on the target space 400, that is, the direction along the horizontal direction in the field of view of the user 200.
  • the projection unit 3 projects the image 700 onto the front shield 101 by the output light of the image forming unit 2 and displays it, thereby projecting the virtual image 300 corresponding to the image 700 onto the target space 400.
  • the projection unit 3 has a first mirror 31 and a second mirror 32.
  • the first mirror 31 and the second mirror 32 are arranged in the order of the first mirror 31 and the second mirror 32 on the optical path of the output light from the image forming unit 2. More specifically, the first mirror 31 is arranged in front of the display surface 20 of the image forming unit 2 so that the output light of the image forming unit 2 is incident. The first mirror 31 reflects the output light of the image forming unit 2 toward the second mirror 32.
  • the second mirror 32 is arranged at a position where the output light of the image forming unit 2 reflected by the first mirror 31 is incident (for example, a position on the lower front side of the first mirror 31).
  • the second mirror 32 reflects the output light of the image forming unit 2 reflected by the first mirror 31 upward (that is, the front shield 101).
  • the first mirror 31 is, for example, a convex mirror
  • the second mirror 32 is, for example, a concave mirror.
  • the projection unit 3 enlarges or reduces the image 700 displayed on the display surface 20 of the image forming unit 2 to an appropriate size, and projects it on the front shield 101 as a projection image.
  • the virtual image 300 is displayed in the target space 400. That is, in the field of view of the user 200 driving the automobile 100, the virtual image 300 of the image 700 projected from the image display system 10 is displayed superimposed on the actual view spreading in front of the automobile 100.
  • the display control unit 51 controls the image forming unit 2.
  • the display control unit 51 is composed of, for example, a CPU (Central Processing Unit) and a microcomputer whose main configuration is a memory.
  • the display control unit 51 is realized by a computer having a CPU and a memory, and the computer functions as the display control unit 51 by executing a program stored in the memory by the CPU.
  • the program is recorded in advance in the memory of the display control unit 51 here, it may be recorded and provided through a telecommunication line such as the Internet or in a recording medium such as a memory card.
  • the display control unit 51 forms an arbitrary image 700 on the display surface 20 by controlling the image forming unit 2. Further, the display control unit 51 controls the display position of the image 700 on the display surface 20. As a result, the display control unit 51 controls the display position of the image 700 on the front shield 101. As a result, the display position of the virtual image 300 projected on the target space 400 relative to the main body 1 is controlled.
  • the display control unit 51 can display (draw) arbitrary video content on the liquid crystal panel 21 by software processing, whereby an arbitrary image 700 is formed on the display surface 20, and the display surface 20 is formed.
  • the display position of the image 700 is controlled. For example, when the virtual image 300 (first virtual image 301 and second virtual image 302) as shown in FIG. 3 is projected onto the target space 400, the contents of the first virtual image 301 (direction of arrow, position, etc.) and the second virtual image 302 The content (vehicle speed, etc.) is determined by the display control unit 51. Further, the display control unit 51 also determines the position of the image 700 on the front surface of the liquid crystal panel 21, that is, the display surface 20. If the position of the image 700 on the display surface 20 changes, the relative display position of the virtual image 300 with respect to the main body 1 also changes.
  • the acceleration sensor 52 detects the acceleration acting on the automobile 100 (motion acceleration in this embodiment) (detection value G).
  • the kinetic acceleration is the acceleration generated in the automobile 100 by the acceleration caused by the running of the automobile 100. That is, the kinetic acceleration is the acceleration acting on the automobile 100 excluding the gravitational acceleration.
  • the kinetic acceleration is generated, for example, in the direction opposite to the direction of acceleration of the automobile 100.
  • the acceleration sensor 52 directly detects the motion acceleration acting on the automobile 100.
  • the acceleration sensor 52 detects the combined acceleration of the motion acceleration and the gravitational acceleration of the automobile 100
  • the value obtained by vectorally dividing the value of the gravitational acceleration acting on the automobile 100 from the detected value of the combined acceleration is calculated. It may be used as the detected value G of the gravitational acceleration of the automobile 100.
  • the detection value G of the acceleration sensor 52 in the stationary state can be used as the value of the gravitational acceleration acting on the automobile 100.
  • the acceleration sensor 52 is, for example, a two-axis acceleration sensor, which detects acceleration in the vertical axis Az direction (vertical direction) and the front-rear axis Ax direction (front-back direction) of the automobile 100.
  • the vertical axis Az and the front-rear axis Ax are virtual axes fixed to the automobile 100.
  • the front-rear axis Ax direction is a direction orthogonal to the vertical axis Az. For example, when the posture of the automobile 100 traveling forward is not tilted in the front-rear direction with respect to the road surface 600, the kinetic acceleration acting on the automobile 100 acts only in the front-rear axis Ax direction of the automobile 100.
  • the detected value G of the acceleration sensor 52 (that is, the detected value of the motion acceleration) has only the acceleration component Gx in the front-rear axis Ax direction (see FIG. 4A).
  • the kinetic acceleration acting on the automobile 100 is in the vertical axis Az direction and the front-rear axis Ax direction of the automobile 100. It acts in both directions. Therefore, the detected value G has an acceleration component Gz in the vertical axis Az direction and an acceleration component Gx in the front-rear axis Ax direction (see FIG. 4B).
  • the position correction unit 4 calculates the posture of the main body 1 (more specifically, the posture angle) based on the detection value G of the acceleration sensor 52, and displays the image 700 on the display surface 20 based on the calculated posture angle. Change the position. As a result, the display position of the image 700 on the front shield 101 changes. As a result, the display position of the virtual image 300 relative to the main body 1 changes. As described above, when the posture of the main body 1 changes, the image display system 10 corrects the display position of the virtual image 300 by changing the display position of the image 700 on the display surface 20 in response to the change. can do. For example, the first virtual image 301 can be corrected and superposed at a specific position that should be superposed in the actual landscape seen by the user 200.
  • the position correction unit 4 is composed of, for example, a microcomputer whose main configuration is a CPU and a memory. At least a part of the functions of the position correction unit 4 (for example, the correction unit 41) may share one microcomputer with the display control unit 51.
  • the position correction unit 4 has a correction unit 41 and a posture angle calculation unit 43.
  • the posture angle calculation unit 43 calculates the posture angle of the main body unit 1 based on the time series data of the detection value G (acceleration detection value) of the acceleration sensor 52. More specifically, the posture angle calculation unit 43 calculates the posture angle of the automobile 100 based on the time series data of the detection value G of the acceleration sensor 52, and uses this calculated posture angle as the posture angle of the main body unit 1. That is, the main body 1 is fixed to the dashboard 102 so that the top, bottom, front, back, and left and right of the main body 1 coincide with the top, bottom, front, back, and left and right of the automobile 100.
  • the posture angle of the main body 1 matches the posture angle of the automobile 100 (vehicle body), and the posture angle of the main body 1 can be calculated from the posture angle of the automobile 100.
  • the posture angle is the inclination of the vertical axis Az of the automobile 100 from the vertical line of the earth.
  • the acceleration sensor 52 is a two-axis acceleration sensor (two axes, the vertical axis Az and the front-rear axis Ax). Therefore, the detected value G of the acceleration sensor 52 has an acceleration component Gz in the vertical axis Az direction (vertical direction) and an acceleration component Gx in the front-rear axis Ax direction (front-back direction).
  • the posture angle calculation unit 43 calculates arctan (Gz / Gx) as the posture angle ⁇ (see FIG. 4).
  • the correction unit 41 controls the display control unit so as to change the display position of the image 700 on the display surface 20 based on the posture angle calculated by the posture angle calculation unit 43 (that is, the posture angle of the main body unit 1). To do. By this control, the display position of the virtual image 300 relative to the main body 1 is corrected according to the posture angle of the main body 1.
  • the correction unit 41 controls the display control unit 51 so as to absorb (reduce) the change in the position of the virtual image 300 in the target space 400 due to the change in the posture angle of the main body 1 for at least the first virtual image 301. , The position of the image 700 on the display surface 20 is changed.
  • the correction unit 41 is a virtual image 300 (third) relative to the main body 1. 1
  • the virtual image 300 is displayed at the default display position without changing the display position of the virtual image 301).
  • the default display position of the first virtual image 301 is a substantially central portion of the display area 401, that is, a position through which the optical axis 500 (see FIG. 5A) passes.
  • the first virtual image 301 represents an arrow instructing a "left turn" at the junction in front of the automobile 100.
  • the first virtual image 301 is displayed so as to be superimposed on the junction in the actual landscape in the display area 401. Further, a second virtual image 302 is displayed at a position in the lower left corner of the display area 401 (see FIG. 5B).
  • the correction unit 41 causes the virtual image 300 relative to the main body 1 (
  • the display position of the first virtual image 301) is changed from the default display position. That is, in this state, as shown in FIG. 6B, the display area 401 (X) moves upward in the field of view of the user 200, and the display area 401 (X) is shifted upward from the display area 401 (X). Y) is formed. As a result, in the default display position, the first virtual image 301 (X) is displayed in the substantially central portion of the display area 401 (Y).
  • the first virtual image 301 (X) is displayed so as to be superimposed on a position shifted forward from the junction in the actual landscape.
  • a region in which the virtual image 300 can be projected in the target space 400 is represented as a display region 401.
  • the display area 401 and the first virtual image 301 are moved. Therefore, the display area 401 and the first virtual image 301 before the movement have a reference code of "X", and the display area 401 and the first virtual image 301 after the movement have a reference code of "Y". I make a distinction.
  • the correction unit 41 changes the display position of the virtual image 300 by changing the position of the image 700 on the display surface 20. Therefore, as shown in FIG. 6A, the display position of the first virtual image 301 (X) relative to the main body 1 moves downward, and the display area 401 (Y) is within the display area 401 (Y) from the first virtual image 301 (X). The first virtual image 301 (Y) is displayed at the position shifted downward. As a result, in the field of view of the user 200, as shown in FIG. 6B, the first virtual image 301 (Y) is displayed superimposed on the junction in the actual landscape in the display area 401 (Y). Further, a second virtual image 302 is displayed at a position in the lower left corner of the display area 401 (Y) (see FIG. 6B).
  • the posture angle of the main body 1 is calculated from the time series data of the detection value G (acceleration detection value) of the acceleration sensor 52, and the posture angle on the display surface 20 is calculated according to the posture angle.
  • the display position of the image 700 is corrected.
  • the posture angle calculation unit 43 of the image display system 10 removes the detection value G affected by the disturbance received by the automobile 100 from the time series data of the detection value G of the acceleration sensor 52, and removes the detection value G of the main body unit. Calculate the posture angle of 1.
  • the "disturbance” is an external force that affects the posture angle of the automobile 100, such as a push-up received when the automobile 100 gets over a stone or a curb on the road surface.
  • a posture angle calculation unit will be described in detail.
  • the posture angle calculation unit 43 calculates the posture angle of the main body unit 1 based on the time series data of the detection value G of the acceleration sensor 52. More specifically, as shown in FIG. 7, the posture angle calculation unit 43 detects a value of the acceleration sensor 52 included in the threshold range out-of-threshold period K1 (exclusion period) of the operation period (predetermined period) of the acceleration sensor 52. G (acceleration detection value) is excluded from the time series data of the detection value G used in the calculation of the posture angle of the main body 1. That is, the posture angle calculation unit 43 calculates the posture angle of the main body unit 1 based on the time series data of the detection value G included in the threshold range period K2.
  • the "operating period” is a period during which the acceleration sensor 52 is operating to detect the acceleration acting on the automobile 100 (motion acceleration in the present embodiment), and is the entire period during which the acceleration sensor 52 is operating. It may be, or it may be a part of the period during operation.
  • the threshold range period K2 is a period during which the ratio W1 is within the threshold range S1.
  • the "two directions” include the vertical axis Az direction (vertical direction) and the front-rear axis Ax direction (front-back direction) orthogonal to the vertical axis Az direction.
  • the posture angle calculation unit 43 uses the detection value G included in the threshold range out-of-threshold period K1 of the operation period of the acceleration sensor 52 as the time series data of the detection value G used in the calculation of the posture angle of the main body 1.
  • the accuracy of the posture angle of the main body 1 calculated by the correction unit 41 is improved.
  • the correction unit 41 can more accurately correct the display position of the image 700 on the front shield 101.
  • FIGS. 8A and 8B are graphs showing time-series data of the detected value G for a certain period of time of the acceleration sensor 52 as points on the xz coordinate system.
  • the x-axis is the front-rear axis Ax of the automobile 100
  • the z-axis is the vertical axis Az of the automobile 100.
  • FIG. 8A when the automobile 100 is not disturbed, the points representing the detected value G are distributed on the straight line L1 having a constant slope.
  • FIG. 8B when the automobile 100 is disturbed, the points representing the detected value G are not only distributed on the straight line L1 but also distributed at places deviated from the straight line L1.
  • the straight line L1 represents the distribution of the detected value G when the automobile 100 is not subjected to disturbance.
  • the inclination of the straight line L1 differs depending on the posture angle of the automobile 100.
  • the posture angle of the automobile 100 when the automobile 100 is not disturbed is assumed to be 1 degree.
  • the inclination of the straight line L1 is also different.
  • the posture angle of the automobile 100 when calculating the posture angle of the automobile 100, the posture angle of the automobile 100 can be calculated accurately by using the time series data of the detection value G distributed on the straight line L1.
  • the graph of FIG. 8B becomes a graph as shown in FIG. 8A, but the removal is detected within the out-of-threshold period K1 shown in FIG. Corresponds to removing the detected value G.
  • the detection value G in the threshold range out-of-threshold period K1 in which the ratio W1 is out of the threshold range S1 in FIG. 7 is the detection value G corresponding to the point deviated from the straight line L1 in FIG. 8B. Therefore, the posture angle of the main body 1 can be calculated more accurately by excluding the detection value G within the threshold range K1 from the time series data of the detection value G used for calculating the posture angle of the main body 1. It is possible.
  • the threshold range S1 is determined according to the state of the automobile 100. For example, based on the time series data of the detection value G of the acceleration sensor 52, the detection value G detected within the fixed time is plotted on the xz coordinates as shown in FIG. 8B at regular time intervals, and the plotted points are plotted. Find the correlation line from the distribution. Then, the correlation straight line may be regarded as a straight line L1, the ratio W1 may be calculated from the slope of the regarded straight line L1, and a certain range centered on this ratio W1 may be set as the threshold range S1.
  • the threshold range S1 when the value of the ratio W1 is 0.1, for example, the threshold range S1 is set within the range of 0.1 ⁇ 0.1, and when the value of the ratio W1 is 0.5, for example, The threshold range S1 may be set within the range of 0.5 ⁇ 0.1.
  • the threshold range S1 may be set to, for example, 0.3 ⁇ 0.1.
  • the posture angle calculation unit 43 includes a filter unit 431 and a calculation unit main body 432.
  • the filter unit 431 removes the detection value G included in the threshold range out-of-threshold period K1 from the time-series data of the detection value G of the acceleration sensor 52, and calculates only the detection value G included in the threshold value in-threshold period K2. Output to 432. More specifically, the filter unit 431 sets the threshold range S1 as described above based on the time series data of the detection value G of the acceleration sensor 52. Then, each time the filter unit 431 acquires the time series data of the detection value G for a certain operation period from the acceleration sensor 52, the filter unit 431 determines the detection value G included in the out-of-threshold period K1 in the certain operation period. Remove. Then, the filter unit 431 outputs the detection value G included in the threshold range period K2 to the calculation unit main body 432.
  • the out-of-threshold period K1 and the in-threshold period K2 are determined by statistically processing the time-series data of the detection value G for each fixed operating time, and the out-of-threshold period K1 is determined.
  • the detection value G in the above is removed, and the detection value G in the threshold range period K2 is output to the calculation unit main body 432.
  • the detection value G of the acceleration sensor 52 may be determined one by one in real time whether it is outside or inside the threshold range S1, and only the detection value G within the threshold range S1 may be output to the calculation unit main body 432.
  • the calculation unit main body 432 calculates the posture angle of the automobile 100 based on the time series data of the detection value G output from the filter unit 431, and uses the calculated posture angle as the posture angle of the main body unit 1.
  • the posture angle calculation unit 43 sets the detection value G included in the threshold range out-of-threshold period K1 in the operation period of the acceleration sensor 52 as the posture angle of the main body 1. Exclude from the time series data of the detection value G used in the calculation of. Therefore, the accuracy of the calculated posture angle of the main body 1 can be improved. As a result, the display position of the image 700 on the front shield 101 can be corrected more accurately.
  • the first embodiment is only one of various embodiments of the present invention.
  • the first embodiment can be modified in various ways depending on the design and the like as long as the object of the present invention can be achieved.
  • the aspect according to the first embodiment is not limited to being embodied in the single image display system 10.
  • the aspect according to the first embodiment may be embodied by an image display method, a computer program, a storage medium in which the program is stored, or the like. The modifications described below can be applied in combination as appropriate.
  • the above image display method is an image display method that controls the image display system 10 mounted on the moving body 100.
  • This image display method includes an image projection process of projecting an image 700 onto a display object 101 of the moving body 100 and displaying the image 700, and an acceleration detection value G of the acceleration of the moving body 100 during a predetermined period (operating period of the acceleration sensor 52).
  • the image 700 is projected onto the display object 101 and displayed according to the posture angle calculation process for calculating the posture angle ⁇ of the moving body 100 based on the time series data and the posture angle calculated by the posture angle calculation process. It includes a display control process for controlling the display position.
  • the acceleration detection value G includes the components Gz and Gx in two directions.
  • the posture angle calculation process excludes the acceleration detection value G included in the exclusion period K1 in which the ratio W1 of the components in the two directions in the predetermined period is outside the predetermined range S1 from the time series data used for calculating the posture angle. ..
  • the acceleration sensor 52 is a two-axis acceleration sensor, but a three-axis acceleration sensor may be used.
  • the ratio W1 used in the calculation of the filter unit 431 is a value obtained by dividing the acceleration component Gz in the detection value G of the acceleration sensor 52 by the acceleration component Gxy.
  • the acceleration component Gxy is an acceleration component obtained by vector-synthesizing the acceleration component Gx in the front-rear axis Ax direction (front-back direction) and the acceleration component Gy in the left-right axis Ay direction (left-right direction) in the detected value G.
  • the left-right axis Ay direction is orthogonal to both the vertical axis Az direction (vertical direction) and the front-rear axis Ax direction (front-back direction).
  • the above two directions in the ratio of the acceleration components Gxy and Gz in the two directions constituting the detected value G are the vertical axis Az direction of the main body 1 and the axis Axy direction.
  • the axis Axy is the direction along which the acceleration component Gx in the front-rear axis Ax direction and the acceleration component Gy in the left-right axis Ay direction are vectorically combined in the detected value G. That is, the axis Axy is an axis along a straight line connecting the origin 0 and the point corresponding to the acceleration component Gxy.
  • the acceleration sensor 52 can detect the front-back tilt and the left-right tilt of the posture of the main body 1 (hence, the automobile 100). As a result, the display position of the image 700 on the front shield 101 can be corrected more accurately.
  • addition periods K3 and K4 may be provided before and after the out-of-threshold period K1 (exclusion period).
  • the filter unit 431 excludes not only the detection value G included in the threshold range out-of-threshold period K1 but also the detection value G included in the addition periods K3 and K4 in the operating period (predetermined period) of the acceleration sensor 52. .. Then, the filter unit 431 outputs only the time-series data of the detected values (detected values of the acceleration sensor 52) detected within the remaining period K5 to the calculation unit main body 432.
  • the period K5 is a period obtained by removing the addition periods K3 and K4 from the threshold range period K2.
  • the detection value G within the threshold range K1 not only the detection value G within the threshold range K1 but also the detection value G within the addition periods K3 and K4 can be excluded. Since the addition periods K3 and K4 are periods connected to the period K1 outside the threshold range, the ratio W1 corresponding to the detection value G in the addition periods K3 and K4 is a value within the threshold range S1 (predetermined range), but the threshold value. It is highly possible that the value is close to the threshold value of the range S1. By excluding the detected value G in the additional periods K3 and K4, the posture angle of the main body 1 (that is, the posture angle of the automobile 100) can be calculated more accurately.
  • the lengths of the additional periods K3 and K4 are set to predetermined lengths that are fixed in advance. However, the lengths of the addition periods K3 and K4 may be changed according to the length of the out-of-threshold period K1. For example, the lengths of the addition periods K3 and K4 may be set longer as the out-of-threshold period K1 becomes longer. When the out-of-threshold period K1 is long, the ratio W1 corresponding to the detected value G in the addition periods K3 and K4 is likely to maintain a value near the threshold of the threshold range S1 for a long time.
  • the ratio W1 can be set to a value near the threshold value in the threshold range S1 from the detected value G in the in-threshold period K2.
  • the detection value G to be taken can be excluded.
  • the posture angle of the main body 1 that is, the posture angle of the automobile 100
  • the length of the addition period K3 may be changed according to the fluctuation amount of the ratio W1a corresponding to the detection value Ga which is the earliest in time among the detection values G in the period K1 outside the threshold range. For example, the length of the addition period K3 may be set longer as the fluctuation amount of the ratio W1a is larger. Further, the length of the addition period K4 may be changed according to the fluctuation amount of the ratio W1b corresponding to the detection value Gb which is the latest in time among the detection values G in the period K1 outside the threshold range. For example, the length of the addition period K4 may be set longer as the fluctuation amount of the ratio W1b is larger.
  • the amount of fluctuation of the ratios W1a and W1b is, for example, the amount of deviation from the center value of the threshold range S1.
  • the ratio W1 corresponding to the detected value G in the addition periods K3 and K4 is likely to maintain a value near the threshold value of the threshold value range S1 for a long time. Therefore, by setting the addition periods K3 and K4 longer according to the fluctuation amount of the ratios W1a and W1b, the ratio W1 takes a value near the threshold value of the threshold value range S1 from the detected value G in the threshold value range period K2.
  • the detected value G can be excluded.
  • the posture angle of the main body 1 that is, the posture angle of the automobile 100
  • addition periods K3 and K4 are provided both before and after the out-of-threshold period K1, but the addition periods K3 and K4 may be provided only before and after the out-of-threshold period K1. ..
  • the image display system 10 is not limited to the head-up display used in the automobile 100, and can be applied to moving objects other than the automobile 100, such as motorcycles, trains, aircraft, construction machinery, and ships. Further, the image display system 10 is not limited to a moving body. For example, the image display system 10 may be used in an amusement facility, or may be used as a wearable terminal such as a head mounted display (HMD), medical equipment, or a stationary device. Further, the image display system 10 may be used by being incorporated in a device such as a digital camera as, for example, an electronic viewfinder or the like.
  • a device such as a digital camera as, for example, an electronic viewfinder or the like.
  • the image display system 10 further includes an angular velocity sensor 53 as shown in FIG.
  • the angular velocity sensor 53 detects the angular velocity (that is, the pitch angle) around the left and right axes of the automobile 100. Therefore, the angular velocity sensor 53 detects the angular velocity around the left and right axes of the main body 1.
  • the angular velocity detection value Q1 of the angular velocity sensor 53 that detects the angular velocity (pitch angle) of the main body 1 in the operating period (predetermined period) of the acceleration sensor 52 is the threshold range S2. (See FIG. 12).
  • the posture angle calculation unit 43 of the present embodiment sets the acceleration detection value (detection value of the acceleration sensor 52) G included in the out-of-threshold period K1 of the operation period of the acceleration sensor 52 to the posture angle of the main body 1. Exclude from the time series data of the acceleration detection value G used in the calculation.
  • the out-of-threshold period K1 is a period in which the angular velocity detection value Q1 of the angular velocity sensor 53 that detects the angular velocity of the main body 1 (that is, the angular velocity of the automobile 100) deviates from the threshold range S2 (predetermined range).
  • the threshold range S2 obtains the average value of the angular velocity detection values Q1 detected within the fixed time at regular time intervals based on the angular velocity detection value Q1 of the angular velocity sensor 53, and centers on the average value.
  • a certain range may be set as the threshold range S2.
  • the accuracy of the posture angle of the main body unit 1 calculated by the correction unit 41 can be improved as in the first embodiment.
  • the display position of the image 700 on the front shield 101 can be corrected more accurately.
  • the attitude angle calculation unit 43 sets the acceleration detection value G included in the exclusion period in which the ratio W1 of the components in the two directions out of the predetermined range S1 in the operating period (predetermined period) of the acceleration sensor 52 is set to the attitude angle ⁇ .
  • the acceleration detection value included in the exclusion period in which the angular velocity detection value Q1 of the angular velocity of the automobile 100 is outside the predetermined range S2 is also included in the calculation of the attitude angle ⁇ . It may be excluded from the time series data of the above-mentioned detection value G to be used. In this case, the accuracy of the calculated posture angle ⁇ can be further improved.
  • Embodiment 2 is just one of various embodiments of the present invention.
  • the second embodiment can be changed in various ways depending on the design and the like as long as the object of the present invention can be achieved.
  • the aspect according to the first embodiment is not limited to being embodied in a single image display system.
  • the aspect according to the first embodiment may be embodied by an image display method, a computer program, a storage medium in which the program is stored, or the like. The modifications described below can be applied in combination as appropriate.
  • the above image display method is an image display method that controls the image display system 10 mounted on the moving body 100.
  • This image display method includes an image projection process of projecting an image 700 onto a display object 101 of the moving body 100 and displaying the image 700, and an acceleration detection value G of the acceleration of the moving body 100 during a predetermined period (operating period of the acceleration sensor 52).
  • the image 700 is projected and displayed on the display object 101 according to the posture angle calculation process for calculating the posture angle ⁇ of the moving body 100 based on the time series data and the posture angle calculated by the posture angle calculation process. It includes a display control process for controlling the display position.
  • the acceleration detection value G includes the components Gz and Gx in two directions.
  • the posture angle calculation process excludes the acceleration detection value G included in the exclusion period K1 in which the angular velocity detection value Q1 of the angular velocity of the moving body 100 is outside the predetermined range Q2 from the time series data used for calculating the posture angle.
  • the angular velocity sensor 53 detects the angular velocity around the left and right axes of the automobile 100 (the pitch angle of the automobile 100).
  • the angular velocity sensor 53 may detect the angular velocity around the front-rear axis of the automobile 100 (roll angle of the automobile 100), or may detect the angular velocity (yaw angle) around the vertical axis of the automobile 100.
  • the angular velocity sensor 53 may detect the angular velocity around at least one of the vertical axis, the front-rear axis, and the left-right axis of the automobile 100.
  • a threshold range is set for each acceleration around each axis.
  • an additional period may be provided before and after the out-of-threshold period K1.
  • the image display system (10) of the first aspect is an image display system mounted on the moving body (100).
  • the image display system (10) has an image projection unit (30) that projects an image (700) onto a display object (101) of the moving body (100) and displays the acceleration of the moving body (100) in a predetermined period.
  • the posture angle calculation unit (43) that calculates the posture angle ( ⁇ ) of the moving body (100) based on the time series data of the acceleration detection value (G), and the posture angle calculated by the posture angle calculation unit (43).
  • a display control unit (51) for controlling a display position for projecting and displaying an image (700) on a display object (101) according to ( ⁇ ) is provided.
  • the acceleration detection value (G) includes components (Gx, Gz) in two directions.
  • the posture angle calculation unit (43) determines the acceleration detection value (G) included in the exclusion period (K1) in which the ratio (W1) of the components in the two directions in the predetermined period is outside the predetermined range (S1). Exclude from the time series data used in the calculation of ( ⁇ ).
  • the posture angle calculation unit (43) uses the acceleration detection value (G) included in the exclusion period (K1) to calculate the posture angle ( ⁇ ) of the moving body (100). Exclude from the time series data of G). Therefore, the accuracy of the calculated posture angle ( ⁇ ) can be improved. As a result, the display position of the image (700) on the display object (101) can be corrected more accurately.
  • the image attitude angle calculation unit (43) further sets the angular velocity detection value (Q1) of the angular velocity of the moving body (100) within a predetermined range (S2). )
  • the acceleration detection value (G) included in the exclusion period (K1) outside is excluded from the time series data used in the calculation of the attitude angle ( ⁇ ).
  • the above two directions are the vertical direction (Az axis direction) and the vertical direction (Az axis direction) of the moving body (100). Includes orthogonal directions orthogonal to.
  • the posture angle ( ⁇ ) of the moving body (100) can be detected more accurately by the time series data of the acceleration detection value (G).
  • the display position of the image (700) on the display object (101) can be corrected more accurately.
  • the orthogonal direction is the front-back direction (Ax axis direction) of the moving body (100).
  • the front-back inclination of the posture of the moving body (100) can be detected by the time-series data of the acceleration detection value (G).
  • the above two directions are the vertical direction (Az axis direction) of the moving body (100) and the acceleration.
  • the acceleration component (Gx) in the front-rear direction (Ax axis direction) of the moving body (100) and the acceleration component (Gy) in the left-right direction (Ay axis direction) of the moving body (100) in the detected value (G) are vectorized. This is the direction along which the synthesized acceleration component (Gxy) follows.
  • the front-back tilt and the left-right tilt of the posture of the moving body (100) can be detected by the acceleration detection value (G).
  • the above-mentioned angular velocity is the vertical direction (Az axis direction), the front-back direction (Ax axis direction), and the left-right direction (Ay) of the moving body (100).
  • Axial is the angular velocity around at least one axis.
  • At least one of the yaw angle, pitch angle, and roll angle of the moving body (100) can be detected by the angular velocity detection value (Q1).
  • the acceleration detection value (G) when at least one of the yaw angle, pitch angle, and roll angle of the moving body (100) changes significantly can be excluded.
  • the display position of the image (700) on the display object (101) can be corrected more accurately.
  • the posture angle calculation unit (43) has an additional period (K3, K4) connected to the exclusion period (K1).
  • the acceleration detection value (G) included in is excluded from the time series data used in the calculation of the attitude angle ( ⁇ ).
  • the acceleration detection value (G) within the exclusion period (K1) not only the acceleration detection value (G) within the exclusion period (K1) but also the acceleration detection value (G) within the addition period (K3, K4) can be excluded. Since the addition period (K3, K4) is a period leading to the exclusion period (K1), the ratio (W1) corresponding to the acceleration detection value (G) within the addition period (K3, K4) is within the predetermined range (S1). It is highly possible that the value is close to the threshold value in the predetermined range (S1). By excluding the acceleration detection value (G) within such an addition period (K3, K4), the posture angle ( ⁇ ) of the moving body (100) can be calculated more accurately.
  • the addition period (K3, K4) is provided at least one before and after the exclusion period (K1).
  • the acceleration detection value (G) within the additional period (K3, K4) provided at least one before and after the exclusion period (K1) can be excluded.
  • the addition period (K3, K4) becomes longer as the exclusion period (K1) becomes longer.
  • the longer the exclusion period (K1), the longer the addition period (K3, K4) can be set.
  • the ratio (W1) corresponding to the acceleration detection value (G) within the addition period (K3, K4) can maintain a value near the threshold value in the predetermined range (S1) for a long time. Highly sex. Therefore, when the exclusion period (K1) becomes longer, the addition period (K3, K4) is set longer, so that the ratio (W1) is within the predetermined range S1 from the detection value (G) within the threshold range period (K2).
  • the detected value (G) that takes a value near the threshold value can be excluded.
  • the posture angle ( ⁇ ) of the moving body (100) can be calculated more accurately.
  • the image display system (10) of the tenth aspect is an image display system mounted on the moving body (100).
  • the image display system (10) has an image projection unit (30) that projects an image (700) onto a display object (101) of the moving body (100) and displays an acceleration detection value of the acceleration of the moving body (100).
  • a posture angle calculation unit (43) that calculates the posture angle ( ⁇ ) of the moving body (100) based on the time-series data of (G), and a posture angle ( ⁇ ) calculated by the posture angle calculation unit (43).
  • a display control unit (51) for controlling a display position for projecting an image (700) onto a display object (101) and displaying the image (700) is provided.
  • the posture angle calculation unit (43) determines the acceleration detection value (G) included in the exclusion period (K1) in which the angular velocity detection value (Q1) of the angular velocity of the moving body (100) is outside the predetermined range (S2). Exclude from the time series data used in the calculation of ( ⁇ ).
  • the posture angle calculation unit (43) has an acceleration detection value (K1) included in the exclusion period (K1) in which the angular velocity detection value (Q1) of the angular velocity of the moving body (100) is outside the predetermined range (S2). G) is excluded from the time series data of the acceleration detection value (G) used in the calculation of the posture angle ( ⁇ ) of the moving body (100). Therefore, the accuracy of the calculated posture angle ( ⁇ ) can be improved. As a result, the display position of the image (700) on the display object (101) can be corrected more accurately.
  • the above two directions are orthogonal to the vertical direction (AZ axis direction) and the vertical direction (AZ axis direction) of the moving body (100). Including orthogonal directions.
  • the moving body (100) of the eleventh aspect includes an image display system (10) of any one aspect of the first to tenth aspects, and a moving body main body equipped with the image display system (10). ..
  • the display object (101) is a windshield of the moving body body.
  • the image display method of the twelfth aspect is an image display method for controlling an image display system mounted on the moving body (100).
  • the image display method includes an image projection process of projecting an image (700) onto a display object (101) of the moving body (100) and displaying it, and an acceleration detection value (G) of the acceleration of the moving body (100) in a predetermined period.
  • the display object (101) according to the posture angle calculation process for calculating the posture angle ( ⁇ ) of the moving body (100) and the posture angle ( ⁇ ) calculated by the posture angle calculation process based on the time series data of. ) Is provided with a display control process for controlling a display position for projecting and displaying an image (700).
  • the acceleration detection value (G) includes components (Gx, Gz) in two directions.
  • the acceleration detection value (G) included in the exclusion period (K1) in which the ratio (W1) of the components in the two directions in the predetermined period is outside the predetermined range (S1) is set to the posture angle ( ⁇ ). Exclude from the time series data used in the calculation of.
  • the accuracy of the calculated posture angle ( ⁇ ) can be improved.
  • the display position of the image (700) on the display object (101) can be corrected more accurately.
  • the image display method of the thirteenth aspect is an image display method that controls an image display system mounted on the moving body (100).
  • the image display system (10) has an image projection process for projecting and displaying an image (700) on a display object (101) of the moving body (100), and an acceleration detection value (G) of the acceleration of the moving body (100).
  • the display object (101) according to the posture angle calculation process for calculating the posture angle ( ⁇ ) of the moving body (100) and the posture angle ( ⁇ ) calculated by the posture angle calculation process based on the time series data of. ) Is provided with a display control process for controlling a display position for projecting and displaying an image (700).
  • the acceleration detection value (G) included in the exclusion period (K1) in which the angular velocity detection value (Q1) of the angular velocity of the moving body (100) is outside the predetermined range (S2) is set to the posture angle ( ⁇ ). Exclude from the time series data used in the calculation of.
  • the accuracy of the calculated posture angle ( ⁇ ) can be improved.
  • the display position of the image (700) on the display object (101) can be corrected more accurately.
  • the program of the fourteenth aspect is a program for causing a computer system to execute the image display method of the twelfth or thirteenth aspect. According to this configuration, it is possible to provide a program for causing the processor to execute the above image display method.
  • FIG. 13 shows an automobile 1200 equipped with a display device 1100 which is a head-up display (HUD).
  • the display device 1100 is attached near the upper surface of the dashboard 1220 of the automobile 1200.
  • HUD head-up display
  • the display device 1100 projects light onto the area D10 in the driver's field of view indicated by the alternate long and short dash line on the front shield 1210. Some of the projected light passes through the front shield 1210, while the other part is reflected by the front shield 1210. This reflected light goes to the driver's eyes. The driver sees the reflected light in his eyes as a virtual image of an object on the opposite side (outside of the car 1200) across the front shield 1210 against the background of a real object that can be seen through the front shield 1210. Perceive as Vi.
  • FIG. 14 is a diagram showing an example of a region D10 which is a region where light is projected by the display device 1100.
  • the region D10 is located below the driver's seat side of the front shield 1210, as shown, for example, as a region surrounded by a broken line in FIG.
  • the display device 1100 attached to the dashboard 1220 projects an image onto the front shield 1210 by projecting light onto region D10 as shown in FIG. This creates a virtual image Vi that looks like an image of an object outside the car 1200 to the driver.
  • the image projected on the front shield 1210 can be perceived as being at a different distance from the driver in the virtual image Vi depending on the vertical position in the area D10. For example, in the examples of FIGS. 13 and 14, since the region D10 is located below the height of the driver's eyes, the image at a lower position in the region D10 is closer to the driver in the virtual image Vi. An object at a higher position in the image projected on the region D10 can be perceived as an object at a position farther from the driver in the virtual image Vi. The principle perceived in this way is explained by a kind of geometric perspective (vertical perspective).
  • FIG. 15 is a diagram showing an example of a virtual image generated by the display device 1100, and an example of superimposition of this virtual image and the scenery in front of the automobile 1200 as seen by the driver of the moving automobile 1200.
  • FIG. 15 as a whole schematically shows a part of the scenery in the field of view of the driver (not shown) who is driving the automobile 1200.
  • the broken line frame indicating the region D10 on which the image is projected from the display device 1100 is shown for convenience of the description of the present embodiment, and is not present and perceived by the driver.
  • Reference numeral 1200 indicates a bonnet that is part of the automobile 1200.
  • the image of the arrow with the reference numeral V10 is an AR (Augmented Reality) route which is an example of a virtual image Vi generated by the display device 1100 and perceived by the driver.
  • AR Augmented Reality
  • the virtual image AR route V10 is displayed so as to be superimposed on the scenery actually seen in the driver's field of view.
  • the AR route V10 is displayed superimposed on the road.
  • the driver is guided to travel on the band-shaped region indicated by the AR route V10.
  • FIG. 16 is a diagram showing a configuration of a main part for realizing the virtual image display position adjusting function mounted on the automobile 1200 of the present embodiment.
  • the automobile of the present embodiment has a projection unit 1101, an irradiation unit 1102, a distance measuring unit 1103, and a projection position adjusting operation unit 1110.
  • the projection unit 1101 inputs image data such as an AR route, and displays a virtual image based on the image data on the front shield 1210.
  • the projection unit 1101 includes a light source unit, a scanning unit, an optical system, and the like.
  • the projection unit 1101 of the present embodiment can project the reference line L2 of the virtual image on the front shield 1210.
  • the irradiation unit 1102 irradiates the road in front of the vehicle with visible light that is the reference line L1 of the real image over the width direction of the road.
  • the irradiation unit 1102 is embodied by a headlight having a projector function.
  • the distance measuring unit 1103 measures the distance from the own vehicle to the reference line L1.
  • the distance measuring unit 1103 is embodied by, for example, a visible light stereo camera.
  • the distance measuring unit 1103 is not limited to the visible light stereo camera, and various devices capable of measuring the distance to the reference line L1 can be used.
  • the distance information to the reference line L1 obtained by the distance measuring unit 1103 is input to the projection unit 1101.
  • the projection unit 1101 projects the virtual image reference line L2 at the vertical position corresponding to the distance indicated by the distance information from the distance measuring unit 1103 to the reference line L1. For example, when the distance to the reference line L1 measured by the distance measuring unit 1103 is 50 m, a virtual image reference line L2 that appears to overlap the real image reference line L1 at a position of 50 m is projected onto the front shield 1210. ..
  • the projection position adjustment operation unit 1110 adjusts the vertical projection position of the virtual image on the front shield 1210 by the projection unit 1101 based on the operation amount of the user.
  • the projection position adjustment operation unit 1110 is provided within reach of the driver while viewing the real image and the virtual image from the front shield 1210 in the driving posture.
  • the projection position adjustment operation unit 1110 is embodied by the steering switch 1110a.
  • FIG. 18 is a diagram showing a forward view from the driver.
  • the driver can see the reference line L1 of the real image irradiated from the irradiation unit 1102. Further, the driver can see the reference line L2 of the virtual image projected on the front shield 1210 by the projection unit 1101.
  • the reference line L2 Since the reference line L2 is projected at the position corresponding to the reference line L1, the reference line L2 should appear to overlap the reference line L1. However, when the posture angle of the automobile 1200 changes from the basic posture, the reference line L2 overlaps with the reference line L1 and becomes invisible. For example, when a passenger sits in the back seat, the car 1200 tilts slightly backwards. Then, the reference line L2 of the virtual image moves upward in conjunction with the backward inclination of the automobile 1200.
  • the vertical deviation of the virtual image caused by the change in the posture angle of the automobile 1200 can be manually corrected by using the projection position adjustment operation unit 1110.
  • FIG. 19 is a diagram showing a steering switch 1110a having a function as a projection position adjustment operation unit 1110.
  • the left end of the reference line L2 moves up and down according to the vertical operation of the left steering switch 1110a, and the right end of the reference line L2 moves up and down according to the vertical operation of the right steering switch 1110a.
  • both the left and right steering switches 1110a are operated downward to move the reference line L2 to the reference line L1. It may be moved to a position where it overlaps with.
  • the reference line L2 is not parallel to the reference line L1 but is inclined and deviated. Even in this case, the reference line L2 can be adjusted so as to overlap the reference line L1. That is, roll correction can also be performed.
  • the virtual image display position adjustment process as described above is performed when the driver operates an operation unit (not shown) such as a predetermined operation button to set the virtual image display position adjustment mode.
  • the driver may set the virtual image display position adjustment mode before starting the operation, adjust the display position of the virtual image, and then drive. That is, since the posture angle of the automobile fluctuates according to the place where the occupant sits, it is preferable to correct the fluctuation of the position where the virtual image can be seen due to the fluctuation of the posture angle by the projection position adjustment operation unit 1110 before starting the operation.
  • the adjustment position of the virtual image may be stored as a calibration value.
  • the calibration value stored in the projection unit 1101 is read out to correct the projection position of the virtual image. You will be able to do it. As a result, the number of manual adjustments can be reduced by the projection position adjustment operation unit 1110.
  • the projection unit 1101 that projects the imaginary image on the display medium such as the front shield 1210 and also projects the reference line L2 of the imaginary image, and the reference line L1 included in the real image.
  • the ranging unit 1103 for measuring the distance of the above and the projection position adjusting operation unit 1110 capable of adjusting the vertical projection position of the virtual image on the display medium based on the operation amount of the user. It is possible to easily and accurately correct the display deviation of the virtual image caused by the change in the attitude angle of the automobile 1200.
  • the reference line L1 is not limited to the one formed by the irradiation unit 1102.
  • a stop line on the road may be used as the reference line L1.
  • the irradiation unit 1102 can be omitted. Note that the omission here does not mean that the irradiation unit 1102 is omitted from the automobile, but means that the irradiation unit 1102 is not used when adjusting the display position of the virtual image.
  • the distance measuring unit 1102 and the distance measuring unit 1103 are described separately, but in a headlight having a projector function or the like, the distance measuring unit is incorporated for the purpose of irradiating light at a fixed distance. It is also possible. In this case, it is not necessary to send the distance information from the distance measuring unit 1103 to the projection unit 1101. This is because the reference line L1 is formed at a first distance (for example, 50 m) from the irradiation unit 1102, and the projection unit 1101 is preset to project the reference line L2 at a position corresponding to this first distance. This is because it should be left.
  • a first distance for example, 50 m
  • one aspect of the vehicle (1200) of the present disclosure is a vehicle (1200) equipped with a display device that displays a virtual image so as to overlap the external real image seen by the user.
  • the distance measurement that measures the distance between the projection unit (1101) that projects the virtual image on the display medium (1210) and projects the reference line (L2) of the virtual image and the reference line (L1) included in the real image.
  • a unit (1103) and a projection position adjusting operation unit (1110) capable of adjusting the vertical projection position of the virtual image on the display medium (1210) based on the operation amount of the user are provided.
  • the projection unit (1101) is positioned at a vertical position corresponding to the distance measured by the distance measuring unit (1103), and the reference line (L2) of the virtual image is located. To project.
  • the projection position adjusted by the projection position adjustment operation unit (1110) is stored as a calibration value.
  • the road in front of the vehicle is further provided with an irradiation unit (1102) that irradiates visible light that becomes the reference line (L1) of the real image.
  • the irradiation unit (1102) is a headlight having a projector function.
  • the present invention is useful as a technique for eliminating a display shift of a virtual image in a display device that displays a virtual image so as to overlap an external real image seen by the user, such as a head-up display.
  • Image display system 30 Image projection unit 43 Attitude angle calculation unit 51
  • Display control unit 52 Accelerometer 100 Moving object 101
  • Display object 700 Image 1100
  • Display device 1101 Projection unit 1102
  • Distance measurement unit 1110 Projection position adjustment operation unit 1110a
  • Steering Switch 1200 Vehicle 1210 Front shield 1220 Dashboard A Front / rear axis Az Vertical axis Ay Left / right axis G Acceleration detection value Gx, Gz Acceleration component K1 Out-of-threshold period L1 Real image reference line L2 Virtual image reference line S1 Threshold range Q1 Angular velocity detection value Ratio K3, K4 Addition period ⁇ Posture angle Vi Virtual image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Optics & Photonics (AREA)
  • Transportation (AREA)
  • Computer Hardware Design (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Mathematical Physics (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Instrument Panels (AREA)

Abstract

画像表示システム(10)は、移動体(100)に搭載される画像表示システムである。画像表示システム(10)は、移動体(100)の表示対象物(101)に画像(700)を投影して表示する画像投影部(30)と、所定期間における移動体(100)の加速度の加速度検出値Gの時系列データに基づいて、移動体(100)の姿勢角(β)を算出する姿勢角算出部(43)と、姿勢角算出部(43)により算出された姿勢角(β)に応じて、表示対象物(101)に画像(700)を投影して表示する表示位置を制御する表示制御部(51)と、を備える。加速度検出値(G)は、2方向の成分(Gx,Gz)を含む。姿勢角算出部(43)は、前記所定期間のうち2方向の成分の比(W1)が所定範囲(S1)外である除外期間(K1)に含まれる加速度検出値(G)を、姿勢角(β)の算出で用いる前記時系列データから除外する。

Description

画像表示システム、移動体、画像表示方法及びプログラム
 本開示は、画像表示システム、移動体、画像表示方法及びプログラムに関し、より詳細には、画像を表示対象物に投影して表示する画像表示システム、この画像表示システムを搭載した移動体、画像表示方法及びプログラムに関する。
 特許文献1は、車両に搭載されるヘッドアップディスプレイ装置を開示する。このヘッドアップディスプレイ装置は、画像表示器からの情報を車両のフロントシールドに投影して表示する。これにより、画像表示器からの情報を観測者の視野内に重畳して表示する。このヘッドアップディスプレイ装置は、上記の車両(移動体)の加速度を検出することで車両の姿勢角を算出し、その姿勢角によって重畳画像の表示位置を補正する。
特開平1-293239号公報
 しかしながら、車両の加速度は、車両の走行中に車両が受ける外乱の影響を受けて大きく変動する場合がある。このため、車両の姿勢角を精度良く算出することができない。したがって、画像表示器からの情報を、車両の姿勢角に応じて精度良く補正できない。
 本開示は、移動体の姿勢角をより精度良く算出できる画像表示システム、移動体、画像表示方法及びプログラムを提供する。
 本開示の一態様に係る画像表示システムは、移動体に搭載される画像表示システムである。前記画像表示システムは、前記移動体の表示対象物に画像を投影して表示する画像投影部と、所定期間における前記移動体の加速度の加速度検出値の時系列データに基づいて、前記移動体の姿勢角を算出する姿勢角算出部と、前記姿勢角算出部により算出された前記姿勢角に応じて、前記表示対象物に前記画像を投影して表示する表示位置を制御する表示制御部と、を備える。前記加速度検出値は、2方向の成分を含む。前記姿勢角算出部は、前記所定期間のうち前記2方向の成分の比が所定範囲外にある除外期間に含まれる前記加速度検出値を、前記姿勢角の算出に用いる前記時系列データから除外する。
 本開示の一態様の画像表示システムは、移動体に搭載される画像表示システムである。前記画像表示システムは、前記移動体の表示対象物に画像を投影して表示する画像投影部と、所定期間における前記移動体の加速度の加速度検出値の時系列データに基づいて、前記移動体の姿勢角を算出する姿勢角算出部と、前記姿勢角算出部により算出された前記姿勢角に応じて、前記表示対象物に前記画像を投影して表示する表示位置を制御する表示制御部と、を備える。前記加速度検出値は、2方向の成分を含む。前記姿勢角算出部は、前記移動体の角速度の角速度検出値が所定範囲外にある除外期間に含まれる前記加速度検出値を、前記姿勢角の算出に用いる前記時系列データから除外する。
 本開示の一態様の移動体は、上記の一態様の画像表示システムと、前記画像表示システムが搭載された移動体本体と、を備える。前記表示対象物は、前記移動体本体のフロントシールドである。
 本開示の一態様の画像表示方法は、移動体に搭載される画像表示システムを制御する画像表示方法である。前記画像表示方法は、前記移動体の表示対象物に画像を投影して表示する画像投影処理と、所定期間における前記移動体の加速度の加速度検出値の時系列データに基づいて、前記移動体の姿勢角を算出する姿勢角算出処理と、前記姿勢角算出処理により算出された前記姿勢角に応じて、前記表示対象物に前記画像を投影して表示する表示位置を制御する表示制御処理と、を備える。前記加速度検出値は、2方向の成分を含む。前記姿勢角算出処理は、前記所定期間のうち前記2方向の成分の比が所定範囲外にある除外期間に含まれる前記加速度検出値を、前記姿勢角の算出に用いる前記時系列データから除外する。
 本開示の一態様の画像表示方法は、移動体に搭載される画像表示システムを制御する画像表示方法である。前記画像表示方法は、前記移動体の表示対象物に画像を投影して表示する画像投影処理と、所定期間における前記移動体の加速度の加速度検出値の時系列データに基づいて、前記移動体の姿勢角を算出する姿勢角算出処理と、前記姿勢角算出処理により算出された前記姿勢角に応じて、前記表示対象物に前記画像を投影して表示する表示位置を制御する表示制御処理と、を備える。前記加速度検出値は、2方向の成分を含む。前記姿勢角算出処理は、前記移動体の角速度の角速度検出値が所定範囲外にある除外期間に含まれる前記加速度検出値を、前記姿勢角の算出に用いる前記時系列データから除外する。
 本開示の一態様に係るプログラムは、コンピュータシステムに、上記の一態様の画像表示方法を実行させるためのプログラムである。
 本開示によれば、画像投影部の姿勢角をより精度良く算出できる、という効果を有する。
図1は、実施形態1に係る画像表示システムの構成を示す概念図である。 図2は、同上の画像表示システムを備える自動車の概念図である。 図3は、同上の画像表示システムを用いた場合のユーザの視野を示す概念図である。 図4Aは、同上の自動車が傾いていない場合の自動車に作用する運動加速度を説明する説明図である。図4Bは、同上の自動車が傾いている場合の自動車に作用する運動加速度を説明する説明図である。 図5Aは、傾いていない同上の自動車を側方から見た概略図である。図5Bは、図5Aの状態の自動車を運転するユーザの視野を示す概念図である。 図6Aは、傾斜している同上の自動車を側方から見た概略図である。図6Bは、図6Aの状態の自動車を運転するユーザの視野を示す概念図である。 図7は、同上の画像表示システムにおける加速度センサの検出値Gと加速度センサの2方向の加速度成分の比W1との比較した比較図である。 図8Aは、同上の自動車が外乱を受けない場合の加速度センサの検出値Gの分布の一例を示す分布図である。図8Bは、同上の自動車が外乱を受ける場合の加速度センサの検出値Gの分布の一例を示す分布図である。 図9は、実施形態1の変形例1における加速度センサの加速度成分を説明する説明図である。 図10は、実施形態1の変形例2に係る画像表示システムにおける加速度センサの検出値Gと加速度センサの2方向の加速度成分の比W1とを比較した比較図である。 図11は、実施形態2に係る画像表示システムの構成を示す概念図である。 図12は、実施形態2に係る画像表示システムにおける加速度センサの加速度検出値Gと角速度センサの角速度検出値Q1との関係を説明する説明図である。 図13は、HUDを備える車両を示す図である。 図14は、実施の形態3における表示装置によって光が投射される領域の一例を示す図である。 図15は、前景に虚像が重なるようにして表示された一例を示す図である。 図16は、虚像表示位置調整機能を実現するための実施の形態の要部構成を示す図である。 図17は、照射部による実像の基準線の照射の様子を示す図である。 図18は、運転者からの前方視界を示す図である。 図19は、投影位置調整操作部としての機能を有するステアリングスイッチを示した図である。 図20は、他の実施の形態の構成例を示す図である。
 (実施形態1)
 (概要)
 本実施形態に係る画像表示システム10は、図1及び図2に示すように、例えば、移動体としての自動車100に備えられるヘッドアップディスプレイ(HUD:Head-UpDisplay)である。すなわち、移動体100は、移動体本体と、移動体本体に備えられた画像表示システム10とを備える。
 この画像表示システム10は、自動車100のフロントシールド101(ウインドウシールド)に下方から画像を投影するように、自動車100の車室内に設置されている。図2の例では、フロントシールド101の下方のダッシュボード102内に、画像表示システム10が配置されている。画像表示システム10からフロントシールド101に画像が投影されると、表示対象物としてのフロントシールド101に表示された画像が、ユーザ200(運転者)に視認される。
 このような画像表示システム10によれば、ユーザ200は、自動車100の前方(車外)に設定された対象空間400に投影された虚像300を、フロントシールド101越しに視認する。ここでいう「虚像」は、画像表示システム10から出射される光がフロントシールド101等の表示対象物にて発散するとき、その発散光線によって、実際に物体があるように結ばれる像を意味する。そのため、自動車100を運転しているユーザ200は、図3に示すように、自動車100の前方に広がる実空間に重ねて、画像表示システム10にて投影される虚像300を見ることができる。したがって、画像表示システム10によれば、例えば、車速情報、ナビゲーション情報、歩行者情報、前方車両情報、車線逸脱情報、及び車両コンディション情報等の、種々の運転支援情報を、虚像300として表示し、ユーザ200に視認させることができる。これにより、ユーザ200は、フロントシールド101の前方に視線を向けた状態から僅かな視線移動だけで、運転支援情報を視覚的に取得することができる。
 本実施形態に係る画像表示システム10では、対象空間400に形成される虚像300は、少なくとも第1虚像301と第2虚像302との2種類の虚像を含んでいる。ここでいう「第1虚像」は、例えば、ナビゲーション情報として自動車100の進行方向を示す情報であり、路面600上に右折又は左折を示す矢印を提示すること等が可能である。この種の第1虚像301は、拡張現実(AR:Augmented Reality)技術を用いて表示される画像であって、ユーザ200から見た現実の風景(路面600、建物、周辺車両、及び歩行者等)における特定の位置に重畳して表示される。第2虚像302は、例えば、車速情報であり、現在の自動車100の走行速度(車速)を提示すること等が可能である。図3の例では、第1虚像301は、一例として、自動車100の前方の丁字路上に「左折」を指示する矢印を表している。第2虚像302は、一例として、「50km/h」という情報を表示している。
 画像表示システム10では、対象空間400に形成される虚像300は、画像表示システム10の光軸500に交差する仮想面501上に形成される。本実施形態では、光軸500は、自動車100の前方の対象空間400において、自動車100の前方の路面600に沿っている。そして、虚像300が形成される仮想面501は、路面600に対して略垂直である。例えば、路面600が水平面である場合には、虚像300は鉛直面に沿って表示されることになる。
 ここにおいて、本実施形態に係る画像表示システム10は、画像投影部30と、本体部1とを備えている。
 画像投影部30は、画像700を形成し、形成した画像700をフロントシールド101に投影して表示することで、画像700に対応する虚像300を対象空間400に投影する。画像投影部30は、画像形成部2と、投影部3とを備えている。
 画像形成部2は、表示面20を有し、表示面20に画像700(図8参照)を形成する。画像形成部2は、形成した画像を出力光によって投影部3に投光する。投影部3は、画像形成部2から投光された画像をフロントシールド101に投影することで、画像700に対応する虚像300を対象空間400に投影する。
 本体部1には、これら画像形成部2及び投影部3が実装される。このような本体部1が自動車100に搭載された状態では、例えば、自動車100の荷重に起因して、本体部1の姿勢が自動車100の姿勢と共に変化する。なお、画像投影部30は本体部1に実装されるため、画像投影部30の姿勢は、本体部1の姿勢と同じである。このため、本体部1の姿勢は、画像投影部30の姿勢でもある。
 具体的には、例えば、運転席および助手席に乗員がいる際など自動車100が前傾姿勢になれば、本体部1も前傾姿勢となり、後部座席に乗員がいる場合やトランクに荷物を載せた際などに後傾姿勢になれば、本体部1も後傾姿勢になる。画像表示システム10の本体部1の姿勢(従って画像投影部30の姿勢角)が変化すると、この画像表示システム10にて投影される虚像300の対象空間400内での位置も変化する。そのため、例えば、自動車100が前傾姿勢又は後傾姿勢になった場合に、第1虚像301であれば、ユーザ200から見た現実の風景において本来重畳すべき特定の位置からずれた位置に重畳して表示されることがある。
 そこで、本実施形態に係る画像表示システム10は、虚像300の表示位置を補正するための位置補正部4を、更に有している。位置補正部4は、本体部1の姿勢角(従って移動体100の姿勢角)に基づいて、本体部1(従って移動体100)に対する相対的な虚像300の表示位置を変化させる。本体部1の姿勢角は、例えば、路面に直交する鉛直軸からの本体部1の上下軸の傾きである。
 これにより、本体部1の姿勢角に従って、フロントシールド101での画像700の表示位置が調整されることで、虚像300の表示位置が調整される。そのため、例えば、自動車100が前傾姿勢又は後傾姿勢になったとしても、画像表示システム10は、第1虚像301であれば、ユーザ200から見た現実の風景において本来重畳すべき特定の位置に重畳して表示することが可能である。
 (構成)
 本実施形態に係る画像表示システム10は、図1に示すように、本体部1と、画像投影部30、位置補正部4と、表示制御部51と、加速度センサ52と、を備えている。画像投影部30は、画像形成部2及び投影部3を備えている。
 本体部1は、例えば、1つの筐体にて構成されている。この本体部1内に画像形成部2及び投影部3が収容されることで、画像形成部2及び投影部3が本体部1に実装される。本実施形態では、画像形成部2及び投影部3以外の構成要素(位置補正部4及び表示制御部51)についても、本体部1に実装(収容)されている。本体部1は、自動車100のダッシュボード102内に固定される。ただし、画像形成部2及び投影部3以外の構成要素(位置補正部4及び表示制御部51)については、本体部1に実装されていなくてもよい。また、本体部1は、複数の筐体で構成されていてもよいし、そもそも筐体でなく、例えば、フレーム又は板材等であってもよい。
 画像投影部30は、画像700を形成し、形成した画像700をフロントシールド101に投影して表示することで、画像700に対応する虚像300を対象空間400に投影する。
 画像形成部2は、表示面20を有し、表示面20に画像700を形成する。本実施形態では一例として、画像形成部2は、図1に示すように、液晶パネル21(LCD:Liquid Crystal Display)、及び光源装置22を有している。液晶パネル21は、光源装置22の前方に配置されている。液晶パネル21の前面(光源装置22とは反対側の表面)が、表示面20を構成する。光源装置22は、液晶パネル21のバックライトとして用いられる。光源装置22からの光は、液晶パネル21の裏側から液晶パネル21を透過して画像形成部2から出力される。光源装置22は、発光ダイオード又はレーザダイオード等の固体発光素子を用いて、液晶パネル21の背面の略全域に光を照射する面光源である。
 この画像形成部2では、液晶パネル21に画像700が表示された状態で、光源装置22が発光することで、光源装置22から前方に出力される光が、液晶パネル21を透過して、液晶パネル21の前面(表示面20)から前方に出力される。このとき表示面20から前方に出力される光は、液晶パネル21に表示された画像700を反映した光(画像光)である。したがって、表示面20を前方から見ると、表示面20に画像700が表示されているように見えることとなり、表示面20に画像700が形成される。
 なお、画像形成部2は、液晶パネル201を備えた構成であるが、このような構成に限定されない。例えば、画像形成部2は、画像形成部2の表示面20の背面からレーザ光を走査して画像700を形成するように構成されてもよい。
 ここで、表示面20の縦方向が画像700の縦方向となり、表示面20の横方向が画像700の横方向となる。投影される画像700の縦方向は、対象空間400(図2参照)に投影される虚像300(図2参照)の縦方向、つまりユーザ200(図2参照)の視野内において鉛直方向に沿った方向である。投影される画像700の横方向は、対象空間400に投影される虚像300の横方向、つまりユーザ200の視野内において水平方向に沿った方向である。
 投影部3は、画像形成部2の出力光により、画像700をフロントシールド101に投影して表示することで、画像700に対応する虚像300を対象空間400に投影する。
 投影部3は、図1に示すように、第1ミラー31と、第2ミラー32と、を有している。第1ミラー31及び第2ミラー32は、画像形成部2から、出力光の光路上に、第1ミラー31、第2ミラー32の順で配置されている。より詳細には、第1ミラー31は、画像形成部2の出力光が入射するように、画像形成部2の表示面20の前方に配置されている。第1ミラー31は、画像形成部2の出力光を、第2ミラー32に向けて反射する。第2ミラー32は、第1ミラー31で反射された画像形成部2の出力光が入射するような位置(例えば第1ミラー31の前方下側の位置)に配置されている。第2ミラー32は、第1ミラー31で反射された画像形成部2の出力光を、上方(すなわちフロントシールド101)に向けて反射する。第1ミラー31は、例えば凸面鏡であり、第2ミラー32は、例えば凹面鏡である。
 この構成により、投影部3は、画像形成部2の表示面20に表示された画像700を、適当な大きさに拡大又は縮小して、投影画像としてフロントシールド101に投影する。この結果、対象空間400に虚像300が表示される。つまり、自動車100を運転しているユーザ200の視野内では、画像表示システム10から投影された画像700の虚像300が、自動車100の前方に広がる実景に重ねて表示される。
 表示制御部51は、画像形成部2を制御する。表示制御部51は、例えば、CPU(Central Processing Unit)及びメモリを主構成とするマイクロコンピュータにて構成されている。言い換えれば、表示制御部51は、CPU及びメモリを有するコンピュータにて実現されており、CPUがメモリに格納されているプログラムを実行することで、コンピュータが表示制御部51として機能する。プログラムは、ここでは表示制御部51のメモリに予め記録されているが、インターネット等の電気通信回線を通じて、又はメモリカード等の記録媒体に記録されて提供されてもよい。
 表示制御部51は、画像形成部2を制御することで、表示面20に任意の画像700を形成する。また、表示制御部51は、表示面20での画像700の表示位置を制御する。これにより、表示制御部51は、フロントシールド101での画像700の表示位置を制御する。この結果、対象空間400に投影された虚像300における本体部1に対する相対的な表示位置が制御される。
 表示制御部51は、ソフトウェア処理により、液晶パネル21に任意の映像コンテンツを表示(描画)させることができ、これにより、表示面20に任意の画像700が形成され、また、表示面20での画像700の表示位置が制御される。例えば、図3のような虚像300(第1虚像301及び第2虚像302)を対象空間400に投影する場合、第1虚像301の内容(矢印の向き、位置等)、及び第2虚像302の内容(車速等)については、表示制御部51にて決定される。さらに、表示制御部51は、液晶パネル21の前面、つまり表示面20における画像700の位置についても決定する。表示面20における画像700の位置が変化すれば、本体部1に対する虚像300の相対的な表示位置も変化する。
 加速度センサ52は、自動車100に作用する加速度(本実施形態では運動加速度)(検出値G)を検出する。運動加速度とは、自動車100の走行による加速によって自動車100に発生する加速度である。すなわち、運動加速度は、自動車100に作用する加速度のうち、重力加速度を除いた加速度である。運動加速度は、例えば、自動車100の加速の向きと反対向きに発生する。
 なお、本実施形態では、加速度センサ52は、自動車100に作用する運動加速度を直接検出する。ただし、加速度センサ52が、自動車100の運動加速度と重力加速度との合成加速度を検出する場合は、その合成加速度の検出値から自動車100に作用する重力加速度の値をベクトル的に除算した値を、自動車100の運動加速度の検出値Gとして用いればよい。この場合、自動車100に作用する重力加速度の値は、静止状態での加速度センサ52の検出値Gを用いることができる。
 加速度センサ52は、例えば2軸加速度センサであり、自動車100の上下軸Az方向(上下方向)及び前後軸Ax方向(前後方向)の加速度を検出する。なお、この上下軸Az及び前後軸Axは、自動車100に固定された仮想の軸である。前後軸Ax方向は、上下軸Azに直交する方向である。例えば、前方に走行中の自動車100の姿勢が路面600に対して前後方向に傾いていない場合は、自動車100に作用する運動加速度は、自動車100の前後軸Ax方向のみに作用する。このため、加速度センサ52の検出値G(すなわち運動加速度の検出値)は、前後軸Ax方向の加速度成分Gxのみを有する(図4A参照)。他方、前方に走行中の自動車100の姿勢が路面600に対して例えば前後方向に傾斜している場合は、自動車100に作用する運動加速度は、自動車100の上下軸Az方向及び前後軸Ax方向の両方向に作用する。このため、検出値Gは、上下軸Az方向の加速度成分Gzと前後軸Ax方向の加速度成分Gxを有する(図4B参照)。
 位置補正部4は、加速度センサ52の検出値Gに基づいて本体部1の姿勢(より詳細には姿勢角)を算出し、算出した姿勢角に基づいて、表示面20での画像700の表示位置を変化させる。これにより、フロントシールド101での画像700の表示位置が変化する。この結果、本体部1に対する相対的な虚像300の表示位置が変化する。このように、画像表示システム10は、本体部1の姿勢が変化した場合に、この変化に応じて、表示面20での画像700の表示位置を変化させることで、虚像300の表示位置を補正することができる。例えば、第1虚像301について、ユーザ200から見た現実の風景において本来重畳すべき特定の位置に補正して重畳して表示することができる。
 位置補正部4は、例えば、CPU及びメモリを主構成とするマイクロコンピュータにて構成されている。位置補正部4の少なくとも一部の機能(例えば補正部41)は、表示制御部51と、1つのマイクロコンピュータを共用してもよい。
 位置補正部4は、補正部41と、姿勢角算出部43とを有している。
 姿勢角算出部43は、加速度センサ52の検出値G(加速度検出値)の時系列データに基づいて、本体部1の姿勢角を算出する。より詳細には、姿勢角算出部43は、加速度センサ52の検出値Gの時系列データに基づいて自動車100の姿勢角を算出し、この算出した姿勢角を本体部1の姿勢角とする。つまり、本体部1は、本体部1の上下、前後及び左右が自動車100の上下、前後及び左右に一致するように、ダッシュボード102に固定されている。このため、本体部1の姿勢角は自動車100(車体)の姿勢角と一致することになり、自動車100の姿勢角から本体部1の姿勢角を算出することが可能である。なお、姿勢角は、地球の鉛直線からの自動車100の上下軸Azの傾きである。
 本実施形態では、加速度センサ52は、2軸(上下軸Azと前後軸Axの2軸)の加速度センサである。このため、加速度センサ52の検出値Gは、上下軸Az方向(上下方向)の加速度成分Gzと、前後軸Ax方向(前後方向)の加速度成分Gxとを有する。姿勢角算出部43は、姿勢角βとして、arctan(Gz/Gx)を算出する(図4参照)。
 補正部41は、姿勢角算出部43により算出された姿勢角(すなわち本体部1の姿勢角)に基づいて、表示面20での画像700の表示位置を変化させるように、表示制御部を制御する。この制御により、本体部1の姿勢角に応じて、本体部1に対する相対的な虚像300の表示位置が補正される。補正部41は、少なくとも第1虚像301については、本体部1の姿勢角の変化による虚像300の対象空間400内での位置の変化を吸収(低減)するように、表示制御部51を制御し、表示面20での画像700の位置を変更する。
 より詳細には、図5A及び図5Bに示すように、自動車100の姿勢角が基準角(例えば0度)である状態においては、補正部41は、本体部1に対する相対的な虚像300(第1虚像301)の表示位置を変化させず、デフォルトの表示位置に虚像300を表示させる。ここでは、第1虚像301のデフォルトの表示位置は、表示領域401の略中央部、つまり光軸500(図5A参照)が通る位置である。ここで、第1虚像301は、自動車100の前方の丁字路での「左折」を指示する矢印を表している。つまり、ユーザ200の視野内においては、表示領域401内の、現実の風景における丁字路に重畳して第1虚像301が表示される。また、表示領域401の左下隅となる位置には、第2虚像302が表示される(図5B参照)。
 一方、図6A及び図6Bに示すように、自動車100の姿勢角が基準角からずれて自動車100が例えば後傾姿勢の状態になると、補正部41は、本体部1に対する相対的な虚像300(第1虚像301)の表示位置を、デフォルトの表示位置から変化させる。すなわち、この状態では、図6Bに示すように、ユーザ200の視野内においては、表示領域401(X)が上方に移動し、表示領域401(X)から上方にシフトした位置に表示領域401(Y)が形成される。これにより、デフォルトの表示位置では、第1虚像301(X)は、表示領域401(Y)の略中央部に表示される。このため、ユーザ200の視野内においては、現実の風景における丁字路から前方にずれた位置に重畳して第1虚像301(X)が表示される。なお、図6A及び図6Bでは、対象空間400中において虚像300を投影可能な領域を、表示領域401として表している。また、表示領域401及び第1虚像301について移動が生じている。このため、移動前の表示領域401及び第1虚像301は参照符号に「X」を付し、移動後の表示領域401及び第1虚像301は参照符号に「Y」を付して、両者を区別している。
 そこで、補正部41は、表示面20での画像700の位置を変更することで虚像300の表示位置を変化させる。したがって、図6Aに示すように、本体部1に対する相対的な第1虚像301(X)の表示位置が下方に移動し、表示領域401(Y)内には、第1虚像301(X)から下方にシフトした位置に第1虚像301(Y)が表示される。その結果、ユーザ200の視野内においては、図6Bに示すように、表示領域401(Y)内の、現実の風景における丁字路に重畳して第1虚像301(Y)が表示される。また、表示領域401(Y)の左下隅となる位置には、第2虚像302が表示される(図6B参照)。
 (姿勢角算出部の詳細)
 画像表示システム10では、上述のように、加速度センサ52の検出値G(加速度検出値)の時系列データから本体部1の姿勢角を算出し、その姿勢角に応じて、表示面20での画像700の表示位置を補正する。その際、自動車100が外乱を受けていると、本体部1の姿勢角を正確に算出できない。このため、画像表示システム10の姿勢角算出部43では、加速度センサ52の検出値Gの時系列データのうち、自動車100が受けた外乱の影響を受けた検出値Gを除去して、本体部1の姿勢角を算出する。なお、「外乱」とは、例えば、自動車100が、路面上の石などや縁石を乗り越えたときに受ける突き上げなど、自動車100の姿勢角に影響を与える外力である。以下、このような姿勢角算出部の構成について詳しく説明する。
 姿勢角算出部43は、加速度センサ52の検出値Gの時系列データに基づいて、本体部1の姿勢角を算出する。より詳細には、姿勢角算出部43は、図7に示すように、加速度センサ52の作動期間(所定期間)のうちの閾値範囲外期間K1(除外期間)に含まれる加速度センサ52の検出値G(加速度検出値)を、本体部1の姿勢角の算出で用いる検出値Gの時系列データから除外する。すなわち、姿勢角算出部43は、閾値範囲内期間K2に含まれる検出値Gの時系列データに基づいて、本体部1の姿勢角を算出する。
 ここで、「作動期間」とは、加速度センサ52が自動車100に作用する加速度(本実施形態では運動加速度)を検出するために作動している期間であり、加速度センサ52の作動中の全期間であってもよいし、作動中の一部の期間であってもよい。「閾値範囲外期間K1」とは、加速度センサ52の検出値Gを構成する2方向の加速度成分Gz,Gxの比W1(=Gz/Gx)が、閾値範囲S1外である期間である。閾値範囲内期間K2は、比W1が閾値範囲S1内である期間である。「2方向」は、上下軸Az方向(上下方向)と、上下軸Az方向に直交する前後軸Ax方向(前後方向)とを含む。
 このように、姿勢角算出部43は、加速度センサ52の作動期間のうちの閾値範囲外期間K1に含まれる検出値Gを、本体部1の姿勢角の算出で用いる検出値Gの時系列データから除外することで、補正部41で計算される本体部1の姿勢角の精度を向上させる。この結果、補正部41において、フロントシールド101での画像700の表示位置をより精度よく補正できる。
 図8A及び図8Bは、加速度センサ52の一定期間分の検出値Gの時系列データをxz座標系上の点として図示したグラフである。図8A及び図8Bにおいて、x軸が自動車100の前後軸Axであり、z軸が自動車100の上下軸Azである。図8Aに示すように、自動車100が外乱を受けていない場合は、検出値Gを表す各点は、一定の傾きの直線L1上に分布する。ただし、図8Bに示すように、自動車100が外乱を受けている場合は、検出値Gを表す各点は、直線L1上に分布するだけでなく、直線L1からずれた所にも分布する。
 直線L1は、自動車100が外乱を受けていないときの検出値Gの分布を表す。直線L1の傾きは、自動車100の姿勢角に応じて異なる。図8A及び図8Bでは、自動車100が外乱を受けていない場合の自動車100の姿勢角を1度と想定している。例えば、自動車100の後部座席に乗員が居る場合と居ない場合で、自動車100の姿勢角は異なるため、直線L1の傾きも異なる。
 図8Aに示すように、自動車100の姿勢角を算出するとき、直線L1上に分布した検出値Gの時系列データを用いれば、自動車100の姿勢角を精度良く計算可能である。図8Bのグラフから外乱の影響を受けた点を除去すると、図8Bのグラフは、図8Aのようなグラフになるが、その除去が、図7に示す閾値範囲外期間K1内に検出された検出値Gを除去することに対応する。
 すなわち、図7において比W1が閾値範囲S1外である閾値範囲外期間K1内の検出値Gは、図8Bの直線L1からずれた点に対応する検出値Gである。このため、本体部1の姿勢角の算出で用いられる検出値Gの時系列データから、閾値範囲外期間K1内の検出値Gを除外することで、本体部1の姿勢角をより精度よく算出可能である。
 閾値範囲S1は、自動車100の状態に応じて決定される。例えば、加速度センサ52の検出値Gの時系列データに基づいて、一定時間間隔で、その一定時間内で検出された検出値Gを図8Bのようにxz座標上にプロットし、プロットした点の分布から相関直線を求める。そして、その相関直線を直線L1と見なし、見なした直線L1の傾きから比W1を計算し、この比W1を中心とする一定範囲を閾値範囲S1としてもよい。例えば、比W1の値が0.1である場合は、例えば、閾値範囲S1は0.1±0.1の範囲内に設定され、比W1の値が0.5である場合は、例えば、閾値範囲S1は0.5±0.1の範囲内に設定されてもよい。又は、例えば、加速度センサ52の検出値Gに基づいて、一定時間間隔で、その一定時間内で検出された検出値Gの平均値を求め、その平均値を中心とする一定範囲を閾値範囲S1としてよい。例えば平均値が0.3である場合は、閾値範囲S1は、例えば0.3±0.1に設定されてもよい。
 姿勢角算出部43は、フィルタ部431と、算出部本体432とを備えている。
 フィルタ部431は、加速度センサ52の検出値Gの時系列データのうち、閾値範囲外期間K1に含まれる検出値Gを除去し、閾値範囲内期間K2に含まれる検出値Gのみを算出部本体432に出力する。より詳細には、フィルタ部431は、加速度センサ52の検出値Gの時系列データに基づいて、上述のように閾値範囲S1を設定する。そして、フィルタ部431は、加速度センサ52から一定の作動期間分の検出値Gの時系列データを取得する毎に、その一定の作動期間のうち、閾値範囲外期間K1に含まれる検出値Gを除去する。そして、フィルタ部431は、閾値範囲内期間K2に含まれる検出値Gを算出部本体432に出力する。
 なお、本実施形態では、一定の作動時間毎の検出値Gの時系列データを統計的に処理することで、閾値範囲外期間K1及び閾値範囲内期間K2を決定し、閾値範囲外期間K1内の検出値Gは除去し、閾値範囲内期間K2内の検出値Gは算出部本体432に出力される。しかし、加速度センサ52の検出値Gを1つずつリアルタイムで閾値範囲S1の外か内かを判定し、閾値範囲S1内の検出値Gのみを算出部本体432に出力してもよい。
 算出部本体432は、フィルタ部431から出力された検出値Gの時系列データに基づいて、自動車100の姿勢角を算出し、その算出した姿勢角を本体部1の姿勢角とする。
 以上、本実施形態に係る画像表示システム10によれば、姿勢角算出部43は、加速度センサ52の作動期間のうち、閾値範囲外期間K1に含まれる検出値Gを、本体部1の姿勢角の算出で用いる検出値Gの時系列データから除外する。このため、計算される本体部1の姿勢角の精度を向上できる。この結果、フロントシールド101での画像700の表示位置をより正確に補正できる。
 (実施形態1の変形例)
 実施形態1は、本発明の様々な実施形態の一つに過ぎない。実施形態1は、本発明の目的を達成できれば、設計等に応じて種々の変更が可能である。さらに、実施形態1に係る態様は、単体の画像表示システム10で具現化されることに限らない。例えば、画像表示方法、コンピュータプログラム、又はプログラムを記憶した記憶媒体等で、実施形態1に係る態様が具現化されてもよい。以下に説明する変形例は、適宜組み合わせて適用可能である。
 上記の画像表示方法は、移動体100に搭載される画像表示システム10を制御する画像表示方法である。この画像表示方法は、移動体100の表示対象物101に画像700を投影して表示する画像投影処理と、所定期間(加速度センサ52の作動期間)における移動体100の加速度の加速度検出値Gの時系列データに基づいて、移動体100の姿勢角βを算出する姿勢角算出処理と、姿勢角算出処理により算出された姿勢角に応じて、表示対象物101に画像700を投影して表示する表示位置を制御する表示制御処理と、を備える。加速度検出値Gは、2方向の成分Gz,Gxを含む。姿勢角算出処理は、前記所定期間のうち2方向の成分の比W1が所定範囲S1外にある除外期間K1に含まれる加速度検出値Gを、姿勢角の算出に用いる前記時系列データから除外する。
 (変形例1)
 実施形態1では、加速度センサ52は、2軸の加速度センサであるが、3軸の加速度センサでもよい。この場合は、図9に示すように、フィルタ部431の計算で使用される比W1は、加速度センサ52の検出値Gにおける加速度成分Gzを加速度成分Gxyで割った値である。加速度成分Gxyは、検出値Gにおける前後軸Ax方向(前後方向)の加速度成分Gxと左右軸Ay方向(左右方向)の加速度成分Gyとをベクトル的に合成した加速度成分である。左右軸Ay方向は、上下軸Az方向(上下方向)と前後軸Ax方向(前後方向)との両方に直交する。この場合は、検出値Gを構成する2方向の加速度成分Gxy,Gzの比における上記の2方向は、本体部1の上下軸Az方向と、軸Axy方向とである。軸Axyは、検出値Gにおける前後軸Ax方向の加速度成分Gxと左右軸Ay方向の加速度成分Gyとをベクトル的に合成した加速度成分が沿う方向である。すなわち、軸Axyは、原点0と、加速度成分Gxyに対応する点とを結ぶ直線に沿う軸である。
 この変形例1によれば、加速度センサ52によって本体部1の姿勢(従って自動車100)の前後の傾き及び左右の傾きを検出できる。これにより、フロントシールド101での画像700の表示位置をより正確に補正できる。
 (変形例2)
 実施形態1において、図10に示すように、閾値範囲外期間K1(除外期間)の前及び後に付加期間K3,K4が設けられてもよい。この場合、フィルタ部431は、加速度センサ52の作動期間(所定期間)のうち、閾値範囲外期間K1に含まれる検出値Gだけでなく、付加期間K3,K4に含まれる検出値Gも除外する。そして、フィルタ部431は、残りの期間K5内で検出された検出値(加速度センサ52の検出値)の時系列データのみを算出部本体432に出力する。なお、期間K5は、閾値範囲内期間K2から付加期間K3,K4を除去した期間である。
 この構成によれば、閾値範囲外期間K1内の検出値Gだけでなく、付加期間K3,K4内の検出値Gも除外できる。付加期間K3,K4は、閾値範囲外期間K1に繋がる期間であるため、付加期間K3,K4内の検出値Gに対応する比W1は、閾値範囲S1(所定範囲)内の値であるが閾値範囲S1の閾値に近い値である可能性が高い。このような付加期間K3,K4内の検出値Gを除外することで、本体部1の姿勢角(すなわち自動車100の姿勢角)をより精度よく算出できる。
 付加期間K3,K4の長さは、予め固定された所定の長さに設定されている。ただし、付加期間K3,K4の長さは、閾値範囲外期間K1の長さに応じて変化させてもよい。例えば、付加期間K3,K4の長さは、閾値範囲外期間K1が長くなると、長くなるほど、長く設定されてもよい。閾値範囲外期間K1が長い場合は、付加期間K3,K4内の検出値Gに対応する比W1は、閾値範囲S1の閾値付近の値を長時間維持する可能性が高い。このため、閾値範囲外期間K1の長さに応じて付加期間K3,K4を長く設定することで、閾値範囲内期間K2内の検出値Gから、比W1が閾値範囲S1の閾値付近の値を取る検出値Gを除外できる。これにより、本体部1の姿勢角(すなわち自動車100の姿勢角)をより精度よく算出できる。
 また、付加期間K3の長さは、閾値範囲外期間K1内の検出値Gのうち時間的に一番前の検出値Gaに対応する比W1aの変動量に応じて、変化させてもよい。例えば、付加期間K3の長さは、比W1aの変動量が大きいほど長く設定されてもよい。また、付加期間K4の長さは、閾値範囲外期間K1内の検出値Gのうち時間的に一番後の検出値Gbに対応する比W1bの変動量に応じて、変化させてもよい。例えば、付加期間K4の長さは、比W1bの変動量が大きいほど長く設定されてもよい。なお、比W1a,W1bの変動量は、例えば、閾値範囲S1の中心値からのずれ量である。
 比W1a,W1bの変動量が大きい場合は、付加期間K3,K4内の検出値Gに対応する比W1は、閾値範囲S1の閾値付近の値を長時間維持する可能性が高い。このため、比W1a,W1bの変動量に応じて付加期間K3,K4を長く設定することで、閾値範囲内期間K2内の検出値Gから、比W1が閾値範囲S1の閾値付近の値を取る検出値Gを除外できる。これにより、本体部1の姿勢角(すなわち自動車100の姿勢角)をより精度よく算出できる。
 なお、本変形例では、閾値範囲外期間K1の前後の両方に付加期間K3,K4が設けられるが、閾値範囲外期間K1の前後の少なくとも一方のみに付加期間K3,K4が設けられてもよい。
 (その他の変形例)
 画像表示システム10は、自動車100に用いられるヘッドアップディスプレイに限らず、例えば、二輪車、電車、航空機、建設機械、及び船舶等、自動車100以外の移動体にも適用可能である。さらに、画像表示システム10は、移動体に限らない。例えば、画像表示システム10は、アミューズメント施設で用いられてもよいし、ヘッドマウントディスプレイ(HMD:Head Mounted Display)等のウェアラブル端末、医療設備、又は据置型の装置として用いられてもよい。また、画像表示システム10は、例えば、電子ビューファインダ等として、デジタルカメラ等の機器に組み込まれて使用されてもよい。
 (実施形態2)
 実施形態2は、実施形態1と比べて、フィルタ部431の閾値範囲外期間K1(除外期間)の条件が異なっている。より詳細には、本実施形態に係る画像表示システム10は、図11に示すように、角速度センサ53を更に備えている。角速度センサ53は、自動車100の左右軸の軸周りの角速度(すなわちピッチ角)を検出する。したがって、角速度センサ53は、本体部1の左右軸の軸周りの角速度を検出する。そして、本実施形態の閾値範囲外期間K1は、加速度センサ52の作動期間(所定期間)のうち、本体部1の角速度(ピッチ角)を検出する角速度センサ53の角速度検出値Q1が閾値範囲S2を外れる期間である(図12参照)。
 つまり、本実施形態の姿勢角算出部43は、加速度センサ52の作動期間のうち閾値範囲外期間K1に含まれる加速度検出値(加速度センサ52の検出値)Gを、本体部1の姿勢角の算出で用いる加速度検出値Gの時系列データから除外する。閾値範囲外期間K1とは、本体部1の角速度(すなわち自動車100の角速度)を検出する角速度センサ53の角速度検出値Q1が閾値範囲S2(所定範囲)を外れる期間である。
 本実施形態では、閾値範囲S2は、角速度センサ53の角速度検出値Q1に基づいて、一定時間間隔で、その一定時間内で検出された角速度検出値Q1の平均値を求め、その平均値を中心とする一定範囲を閾値範囲S2としてもよい。
 本実施形態によれば、実施形態1と同様に、補正部41で計算される本体部1の姿勢角の精度を向上できる。この結果、フロントシールド101での画像700の表示位置をより正確に補正できる。
 なお、実施形態1及び2を組み合わせて実施してもよい。すなわち、姿勢角算出部43は、加速度センサ52の作動期間(所定期間)のうち2方向の成分の比W1が所定範囲S1外にある除外期間に含まれる加速度検出値Gを、姿勢角βの算出に用いる加速度検出値Gの時系列データから除外すると共に、さらに、自動車100の角速度の角速度検出値Q1が所定範囲S2外にある除外期間に含まれる加速度検出値も、姿勢角βの算出に用いる上記の検出値Gの時系列データから除外してもよい。このようにした場合は、算出される姿勢角βの精度を更に向上できる。
 (実施形態2の変形例)
 実施形態2は、本発明の様々な実施形態の一つに過ぎない。実施形態2は、本発明の目的を達成できれば、設計等に応じて種々の変更が可能である。さらに、実施形態1に係る態様は、単体の画像表示システムで具現化されることに限らない。例えば、画像表示方法、コンピュータプログラム、又はプログラムを記憶した記憶媒体等で、実施形態1に係る態様が具現化されてもよい。以下に説明する変形例は、適宜組み合わせて適用可能である。
 上記の画像表示方法は、移動体100に搭載される画像表示システム10を制御する画像表示方法である。この画像表示方法は、移動体100の表示対象物101に画像700を投影して表示する画像投影処理と、所定期間(加速度センサ52の作動期間)における移動体100の加速度の加速度検出値Gの時系列データに基づいて、移動体100の姿勢角βを算出する姿勢角算出処理と、姿勢角算出処理により算出された姿勢角に応じて、表示対象物101に画像700を投影して表示する表示位置を制御する表示制御処理と、を備える。加速度検出値Gは、2方向の成分Gz,Gxを含む。姿勢角算出処理は、移動体100の角速度の角速度検出値Q1が所定範囲Q2外にある除外期間K1に含まれる加速度検出値Gを、姿勢角の算出に用いる前記時系列データから除外する。
 (変形例1)
 実施形態2では、角速度センサ53は、自動車100の左右軸周りの角速度(自動車100のピッチ角)を検出する。ただし、角速度センサ53は、自動車100の前後軸周りの角速度(自動車100のロール角)を検出してもよいし、自動車100の上下軸周りの角速度(ヨー角)を検出してもよい。また、角速度センサ53は、自動車100の上下軸、前後軸及び左右軸の少なくとも1つの軸周りの角速度を検出してもよい。角速度センサ53が2軸以上の軸周りの角速度を検出する場合は、各軸周りの加速度毎に閾値範囲が設定される。
 (変形例2)
 実施形態2でも、実施形態1のように、閾値範囲外期間K1の前後に付加期間を設けてもよい。
 (まとめ)
 第1の態様の画像表示システム(10)は、移動体(100)に搭載される画像表示システムである。画像表示システム(10)は、移動体(100)の表示対象物(101)に画像(700)を投影して表示する画像投影部(30)と、所定期間における移動体(100)の加速度の加速度検出値(G)の時系列データに基づいて、移動体(100)の姿勢角(β)を算出する姿勢角算出部(43)と、姿勢角算出部(43)により算出された姿勢角(β)に応じて、表示対象物(101)に画像(700)を投影して表示する表示位置を制御する表示制御部(51)と、を備える。加速度検出値(G)は、2方向の成分(Gx,Gz)を含む。姿勢角算出部(43)は、前記所定期間のうち2方向の成分の比(W1)が所定範囲(S1)外である除外期間(K1)に含まれる加速度検出値(G)を、姿勢角(β)の算出で用いる前記時系列データから除外する。
 この構成によれば、姿勢角算出部(43)は、除外期間(K1)に含まれる加速度検出値(G)を、移動体(100)の姿勢角(β)の算出で用いる加速度検出値(G)の時系列データから除外する。このため、算出される姿勢角(β)の精度を向上できる。この結果、表示対象物(101)での画像(700)の表示位置をより正確に補正できる。
 第2の態様の画像表示システム(10)では、第1の態様において、画姿勢角算出部(43)は、さらに、移動体(100)の角速度の角速度検出値(Q1)が所定範囲(S2)外にある除外期間(K1)に含まれる加速度検出値(G)を、姿勢角(β)の算出で用いる前記時系列データから除外する。
 この構成によれば、算出される姿勢角(β)の精度を更に向上できる。
 第3の態様の画像表示システム(10)では、第1又は第2の態様において、上記の2方向は、移動体(100)の上下方向(Az軸方向)と、上下方向(Az軸方向)に直交する直交方向とを含む。
 この構成によれば、加速度検出値(G)の時系列データによって、移動体(100)の姿勢角(β)をより正確に検出できる。これにより、表示対象物(101)での画像(700)の表示位置をより正確に補正できる。
 第4の態様の画像表示システム(10)では、第3の態様において、上記の直交方向は、移動体(100)の前後方向(Ax軸方向)である。
 この構成によれば、加速度検出値(G)の時系列データによって、移動体(100)の姿勢の前後の傾きを検出できる。
 第5の態様の画像表示システム(10)では、第1~第3の態様の何れか1つの態様において、上記の2方向は、移動体(100)の上下方向(Az軸方向)と、加速度検出値(G)における移動体(100)の前後方向(Ax軸方向)の加速度成分(Gx)と移動体(100)の左右方向(Ay軸方向)の加速度成分(Gy)とをベクトル的に合成した加速度成分(Gxy)が沿う方向である。
 この構成によれば、加速度検出値(G)によって、移動体(100)の姿勢の前後の傾き及び左右の傾きを検出できる。
 第6の態様の画像表示システム(10)では、第2の態様において、上記の角速度は、移動体(100)の上下方向(Az軸方向)、前後方向(Ax軸方向)及び左右方向(Ay軸方向)のうちの少なくとも1つの軸の周りの角速度である。
 この構成によれば、角速度検出値(Q1)によって、移動体(100)のヨー角、ピッチ角、ロール角のうちの少なくとも1つの角度を検出できる。これにより、移動体(100)のヨー角、ピッチ角、ロール角のうちの少なくとも1つの角度が大きく変化したときの加速度検出値(G)を除外できる。この結果、表示対象物(101)での画像(700)の表示位置をより正確に補正できる。
 第7の態様の画像表示システム(10)では、第1~6の態様の何れか1つの態様において、姿勢角算出部(43)は、除外期間(K1)と繋がる付加期間(K3,K4)に含まれる加速度検出値(G)を、姿勢角(β)の算出で用いる前記時系列データから除外する。
 この構成によれば、除外期間(K1)内の加速度検出値(G)だけでなく、付加期間(K3,K4)内の加速度検出値(G)も除外できる。付加期間(K3,K4)は、除外期間(K1)に繋がる期間であるため、付加期間(K3,K4)内の加速度検出値(G)に対応する比(W1)は、所定範囲(S1)内の値であるが所定範囲(S1)の閾値に近い値である可能性が高い。このような付加期間(K3,K4)内の加速度検出値(G)を除外することで、移動体(100)の姿勢角(β)をより精度よく算出できる。
 第8の態様の画像表示システム(10)では、第7の態様において、付加期間(K3,K4)は、除外期間(K1)の前後の少なくとも一方に設けられる。
 この構成によれば、除外期間(K1)の前後の少なくとも一方に設けられる付加期間(K3,K4)内の加速度検出値(G)を除外できる。
 第9の態様の画像表示システム(10)では、第7又は8の態様の何れか1つの態様において、付加期間(K3,K4)は、除外期間(K1)が長くなると長くなる。
 この構成によれば、除外期間(K1)が長くなると付加期間(K3,K4)を長く設定できる。除外期間(K1)が長い場合は、付加期間(K3,K4)内の加速度検出値(G)に対応する比(W1)は、所定範囲(S1)の閾値付近の値を長時間維持する可能性が高い。このため、除外期間(K1)が長くなると付加期間(K3,K4)を長く設定することで、閾値範囲内期間(K2)内の検出値(G)から、比(W1)が所定範囲S1の閾値付近の値を取る検出値(G)を除外できる。これにより、移動体(100)の姿勢角(β)をより精度よく算出できる。
 第10の態様の画像表示システム(10)は、移動体(100)に搭載される画像表示システムである。画像表示システム(10)は、移動体(100)の表示対象物(101)に画像(700)を投影して表示する画像投影部(30)と、移動体(100)の加速度の加速度検出値(G)の時系列データに基づいて、移動体(100)の姿勢角(β)を算出する姿勢角算出部(43)と、姿勢角算出部(43)により算出された姿勢角(β)に応じて、表示対象物(101)に画像(700)を投影して表示する表示位置を制御する表示制御部(51)と、を備える。姿勢角算出部(43)は、移動体(100)の角速度の角速度検出値(Q1)が所定範囲(S2)外にある除外期間(K1)に含まれる加速度検出値(G)を、姿勢角(β)の算出で用いる前記時系列データから除外する。
 この構成によれば、姿勢角算出部(43)は、移動体(100)の角速度の角速度検出値(Q1)が所定範囲(S2)外にある除外期間(K1)に含まれる加速度検出値(G)を、移動体(100)の姿勢角(β)の算出で用いる加速度検出値(G)の時系列データから除外する。このため、算出される姿勢角(β)の精度を向上できる。この結果、表示対象物(101)での画像(700)の表示位置をより正確に補正できる。
 第3の態様の画像表示システム(10)では、第1の態様において、上記の2方向は、移動体(100)の上下方向(Az軸方向)と、上下方向(Az軸方向)に直交する直交方向とを含む。
 第11の態様の移動体(100)は、第1~10の態様の何れか1つの態様の画像表示システム(10)と、画像表示システム(10)が搭載された移動体本体と、を備える。表示対象物(101)は、移動体本体のウィンドシールドである。
 この構成によれば、上記の画像表示システム(10)を備えた移動体(100)を提供できる。
 第12の態様の画像表示方法は、移動体(100)に搭載される画像表示システムを制御する画像表示方法である。画像表示方法は、移動体(100)の表示対象物(101)に画像(700)を投影して表示する画像投影処理と、所定期間における移動体(100)の加速度の加速度検出値(G)の時系列データに基づいて、移動体(100)の姿勢角(β)を算出する姿勢角算出処理と、姿勢角算出処理により算出された姿勢角(β)に応じて、表示対象物(101)に画像(700)を投影して表示する表示位置を制御する表示制御処理と、を備える。加速度検出値(G)は、2方向の成分(Gx,Gz)を含む。姿勢角算出処理は、前記所定期間のうち2方向の成分の比(W1)が所定範囲(S1)外である除外期間(K1)に含まれる加速度検出値(G)を、姿勢角(β)の算出で用いる前記時系列データから除外する。
 この構成によれば、算出される姿勢角(β)の精度を向上できる。この結果、表示対象物(101)での画像(700)の表示位置をより正確に補正できる。
 第13の態様の画像表示方法は、移動体(100)に搭載される画像表示システムを制御する画像表示方法である。画像表示システム(10)は、移動体(100)の表示対象物(101)に画像(700)を投影して表示する画像投影処理と、移動体(100)の加速度の加速度検出値(G)の時系列データに基づいて、移動体(100)の姿勢角(β)を算出する姿勢角算出処理と、姿勢角算出処理により算出された姿勢角(β)に応じて、表示対象物(101)に画像(700)を投影して表示する表示位置を制御する表示制御処理と、を備える。姿勢角算出処理は、移動体(100)の角速度の角速度検出値(Q1)が所定範囲(S2)外にある除外期間(K1)に含まれる加速度検出値(G)を、姿勢角(β)の算出で用いる前記時系列データから除外する。
 この構成によれば、算出される姿勢角(β)の精度を向上できる。この結果、表示対象物(101)での画像(700)の表示位置をより正確に補正できる。
 第14の態様のプログラムは、コンピュータシステムに、第12又は13の態様の画像表示方法を実行させるためのプログラムである。この構成によれば、上記の画像表示方法をプロセッサに実行させるためのプログラムを提供できる。
 (実施の形態3)
 (表示装置の概略構成)
 図13は、ヘッドアップディスプレイ(HUD)である表示装置1100を備える自動車1200を示す。表示装置1100は、自動車1200のダッシュボード1220の上面付近に取り付けられる。
 表示装置1100は、フロントシールド1210における、一点鎖線で示される運転手の視界内にある領域D10に光を投射する。投射された光の一部はフロントシールド1210を透過するが、他の一部はフロントシールド1210に反射される。この反射光は、運転者の目に向かう。運転者は、目に入ったその反射光を、フロントシールド1210越しに見える実在の物体を背景に、フロントシールド1210を挟んで反対側(自動車1200の外側)にある物体の像のように見える虚像Viとして知覚する。
 図14は、表示装置1100によって光が投射される領域である領域D10の一例を示す図である。領域D10は、例えば図14に破線で囲まれた領域として示されるように、フロントシールド1210の運転席側の下寄りに位置する。ダッシュボード1220に取り付けられた表示装置1100は、図13に示されるように領域D10に光を投射することでフロントシールド1210に画像を投影する。これにより運転者からは自動車1200の外側にある物体の像のように見える虚像Viが生成される。
 なお、フロントシールド1210に投影された画像は、その領域D10内の上下位置によって、虚像Viにおいて運転者から異なる距離にあるように知覚され得る。例えば図13及び図14の例では、領域D10は運転者の目の高さよりも下に位置するため、領域D10でより低い位置にある画像は、虚像Viにおいては運転者からより近い位置に、領域D10に投影された画像内でより高い位置にある物は、虚像Viにおいては運転者からより遠い位置にある物として知覚され得る。このように知覚される原理は、幾何学的な遠近法の一種(上下遠近法)によって説明される。
 図15は、表示装置1100によって生成される虚像の一例、及びこの虚像と、走行中の自動車1200の運転者から見た自動車1200前方の景色との重畳の一例を示す図である。
 図15全体は、自動車1200を運転中の運転者(図示なし)の視界内の景色の一部を模式的に示す。ただし表示装置1100から画像が投影される領域D10を示す破線の枠は、本実施の形態の説明の便宜上示されるものであり、存在して運転者に知覚されるものではない。参照符号1200が示すのは、自動車1200の一部であるボンネットである。また、参照符号V10が付された矢印の像は、表示装置1100によって生成されて運転者に知覚されている虚像Viの例であるAR(Augmented Reality)ルートである。
 図15に示されるように、虚像であるARルートV10は、運転者の視界内で実際に見える景色に重畳するように表示される。実際上、ARルートV10は、道路上に重畳して表示される。これにより、運転者はARルートV10で示される帯状の領域上を走行するように誘導される。
 (虚像表示位置調整機能)
 図16は、本実施の形態の自動車1200に搭載された虚像表示位置調整機能を実現するための要部構成を示す図である。
 本実施の形態の自動車は、投影部1101と、照射部1102と、測距部1103と、投影位置調整操作部1110と、を有する。
 投影部1101は、ARルートなどの画像データを入力し、画像データに基づく虚像をフロントシールド1210に表示させる。具体的には、投影部1101は、光源部、走査部及び光学系などを有する。本実施の形態の投影部1101は、フロントシールド1210に虚像の基準線L2を投影できるようになっている。
 照射部1102は、図17に示したように、自車前方の道路に、道路の幅方向に亘って、実像の基準線L1となる可視光を照射する。本実施の形態の場合、照射部1102は、プロジェクタ機能を有するヘッドライトによって具現化されている。
 測距部1103は、自車から基準線L1までの距離を測定する。測距部1103は、例えば可視光ステレオカメラなどにより具現化されている。なお、測距部1103は、可視光ステレオカメラに限らず、基準線L1までの距離を測定できる種々のデバイスを用いることができる。測距部1103によって得られた基準線L1までの距離情報は、投影部1101に入力される。
 投影部1101は、測距部1103から入力した基準線L1までの距離情報で示される距離に対応した上下位置に、虚像の基準線L2を投影する。例えば、測距部1103により測定された基準線L1までの距離が50mの場合には、50mの位置の実像の基準線L1に重なって見えるような虚像の基準線L2をフロントシールド1210に投影する。
 投影位置調整操作部1110は、ユーザーの操作量に基づいて、投影部1101によるフロントシールド1210への虚像の上下方向の投影位置を調整する。投影位置調整操作部1110は、運転者が運転姿勢でフロントシールド1210から実像及び虚像を見ながらでも手の届く範囲に設けられている。本実施の形態の場合、投影位置調整操作部1110は、ステアリングスイッチ1110aにより具現化されている。
 図18は、運転者からの前方視界を示す図である。運転者からは、照射部1102から照射された実像の基準線L1が見える。また、運転者からは、投影部1101によりフロントシールド1210に投影された虚像の基準線L2が見える。
 基準線L2は基準線L1に対応する位置に投影しているのであるから、基準線L2は基準線L1に重なって見えるべきである。しかし、自動車1200の姿勢角が基本姿勢から変化すると基準線L2が基準線L1と重なって見えなくなる。例えば、後部座席に乗客が座ると自動車1200は若干後方に傾く。すると、虚像の基準線L2は自動車1200の後方への傾きに連動して上方へと移動する。
 本実施の形態では、この自動車1200の姿勢角の変化に起因する虚像の上下方向へのズレを、投影位置調整操作部1110を用いて手動にて補正できるようになっている。
 図19は、投影位置調整操作部1110としての機能を有するステアリングスイッチ1110aを示した図である。左側のステアリングスイッチ1110aの上下方向の操作に応じて基準線L2の左端が上下し、右側のステアリングスイッチ1110aの上下方向の操作に応じて基準線L2の右端が上下するようになっている。これにより、図18に示したように、基準線L2が基準線L1よりも上方向にズレている場合には、左右両方のステアリングスイッチ1110aを下方向に操作して基準線L2を基準線L1に重なる位置まで移動させればよい。また、左右のステアリングスイッチ1110aの操作量によって基準線L2の左右両端の上下方向の移動量を独立して調整できるので、基準線L2が基準線L1に対して平行でなく傾斜してズレている場合でも、基準線L2を基準線L1に重なるように調整することができる。つまり、ロール補正を行うこともできる。
 上述したような虚像表示位置調整処理は、運転者によって所定の操作ボタンなどの操作部(図示せず)が操作され、虚像表示位置調整モードとされたときに行われる。例えば、運転者は、これから運転を開始する前などに虚像表示位置調整モードに設定し、虚像の表示位置を調整してから運転をするとよい。つまり、乗員の座る場所などに応じて自動車の姿勢角が変動するので、この姿勢角の変動による虚像の見える位置の変動を投影位置調整操作部1110によって補正してから運転を開始するとよい。
 また、虚像の調整位置をキャリブレーション値として記憶しておいてもよい。このようにすれば、例えば投影位置調整操作部1110を使って補正したときと同じような配置で乗員が座ったときには、投影部1101が記憶したキャリブレーション値を読み出して虚像の投影位置を補正することができるようになる。この結果、投影位置調整操作部1110によって手動による調整回数を減らすことができる。
 以上説明したように、本実施の形態3によれば、フロントシールド1210などの表示媒体に虚像を投影するとともに当該虚像の基準線L2を投影する投影部1101と、実像に含まれる基準線L1までの距離を測定する測距部1103と、ユーザーの操作量に基づいて、前記表示媒体への前記虚像の上下方向の投影位置を調整可能な投影位置調整操作部1110と、を設けたことにより、自動車1200の姿勢角の変化に起因する虚像の表示ズレを容易かつ正確に補正できる。
 (実施の形態3の変形例)
 上述の実施の形態3は、本発明を実施するにあたっての具体化の一例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその要旨、またはその主要な特徴から逸脱することの無い範囲で、様々な形で実施することができる。
 上述の実施の形態3では、照射部1102を設け、照射部1102によって実像の基準線L1を形成する場合について述べたが、基準線L1は照射部1102によって形成したものに限らない。例えば、道路上の停止ラインなどを基準線L1としてもよい。この場合、図20に示したように、照射部1102を省略することができる。なお、ここでの省略とは、自動車から照射部1102を省略するという意味ではなく、虚像の表示位置を調整する際に照射部1102を用いないという意味である。
 ちなみに、図16では、便宜上、照射部1102と測距部1103とを分けて記載したが、プロジェクタ機能を有するヘッドライトなどでは決まった距離に光を照射することを目的として測距部が組み込まれることも考えられる。この場合、測距部1103から投影部1101へは距離情報を送らなくてもよい。何故なら、照射部1102からは第1の距離(例えば50m)に基準線L1を形成し、投影部1101ではこの第1の距離に対応した位置に基準線L2を投影することを予め設定しておけばよいからである。
 (まとめ)
 実施の形態3で説明したように、本開示の車両(1200)の一つの態様では、ユーザーから見える外部の実像に重なるように虚像を表示する表示装置が搭載された車両(1200)であって、表示媒体(1210)に前記虚像を投影するとともに、当該虚像の基準線(L2)を投影する投影部(1101)と、前記実像に含まれる基準線(L1)までの距離を測定する測距部(1103)と、ユーザーの操作量に基づいて、前記表示媒体(1210)への前記虚像の上下方向の投影位置を調整可能な投影位置調整操作部(1110)と、を具備する。
 また、本開示の車両(1200)の一つの態様では、前記投影部(1101)は、前記測距部(1103)により測定された距離に対応した上下位置に、前記虚像の基準線(L2)を投影する。
 また、本開示の車両(1200)の一つの態様では、前記投影位置調整操作部(1110)によって調整された投影位置をキャリブレーション値として記憶する。
 また、本開示の車両(1200)の一つの態様では、さらに、自車前方の道路に前記実像の前記基準線(L1)となる可視光を照射する照射部(1102)を具備する。
 また、本開示の車両(1200)の一つの態様では、前記照射部(1102)は、プロジェクタ機能を有するヘッドライトである。
 2019年3月26日出願の特願2019-059468および特願2019-059194の日本出願に含まれる明細書、図面および要約書の開示内容は、すべて本願に援用される。
 本発明は、ヘッドアップディスプレイのように、ユーザーから見える外部の実像に重なるように虚像を表示する表示装置における、虚像の表示ズレを解消する技術として有用である。
 10 画像表示システム
 30 画像投影部
 43 姿勢角算出部
 51 表示制御部
 52 加速度センサ
 100 移動体
 101 表示対象物
 700 画像
 1100 表示装置
 1101 投影部
 1102 照射部
 1103 測距部
 1110 投影位置調整操作部
 1110a ステアリングスイッチ
 1200 車両
 1210 フロントシールド
 1220 ダッシュボード
 Ax 前後軸
 Az 上下軸
 Ay 左右軸
 G 加速度検出値
 Gx,Gz 加速度成分
 K1 閾値範囲外期間
 L1 実像の基準線
 L2 虚像の基準線
 S1 閾値範囲
 Q1 角速度検出値
 W1 比
 K3,K4 付加期間
 β 姿勢角
 Vi 虚像

Claims (14)

  1.  移動体に搭載される画像表示システムであって、
     前記移動体の表示対象物に画像を投影して表示する画像投影部と、
     所定期間における前記移動体の加速度の加速度検出値の時系列データに基づいて、前記移動体の姿勢角を算出する姿勢角算出部と、
     前記姿勢角算出部により算出された前記姿勢角に応じて、前記表示対象物に前記画像を投影して表示する表示位置を制御する表示制御部と、を備え、
     前記加速度検出値は、2方向の成分を含み、
     前記姿勢角算出部は、前記所定期間のうち前記2方向の成分の比が所定範囲外にある除外期間に含まれる前記加速度検出値を、前記姿勢角の算出に用いる前記時系列データから除外する、
     画像表示システム。
  2.  前記姿勢角算出部は、さらに、前記移動体の角速度の角速度検出値が所定範囲外にある除外期間に含まれる前記加速度検出値を、前記姿勢角の算出に用いる前記時系列データから除外する、
     請求項1に記載の画像表示システム。
  3.  前記2方向は、前記移動体の上下方向と、前記上下方向に直交する直交方向とを含む、
     請求項1又は2に記載の画像表示システム。
  4.  前記直交方向は、前記移動体の前後方向である、
     請求項3に記載の画像表示システム。
  5.  前記2方向は、
     前記移動体の上下方向と、
     前記加速度検出値における前記移動体の前後方向の加速度成分と前記移動体の前記左右方向の加速度成分とをベクトル的に合成した加速度成分が沿う方向である、
     請求項1~3の何れか1項に記載の画像表示システム。
  6.  前記角速度は、前記移動体の上下軸、前後軸及び左右軸のうちの少なくとも1つの軸の周りの角速度である、
     請求項2に記載の画像表示システム。
  7.  前記姿勢角算出部は、前記除外期間と繋がる付加期間に含まれる加速度検出値を、前記姿勢角の算出に用いる前記時系列データから除外する、
     請求項1~6の何れか1項に記載の画像表示システム。
  8.  前記付加期間は、前記除外期間の前後の少なくとも一方に設けられる、
     請求項7に記載の画像表示システム。
  9.  前記付加期間は、前記除外期間が長くなると長くなる、
     請求項7又は8に記載の画像表示システム。
  10.  移動体に搭載される画像表示システムであって、
     前記移動体の表示対象物に画像を投影して表示する画像投影部と、
     所定期間における前記移動体の加速度の加速度検出値の時系列データに基づいて、前記移動体の姿勢角を算出する姿勢角算出部と、
     前記姿勢角算出部により算出された前記姿勢角に応じて、前記表示対象物に前記画像を投影して表示する表示位置を制御する表示制御部と、を備え、
     前記姿勢角算出部は、前記移動体の角速度の角速度検出値が所定範囲外にある除外期間に含まれる前記加速度検出値を、前記姿勢角の算出に用いる前記時系列データから除外する、
     画像表示システム。
  11.  請求項1~10の何れか1項に記載に画像表示システムと、
     前記画像表示システムが搭載された移動体本体と、を備え、
     前記表示対象物は、前記移動体本体のウィンドシールドである、
     移動体。
  12.  移動体に搭載される画像表示システムを制御する画像表示方法であって、
     前記移動体の表示対象物に画像を投影して表示する画像投影処理と、
     所定期間における前記移動体の加速度の加速度検出値の時系列データに基づいて、前記移動体の姿勢角を算出する姿勢角算出処理と、
     前記姿勢角算出処理により算出された前記姿勢角に応じて、前記表示対象物に前記画像を投影して表示する表示位置を制御する表示制御処理と、を備え、
     前記加速度検出値は、2方向の成分を含み、
     前記姿勢角算出処理は、前記所定期間のうち2方向の成分の比が所定範囲外にある除外期間に含まれる前記加速度検出値を、前記姿勢角の算出に用いる前記時系列データから除外する、
     画像表示方法。
  13.  移動体に搭載される画像表示システムを制御する画像表示方法であって、
     前記移動体の表示対象物に画像を投影して表示する画像投影処理と、
     所定期間における前記移動体の加速度の加速度検出値の時系列データに基づいて、前記移動体の姿勢角を算出する姿勢角算出処理と、
     前記姿勢角算出処理により算出された前記姿勢角に応じて、前記表示対象物に前記画像を投影して表示する表示位置を制御する表示制御部と、を備え、
     前記姿勢角算出処理は、前記移動体の角速度の角速度検出値が所定範囲外にある除外期間に含まれる前記加速度検出値を、前記姿勢角の算出に用いる前記時系列データから除外する、
     画像表示方法。
  14.  コンピュータシステムに、
     請求項12又は13に記載の画像表示方法を実行させるためのプログラム。
PCT/JP2020/007099 2019-03-26 2020-02-21 画像表示システム、移動体、画像表示方法及びプログラム WO2020195430A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
DE112020001523.8T DE112020001523T5 (de) 2019-03-26 2020-02-21 Bildanzeigesystem, sich bewegender Körper, Bildanzeigeverfahren und Programm
US17/484,905 US11619811B2 (en) 2019-03-26 2021-09-24 Image display system, moving body, image display method, and program

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2019-059194 2019-03-26
JP2019059194A JP7253719B2 (ja) 2019-03-26 2019-03-26 表示装置を備える車両
JP2019-059468 2019-03-26
JP2019059468A JP7228761B2 (ja) 2019-03-26 2019-03-26 画像表示システム、移動体、画像表示方法及びプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/484,905 Continuation US11619811B2 (en) 2019-03-26 2021-09-24 Image display system, moving body, image display method, and program

Publications (1)

Publication Number Publication Date
WO2020195430A1 true WO2020195430A1 (ja) 2020-10-01

Family

ID=72608490

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/007099 WO2020195430A1 (ja) 2019-03-26 2020-02-21 画像表示システム、移動体、画像表示方法及びプログラム

Country Status (3)

Country Link
US (1) US11619811B2 (ja)
DE (1) DE112020001523T5 (ja)
WO (1) WO2020195430A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023176897A1 (ja) * 2022-03-16 2023-09-21 株式会社小糸製作所 画像投影装置、および画像投影方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008247210A (ja) * 2007-03-30 2008-10-16 Stanley Electric Co Ltd オートレベリング装置
WO2015128985A1 (ja) * 2014-02-27 2015-09-03 パイオニア株式会社 表示装置、制御方法、プログラム、及び記憶媒体
WO2016143124A1 (ja) * 2015-03-12 2016-09-15 三菱電機株式会社 前照灯用光軸制御装置
JP2018047911A (ja) * 2012-10-24 2018-03-29 株式会社小糸製作所 車両用灯具の制御装置
WO2018179724A1 (ja) * 2017-03-31 2018-10-04 パナソニックIpマネジメント株式会社 表示装置、及び表示装置を有する移動体

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01293239A (ja) 1988-05-19 1989-11-27 Canon Inc ヘッドアップディスプレイ装置
JP5161760B2 (ja) * 2008-12-26 2013-03-13 株式会社東芝 車載用表示システム及び表示方法
JP5251853B2 (ja) * 2009-12-08 2013-07-31 株式会社デンソー ヘッドアップディスプレイ装置及びヘッドアップディスプレイ装置におけるステッピングモータの駆動方法の決定方法
BR112017012780A2 (pt) 2014-12-22 2018-01-16 Bridgestone Americas Tire Operations Llc composições de borracha para dispositivos de rádio em pneus
US10769831B2 (en) * 2016-08-29 2020-09-08 Maxell, Ltd. Head up display
US20200096776A1 (en) 2017-05-01 2020-03-26 Mitsubishi Electric Corporation Adjustment device, display system, and adjustment method
JP6981144B2 (ja) 2017-09-28 2021-12-15 セイコーエプソン株式会社 記録装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008247210A (ja) * 2007-03-30 2008-10-16 Stanley Electric Co Ltd オートレベリング装置
JP2018047911A (ja) * 2012-10-24 2018-03-29 株式会社小糸製作所 車両用灯具の制御装置
WO2015128985A1 (ja) * 2014-02-27 2015-09-03 パイオニア株式会社 表示装置、制御方法、プログラム、及び記憶媒体
WO2016143124A1 (ja) * 2015-03-12 2016-09-15 三菱電機株式会社 前照灯用光軸制御装置
WO2018179724A1 (ja) * 2017-03-31 2018-10-04 パナソニックIpマネジメント株式会社 表示装置、及び表示装置を有する移動体

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023176897A1 (ja) * 2022-03-16 2023-09-21 株式会社小糸製作所 画像投影装置、および画像投影方法

Also Published As

Publication number Publication date
US20220011574A1 (en) 2022-01-13
DE112020001523T5 (de) 2021-12-30
US11619811B2 (en) 2023-04-04

Similar Documents

Publication Publication Date Title
US10754154B2 (en) Display device and moving body having display device
US10302940B2 (en) Head-up display
CN110573369B (zh) 平视显示器装置及其显示控制方法
JP6201690B2 (ja) 車両情報投影システム
US9817237B2 (en) Head-up display device
EP3330117B1 (en) Vehicle display device
WO2015060193A1 (ja) 車両情報投影システム及び投影装置
WO2019189308A1 (ja) 映像表示システム、映像表示方法、プログラム、及び映像表示システムを備える移動体
WO2016190135A1 (ja) 車両用表示システム
KR20150132426A (ko) 차량용 헤드업 디스플레이 장치
WO2020261642A1 (ja) 表示制御装置、画像表示システム、移動体、表示制御方法及びプログラム
JP6865006B2 (ja) 車両用表示装置
JP2010070066A (ja) ヘッドアップディスプレイ
JP6899082B2 (ja) ヘッドアップディスプレイ
JP2015080988A (ja) 車両情報投影システム及び投影装置
CN111095078A (zh) 用于控制用于机动车的增强现实平视显示器装置的显示的方法、装置和带有指令的计算机可读的存储介质
US20160062115A1 (en) Display system
JP2019116229A (ja) 表示システム
JP7005115B2 (ja) 車両用表示装置
WO2020195430A1 (ja) 画像表示システム、移動体、画像表示方法及びプログラム
JP2007047735A (ja) 視覚情報呈示装置及び視覚情報呈示方法
JP2019164318A (ja) 映像表示システム、映像表示方法、プログラム、及び映像表示システムを備える移動体
JP2006088722A (ja) 車両用表示装置および車両用表示方法
JP7228761B2 (ja) 画像表示システム、移動体、画像表示方法及びプログラム
WO2020090187A1 (ja) 虚像表示装置、およびヘッドアップディスプレイ装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20776521

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 20776521

Country of ref document: EP

Kind code of ref document: A1