WO2021251117A1 - 表示システム、及び、振動検出システム - Google Patents

表示システム、及び、振動検出システム Download PDF

Info

Publication number
WO2021251117A1
WO2021251117A1 PCT/JP2021/019535 JP2021019535W WO2021251117A1 WO 2021251117 A1 WO2021251117 A1 WO 2021251117A1 JP 2021019535 W JP2021019535 W JP 2021019535W WO 2021251117 A1 WO2021251117 A1 WO 2021251117A1
Authority
WO
WIPO (PCT)
Prior art keywords
amount
display
correction
frequency band
posture
Prior art date
Application number
PCT/JP2021/019535
Other languages
English (en)
French (fr)
Inventor
祐輔 松本
智司 松井
範一 勝山
Original Assignee
パナソニックIpマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックIpマネジメント株式会社 filed Critical パナソニックIpマネジメント株式会社
Priority to JP2022530104A priority Critical patent/JPWO2021251117A1/ja
Publication of WO2021251117A1 publication Critical patent/WO2021251117A1/ja
Priority to US18/072,977 priority patent/US20230168502A1/en

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/23Head-up displays [HUD]
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01HMEASUREMENT OF MECHANICAL VIBRATIONS OR ULTRASONIC, SONIC OR INFRASONIC WAVES
    • G01H17/00Measuring mechanical vibrations or ultrasonic, sonic or infrasonic waves, not provided for in the preceding groups
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/002Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to project the image of a two-dimensional display, such as an array of light emitting or modulating elements or a CRT
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16Type of output information
    • B60K2360/166Navigation
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • G02B2027/0181Adaptation to the pilot/driver
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • G02B2027/0183Adaptation to parameters characterising the motion of the vehicle
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/02Improving the quality of display appearance
    • G09G2320/0261Improving the quality of display appearance in the context of movement of objects on the screen or movement of the observer relative to the screen
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/04Changes in size, position or resolution of an image
    • G09G2340/0464Positioning
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00Specific applications
    • G09G2380/10Automotive applications
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/38Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory with means for controlling the display position

Definitions

  • the present disclosure relates to a display system that controls the display position of an image in response to vibration of a moving body, and a vibration detection system that detects vibration generated in the moving body.
  • the present disclosure provides a display system that suppresses the expansion of correction error and a vibration detection system that detects vibration generated in a moving body.
  • the display system of the present disclosure includes a display processing device that controls the display of an image, a posture detection device that detects a posture change amount of a moving body, and a posture change of a moving body having a specific frequency band component based on the posture change amount.
  • a correction processing device having a vibration detection unit for determining whether or not the frequency is continuously generated for a certain period of time or longer is provided. When the vibration detection unit determines that the posture change of the moving object having a specific frequency band component has not occurred continuously for a certain period of time or longer, the correction processing device corrects the image display position based on the posture change amount.
  • the vibration detection unit has a threshold cross detection unit that detects that the amount of change in posture or the amount of fluctuation calculated based on the amount of change in posture exceeds a predetermined threshold, and the amount of change in posture or the amount of fluctuation is a threshold value in a unit time.
  • a counter that measures the number of times that the counter straddles, and a vibration judgment that determines that the posture change of a moving body having a specific frequency band component has continuously occurred for a certain period of time or more when the number of times measured by the counter is equal to or greater than the count threshold.
  • the display processing device controls the display position of the image based on the correction amount.
  • the attitude detection device that detects the attitude change amount of the moving body and the attitude change amount or the fluctuation amount calculated based on the attitude change amount straddle a predetermined threshold value.
  • a threshold cross detection unit to detect, a counter that measures the number of times the attitude change amount or fluctuation amount crosses the threshold in a unit time, and a moving body having a specific frequency band component when the number of times measured by the counter is equal to or greater than the count threshold. It is provided with a vibration determination unit for determining that the posture change of the above is continuously generated for a certain period of time or longer.
  • a diagram for explaining a head-up display A block diagram showing the internal configuration of the display system according to the first embodiment.
  • Diagram showing an example when the vehicle is not tilted A diagram showing an example of a real scene seen from the windshield
  • a diagram showing an example in which a virtual image is displayed at a reference position A diagram showing an example of augmented reality (AR) display Diagram showing the backward leaning posture of the vehicle
  • a diagram for explaining an example in which a virtual image is misaligned when the vehicle is in a backward leaning posture The figure which shows the display example of the virtual image after correction
  • Flow chart showing display processing in the first embodiment A flowchart showing the correction process in the first embodiment It is explanatory drawing which shows the effect of the offset removal filter, FIG.
  • FIG. 14A shows an example of counting using a positive threshold value
  • FIG. 14B is an explanatory diagram showing an example of counting using a negative threshold value.
  • the amount of change in posture of the moving body is detected by the posture detection device.
  • the attitude change amount is, for example, an angular velocity.
  • the fluctuation amount which is the value obtained by calculating the posture change amount, is detected.
  • the amount of fluctuation may be a value using the amount of change in posture as it is.
  • the display system of the present disclosure detects the amount of change in posture of a moving object, and when the amount of change calculated based on the amount of change in posture contains a component in a specific frequency band, the amount of correction of the display position of the image is corrected. adjust. As a result, it is possible to reduce the expansion of the correction error even when the vibration cycle of the vibration of the moving body due to the unevenness of the track and the time lag of the correction of the display position are close to each other.
  • the moving body is a vehicle such as an automobile and the display system is a head-up display system (hereinafter referred to as a HUD system) that displays a virtual image as an image in front of the windshield of the vehicle is taken as an example.
  • a HUD system head-up display system
  • FIG. 1 is a diagram for explaining a HUD system.
  • the roll axis of the vehicle 200 is the X axis
  • the pitch axis of the vehicle 200 is the Y axis
  • the yaw axis of the vehicle 200 is the Z axis. That is, the X-axis is orthogonal to the Y-axis and the Z-axis, and is an axis along the line-of-sight direction of the occupant D who visually recognizes the virtual image Iv.
  • the Y-axis is an axis along the left-right direction when viewed from the occupant D who visually recognizes the virtual image Iv, and is an axis in the left-right direction with respect to the traveling direction of the vehicle 200.
  • the Z axis is an axis along the height direction of the vehicle 200.
  • the display system 100 includes a projection device 10, an information acquisition device 20, a display processing device 30, a posture detection device 40, and a correction processing device 50.
  • the vibration detection system 60 is composed of the posture detection device 40 and the vibration detection unit 52c of the correction control unit 52 of the correction processing device 50.
  • the projection device 10 projects the display light Lc representing the virtual image Iv into the display area 220.
  • the projection device 10 is, for example, a liquid crystal display element for displaying an image of a virtual image Iv, a light source such as an LED for illuminating the liquid crystal display element, a mirror and a lens for reflecting the display light Lc of the image displayed by the liquid crystal display element on the display area 220. And so on.
  • the projection device 10 is installed, for example, in the dashboard of the vehicle 200.
  • the information acquisition device 20 acquires the position information of the vehicle. Specifically, the information acquisition device 20 measures the position of the vehicle 200 and generates position information indicating the position. The information acquisition device 20 outputs vehicle-related information including at least the position information of the vehicle 200. The information acquisition device 20 may acquire information outside the vehicle indicating an object, a distance to the object, and the like. The vehicle-related information may include acquired out-of-vehicle information.
  • the display processing device 30 controls the display of the virtual image Iv based on the vehicle-related information obtained from the information acquisition device 20, and outputs the image data of the virtual image Iv to the projection device 10.
  • the display processing device 30 may control the display of the virtual image Iv based on the display timing (display time) of the virtual image Iv or the combination of the vehicle-related information and the display timing.
  • the display timing is, for example, repeating display for 10 seconds and non-display for 1 second.
  • the posture detection device 40 acquires the amount of change in the posture of the vehicle 200.
  • the attitude detection device 40 includes, for example, a gyro sensor 41 that detects the angular velocity of the vehicle 200.
  • the gyro sensor 41 outputs the detected angular velocity to the correction processing device 50 as a posture change amount indicating the posture of the vehicle 200.
  • the information acquisition device 20 includes a GPS (Global Positioning System) module 21 that detects a position indicating the current location of the vehicle 200 in the geographic coordinate system. Specifically, the GPS module 21 receives radio waves from GPS satellites and determines the latitude and longitude of the received points. The GPS module 21 generates position information indicating the measured latitude and longitude.
  • the information acquisition device 20 may further include a camera that captures an outside scene and generates imaging data. The information acquisition device 20 may specify an object from the image pickup data by image processing and measure the distance to the object, for example. In this case, the information acquisition device 20 may generate information indicating the object and the distance to the object as outside information.
  • the information acquisition device 20 outputs vehicle-related information including position information to the display processing device 30.
  • the image pickup data generated by the camera may be output to the display processing device 30.
  • the display processing device 30 includes a communication unit 31, a display control unit 32, and a storage unit 33.
  • the communication unit 31 is a predetermined communication standard (for example, LAN, Wi-Fi (registered trademark), Bluetooth (registered trademark), USB, HDMI (registered trademark), CAN (controller area network), SPI (Serial Peripheral Interface)). Includes a circuit that communicates with external devices in accordance with.
  • LAN local area network
  • Wi-Fi registered trademark
  • Bluetooth registered trademark
  • USB USB
  • HDMI registered trademark
  • CAN controller area network
  • SPI Serial Peripheral Interface
  • the display control unit 32 can be realized by a semiconductor element or the like.
  • the display control unit 32 can be configured by, for example, a microcomputer, a CPU, an MPU, a GPU, a DSP, an FPGA, or an ASIC.
  • the function of the display control unit 32 may be configured only by hardware, or may be realized by combining hardware and software.
  • the display control unit 32 realizes a predetermined function by reading data and programs stored in the storage unit 33 and performing various arithmetic processes.
  • the storage unit 33 is a storage medium for storing programs and data necessary for realizing the functions of the display processing device 30.
  • the storage unit 33 can be realized by, for example, a hard disk (HDD), SSD, RAM, DRAM, ferroelectric memory, flash memory, magnetic disk, or a combination thereof.
  • the storage unit 33 stores a plurality of image data 33i representing a virtual image Iv.
  • the display control unit 32 determines the virtual image Iv to be displayed based on the vehicle-related information obtained from the information acquisition device 20.
  • the display control unit 32 reads out the image data 33i of the determined virtual image Iv from the storage unit 33 and outputs the image data to the projection device 10. Further, the display control unit 32 sets the display position of the virtual image Iv.
  • the display control unit 32 outputs display information indicating whether or not the virtual image Iv is displayed or is being displayed to the correction processing device 50.
  • the correction processing device 50 includes a communication unit 51, a correction control unit 52, and a storage unit 53.
  • the communication unit 51 conforms to a predetermined communication standard (for example, LAN, Wi-Fi (registered trademark), Bluetooth (registered trademark), USB, HDMI (registered trademark), CAN (controller area network), SPI (Serial Peripheral Interface)). Includes circuits that comply with and communicate with external devices.
  • a predetermined communication standard for example, LAN, Wi-Fi (registered trademark), Bluetooth (registered trademark), USB, HDMI (registered trademark), CAN (controller area network), SPI (Serial Peripheral Interface)). Includes circuits that comply with and communicate with external devices.
  • the correction control unit 52 is an arithmetic unit that can be realized by a semiconductor element or the like.
  • the correction control unit 52 can be configured by, for example, a microcomputer, a CPU, an MPU, a GPU, a DSP, an FPGA, or an ASIC.
  • the function of the correction control unit 52 may be configured only by hardware, or may be realized by combining hardware and software.
  • the correction control unit 52 realizes a predetermined function by reading data and programs stored in the storage unit 53 in the correction processing device 50 and performing various arithmetic processing.
  • the deviation amount calculation unit 52a calculates the deviation amount of the angle of the vehicle 200 based on the attitude change amount output by the attitude detection device 40.
  • the amount of deviation of the angle is the posture angle with respect to the posture state that is the reference of the moving body.
  • the reference posture state of the moving body is, for example, a horizontal state.
  • the deviation amount calculation unit 52a calculates the angle (pitch angle) around the pitch axis of the vehicle 200 by integrating the pitch angular velocity detected by the gyro sensor 41. Thereby, the deviation amount (angle) of the vehicle 200 in the rotation direction about the Y axis (pitch axis) shown in FIG. 1 can be detected.
  • the pitch angle is calculated, but the yaw angle or the roll angle may be calculated. For example, all angles around the X-axis, Y-axis, and Z-axis may be calculated.
  • the correction amount calculation unit 52b calculates the correction amount of the display position of the virtual image Iv according to the deviation amount of the angle of the vehicle 200. Specifically, the correction amount calculation unit 52b converts the deviation amount of the angle (pitch angle) calculated by the deviation amount calculation unit 52a into the number of pixels, and the number of displaced pixels (hereinafter, also referred to as “the number of displaced pixels”). Determine the amount of correction that restores the original. The correction amount calculation unit 52b outputs the calculated correction amount to the display processing device 30. In this embodiment, the correction amount around the pitch axis is calculated, but the correction amount around the yaw axis and the roll axis may be calculated. Regarding the roll angle, the correction amount is determined so as to restore the deviation amount of the roll angle while keeping the angle.
  • the vibration detection unit 52c detects whether or not the input signal contains a specific frequency band component.
  • the vibration detection unit 52c includes a fluctuation amount calculation unit 52m, an offset removal filter 52e, a threshold cross detection unit 52f, a counter 52g, and a vibration determination unit 52h.
  • the fluctuation amount calculation unit 52m calculates the fluctuation amount of the vehicle 200 based on the posture change amount output by the posture detection device 40. For example, the fluctuation amount calculation unit 52m calculates the angle (pitch angle) around the pitch axis of the vehicle 200 by integrating the pitch angular velocity detected by the gyro sensor 41 as the fluctuation amount. Thereby, the amount of fluctuation (pitch angle) of the vehicle 200 in the rotation direction about the Y axis (pitch axis) shown in FIG. 1 can be detected.
  • the pitch angle is calculated, but the yaw angle or the roll angle may be calculated. For example, all angles around the X-axis, Y-axis, and Z-axis may be calculated.
  • both the deviation amount calculated by the deviation amount calculation unit 52a and the fluctuation amount calculated by the fluctuation amount calculation unit 52m are angle information, they may be shared or calculated as separate angle information. ..
  • the amount of fluctuation may be a value using the amount of change in posture as it is. Further, when the posture change amount is used as the fluctuation amount as it is, the fluctuation amount calculation unit may be omitted.
  • the offset removal filter 52e removes the offset component of the input signal (variation amount), and as a result, attenuates the low frequency band component of the input signal.
  • the offset removal filter 52e is, for example, a high-pass filter.
  • the relationship between the cutoff frequency Fc of the offset removal filter 52e and the frequency band lower limit F to be detected satisfies, for example, the following equation (1).
  • Equation T is the total delay time (time lag) [sec] from the calculation of the correction amount of the virtual image to the display.
  • the frequency setting method is not limited to the equation (1) and may be adjusted as appropriate.
  • the lower limit F of the frequency band to be detected is, for example, 2.5 Hz.
  • the threshold cross detection unit 52f detects that the input value straddles a predetermined threshold.
  • detecting that the threshold value is crossed means, for example, detecting that the input value has changed from less than the threshold value to more than the threshold value or from more than the threshold value to less than the threshold value.
  • the threshold cross detection unit 52f detects that the threshold is crossed, the threshold cross detection unit 52f outputs a detection signal to the counter 52g.
  • the threshold is, for example, zero or any particular value.
  • the arbitrary specific value is, for example, the value of the offset error.
  • the counter 52g measures the number of times that the input value to the threshold cross detection unit 52f straddles a predetermined threshold. That is, the counter 52g counts the number of detection signals input from the threshold cross detection unit 52f to the counter 52g.
  • the vibration determination unit 52h determines whether or not a specific frequency band component is generated for a certain period of time or more in the fluctuation amount based on the number of times measured by the counter 52g per unit time.
  • the vibration determination unit 52h for example, provides a time window and determines the occurrence of vibration having a specific frequency band component based on the amount of change in the count value in a fixed time. In this way, for example, the generation of vibration having a frequency band component of 2.5 Hz or higher can be detected.
  • the determination result is sent from the vibration determination unit 52h to the correction amount calculation unit 52b and the correction amount adjustment unit 52d.
  • the correction amount adjustment unit 52d adjusts the correction amount based on the determination result of the vibration determination unit 52h.
  • the vibration determination unit 52h determines that the attitude change of the vehicle 200 having a specific frequency band component has continuously occurred for a certain period of time or longer
  • the sign of the correction amount is set to the previous time of the vibration determination unit 52h as the adjustment of the correction amount. It is the same as the sign of the correction amount at the time of determination, and the absolute value of the correction amount is set to be equal to or less than the absolute value of the correction amount at the time of the previous determination.
  • the correction amount is adjusted to zero.
  • the storage unit 53 is a storage medium that stores programs and data necessary for realizing the functions of the correction control unit 52. Therefore, for example, a program and data necessary for making an arithmetic unit such as a processor function as a correction amount calculation unit 52b are also stored in the storage unit 53.
  • the storage unit 53 can be realized by, for example, a hard disk (HDD), SSD, RAM, DRAM, ferroelectric memory, flash memory, magnetic disk, or a combination thereof.
  • the correction processing device 50 outputs a correction amount to the display processing device 30.
  • FIG. 3A shows an example when the vehicle 200 is not tilted.
  • FIG. 3B shows an example of an actual view seen from the windshield 210 of the vehicle 200 shown in FIG. 3A.
  • FIG. 3C shows an example of the virtual image Iv seen from the display area 220.
  • FIG. 3D shows an example in which the virtual image Iv shown in FIG. 3C is superimposed on the actual scene shown in FIG. 3B.
  • the display system 100 superimposes the virtual image Iv shown in FIG. 3C on the actual scene shown in FIG. 3B.
  • the reference position (initial position) P0 of the virtual image Iv is a position determined based on the type of the virtual image Iv, the state (position and posture) of the vehicle 200, the map data, and the like, and the reference position P0 is determined by an external device. It is determined. For example, when the display target 230 is a traveling lane and the virtual image Iv is an arrow indicating a traveling direction, the reference position P0 is a display position on the liquid crystal display when the tip of the arrow points to the center of the traveling lane.
  • the reference position P0 is set, for example, in FIG. 3C at the position of the pixel on the liquid crystal display corresponding to the values of the Y coordinate and the Z coordinate in the display area 220.
  • the reference position P0 is acquired from an external device.
  • the external device can be composed of, for example, a microcomputer, a CPU, an MPU, a GPU, a DSP, an FPGA, or an ASIC, and a GPS module 21.
  • the function of the external device may be configured only by hardware, or may be realized by combining hardware and software.
  • the reference position P0 output from the external device may change based on the number of occupants, the fluctuation of the load, the fluctuation of the posture due to the decrease of gasoline, etc., so for example, the reference position (initial position) initially acquired. May be different. Therefore, the display processing device 30 may change the reference position P0 acquired from the external device based on the change in posture due to the number of occupants, the change in load, the decrease in gasoline, and the like.
  • the display processing device 30 may set the reference position P0 based on vehicle-related information, map data, and the like.
  • the display processing device 30 may set the size of the virtual image Iv based on the vehicle-related information.
  • FIG. 4A shows an example of a state in which the vehicle 200 is in a backward leaning posture.
  • FIG. 4B illustrates a case where the display position of the virtual image Iv deviates from the display target 230 in response to the posture change of the vehicle 200.
  • FIG. 4C shows the display position of the corrected virtual image Iv.
  • the vehicle 200 may tilt due to unevenness of the road surface, sudden acceleration or deceleration of the vehicle 200, and the like.
  • FIG. 4A when the vehicle 200 rides on the convex portion 303 of the road surface 301, the vehicle 200 is in a backward leaning posture.
  • FIG. 4B the position of the display target 230 seen from the windshield 210 fluctuates according to the inclination ⁇ 1 with respect to the track of the vehicle 200. Therefore, when the virtual image Iv is displayed at the reference position P0, the virtual image Iv deviates from the display target 230.
  • the display system 100 adjusts the display position of the virtual image Iv in the direction of returning the deviation according to the posture of the vehicle 200.
  • the vehicle 200 continuously vibrates depending on the case where the convex portions 303 are continuously present on the road surface 301 or the state of the road surface 301.
  • the display position of the virtual image Iv also vibrates. Since the display of the virtual image Iv has a time lag after detecting the attitude change of the vehicle 200, if the timing of the attitude change of the new vehicle 200 matches the display position corrected for the previously detected vibration, the correction error The display deviation due to is enlarged. A method for suppressing the expansion of this display deviation will be described later.
  • FIG. 5 shows the display processing performed by the display control unit 32 of the display processing device 30.
  • the display process shown in FIG. 5 is started, for example, when the engine of the vehicle 200 is started, or when the button for instructing the display start of the virtual image Iv is operated.
  • the display control unit 32 acquires vehicle-related information from the information acquisition device 20 (S101).
  • the display control unit 32 determines the virtual image Iv to be displayed based on the vehicle-related information (S102).
  • the display control unit 32 acquires the reference position P0 of the virtual image Iv from an external device (S103).
  • the display control unit 32 acquires the correction amount C of the display position output from the correction processing device 50 (S104).
  • the display control unit 32 causes the projection device 10 to display the virtual image Iv based on the reference position P0 and the correction amount C (S105). For example, the display control unit 32 reads out the image data 33i of the virtual image Iv corresponding to the display target from the storage unit 33, sets the display position of the virtual image Iv to "reference position P0 + correction amount C", and outputs the image data to the projection device 10. do.
  • the display control unit 32 determines whether or not to continue the display process (S106). For example, when the engine of the vehicle 200 is stopped, or when the button for instructing the end of the display of the virtual image Iv is operated, the display control unit 32 ends the display process. To continue the display process, the process returns to step S101.
  • the fluctuation amount calculation unit 52m of the vibration detection unit 52c of the correction control unit 52 calculates the fluctuation amount which is the posture of the vehicle 200, for example, the angle with respect to the pitch direction, based on the acquired posture change amount (S203). Specifically, the fluctuation amount calculation unit 52m calculates the pitch angle of the vehicle 200 by integrating the angular velocity. The calculated fluctuation amount is sent to the offset removal filter 52e.
  • the offset removal filter 52e of the vibration detection unit 52c removes the detected offset component of the fluctuation amount, and as a result, the low frequency band component of the fluctuation amount is also attenuated. For example, when the fluctuation amount fluctuates as shown in FIG. 7A (a), the offset removal filter 52e removes the offset component OF1 included in the fluctuation amount to obtain a 0 value as shown in FIG. 7A (b). The amount of fluctuation that vibrates with the center of the amplitude can be obtained. The amount of fluctuation in which the offset component OF1 is removed and the low frequency band component is attenuated is sent to the threshold cross detection unit 52f. The offset removal filter 52e first removes the offset component from the posture change amount acquired from the posture detection device 40 by the vibration detection unit 52c, and then the fluctuation amount calculation unit 52m removes the offset from the posture change amount. The amount of fluctuation may be calculated.
  • the correction control unit 52 determines whether or not to continue the correction process (S208). For example, when the engine of the vehicle 200 is stopped, or when the button for instructing the end of the display of the virtual image Iv is operated, the correction control unit 52 ends the correction process. If the correction process is to be continued, the process returns to step S201.
  • the display position is reset to the reference position P0 when a component of a specific frequency band is generated in the fluctuation amount.
  • the high frequency band component included in the fluctuation amount is detected by the counter value, it is not necessary to include the vibration amplitude as a criterion, and the high frequency band component can be detected with high accuracy. can.
  • the correction amount C is set to zero while the high frequency vibration is generated in the vehicle 200, the display deviation due to the vibration of the vehicle occurs, but it is possible to prevent the display deviation from expanding. That is, when the vibration (deviation) of the virtual image Iv with respect to the outside view is corrected and the delay time from the calculation of the correction amount to the display is large, the correction can prevent the display deviation from becoming large. This makes it possible to prevent the expansion of display deviation due to high-frequency vibration, which has a large effect on the display quality of the virtual image such as deterioration of visibility and increase in discomfort.
  • step S209 of FIG. 6 instead of setting the correction amount C to zero, the size of the correction amount C may be reduced by a predetermined amount so as not to become zero.
  • the correction processing device 50 may reduce the size of the correction amount C by a predetermined amount (a value smaller than the correction amount C) so that the size of the correction amount C does not become zero.
  • the predetermined amount may be set according to the display position in the display area 220 of the virtual image Iv. Further, the correction amount C may be gradually reduced.
  • the correction amount adjustment unit 52d when the fluctuation amount includes a component of a specific frequency band (Yes in S205), the correction amount adjustment unit 52d does not update the correction amount C with the correction amount calculated by the correction amount calculation unit 52b (Yes). S211). Therefore, as shown in FIG. 10, the sign of the correction amount C becomes the same as the sign of the correction amount at the time of the previous determination, and the absolute value of the correction amount C is maintained at the same value as the correction amount at the time of the previous determination. To. That is, the correction amount C when it is determined that the component of the specific frequency (high frequency) band is included is maintained.
  • steps S207 and S208 are carried out in the same manner as in the first embodiment.
  • the coefficient multiplication unit 52k may update the correction amount by multiplying the correction amount when the vibration determination unit 52h previously determined by a coefficient larger than 0 and less than 1.
  • the fluctuation amount includes the component of the specific frequency band, the amplitude of the displayed position of the corrected virtual image Iv becomes small, so that the vibration of the virtual image Iv can be made less noticeable.
  • the vibration of a specific frequency of the vehicle 200 is detected and the fluctuation amount is corrected according to the vibration, but in the fourth embodiment, the vibration is not limited to the moving body such as the vehicle 200 and is on the spot. It may be a movable body that changes its posture or vibrates.
  • the moving body also includes a displaceable movable body that moves in place.
  • An example of such a movable body is a digital camera that is displaced by a user's camera shake, and the vibration detection system 60 of the fourth embodiment detects the vibration of such a movable body 300.
  • the vibration of the movable body 300 in the specific frequency band can be detected with high accuracy, so that it can be used for vibration correction.
  • the positive / negative offset error in the fluctuation amount becomes the attitude fluctuation amount. Even if it occurs, it is possible to detect that it straddles the respective threshold values TA and TB, and it is possible to detect that the fluctuation amount includes a component in a specific frequency band.
  • the correction control unit 52 includes the deviation amount calculation unit 52a, and the angular velocity information output by the attitude detection device 40 is integrated into the angle information, but the present invention is not limited to this.
  • the posture detection device 40 may have a deviation amount calculation unit 52a, and the posture detection device 40 may transmit angle information to the correction processing device 50.
  • the vibration detection unit 52c detects the vibration in a specific frequency band by using the attitude change amount such as the pitch angular velocity, the roll angular velocity, and the yaw angular velocity detected by the gyro sensor 41 as the fluctuation amount
  • the fluctuation amount calculation unit 52m is used. It may be omitted.
  • the offset removal filter 52e and the threshold cross detection unit 52f perform their respective processes using the angular velocity information, which is the amount of change in posture, as the fluctuation amount.
  • the display system 100 may include a liquid crystal display or an organic EL display instead of the projection device 10.
  • the display system 100 may include a screen and a projector.
  • the correction amount adjusting unit determines that the posture change of the moving body having a specific frequency band component is continuously generated for a certain period of time or more by the vibration determination unit. If it is determined, the correction amount is set to zero.
  • the correction amount adjusting unit determines that the posture change of the moving body having a specific frequency band component is continuously generated for a certain period of time or more by the vibration determination unit. If it is determined, the update of the correction amount is stopped.
  • the correction amount adjusting unit determines that the posture change of the moving body having a specific frequency band component is continuously generated for a certain period of time or longer by the vibration determination unit. If determined, the correction amount is multiplied by a coefficient greater than 0 and less than 1.
  • the threshold cross detection unit detects that the input value has changed from less than the threshold to more than the threshold, or from more than the threshold to less than the threshold.
  • the threshold value is zero or a specific value indicating an offset value of the posture detection device.
  • the specific frequency band component is a component in a high frequency band higher than 2.5 Hz.
  • a projection device for projecting light representing an image is further included.
  • the vibration detection system of the present disclosure straddles a posture detection device that detects a posture change amount of a moving body and a posture change amount or a fluctuation amount calculated based on the posture change amount straddles a predetermined threshold value.
  • a threshold cross detection unit that detects It is provided with a vibration determination unit for determining that a change in body posture has continuously occurred for a certain period of time or longer.
  • the vibration detection system of (15) and (14) is provided with a fluctuation amount calculation unit that calculates the fluctuation amount based on the posture change amount.
  • the specific frequency band component is a component of a high frequency band higher than a predetermined frequency.
  • the display system described in the present disclosure is realized by cooperation with hardware resources such as a processor, a memory, and a program.
  • This disclosure is applicable to a display system that displays a virtual image in front of the windshield.
  • Projection device 20 Information acquisition device 21 GPS module 30 Display processing device 31, 51 Communication unit 32 Display control unit 33 Storage unit 33i Image 40 Attitude detection device 41 Gyro sensor 50 Correction processing device 52 Correction control unit 52a Misalignment amount calculation unit 52b Correction Amount calculation unit 52c Vibration detection unit 52d Correction amount adjustment unit 52e Offset removal filter 52f Threshold cross detection unit 52g Counter 52h Vibration determination unit 52k Coefficient multiplication unit 60 Vibration detection system 100 Display system 200 Vehicle 210 Front glass 220 Display area Iv Void image Lc display Optical P0 Reference position P1 Corresponding position

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Computer Hardware Design (AREA)
  • Theoretical Computer Science (AREA)
  • Instrument Panels (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

表示システムは、移動体の姿勢変化量を検出する姿勢検出装置と、姿勢変化量に基づいて特定の周波数帯域成分を有する移動体の姿勢変化が一定時間以上継続して発生しているか否かを判定する振動検出部を有する補正処理装置と、を備える。補正処理装置は、振動検出部が特定の周波数帯域成分を有する移動体の姿勢変化が一定時間以上継続して発生していないと判定したとき、姿勢変化量に基づいて像の表示位置の補正量を更新し、振動検出部が特定の周波数帯域成分を有する移動体の姿勢変化が一定時間以上継続して発生していると判定したとき、補正量の絶対値を前回判定時の補正量の絶対値以下にする。

Description

表示システム、及び、振動検出システム
 本開示は、像の表示位置を移動体の振動に対応して制御する表示システム、及び、移動体に発生する振動を検出する振動検出システムに関する。
 特許文献1は、ヘッドアップディスプレイ(HUD)装置を用いて、拡張現実(AR)表示を行う車両情報投影システムを開示している。HUD装置は、車両のフロントガラスに虚像を表す光を投影することで、車両の乗員である視認者に、車両の外界の実景とともに虚像を視認させている。例えば、車両の案内経路を表す虚像を実景内の表示対象(例えば、道路)に対応付けて表示する。これにより、乗員は、実景を視認しながら案内経路を確認することができる。特許文献1の車両情報投影システムは、車速センサを備え、加速度に応じて虚像の表示位置を補正している。これにより、車両の急減速及び急加速時に、虚像の位置ずれが生じることを抑制している。
特開2015-101311号公報
 車両が走行する走路の状態によって車両が振動することで、乗員は実景が振動して見える。車両の振動に合わせて虚像の表示位置を補正する場合、虚像の表示位置の補正は車両の振動に対してタイムラグが生じる。例えば、ある周波数より高い高周波数帯域である特定の周波数帯域の振動の場合、車両の振動周期に対する虚像の補正量算出から表示するまでのタイムラグの割合が一定以上になると、表示ズレが拡大することがある。したがって、車両のような移動体に発生する特定の周波数帯域の振動を検出し、移動体に特定の周波数帯域の振動が発生した場合に表示ズレの補正誤差の拡大を抑制することが必要である。
 本開示は、補正誤差の拡大を抑制した表示システム及び移動体に発生する振動を検出する振動検出システムを提供する。
 本開示の表示システムは、像の表示を制御する表示処理装置と、移動体の姿勢変化量を検出する姿勢検出装置と、姿勢変化量に基づいて特定の周波数帯域成分を有する移動体の姿勢変化が一定時間以上継続して発生しているか否かを判定する振動検出部を有する補正処理装置と、を備える。補正処理装置は、振動検出部が特定の周波数帯域成分を有する移動体の姿勢変化が一定時間以上継続して発生していないと判定したとき、姿勢変化量に基づいて像の表示位置の補正量を更新し、振動検出部が特定の周波数帯域成分を有する移動体の姿勢変化が一定時間以上継続して発生していると判定したとき、補正量の絶対値を前回判定時の補正量の絶対値以下にする。振動検出部は、姿勢変化量または姿勢変化量を基に算出された変動量が予め定められた閾値をまたいだことを検出する閾値クロス検出部と、姿勢変化量または変動量が単位時間において閾値をまたいだ回数を計測するカウンタと、カウンタが計測した回数がカウント閾値以上のとき、特定の周波数帯域成分を有する移動体の姿勢変化が一定時間以上継続して発生していると判定する振動判定部と、を有する。表示処理装置は、補正量に基づいて像の表示位置を制御する。
 また、本開示の振動検出システムは、移動体の姿勢変化量を検出する姿勢検出装置と、姿勢変化量または姿勢変化量を基に算出された変動量が予め定められた閾値をまたいだことを検出する閾値クロス検出部と、姿勢変化量または変動量が単位時間において閾値をまたいだ回数を計測するカウンタと、カウンタが計測した回数がカウント閾値以上のとき、特定の周波数帯域成分を有する移動体の姿勢変化が一定時間以上継続して発生していると判定する振動判定部と、を備える。
 これらの概括的かつ特定の態様は、システム、方法、及びコンピュータプログラム、並びに、それらの組み合わせにより、実現されてもよい。
 本開示の表示システム、及び振動検出システムによれば、補正誤差の拡大を抑制した表示システム及び移動体に発生する振動を検出する振動検出システムを提供することができる。
ヘッドアップディスプレイ(HUD)を説明するための図 第1実施形態における表示システムの内部構成を示すブロック図 車両が傾いていないときの例を示す図 フロントガラスから見える実景の例を示す図 虚像が基準位置に表示される例を示す図 拡張現実(AR)表示の一例を示す図 車両の後傾姿勢を示す図 車両が後傾姿勢のときに虚像の位置ずれが生じる例を説明するための図 補正後の虚像の表示例を示す図 第1実施形態における表示処理を示すフローチャート 第1実施形態における補正処理を示すフローチャート オフセット除去フィルタの効果を示す説明図であり、図7A(a)は変動量のオフセット誤差を示し、図7A(b)はオフセット誤差が除去された変動量を示す説明図 カウントする一例を示す説明図であり、図7B(a)は変動量の振動の一例を示し、図7B(b)はカウントされたフラグを示す説明図 補正量をゼロにリセットする一例を示す説明図 特定周波数の検知の効果を示すグラフ 補正誤差の変動を示すグラフ 第2実施形態における補正処理を示すフローチャート 補正量を更新しない一例を示す説明図 第3実施形態における表示システムの内部構成を示すブロック図 第3実施形態における補正処理を示すフローチャート 第4実施形態における振動検出システムの構成を示すブロック図 閾値を用いてカウントする一例を示す説明図であり、図14(a)は正の閾値用いてカウントする一例を示し、図14(b)は負の閾値を用いてカウントする一例を示す説明図 変形例における表示システムの内部構成を示すブロック図
(本開示の基礎となった知見)
 移動体の姿勢変化量は、姿勢検出装置により検出される。姿勢変化量は、例えば、角速度である。また、姿勢変化量が演算処理された値である変動量が検出される。なお、変動量は、姿勢変化量をそのまま用いた値でもよい。
 例えば、移動体の姿勢状態を高精度に検出するために、ジャイロセンサを使用することが考えられる。移動体の変動量である移動体の3軸周りの角度(ロール角、ピッチ角、及びヨー角)は、ジャイロセンサによって検出される姿勢変化量としてのそれぞれの3軸周りの角速度を積分演算することによって得られる。移動体の変動量としてピッチ角を用いる場合、例えば、移動体が水平状態にあるときにピッチ角が0°となるので、移動体の変動量とは移動体の水平状態を基準としたピッチ方向の回転量となる。なお、ピッチ方向とは、移動体の進行方向に対して垂直な左右方向を軸とする回転方向のことをいう。
 姿勢検出装置の検出結果に基づいて検出した移動体の姿勢状態に応じて像の表示位置を補正する場合、路面の表面状態による移動体のピッチ方向の振動をピッチ角の変動として検出され、このピッチ角の変動に応じて像の表示位置が補正される。走路の凹凸の状態によって移動体の振動周波数は異なる。走路の凹凸による移動体の振動の振動周期が、像の補正量算出から表示までのタイムラグに対して十分に短い場合、表示の振動を抑制することができる。しかしながら、走路の凹凸による移動体の振動の振動周期が表示位置の補正のタイムラグと近い場合、表示ズレが増幅する場合が発生する。
 本開示の表示システムは、移動体の姿勢変化量を検出し、姿勢変化量に基づいて算出された変動量に特定の周波数帯域の成分が含まれている場合、像の表示位置の補正量を調整する。これにより、走路の凹凸による移動体の振動の振動周期と表示位置の補正のタイムラグとが近い場合でも補正誤差の拡大を低減することができる。
(第1実施形態)
 以下、第1実施形態について、図面を参照しながら説明する。第1実施形態では、移動体が自動車などの車両であり、表示システムが車両のフロントガラスの前方に像として虚像を表示するヘッドアップディスプレイシステム(以下、HUDシステムと称す)である場合を例にして説明する。
1.表示システムの構成
 図1は、HUDシステムを説明するための図である。図1において、車両200のロール軸をX軸とし、車両200のピッチ軸をY軸とし、車両200のヨー軸をZ軸としている。すなわち、X軸は、Y軸及びZ軸と直交し、虚像Ivを視認する乗員Dの視線方向に沿った軸である。Y軸は、虚像Ivを視認する乗員Dから見て左右方向に沿った軸であり、車両200の進行方向に対して左右方向の軸である。Z軸は、車両200の高さ方向に沿った軸である。
 本実施形態の表示システム100は、車両200のフロントガラス210の前方の実景に虚像Ivを重畳する、所謂、拡張現実(AR)表示を行うHUDシステムである。虚像Ivは、所定の情報を示す。例えば、虚像Ivは、目的地へ案内するための経路、目的地への到達予想時刻、進行方向、速度、種々の警告などを示す図形及び文字である。表示システム100は、車両200に設置され、虚像Ivを表す表示光Lcを車両200のフロントガラス210の表示領域220内に投影する。本実施形態において、表示領域220は、フロントガラス210の一部の領域である。なお、表示領域220は、フロントガラス210の全領域であってもよい。表示光Lcは、フロントガラス210によって、車内の方向に反射される。これにより、車両200内の乗員(視認者)Dは、反射された表示光Lcを、車両200の前方にある虚像Ivとして視認する。
 表示システム100は、投影装置10、情報取得装置20、表示処理装置30、姿勢検出装置40、及び補正処理装置50を含む。なお、姿勢検出装置40と補正処理装置50の補正制御部52の振動検出部52cとで振動検出システム60を構成する。
 投影装置10は、虚像Ivを表す表示光Lcを表示領域220内に投影する。投影装置10は、例えば、虚像Ivの画像を表示する液晶表示素子、液晶表示素子を照明するLEDなどの光源、液晶表示素子が表示する画像の表示光Lcを表示領域220に反射するミラー及びレンズなどを含む。投影装置10は、例えば、車両200のダッシュボード内に設置される。
 情報取得装置20は、車両の位置情報を取得する。具体的には、情報取得装置20は、車両200の位置を測定して位置を示す位置情報を生成する。情報取得装置20は、車両200の位置情報を少なくとも含む車両関連情報を出力する。なお、情報取得装置20は、対象物、および対象物までの距離などを示す車外情報を取得してもよい。車両関連情報は、取得した車外情報を含んでもよい。
 表示処理装置30は、情報取得装置20から得られる車両関連情報などに基づいて、虚像Ivの表示を制御し、虚像Ivの画像データを投影装置10に出力する。表示処理装置30は、虚像Ivの表示タイミング(表示時間)、又は車両関連情報と表示タイミングの組み合わせに基づいて、虚像Ivの表示を制御してもよい。表示タイミングは、例えば、10秒間の表示と1秒間の非表示とを繰り返すことである。
 姿勢検出装置40は、車両200の姿勢変化量を取得する。本実施形態において、姿勢検出装置40は、例えば、車両200の角速度を検出するジャイロセンサ41を含む。ジャイロセンサ41は、検出した角速度を、車両200の姿勢を示す姿勢変化量として補正処理装置50に出力する。
 補正処理装置50は、姿勢検出装置40によって検出された車両200の姿勢変化量に基づいて、虚像Ivの表示位置の補正量を算出する。
 図2は、表示システム100の内部構成を示すブロック図である。
 本実施形態において、情報取得装置20は、地理座標系における車両200の現在地を示す位置を検出するGPS(Global Positioning System)モジュール21を含む。具体的には、GPSモジュール21は、GPS衛星からの電波を受信して、受信した地点の緯度及び経度を測位する。GPSモジュール21は、測位した緯度及び経度を示す位置情報を生成する。情報取得装置20は、さらに、外景を撮像して撮像データを生成するカメラを含んでもよい。情報取得装置20は、例えば、画像処理により撮像データから対象物を特定し、対象物までの距離を測定してもよい。この場合、情報取得装置20は、対象物及び対象物までの距離を示す情報を車外情報として生成してもよい。情報取得装置20は、位置情報を含む車両関連情報を表示処理装置30に出力する。なお、カメラによって生成された撮像データが表示処理装置30に出力されてもよい。
 表示処理装置30は、通信部31、表示制御部32、及び記憶部33を含む。
 通信部31は、所定の通信規格(例えば、LAN、Wi-Fi(登録商標)、Bluetooth(登録商標)、USB、HDMI(登録商標)、CAN(controller area network)、SPI(Serial Peripheral Interface))に準拠して外部機器との通信を行う回路を含む。
 表示制御部32は、半導体素子などで実現可能である。表示制御部32は、例えば、マイコン、CPU、MPU、GPU、DSP、FPGA、またはASICで構成することができる。表示制御部32の機能は、ハードウェアのみで構成してもよいし、ハードウェアとソフトウェアとを組み合わせることにより実現してもよい。表示制御部32は、記憶部33に格納されたデータやプログラムを読み出して種々の演算処理を行うことで、予め定められた機能を実現する。
 記憶部33は、表示処理装置30の機能を実現するために必要なプログラム及びデータを記憶する記憶媒体である。記憶部33は、例えば、ハードディスク(HDD)、SSD、RAM、DRAM、強誘電体メモリ、フラッシュメモリ、磁気ディスク、又はこれらの組み合わせによって実現できる。
 記憶部33には、虚像Ivを表す複数の画像データ33iが格納されている。表示制御部32は、情報取得装置20から得られる車両関連情報に基づいて、表示する虚像Ivを決定する。表示制御部32は、決定した虚像Ivの画像データ33iを記憶部33から読み出して、投影装置10に出力する。さらに、表示制御部32は、虚像Ivの表示位置を設定する。表示制御部32は、虚像Ivを表示するか否か又は表示中か否かを示す表示情報を補正処理装置50に出力する。
 補正処理装置50は、通信部51と補正制御部52と記憶部53とを含む。
 通信部51は、所定の通信規格(例えばLAN、Wi-Fi(登録商標)、Bluetooth(登録商標)、USB、HDMI(登録商標)、CAN(controller area network)、SPI(Serial Peripheral Interface))に準拠して外部機器との通信を行う回路を含む。
 補正制御部52は、半導体素子などで実現可能な演算装置である。補正制御部52は、例えば、マイコン、CPU、MPU、GPU、DSP、FPGA、またはASICで構成することができる。補正制御部52の機能は、ハードウェアのみで構成してもよいし、ハードウェアとソフトウェアとを組み合わせることにより実現してもよい。補正制御部52は、補正処理装置50内の記憶部53に格納されたデータやプログラムを読み出して種々の演算処理を行うことで、予め定められた機能を実現する。
 補正制御部52は、機能的構成として、ずれ量算出部52a、補正量算出部52b、振動検出部52c及び補正量調整部52dを含む。
 ずれ量算出部52aは、姿勢検出装置40が出力する姿勢変化量に基づいて、車両200の角度のずれ量を算出する。角度のずれ量は、移動体の基準となる姿勢状態に対する姿勢角となる。移動体の基準となる姿勢状態は、例えば、水平状態である。例えば、ずれ量算出部52aは、ジャイロセンサ41が検出したピッチ角速度を積分演算することによって、車両200のピッチ軸周りの角度(ピッチ角)を算出する。これにより、図1に示すY軸(ピッチ軸)を中心軸とした回転方向における車両200のずれ量(角度)を検出することができる。なお、本実施形態では、ピッチ角度を算出するが、ヨー角度又はロール角度を算出してもよい。例えば、X軸、Y軸及びZ軸周りの角度を全て算出してもよい。
 補正量算出部52bは、車両200の角度のずれ量に応じて、虚像Ivの表示位置の補正量を算出する。具体的には、補正量算出部52bは、ずれ量算出部52aが算出した角度(ピッチ角)のずれ量を画素数に換算して、ずれている画素数(以下、「ずれ画素数」ともいう)を元に戻すような補正量を決定する。補正量算出部52bは、算出した補正量を表示処理装置30に出力する。なお、本実施形態では、ピッチ軸周りの補正量を算出するが、ヨー軸周り及びロール軸周りの補正量を算出してもよい。ロール角については、角度のまま、ロール角のずれ量を元に戻すような補正量を決定する。
 振動検出部52cは、入力される信号が特定の周波数帯域成分を含むか否かを検出する。振動検出部52cは、変動量算出部52mと、オフセット除去フィルタ52eと、閾値クロス検出部52fと、カウンタ52gと、振動判定部52hとを備える。
 変動量算出部52mは、姿勢検出装置40が出力する姿勢変化量を基に車両200の変動量を算出する。例えば、変動量算出部52mは、変動量として、ジャイロセンサ41が検出したピッチ角速度を積分演算することによって、車両200のピッチ軸周りの角度(ピッチ角)を算出する。これにより、図1に示すY軸(ピッチ軸)を中心軸とした回転方向における車両200の変動量(ピッチ角度)を検出することができる。なお、本実施形態では、ピッチ角度を算出するが、ヨー角度又はロール角度を算出してもよい。例えば、X軸、Y軸及びZ軸周りの角度を全て算出してもよい。なお、ずれ量算出部52aが算出するずれ量と変動量算出部52mが算出する変動量とは、どちらも角度情報であるので共用してもよいし、別々の角度情報として算出してもよい。なお、変動量は、姿勢変化量をそのまま用いた値でもよい。また、姿勢変化量をそのまま変動量とする場合は、変動量算出部を省略してもよい。
 オフセット除去フィルタ52eは、入力された信号(変動量)のオフセット成分を除去し、その結果、入力された信号の低周波数帯域成分を減衰する。オフセット除去フィルタ52eは、例えば、ハイパスフィルタである。オフセット除去フィルタ52eの遮断周波数Fcと検出したい周波数帯域下限Fとの関係は、例えば、下記の(1)式を満たす。
 Fc<F≦1/(2×T[sec])・・・(1)式
 Tは、虚像の補正量算出から表示までの合計遅延時間(タイムラグ)[sec]である。ただし周波数の設定方法は(1)式に限定せず、適宜調整してよい。検出したい周波数帯域下限Fは、例えば、2.5Hzである。
 閾値クロス検出部52fは、入力値が予め定められた閾値をまたいだことを検出する。ここで、「閾値をまたいだことを検出する」とは、例えば、入力値が閾値未満から閾値以上、または、閾値以上から閾値未満に変化したことを検出することをいう。閾値クロス検出部52fは、閾値をまたいだことを検出すると検出信号をカウンタ52gへ出力する。閾値は、例えば、ゼロまたは任意の特定値である。任意の特定値とは、例えば、オフセット誤差の値である。
 カウンタ52gは、閾値クロス検出部52fへの入力値が予め定められた閾値をまたいだ回数を計測する。すなわち、カウンタ52gは、閾値クロス検出部52fからカウンタ52gへ入力される検出信号の回数をカウントする。
 振動判定部52hは、単位時間当たりのカウンタ52gが計測した回数を基に、変動量において特定の周波数帯域成分が一定時間以上発生しているか否かを判定する。振動判定部52hは、例えば、時間窓を設け、一定時間におけるカウント値の変化量を基に特定の周波数帯域成分を有する振動の発生を判定する。このようにして、例えば、2.5Hz以上の周波数帯域成分を有する振動の発生を検出することができる。判定結果は、振動判定部52hから補正量算出部52b及び補正量調整部52dへ送られる。
 補正量調整部52dは、振動判定部52hの判定結果に基づいて補正量を調整する。振動判定部52hが特定の周波数帯域成分を有する車両200の姿勢変化が一定時間以上継続して発生していると判定したとき、補正量の調整として、補正量の符号を振動判定部52hの前回に判定したときの補正量の符号と同じとし、かつ、補正量の絶対値を前回に判定したときの補正量の絶対値以下に設定する。第1実施形態では、補正量の調整が必要な場合、補正量をゼロに調整する。
 記憶部53は、補正制御部52の機能を実現するために必要なプログラム及びデータを記憶する記憶媒体である。したがって、例えば、プロセッサ等の演算装置を補正量算出部52bとして機能させるために必要なプログラム及びデータも記憶部53に格納されている。記憶部53は、例えば、ハードディスク(HDD)、SSD、RAM、DRAM、強誘電体メモリ、フラッシュメモリ、磁気ディスク、又はこれらの組み合わせによって実現できる。
 補正処理装置50は、表示処理装置30に補正量を出力する。
 次に、図3A~図3Dを参照して、AR表示について説明する。図3Aは、車両200が傾いていないときの例を示している。図3Bは、図3Aに示す車両200のフロントガラス210から見える実景の例を示している。図3Cは、表示領域220から見える虚像Ivの一例を示している。図3Dは、図3Bに示す実景に図3Cに示す虚像Ivが重なって表示される例を示している。
 表示システム100は、図3Bに示す実景に図3Cに示す虚像Ivを重畳させる。虚像Ivの基準位置(初期位置)P0は、虚像Ivの種類、車両200の状態(位置及び姿勢)、及び地図データなどに基づいて決定された位置であり、当該基準位置P0は、外部装置により決定される。例えば、表示対象230が走行車線であって、虚像Ivが進行方向を示す矢印の場合、基準位置P0は走行車線の中央を矢印の先端が指し示すときの液晶上の表示位置である。基準位置P0は、例えば、図3Cにおいて、表示領域220内におけるY座標とZ座標の値に対応する液晶表示上の画素の位置で設定される。基準位置P0は、外部装置から取得される。
 外部装置は、例えば、マイコン、CPU、MPU、GPU、DSP、FPGA、または、ASICと、GPSモジュール21とで構成することができる。外部装置の機能は、ハードウェアのみで構成してもよいし、ハードウェアとソフトウェアとを組み合わせることにより実現してもよい。外部装置から出力される基準位置P0は、乗員数、荷重の変動、及びガソリンの減少などによる姿勢の変動に基づいて変化する場合があるため、例えば、最初に取得した基準位置(初期位置)と異なる場合がある。それ故、表示処理装置30は、外部装置から取得される基準位置P0を、乗員数、荷重の変動、及びガソリンの減少などによる姿勢の変動に基づいて変更してもよい。なお、表示処理装置30が、車両関連情報及び地図データなどに基づいて、基準位置P0を設定してもよい。表示処理装置30は、車両関連情報に基づいて、虚像Ivの大きさを設定してもよい。
 図4Aは、車両200が後傾姿勢になった状態の例を示している。図4Bは、車両200の姿勢変動に応じて、虚像Ivの表示位置が表示対象230からずれた場合を例示している。図4Cは、補正後の虚像Ivの表示位置を示している。
 路面の凹凸、車両200の急加速又は急減速などにより、車両200が傾く場合がある。例えば、図4Aに示すように、車両200が路面301の凸部303に乗り上げると、車両200は後傾姿勢になる。この場合、図4Bに示すように、フロントガラス210から見える表示対象230の位置が車両200の走路に対する傾きθ1に応じて変動する。そのため、虚像Ivを基準位置P0に表示した場合、虚像Ivが表示対象230からずれる。
 例えば、車両200が路面301の凸部303により後傾姿勢になると、図4Bに示すように、表示対象230の位置が通常走行時よりも下方に変動する。したがって、基準位置P0に表示される虚像Ivの矢印の先が車線外にずれてしまう。よって、表示システム100は、車両200の姿勢に応じてずれを戻す方向に虚像Ivの表示位置を調整する。
 具体的には、図4Cに示すように、補正処理装置50が、車両200の角度に起因した表示位置のずれがない位置P1となるように補正量Cを算出する。すなわち、表示処理装置30は、虚像Ivの表示位置を「基準位置P0+補正量C」に設定する。これにより、投影装置10は、虚像Ivを表示対象230に対応する位置P1に表示することができる。このように、車両200が傾いた場合であっても、虚像Ivの表示位置を補正量Cに基づいて基準位置P0から変更することで、実景内の表示対象230に対応する位置P1に虚像Ivを表示することができる。
 図4Aに示すように、路面301に凸部303が連続して存在する場合や、路面301の状態によって、車両200が連続して振動する。この場合、虚像Ivの表示位置も振動する。虚像Ivの表示は車両200の姿勢変化を検出してからタイムラグがあるので、前に検出した振動に対して補正した表示位置に対して新たな車両200の姿勢変化のタイミングが合致すると、補正誤差による表示ズレが拡大する。この表示ズレの拡大を抑制する方法を後述する。
2. 表示処理装置の動作
 図5は、表示処理装置30の表示制御部32が行う表示処理を示している。図5に示す表示処理は、例えば、車両200のエンジンが始動したとき、又は虚像Ivの表示開始を指示するためのボタンが操作されたときなどに開始される。
 表示制御部32は、情報取得装置20から車両関連情報を取得する(S101)。表示制御部32は、車両関連情報に基づいて、表示する虚像Ivを決定する(S102)。表示制御部32は、虚像Ivの基準位置P0を外部装置から取得する(S103)。表示制御部32は、補正処理装置50から出力される表示位置の補正量Cを取得する(S104)。
 表示制御部32は、基準位置P0と補正量Cとに基づいて、投影装置10に虚像Ivを表示させる(S105)。例えば、表示制御部32は、表示対象に対応する虚像Ivの画像データ33iを記憶部33から読み出し、虚像Ivの表示位置を「基準位置P0+補正量C」に設定して、投影装置10に出力する。
 表示制御部32は、表示処理を継続するか否かを判断する(S106)。例えば、車両200のエンジンが停止したとき、又は虚像Ivの表示の終了を指示するためのボタンが操作されたときなどに、表示制御部32は表示処理を終了する。表示処理を継続する場合は、ステップS101に戻る。
3. 補正処理装置の動作
 図6は、補正処理装置50の補正制御部52が行う補正処理を示している。図6に示す補正処理は、例えば、車両200のエンジンが始動したとき、又は虚像Ivの表示開始を指示するためのボタンが操作されたときなどに開始される。図6の補正処理は、例えば、図5の表示処理と共に開始される。なお、図6に示す補正処理は、虚像Ivの位置補正の開始を指示するためのボタンが操作されたときに開始されてもよい。
 補正制御部52は、ジャイロセンサ41から出力される角速度を示す姿勢変化量を取得する(S201)。補正制御部52のずれ量算出部52aは、取得した姿勢変化量に基づいて、車両200の姿勢、例えば、ピッチ方向に対する角度であるずれ量を算出する(S202)。具体的には、ずれ量算出部52aは、角速度を積分演算することによって、車両200のピッチ角を算出する。算出したずれ量は補正量算出部52bへ送られる。
 補正制御部52の振動検出部52cの変動量算出部52mは、取得した姿勢変化量に基づいて、車両200の姿勢、例えば、ピッチ方向に対する角度である変動量を算出する(S203)。具体的には、変動量算出部52mは、角速度を積分演算することによって、車両200のピッチ角を算出する。算出した変動量は、オフセット除去フィルタ52eへ送られる。
 振動検出部52cのオフセット除去フィルタ52eは、検出した変動量のオフセット成分を除去し、その結果、変動量の低周波数帯域成分も減衰する。例えば、変動量が図7A(a)に示すような変動をした場合、オフセット除去フィルタ52eは、変動量に含まれるオフセット成分OF1を除去することで、図7A(b)に示すような0値を振幅の中心として振動する変動量を得ることができる。オフセット成分OF1が除去され、低周波数帯域成分が減衰された変動量は、閾値クロス検出部52fへ送られる。なお、オフセット除去フィルタ52eは、振動検出部52cが姿勢検出装置40から取得した姿勢変化量から先にオフセット成分を除去し、その後で、変動量算出部52mがオフセットを除去された姿勢変化量から変動量を算出してもよい。
 閾値クロス検出部52fは、入力された変動量が所定の閾値をまたいだことを検出する。例えば、変動量が、図7B(a)に示すような変動をした場合、閾値クロス検出部52fは、例えば、閾値であるゼロ値未満からゼロ値以上に変化したことを検出し、図7B(b)に示すように検出信号をカウンタ52gへ出力する。なお、閾値クロス検出部52fは、検出周期を半分にして、変動量が閾値であるゼロ値未満からゼロ値以上への増加変化に加えて、ゼロ値以上からゼロ値未満への減少変化もカウントしてもよい。
 カウンタ52gは、予め定められた期間に入力される検出信号の数を計測する。予め定められた期間は、例えば、時間窓のような形態でもよく、直近の所定時間でもよい。
 振動判定部52hは、変動量において特定周波数帯域の成分が発生しているか否かを判定する(S204)。振動判定部52hは、例えば、予め定められた期間内に変動量が閾値をまたいだ回数とカウント閾値とを比較することで、変動量に特定周波数帯域の成分が含まれているか否かを判定する。振動判定部52hは、カウンタ52gがカウントした回数とカウント閾値とを比較する。
 振動判定部52hは、カウンタ52gがカウントした回数がカウント閾値よりも小さいと判定すると、変動量において一定時間以上特定の周波数帯域成分が含まれていないと判定し、この判定結果により車両200の振動に特定周波数の振動が含まれていないと認識する(S205のNo)。この場合、振動判定部52hは、補正量算出部52bに、補正量を算出させる指示を送る。
 補正量算出部52bは、ずれ量に基づいて、虚像Ivの表示位置の補正量Cを算出する(S206)。具体的には、補正量算出部52bは、車両200のずれ量を画素数に換算して、画素数で示されるずれ量を相殺するような補正量Cを決定する。
 本実施形態では、補正量Cを「補正量C=-(現時点のずれ量)+(ゼロリセット時のずれ量)」として定義する。以下、ゼロリセット時のずれ量をずれオフセット値とも称する。ずれオフセット値の初期値は、例えばゼロである。ずれオフセット値は、移動体の基準となる姿勢状態において検出されるずれ量である。ステップS206の補正量の算出において、ずれ量算出部52aが、角度単位で、「-現時点の姿勢(角度)+ずれオフセット値(角度)」を算出して補正量算出部52bに出力し、補正量算出部52bは入力した値を画素数に換算してもよい。また、ずれ量算出部52aは、現時点の姿勢(角度)を補正量算出部52bに出力し、補正量算出部52bが、姿勢(角度)を画素数に換算した後で、「-現時点のずれ量(画素数)+ずれオフセット値(画素数)」を算出してもよい。
 補正制御部52は、補正量算出部52bが算出した補正量Cを表示処理装置30へ出力する(S207)。これにより、表示処理装置30が基準位置P0と補正量Cとに基づいて、投影装置10に虚像Ivを表示させ、虚像Ivが「基準位置P0+補正量C」で示される位置に表示される。
 ステップS205において、振動判定部52hは、カウンタ52gがカウントした回数がカウント閾値以上であると判定すると、変動量に特定周波数の振動が含まれていると認識する(S205のYes)。この場合、変動量に特定周波数の振動が含まれていることを示す信号が補正量調整部52dへ送られる。
 補正量調整部52dは、振動判定部52hから変動量に特定周波数の振動が含まれていることを示す信号が送られてくると補正量Cをゼロに設定する(S209)。具体的には、例えば、ずれ量算出部52aが、ずれオフセット値(角度)を「ずれオフセット値(角度)=姿勢(角度)」に設定する。これにより、ずれ量算出部52aから補正量算出部52bに、「-姿勢(角度)+ずれオフセット値(角度)」で示される角度、すなわち0度が出力される。又は、補正量算出部52bは、ずれ量算出部52aが算出した姿勢変化量(角度)を画素数(ずれ画素数)に換算し、ずれオフセット値(画素数)を「ずれオフセット値(画素数)=ずれ画素数」に設定する。これにより、「-ずれ量(画素数)+ずれオフセット値(画素数)」で算出される補正量Cがゼロになる。補正制御部52は、補正量算出部52bがゼロに設定された補正量Cを表示処理装置30へ出力する(S207)。図8Aは、補正量Cをゼロにリセットする一例を説明する説明図である。例えば、変動量に特定周波数帯域の成分が含まれていると判定されたときから補正量Cが即時にゼロにリセットされ、表示位置が基準位置P0に戻される。
 補正制御部52は、補正処理を継続するか否かを判断する(S208)。例えば、車両200のエンジンが停止したとき、又は虚像Ivの表示の終了を指示するためのボタンが操作されたときなどに、補正制御部52は補正処理を終了する。補正処理を継続する場合は、ステップS201に戻る。
 以上のように、本実施形態では、変動量に特定周波数帯域の成分が発生しているときに、「ずれオフセット値=ずれ量」に設定することで、補正量Cをゼロにする。換言すると、変動量に特定周波数帯域の成分が発生しているときに、表示位置が基準位置P0にリセットされる。
4.効果及び補足等
 本開示の振動検出システム60は、車両200の姿勢変化量を検出する姿勢検出装置40と、姿勢変化量を基に算出された変動量が予め定められた閾値をまたいだことを検出する閾値クロス検出部52fと、変動量が単位時間において閾値をまたいだ回数を計測するカウンタ52gと、カウンタ52gが計測した回数を基に車両200の姿勢変化において一定時間以上特定の周波数帯域成分が含まれているか否かを判定する振動判定部52hと、を備える。
 走路の状況によって車両200に発生する振動の周波数帯域及び振幅が様々に変化するので、例えば、ハイパスフィルタ、ローパスフィルタ、バンドパスフィルタ等のフィルタ処理により特定の周波数帯域成分を有する振動が一定時間以上発生しているかを判定する場合、振動の振幅を判定基準にいれなければならない。しかしながら、振動の振幅を予想するのが困難であるし、また、フィルタ処理の最適な閾値を設定することが困難である。これに対して、本開示によれば、カウンタ値により変動量に含まれる高周波帯域成分を検出するので、振動の振幅については判定基準にいれる必要がなく、高周波帯域成分を精度良く検出することができる。
 また、本開示の表示システム100は、虚像の表示を制御する表示処理装置30と、車両200の姿勢変化量を検出する姿勢検出装置40と、車両200の姿勢変化量に基づいて特定の周波数帯域成分を有する車両200の姿勢変化が一定時間以上継続して発生しているか否かを判定する振動検出部52cを有する補正処理装置50と、を備える。補正処理装置50は、振動検出部52cが特定の周波数帯域成分を有する車両200の姿勢変化が一定時間以上継続して発生していないと判定したとき、姿勢変化量に基づいて虚像Ivの表示位置の補正量Cを更新する。補正処理装置50は、振動検出部52cが特定の周波数帯域成分を有する車両200の姿勢変化が一定時間以上継続して発生していると判定したとき、補正量Cの符号を前回に判定したときの補正量Cの符号と同じとし、かつ、補正量Cの絶対値を前回に判定したときの補正量Cの絶対値以下にする。また、振動検出部52cは、姿勢変化量または姿勢変化量を基に算出された変動量が予め定められた閾値をまたいだことを検出する閾値クロス検出部52fと、姿勢変化量または変動量が単位時間において閾値をまたいだ回数を計測するカウンタ52gと、カウンタ52gが計測した回数がカウント閾値以上のとき、特定の周波数帯域成分を有する車両200の姿勢変化が一定時間以上継続して発生していると判定する振動判定部52hと、を有する。表示処理装置30は、補正量Cに基づいて虚像の表示位置を制御する。
 これにより、特定の周波数帯域成分を有する車両200の姿勢変化に起因する表示ズレの拡大を抑制でき、虚像Ivを適切に表示することができる。車両200の姿勢変化が一定時間以上継続して発生している場合に、車両200の姿勢変化量に対応する補正量の振動を調整するので、高周波成分の振動が補正により増大して表示されることにより乗員Dが感じる不快感及び誤認識を抑制することができる。図8Bは、周波数特性において特定周波数検出による補正の効果を示す説明図である。図8Bにおいて、実線のグラフは、特定周波数帯域の振動検出による補正量の調整を行った場合の表示ズレの補正誤差量を示し、破線のグラフは、特定周波数帯域の振動検出による補正量の調整を行わなかった場合の表示ズレの補正誤差量を示す。図8Bは横軸が対数目盛りである。図8Bに示すように、例えば、(1)式の周波数帯域下限Fである閾値Tfよりも高い5Hz近傍で発生している特定周波数での、表示ズレの誤差補正振幅が減少している。
 図8Cは、時間波形において特定周波数検出による補正の効果を示す説明図である。図8Cには、特定周波数成分が発生している期間T1と、特定周波数成分が検知されている期間T2とが示されている。破線のグラフは、特定周波数帯域の振動検出による補正量の調整を行わなかった場合の表示ズレの補正誤差量を示し、実線のグラフは、特定周波数帯域の振動検出による補正量の調整を行った場合の表示ズレの補正誤差量を示す。振動検出による補正量の調整を行っていない場合と比べて、振動検出による補正量の調整を行っている方が、期間T2における表示ズレの補正誤差量が低減されている。
 また、振動検出部52cは、カウンタ値により変動量に高周波帯域成分が含まれていることを検出しているので、振動の振幅については判定基準にいれる必要がなく、変動量に高周波帯域成分が含まれていることを精度良く検出することができる。
 また、補正処理装置50は、姿勢変化量に基づいて虚像の表示位置の補正量を算出する補正量算出部52bと、補正量を調整する補正量調整部52dと、を備え、振動検出部52cは、姿勢変化量に基づいて変動量を算出する変動量算出部52mを備え、補正量調整部52dは、振動判定部52hの判定結果に基づいて補正量を調整する。
 また、車両200に高周波振動が発生している間は補正量Cをゼロに設定することによって、車両の振動分の表示ズレは発生するが、表示ズレが拡大することを防止することができる。すなわち、外景に対する虚像Ivの振動(ズレ)を補正した場合に、補正量算出から表示までの遅延時間が大きい場合、補正をすることで逆に表示ズレが大きくなるのを防止することができる。これにより、視認性悪化や不快感増大等の虚像の表示品位への影響が大きい高周波振動に起因した表示ズレの拡大を防止することができる。
 また、振動検出部52cが、変動量の、特定の周波数帯域よりも低い遮断周波数に設定されたオフセット除去フィルタ52eを備えることで、変動量のオフセット誤差による影響を抑制することができ、高周波数帯域成分の検出精度を向上することができる。
 また、本実施形態の表示システム100は、虚像を表す光を投影する投影装置10をさらに含む。本実施形態において、移動体は、車両であり、像は、車両のフロントガラスの前方に表示される虚像である。本実施形態によれば、走路の路面状態による虚像の表示位置の補正ズレの拡大を抑制することができる。
 なお、ステップS209において、補正量Cをゼロに設定する方法は任意である。本実施形態では、「補正量C=-ずれ量+オフセット値」としたが、補正量Cを「補正量C=-ずれ量」としてもよい。この場合、ずれ量自体をゼロにすることで、補正量Cをゼロに設定する。具体的には、ジャイロセンサ41の出力に基づいて車両姿勢を算出する場合に、ずれ量算出部52aにおいて算出される角速度の積分量をゼロに設定する。
 このように、補正処理装置50は、補正量Cをゼロに設定するので、虚像Ivが一定の位置に保たれる。虚像Ivの位置が車両の振動分の表示ズレは発生するが、補正により表示ズレが拡大しないので、乗員Dが、虚像Ivの表示位置ずれの急峻な振動変化を見ることもなく、疲れを覚えることを抑制することができる。すなわち、虚像の表示品位への影響が大きい高周波振動に起因した表示ズレの拡大を抑制し、表示位置の振動による見た目の違和感を抑制することができる。
 また、図6のステップS209において、補正量Cをゼロに設定する代わりに、補正量Cの大きさをゼロにならないように予め定められた量小さくしてもよい。この場合、補正処理装置50は、補正量Cの大きさがゼロにならないように、補正量Cの大きさを予め定められた量(補正量Cよりも小さな値)小さくしてもよい。具体的には、例えば、補正量算出部52bは、「補正量C=-(ずれ量-オフセット値)」において、「オフセット値=予め定められた量」に設定する。予め定められた量は、虚像Ivの表示領域220内の表示位置に応じて、設定されてもよい。また、補正量Cを段階的に小さくしてもよい。なお、小さくする回数は3回以上でもよいし、回数によって、オフセット値を変えてもよい。これにより、補正量Cを急にゼロにするよりも、虚像Ivの表示位置の変化をより抑えて見た目の違和感を低減することができる。
(第2実施形態)
 第1実施形態では、変動量において特定周波数帯域の成分が含まれている場合、補正量Cをゼロに設定していた。第2実施形態では、変動量において特定周波数帯域の成分が含まれている場合に、補正量Cの更新を停止する。したがって、第2実施形態では、振動判定部52hが特定の周波数帯域成分を有する車両200の姿勢変化が一定時間以上継続して発生していると判定したとき、補正量調整部52dは、補正量の符号を前回に判定したときの補正量の符号と同じとし、補正量の絶対値を前回に判定したときの補正量と同じ値に維持する。
 図9は、第2実施形態における補正処理の流れ示すフローチャートである。第2実施形態の図9のステップS201~S207は、第1実施形態と同一である。第2実施形態において、第1実施形態と同様にステップS201~S204が実施される。
 第2実施形態では、変動量において特定周波数帯域の成分が含まれている場合(S205でYes)、補正量調整部52dは補正量算出部52bが算出した補正量で補正量Cを更新しない(S211)。したがって、図10に示すように、補正量Cの符号が前回に判定したときの補正量の符号と同じとなり、補正量Cの絶対値を前回に判定したときの補正量と同じ値に維持される。つまり、特定周波数(高周波数)帯域の成分が含まれていると判定されたときの補正量Cが維持される。特定周波数帯域の成分が含まれていないと判定されると、算出した補正量Cが出力されるので、車両200の振動によりズレる虚像Ivの表示位置が補正される。この後、第1実施形態と同様にステップS207、及びS208が実施される。
 このように、変動量に特定周波数帯域の成分が検出されても、虚像Ivの表示位置が基準位置に急激に移動することがないので、見た目の違和感を低減することができる。また、車両200が特定周波数の振動中であるときは、虚像Ivの表示位置が一定であるので、表示位置のズレている量が変化しないため、見る人に疲れが起きるのを低減することができる。
(第3実施形態)
 第1実施形態では、変動量において特定周波数帯域の成分が含まれている場合、補正量Cをゼロに設定していた。第3実施形態では、変動量において特定周波数帯域の成分が含まれている場合、補正量に係数を乗算して更新することで、補正量Cの振幅をより小さくすることができる。したがって、第3実施形態では、振動判定部52hが特定の周波数帯域成分を有する車両200の姿勢変化が一定時間以上継続して発生していると判定したとき、補正量の絶対値を前回に判定したときの補正量の絶対値より小さい値に設定する。
 図11は、第3実施形態における表示システム100Aの内部構成を示すブロック図である。第3実施形態における表示システム100Aは、第1実施形態における表示システム100における補正処理装置50の補正制御部52に、補正量調整部としての係数乗算部52kを加えた構成である。この点及び以下に記載した点以外の構成は、第3実施形態における表示システム100Aと第1実施形態における表示システム100とは同じである。
 図12は、第3実施形態における補正処理を示している。第3実施形態の図12のステップS201~S208は、第1実施形態の図11のステップS201~S208と同一である。第3実施形態において、第1実施形態と同様にステップS201及びS202が実施される。図12において、ステップS202のずれ量算出とステップS203の変動量算出との間にステップS206の補正量算出を示しているが、ステップS206と、ステップS203~S205の変動量の算出から判定までは並行して行うことができる。
 第3実施形態では、変動量において特定周波数の振動が発生している場合(S205でYes)、係数乗算部52kは、算出した補正量に係数を乗算して補正量を更新する。係数は0より大きく1未満の数であり、例えば、0.5である。これにより、変動量に特定周波数帯域の成分が含まれている間は、補正される虚像Ivの表示位置の振幅が小さくなるので、虚像Ivの振動をより目立ちにくくすることができる。この後、第1実施形態と同様にステップS207、及びS208が実施される。なお、係数乗算部52kは、算出された補正量に係数を乗算する代わりに、算出されたずれ量に係数を乗算してもよい。この場合、補正量算出部52bは、係数を乗算されて小さい値になったずれ量に対応する補正量を算出する。
 また、ステップS205のYesの場合、係数乗算部52kは、振動判定部52hが前回に判定したときの補正量に0より大きく1未満の係数を乗算して補正量を更新してもよい。これにより、変動量に特定周波数帯域の成分が含まれている間は、補正される虚像Ivの表示位置の振幅が小さくなるので、虚像Ivの振動をより目立ちにくくすることができる。
 また、ステップS205のYesの場合、係数乗算部52kは、振動判定部52hが前回に判定したときの補正量の符号と同じとし、かつ、前回に判定したときの補正量の絶対値に0より大きく1未満の係数を乗算した値を今回の補正量として更新してもよい。したがって、振動判定部52hが特定の周波数帯域成分を有する車両200の姿勢変化が一定時間以上継続して発生していると判定したとき、補正制御部52Aは補正量の符号を前回に判定したときの補正量の符号と同じとし、かつ、補正量の絶対値を前回に判定したときの補正量の絶対値より小さい値に設定する。これにより、変動量に特定周波数帯域の成分が含まれている間は、補正される虚像Ivの表示位置の振幅が大幅に低減され、虚像Ivの振動をより目立ちにくくすることができる。
(第4実施形態)
 第1実施形態では、車両200の特定周波数の振動を検出し、この振動に応じて変動量を補正していたが、第4実施形態は、車両200のような移動体に限らず、その場で姿勢変化や振動する可動体であってもよい。移動体は、その場で動く変位可能な可動体も含む。このような可動体の例として、ユーザの手振れにより変位されるデジタルカメラが挙げられ、第4実施形態の振動検出システム60は、このような可動体300の振動を検出する。
 図13は、第4実施形態における振動検出システム60の構成を示すブロック図である。可動体300は、振動検出システム60を備える。振動検出システム60は、姿勢検出装置40と、振動検出部52cとを備える。姿勢検出装置40と、振動検出部52cの構成は、第1実施形態と同様なので説明を省略する。なお、可動体300として、例えば、撮像部が挙げられ、デジタルカメラの他にも、車載カメラが挙げられる。
 第4実施形態の振動検出システム60によれば、可動体300の特定周波数帯域の振動を精度よく検出することができるので、振動補正に利用することができる。
(他の実施形態)
 以上のように、本出願において開示する技術の例示として、上記実施形態を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施形態にも適用可能である。そこで、以下、他の実施形態を例示する。
 上記実施形態では、振動検出部52cはオフセット除去フィルタ52eを備えていたが、省略してもよい。この場合、閾値クロス検出部52fは、変動量にオフセット成分と高周波数成分とが存在する状態で、変動量の振動が閾値をまたぐのを検出する。この場合、図14(a)に示すように、閾値TAをオフセット値に設定することで、変動量に特定周波数の振動が含まれるのを検出することができる。また、閾値を2つ用いると、オフセット除去フィルタ52eを省略してもオフセット誤差による正負の符号を考慮することができる。例えば、図14(a)及び図14(b)に示すように、正の符号を有する閾値TAと負の符号を有する閾値TBを用いることで、変動量に正負のオフセット誤差が姿勢変動量に発生したとしても、それぞれの閾値TA、TBをまたぐことを検出することができ、変動量に特定周波数帯域の成分が含まれることを検出することができる。
 上記実施形態では、補正制御部52がずれ量算出部52aを備え、姿勢検出装置40が出力する角速度情報を角度情報へ積分していたが、これに限らない。図15に示すように、姿勢検出装置40がずれ量算出部52aを有し、姿勢検出装置40から角度情報を補正処理装置50へ送信してもよい。また、ジャイロセンサ41が検出するピッチ角速度、ロール角速度、およびヨー角速度等の姿勢変化量をそのまま変動量として、振動検出部52cが特定の周波数帯域の振動を検出する場合、変動量算出部52mを省略してもよい。この場合、オフセット除去フィルタ52eおよび閾値クロス検出部52fは、姿勢変化量である角速度情報を変動量として、それぞれの処理を行う。
 また、姿勢検出装置40のジャイロセンサ41がピッチ角、ロール角、ヨー角をそれぞれ直接検出する場合、ジャイロセンサ41が検出する姿勢変化量をそのまま変動量およびずれ量として補正制御部52は処理してもよい。この場合、変動量算出部52m及びずれ量算出部52aを省略することができる。
 上記実施形態では、カウント閾値が1つであったが、2つのカウント閾値を設定してもよい。複数のカウント閾値によって、ずれ量にオフセットがあった場合の対応等に活用することができる。
 上記実施形態では、投影装置10、情報取得装置20、表示処理装置30、姿勢検出装置40、及び補正処理装置50がそれぞれ別個の装置である場合を例示した。しかし、複数の装置が一つの装置として一体的に形成されてもよい。例えば、表示処理装置30と補正処理装置50が一つの装置として一体的に形成されてもよい。情報取得装置20と表示処理装置30とが一つの装置として一体的に形成されてもよい。姿勢検出装置40と補正処理装置50が一つの装置として一体的に形成されてもよい。別個に形成された装置は、有線又は無線により互いに通信可能に接続される。なお、投影装置10、情報取得装置20、表示処理装置30、姿勢検出装置40、及び補正処理装置50の全てが一つの装置として形成されてもよい。この場合、通信部31,51はなくてもよい。
 上記実施形態では、情報取得装置20がGPSモジュール21を含む例について説明した。しかし、情報取得装置20は、車両200から周囲の対象物までの距離と方向を計測する距離センサを含んでもよく、計測した距離と方向を示す距離情報を表示処理装置30に出力してもよい。情報取得装置20は、車両200の速度を検出する車速センサを含んでもよいし、ナビゲーションシステムを含んでもよい。情報取得装置20は、GPSモジュール21、距離センサ、及びカメラ、画像処理装置、加速度センサ、レーダー、音波センサ、及びADAS(Advanced Driver-Assistance Systems)の白線検知装置などのうち、1つ以上を含んでもよい。この場合、情報取得装置20としての機能を有するGPSモジュール21、距離センサ、及びカメラなどは、一つの装置に内蔵されてもよいし、個別に車両200に取り付けられてもよい。
 上記実施形態では、姿勢検出装置40がジャイロセンサ41を含む例について説明した。姿勢検出装置40は、車両200の加速度を検出する加速度センサをさらに含んでもよく、検出した加速度を姿勢変化量としてさらに出力してもよい。姿勢検出装置40は、路面からの高さを検出する車高センサをさらに含んでもよく、検出した高さを姿勢変化量としてさらに出力してもよい。姿勢検出装置40は、他の公知のセンサをさらに含んでもよい。姿勢検出装置40は、ジャイロセンサ41に加えて、加速度センサ、及び車速センサなどのうちの1つ以上を含んでもよい。この場合、姿勢検出装置40としての機能を有するジャイロセンサ41、加速度センサ、及び車高センサなどは、一つの装置に内蔵されてもよいし、個別に車両200に取り付けられてもよい。
 上記実施形態では、移動体が、自動車などの車両200である場合やデジタルカメラなどの可動体について説明した。しかし、移動体は車両200に限らない。移動体は、地上を走行する乗り物であってもよく、例えば、列車又はオートバイであってもよい。
 上記実施形態では、移動体の前方に像を表示する場合について説明した。しかし、像を表示する位置は、前方に限らない。例えば、像は、移動体の側面方向や後方に表示されてもよい。
 上記実施形態では、表示システム100がHUDシステムである例について説明した。しかし、表示システム100はHUDシステムでなくてもよい。表示システム100は、投影装置10に代えて、液晶ディスプレイ又は有機ELディスプレイを備えてもよい。表示システム100は、スクリーン及びプロジェクタを含んでもよい。
(実施形態の概要)
 (1)本開示の表示システムは、像の表示を制御する表示処理装置と、移動体の姿勢変化量を検出する姿勢検出装置と、姿勢変化量に基づいて特定の周波数帯域成分を有する移動体の姿勢変化が一定時間以上継続して発生しているか否かを判定する振動検出部を有する補正処理装置と、を備える。補正処理装置は、振動検出部が特定の周波数帯域成分を有する移動体の姿勢変化が一定時間以上継続して発生していないと判定したとき、姿勢変化量に基づいて像の表示位置の補正量を更新し、振動検出部が特定の周波数帯域成分を有する移動体の姿勢変化が一定時間以上継続して発生していると判定したとき、補正量の絶対値を前回に判定したときの補正量の絶対値以下にする。振動検出部は、姿勢変化量または姿勢変化量を基に算出された変動量が予め定められた閾値をまたいだことを検出する閾値クロス検出部と、姿勢変化量または変動量が単位時間において閾値をまたいだ回数を計測するカウンタと、カウンタが計測した回数がカウント閾値以上のとき、特定の周波数帯域成分を有する移動体の姿勢変化が一定時間以上継続して発生していると判定する振動判定部と、を有する。表示処理装置は、補正量に基づいて像の表示位置を制御する。
 これにより、特定の周波数帯域成分を有する移動体の姿勢変化に起因する表示ズレの拡大を抑制でき、像を適切に表示することができる。移動体の姿勢変化が一定時間以上継続して発生している場合に、補正量の絶対値を前回に判定したときの補正量の絶対値以下にするので、移動体の姿勢変化量に対応する補正量の振動に対して、高周波成分の振動が補正により増大して表示されることを抑制することができ、像を見る人が感じる不快感及び誤認識を抑制することができる。
 (2)(1)の表示システムにおいて、補正処理装置は、姿勢変化量に基づいて像の表示位置の補正量を算出する補正量算出部と、補正量を調整する補正量調整部と、を備え、振動検出部は、姿勢変化量に基づいて変動量を算出する変動量算出部を備え、補正量調整部は、振動判定部の判定結果に基づいて前記補正量を調整する。
 (3)(2)の表示システムにおいて、振動検出部は、姿勢変化量または変動量の、特定の周波数帯域よりも低い低周波数帯域成分を除去するオフセット除去フィルタを備える。
 (4)(2)または(3)の表示システムにおいて、補正量調整部は、振動判定部により特定の周波数帯域成分を有する前記移動体の姿勢変化が一定時間以上継続して発生していると判定された場合、補正量をゼロにする。
 (5)(2)または(3)の表示システムにおいて、補正量調整部は、振動判定部により特定の周波数帯域成分を有する前記移動体の姿勢変化が一定時間以上継続して発生していると判定された場合、補正量の更新を停止する。
 (6)(2)または(3)の表示システムにおいて、補正量調整部は、振動判定部により特定の周波数帯域成分を有する前記移動体の姿勢変化が一定時間以上継続して発生していると判定された場合、補正量に0より大きく1未満の係数を乗算する。
 (7)(1)から(6)のいずれかの表示システムにおいて、閾値クロス検出部は、入力値が閾値未満から閾値以上、または、閾値以上から閾値未満に変化したことを検出する。
 (8)(1)から(7)のいずれかの表示システムにおいて、閾値はゼロまたは姿勢検出装置のオフセット値を示す特定値である。
 (9)(1)から(8)のいずれかの表示システムにおいて、特定の周波数帯域成分は、予め定められた周波数よりも高い高周波帯域の成分である。
 (10)(1)から(8)のいずれかの表示システムにおいて、前記特定の周波数帯域成分は、以下の関係式を満たす周波数Fよりも高い高周波帯域の成分である。
 F=1/(2×T)
 ここで、Tは、像の補正量算出から表示までの合計遅延時間である。
 (11)(1)から(8)のいずれかの表示システムにおいて、特定の周波数帯域成分は、2.5Hzよりも高い高周波帯域の成分である。
 (12)(1)から(11)のいずれかの表示システムにおいて、像を表す光を投影する投影装置をさらに含む。
 (13)(1)から(12)のいずれかの表示システムにおいて、移動体は、車両であり、像は、車両のフロントガラスの前方に表示される虚像である。
 (14)本開示の振動検出システムは、移動体の姿勢変化量を検出する姿勢検出装置と、姿勢変化量または姿勢変化量を基に算出された変動量が予め定められた閾値をまたいだことを検出する閾値クロス検出部と、姿勢変化量または変動量が単位時間において閾値をまたいだ回数を計測するカウンタと、カウンタが計測した回数がカウント閾値以上のとき、特定の周波数帯域成分を有する移動体の姿勢変化が一定時間以上継続して発生していると判定する振動判定部と、を備える。
 これにより、姿勢変化量または変動量に特定の周波数帯域成分を有する振動が一定時間以上発生している間は、姿勢変化量に対応する補正量を調整するので、特定の周波数帯域成分を有する振動に起因する補正誤差の拡大を抑制することができる。
 (15)(14)の振動検出システムにおいて、姿勢変化量に基づいて変動量を算出する変動量算出部を備える。
 (16)(14)の振動検出システムにおいて、特定の周波数帯域成分は、予め定められた周波数よりも高い高周波帯域の成分である。
 本開示に記載の表示システムは、ハードウェア資源、例えば、プロセッサ、メモリ、及びプログラムとの協働などによって、実現される。
 本開示は、虚像をフロントガラスの前方に表示する表示システムに適用可能である。
  10   投影装置
  20   情報取得装置
  21   GPSモジュール
  30   表示処理装置
  31、51 通信部
  32   表示制御部
  33   記憶部
  33i  画像
  40   姿勢検出装置
  41   ジャイロセンサ
  50   補正処理装置
  52   補正制御部
  52a  ずれ量算出部
  52b  補正量算出部
  52c  振動検出部
  52d  補正量調整部
  52e  オフセット除去フィルタ
  52f  閾値クロス検出部
  52g  カウンタ
  52h  振動判定部
  52k  係数乗算部
  60   振動検出システム
  100  表示システム
  200  車両
  210  フロントガラス
  220  表示領域
   Iv  虚像
   Lc  表示光
   P0  基準位置
   P1  対応する位置

Claims (16)

  1.  像の表示を制御する表示処理装置と、
     移動体の姿勢変化量を検出する姿勢検出装置と、
     前記姿勢変化量に基づいて特定の周波数帯域成分を有する前記移動体の姿勢変化が一定時間以上継続して発生しているか否かを判定する振動検出部を有する補正処理装置と、を備え、
     前記補正処理装置は、前記振動検出部が特定の周波数帯域成分を有する前記移動体の姿勢変化が一定時間以上継続して発生していないと判定したとき、前記姿勢変化量に基づいて前記像の表示位置の補正量を更新し、前記振動検出部が特定の周波数帯域成分を有する前記移動体の姿勢変化が一定時間以上継続して発生していると判定したとき、前記補正量の絶対値を前回に判定したときの補正量の絶対値以下にし、
     前記振動検出部は、
      前記姿勢変化量または前記姿勢変化量を基に算出された変動量が予め定められた閾値をまたいだことを検出する閾値クロス検出部と、
      前記姿勢変化量または前記変動量が単位時間において前記閾値をまたいだ回数を計測するカウンタと、
      前記カウンタが計測した回数がカウント閾値以上のとき、前記特定の周波数帯域成分を有する前記移動体の姿勢変化が一定時間以上継続して発生していると判定する振動判定部と、を有し、
     前記表示処理装置は、前記補正量に基づいて前記像の表示位置を制御する、
     表示システム。
  2.  前記補正処理装置は、
     前記姿勢変化量に基づいて前記像の表示位置の補正量を算出する補正量算出部と、
     前記補正量を調整する補正量調整部と、
    を備え、
     前記振動検出部は、前記姿勢変化量に基づいて前記変動量を算出する変動量算出部を備え、
     前記補正量調整部は、前記振動判定部の判定結果に基づいて前記補正量を調整する、
     請求項1に記載の表示システム。
  3.  前記振動検出部は、前記姿勢変化量または前記変動量の、前記特定の周波数帯域よりも低い遮断周波数に設定されたオフセット除去フィルタを備える、
     請求項2に記載の表示システム。
  4.  前記補正量調整部は、前記振動判定部により特定の周波数帯域成分を有する前記移動体の姿勢変化が一定時間以上継続して発生していると判定された場合、前記補正量をゼロにする、
     請求項2または3に記載の表示システム。
  5.  前記補正量調整部は、前記振動判定部により特定の周波数帯域成分を有する前記移動体の姿勢変化が一定時間以上継続して発生していると判定された場合、前記補正量の更新を停止する、
     請求項2または3に記載の表示システム。
  6.  前記補正量調整部は、前記振動判定部により特定の周波数帯域成分を有する前記移動体の姿勢変化が一定時間以上継続して発生していると判定された場合、前記補正量に0より大きく1未満の係数を乗算する、
     請求項2または3に記載の表示システム。
  7.  前記閾値クロス検出部は、入力値が前記閾値未満から前記閾値以上、または、前記閾値以上から前記閾値未満に変化したことを検出する、
     請求項1から6のいずれか1つに記載の表示システム。
  8.  前記閾値はゼロまたは前記姿勢検出装置のオフセット値を示す特定値である、
     請求項1から7のいずれか1つに記載の表示システム。
  9.  前記特定の周波数帯域成分は、予め定められた周波数よりも高い高周波帯域の成分である、
     請求項1から8のいずれか1つに記載の表示システム。
  10.  前記特定の周波数帯域成分は、以下の関係式を満たす周波数Fよりも高い高周波帯域の成分である、
     F=1/(2×T)
     ここで、
     Tは、像の補正量算出から表示までの合計遅延時間である、
     請求項1から8のいずれか1つに記載の表示システム。
  11.  前記特定の周波数帯域成分は、2.5Hzよりも高い高周波帯域の成分である、
     請求項1から8のいずれか1つに記載の表示システム。
  12.  前記像を表す光を投影する投影装置をさらに含む、
     請求項1から11のいずれか1つに記載の表示システム。
  13.  前記移動体は、車両であり、
     前記像は、車両のフロントガラスの前方に表示される虚像である、
     請求項1から12のいずれか1つに記載の表示システム。
  14.  移動体の姿勢変化量を検出する姿勢検出装置と、
     前記姿勢変化量または前記姿勢変化量を基に算出された変動量が予め定められた閾値をまたいだことを検出する閾値クロス検出部と、
     前記姿勢変化量または前記変動量が単位時間において前記閾値をまたいだ回数を計測するカウンタと、
     前記カウンタが計測した回数がカウント閾値以上のとき、特定の周波数帯域成分を有する移動体の姿勢変化が一定時間以上継続して発生していると判定する振動判定部と、を備える、
     振動検出システム。
  15.  前記姿勢変化量に基づいて前記変動量を算出する変動量算出部を備える、
     請求項14に記載の振動検出システム。
  16.  前記特定の周波数帯域成分は、予め定められた周波数よりも高い高周波帯域の成分である、
     請求項14に記載の振動検出システム。
PCT/JP2021/019535 2020-06-08 2021-05-24 表示システム、及び、振動検出システム WO2021251117A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2022530104A JPWO2021251117A1 (ja) 2020-06-08 2021-05-24
US18/072,977 US20230168502A1 (en) 2020-06-08 2022-12-01 Display system and vibration detection system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020099653 2020-06-08
JP2020-099653 2020-06-08

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/072,977 Continuation US20230168502A1 (en) 2020-06-08 2022-12-01 Display system and vibration detection system

Publications (1)

Publication Number Publication Date
WO2021251117A1 true WO2021251117A1 (ja) 2021-12-16

Family

ID=78846014

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/019535 WO2021251117A1 (ja) 2020-06-08 2021-05-24 表示システム、及び、振動検出システム

Country Status (3)

Country Link
US (1) US20230168502A1 (ja)
JP (1) JPWO2021251117A1 (ja)
WO (1) WO2021251117A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07324941A (ja) * 1994-06-02 1995-12-12 Matsushita Electric Ind Co Ltd オフセットドリフト補正装置
JP2005172662A (ja) * 2003-12-12 2005-06-30 Denso Corp 車両用角速度センサの補正診断装置
JP2011059020A (ja) * 2009-09-11 2011-03-24 Chiba Inst Of Technology 三次元姿勢推定装置、三次元姿勢推定方法及び三次元姿勢推定プログラム
JP2012042285A (ja) * 2010-08-17 2012-03-01 Ono Sokki Co Ltd ヨー角初期化異常判定装置及び方法
US20160223657A1 (en) * 2015-02-04 2016-08-04 GM Global Technology Operations LLC Vehicle sensor compensation
WO2019168157A1 (ja) * 2018-03-02 2019-09-06 パナソニックIpマネジメント株式会社 表示システム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07324941A (ja) * 1994-06-02 1995-12-12 Matsushita Electric Ind Co Ltd オフセットドリフト補正装置
JP2005172662A (ja) * 2003-12-12 2005-06-30 Denso Corp 車両用角速度センサの補正診断装置
JP2011059020A (ja) * 2009-09-11 2011-03-24 Chiba Inst Of Technology 三次元姿勢推定装置、三次元姿勢推定方法及び三次元姿勢推定プログラム
JP2012042285A (ja) * 2010-08-17 2012-03-01 Ono Sokki Co Ltd ヨー角初期化異常判定装置及び方法
US20160223657A1 (en) * 2015-02-04 2016-08-04 GM Global Technology Operations LLC Vehicle sensor compensation
WO2019168157A1 (ja) * 2018-03-02 2019-09-06 パナソニックIpマネジメント株式会社 表示システム

Also Published As

Publication number Publication date
JPWO2021251117A1 (ja) 2021-12-16
US20230168502A1 (en) 2023-06-01

Similar Documents

Publication Publication Date Title
WO2020084954A1 (ja) ヘッドアップディスプレイシステム
US20210109357A1 (en) Display system, display device and display control method
US11305692B2 (en) Display system
US20220028307A1 (en) Gradient change detection system, display system using same, and storage medium that stores program for moving body
US11945309B2 (en) Display system
WO2019168157A1 (ja) 表示システム
WO2021251117A1 (ja) 表示システム、及び、振動検出システム
US11875760B2 (en) Display system
US20210109358A1 (en) Display system
JP7394306B2 (ja) 表示システム、表示装置、及び表示制御方法
WO2020208883A1 (ja) 表示システム
TW201823683A (zh) 車輛導航顯示系統及其方法
TW201823684A (zh) 車輛導航投影系統及其方法
WO2020241094A1 (ja) 表示システム
US20230096047A1 (en) Display system
JP2021072455A (ja) 投影システム
US11922836B2 (en) Rendering system, display system, display control system, and rendering method
US11982817B2 (en) Display system
JP2020179745A (ja) 表示システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21822978

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022530104

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21822978

Country of ref document: EP

Kind code of ref document: A1