JP6522270B1 - SUPPORT IMAGE DISPLAY DEVICE, SUPPORT IMAGE DISPLAY METHOD, AND SUPPORT IMAGE DISPLAY PROGRAM - Google Patents

SUPPORT IMAGE DISPLAY DEVICE, SUPPORT IMAGE DISPLAY METHOD, AND SUPPORT IMAGE DISPLAY PROGRAM Download PDF

Info

Publication number
JP6522270B1
JP6522270B1 JP2019509570A JP2019509570A JP6522270B1 JP 6522270 B1 JP6522270 B1 JP 6522270B1 JP 2019509570 A JP2019509570 A JP 2019509570A JP 2019509570 A JP2019509570 A JP 2019509570A JP 6522270 B1 JP6522270 B1 JP 6522270B1
Authority
JP
Japan
Prior art keywords
angle
vehicle
display
support image
vibration state
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019509570A
Other languages
Japanese (ja)
Other versions
JPWO2020110206A1 (en
Inventor
長谷川 雄史
雄史 長谷川
塚原 整
整 塚原
雅浩 虻川
雅浩 虻川
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to PCT/JP2018/043627 priority Critical patent/WO2020110206A1/en
Application granted granted Critical
Publication of JP6522270B1 publication Critical patent/JP6522270B1/en
Publication of JPWO2020110206A1 publication Critical patent/JPWO2020110206A1/en
Active legal-status Critical Current

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Arrangement of adaptations of instruments
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements

Abstract

支援画像表示装置(10)は、車両(100)の視点位置から観察される風景に重畳するように表示装置に支援画像を表示する。角度予測部(22)は、車両(100)の現在の傾斜角度である実角度と、車両(100)の傾斜角度の時間変化を示す振動状態とに基づき、基準時間後の車両(100)の傾斜角度である予測角度を計算する。位置特定部(23)は、予測角度に基づき、表示装置(33)における支援画像を表示する表示位置を特定する。画像表示部(24)は、表示装置(33)における表示位置に支援画像を表示する。The support image display device (10) displays the support image on the display device so as to be superimposed on the landscape observed from the viewpoint position of the vehicle (100). The angle prediction unit (22) is configured based on the actual angle that is the current tilt angle of the vehicle (100) and the vibration state that indicates the temporal change of the tilt angle of the vehicle (100) after the reference time of the vehicle (100). Calculate the predicted angle, which is the tilt angle. The position specifying unit (23) specifies a display position for displaying the support image on the display device (33) based on the predicted angle. The image display unit (24) displays the support image at the display position on the display device (33).

Description

この発明は、車両の視点位置から観察される風景に重畳するように表示装置に支援画像を表示する技術に関する。   The present invention relates to a technology for displaying a support image on a display device so as to be superimposed on a landscape observed from the viewpoint position of a vehicle.
HUD(Head−Up Display)は、運転手の視点位置から観察される風景に任意のCG(Computer Graphics)画像を重畳表示可能であり、運転時の安全性向上のために車両への搭載が進んでいる。HUDのアプリケーションとして、路面上に道案内矢印のCG画像を重畳表示するAR(オーグメンテッドリアリティ)システムがある。
ARシステムは、走行時の車両揺れによって道案内矢印のAR表示位置にズレが発生するという課題がある。この課題を解決するためにAR表示位置のズレを補正する機能が必要となる。
HUD (Head-Up Display) can display arbitrary CG (Computer Graphics) images superimposed on the scenery observed from the driver's point of view, and mounting on vehicles is advanced to improve driving safety. It is. An application of the HUD is an augmented reality (AR) system that superimposes and displays a CG image of a route guidance arrow on a road surface.
The AR system has a problem that a shift occurs in the AR display position of the route guidance arrow due to the vehicle shaking during traveling. In order to solve this problem, it is necessary to have a function to correct the displacement of the AR display position.
AR表示位置のズレは主にピッチング方向の車両揺れ(左右を軸とする上下方向の車両傾斜)に依存する。ピッチング方向の車両傾斜はIMU(Inertial Measurement Unit)センサで計測可能であり、その計測データを使用してAR表示位置のズレを補正する技術がある(特許文献1参照)。   The deviation of the AR display position mainly depends on the vehicle shaking in the pitching direction (vehicle inclination in the vertical direction with the left and right axes). The vehicle inclination in the pitching direction can be measured by an IMU (Inertial Measurement Unit) sensor, and there is a technology for correcting the displacement of the AR display position using the measurement data (see Patent Document 1).
国際公開第2018−070252号WO 2018-070252
表示処理には遅延時間が発生する。そのため、IMUセンサで検出した傾斜角度をそのまま使用して表示位置のズレを補正すると、検出した傾斜角度と表示時の傾斜角度とが異なる場合があり、表示位置のズレの補正精度が低下してしまう。
この発明は、表示処理には遅延時間が発生する場合にも、適切な表示位置に支援画像を表示可能にすることを目的とする。
A delay time occurs in the display process. Therefore, if the deviation of the display position is corrected using the inclination angle detected by the IMU sensor as it is, the detected inclination angle may differ from the inclination angle at the time of display, and the correction accuracy of the deviation of the display position decreases. I will.
An object of the present invention is to make it possible to display an assistance image at an appropriate display position even when a delay time occurs in display processing.
この発明に係る支援画像表示装置は、
車両の視点位置から観察される風景に重畳するように表示装置に支援画像を表示する支援画像表示装置であり、
前記車両の現在の傾斜角度である実角度を計測する車両計測部と、
前記車両計測部によって計測された前記実角度と、前記車両の傾斜角度の時間変化を示す振動状態とに基づき、基準時間後の前記車両の傾斜角度である予測角度を計算する角度予測部と、
前記角度予測部によって予測された前記予測角度に基づき、前記表示装置における前記支援画像を表示する表示位置を特定する位置特定部と、
前記位置特定部によって特定された前記表示装置における前記表示位置に前記支援画像を表示する画像表示部と
を備える。
The support image display device according to the present invention is
A support image display device that displays a support image on the display device so as to be superimposed on the landscape observed from the viewpoint position of the vehicle;
A vehicle measurement unit that measures an actual angle that is a current inclination angle of the vehicle;
An angle prediction unit that calculates a predicted angle, which is an inclination angle of the vehicle after a reference time, based on the actual angle measured by the vehicle measurement unit and a vibration state that indicates a time change of the inclination angle of the vehicle;
A position specifying unit that specifies a display position at which the support image is displayed on the display device, based on the predicted angle predicted by the angle prediction unit;
And an image display unit configured to display the support image at the display position of the display device specified by the position specifying unit.
この発明では、実角度と振動状態とに基づき基準時間後の車両の傾斜角度である予測角度が計算され、予測角度に基づき支援画像を表示する表示位置が特定される。そのため、表示処理には遅延時間が発生する場合にも、適切な表示位置に支援画像を表示可能である。   According to the present invention, the predicted angle, which is the inclination angle of the vehicle after the reference time, is calculated based on the actual angle and the vibration state, and the display position at which the support image is displayed is specified based on the predicted angle. Therefore, even when a delay time occurs in the display process, the support image can be displayed at an appropriate display position.
実施の形態1に係る支援画像表示装置10の構成図。FIG. 1 is a configuration diagram of a support image display device 10 according to a first embodiment. 実施の形態1に係る傾斜角度の変化方向の予測原理の説明図。Explanatory drawing of the prediction principle of the change direction of the inclination angle which concerns on Embodiment 1. FIG. 実施の形態1に係る支援画像表示装置10の全体的な動作のフローチャート。5 is a flowchart of the overall operation of the support image display device 10 according to the first embodiment. 実施の形態1に係る角度予測処理のフローチャート。6 is a flowchart of angle prediction processing according to the first embodiment. 実施の形態1に係る支援画像を表示する表示位置の説明図。Explanatory drawing of the display position which displays the assistance image which concerns on Embodiment 1. FIG. 実施の形態1に係る傾斜角度と表示位置との関係の説明図。Explanatory drawing of the relationship between the inclination angle which concerns on Embodiment 1, and a display position. 変形例2に係る傾斜角度の変化方向の予測原理の説明図。Explanatory drawing of the prediction principle of the change direction of the inclination angle which concerns on modification 2. FIG. 変形例3に係る支援画像表示装置10の構成図。FIG. 10 is a block diagram of a support image display device 10 according to a modification 3; 実施の形態2に係る支援画像表示装置10の構成図。FIG. 7 is a block diagram of a support image display device 10 according to a second embodiment. 実施の形態2に係る支援画像表示装置10の全体的な動作のフローチャート。10 is a flowchart of the overall operation of the support image display device 10 according to the second embodiment. 実施の形態2に係る角度予測処理のフローチャート。10 is a flowchart of angle prediction processing according to Embodiment 2; 実施の形態2に係る傾斜角度の変化方向の予測原理の説明図。Explanatory drawing of the prediction principle of the change direction of the inclination angle which concerns on Embodiment 2. FIG. 実施の形態3に係る支援画像表示装置10の構成図。FIG. 10 is a block diagram of a support image display device 10 according to a third embodiment. 実施の形態3に係る支援画像表示装置10の全体的な動作のフローチャート。15 is a flowchart of the overall operation of the support image display device 10 according to the third embodiment. 実施の形態3に係る凹凸特定処理の説明図。Explanatory drawing of the uneven | corrugated specific process which concerns on Embodiment 3. FIG.
実施の形態1.
***構成の説明***
図1を参照して、実施の形態1に係る支援画像表示装置10の構成を説明する。
支援画像表示装置10は、車両100に搭載されるコンピュータである。
なお、支援画像表示装置10は、車両100又は図示された他の構成要素と、一体化した形態又は分離不可能な形態で実装されても、あるいは、取り外し可能な形態又は分離可能な形態で実装されてもよい。
Embodiment 1
*** Description of the configuration ***
The configuration of the support image display device 10 according to the first embodiment will be described with reference to FIG.
The support image display device 10 is a computer mounted on the vehicle 100.
The support image display device 10 may be mounted in an integrated or inseparable form with the vehicle 100 or the other components illustrated, or in a removable or separable form. It may be done.
支援画像表示装置10は、プロセッサ11と、記憶装置12と、通信インタフェース13と、ディスプレイインタフェース14とを備える。プロセッサ11は、信号線を介して他のハードウェアと接続され、これら他のハードウェアを制御する。   The support image display device 10 includes a processor 11, a storage device 12, a communication interface 13, and a display interface 14. The processor 11 is connected to other hardware via a signal line to control these other hardware.
プロセッサ11は、プロセッシングを行うIC(Integrated Circuit)である。プロセッサ11は、具体例としては、CPU(Central Processing Unit)、DSP(Digital Signal Processor)、GPU(Graphics Processing Unit)である。   The processor 11 is an integrated circuit (IC) that performs processing. The processor 11 is, as a specific example, a central processing unit (CPU), a digital signal processor (DSP), or a graphics processing unit (GPU).
記憶装置12は、メモリ121と、ストレージ122とを備える。メモリ121は、具体例としては、RAM(Random Access Memory)である。ストレージ122は、具体例としては、HDD(Hard Disk Drive)である。また、ストレージ122は、SD(Secure Digital)メモリカード、CF(CompactFlash)、NANDフラッシュ、フレキシブルディスク、光ディスク、コンパクトディスク、ブルーレイ(登録商標)ディスク、DVD(Digital Versatile Disk)といった可搬記憶媒体であってもよい。   The storage device 12 includes a memory 121 and a storage 122. The memory 121 is, as a specific example, a random access memory (RAM). The storage 122 is, as a specific example, an HDD (Hard Disk Drive). In addition, the storage 122 is a portable storage medium such as an SD (Secure Digital) memory card, a CF (Compact Flash), a NAND flash, a flexible disk, an optical disk, a compact disk, a Blu-ray (registered trademark) disk, and a DVD (Digital Versatile Disk). May be
通信インタフェース13は、車両100に搭載されたセンサ31とナビゲーションシステム32といった装置を接続する装置である。通信インタフェース13は、具体例としては、USB(Universal Serial Bus)、IEEE1394の接続端子である。実施の形態1では、センサ31は、IMUである。   The communication interface 13 is a device that connects devices such as the sensor 31 mounted on the vehicle 100 and the navigation system 32. The communication interface 13 is, as a specific example, a connection terminal of USB (Universal Serial Bus) or IEEE 1394. In the first embodiment, the sensor 31 is an IMU.
ディスプレイインタフェース14は、車両100に搭載された表示装置33を接続する装置である。ディスプレイインタフェース14は、具体例としては、USB、HDMI(登録商標、High−Definition Multimedia Interface)の接続端子である。
表示装置33は、車両100の前方といった車両100の視点位置から観察される車両100の周囲の風景に、情報を重畳して表示する装置である。ここでいう風景は、HUD等を介して見える実物と、カメラによって取得された映像と、コンピュータグラフィックによって作成された3次元地図とのいずれかである。視点位置とは、実施の形態1では、車両100の運転手の視点の位置である。なお、視点位置は、運転手以外の搭乗者の視点位置であってもよいし、風景をカメラによって取得した映像で表示する場合には、カメラの視点位置でもよい。実施の形態1では、表示装置33は、車両100の前方風景に、情報を重畳して表示するHUDとする。
The display interface 14 is a device that connects the display device 33 mounted on the vehicle 100. The display interface 14 is, as a specific example, a connection terminal of USB, HDMI (registered trademark, High-Definition Multimedia Interface).
The display device 33 is a device which superimposes and displays information on the scenery around the vehicle 100 observed from the viewpoint position of the vehicle 100, such as the front of the vehicle 100. The landscape referred to here is any of a real view seen through a HUD or the like, an image acquired by a camera, and a three-dimensional map created by computer graphics. In the first embodiment, the viewpoint position is the position of the viewpoint of the driver of the vehicle 100. Note that the viewpoint position may be the viewpoint position of a passenger other than the driver, or may be the viewpoint position of the camera when the landscape is displayed as an image acquired by the camera. In the first embodiment, the display device 33 is a HUD in which information is superimposed and displayed on the front scenery of the vehicle 100.
支援画像表示装置10は、機能構成要素として、車両計測部21と、角度予測部22と、位置特定部23と、画像表示部24と、道路種別取得部25とを備える。支援画像表示装置10の機能構成要素の機能はソフトウェアにより実現される。
記憶装置12のストレージ122には、支援画像表示装置10の各部の機能を実現するプログラムが記憶されている。このプログラムは、プロセッサ11によりメモリ121に読み込まれ、プロセッサ11によって実行される。これにより、支援画像表示装置10の各部の機能が実現される。
ストレージ122は、振動状態記憶部123の機能を実現する。なお、振動状態記憶部123の機能は、支援画像表示装置10の外部の記憶装置によって実現されてもよい。
The support image display device 10 includes a vehicle measurement unit 21, an angle prediction unit 22, a position specification unit 23, an image display unit 24, and a road type acquisition unit 25 as functional components. The functions of the functional components of the support image display device 10 are realized by software.
In the storage 122 of the storage device 12, a program for realizing the functions of the respective units of the support image display device 10 is stored. The program is read into the memory 121 by the processor 11 and executed by the processor 11. Thereby, the functions of the respective units of the support image display device 10 are realized.
The storage 122 implements the function of the vibration state storage unit 123. The function of the vibration state storage unit 123 may be realized by a storage device external to the support image display device 10.
プロセッサ11によって実現される各部の機能の処理の結果を示す情報とデータと信号値と変数値は、メモリ121、又は、プロセッサ11内のレジスタ又はキャッシュメモリに記憶される。以下の説明では、プロセッサ11によって実現される各部の機能の処理の結果を示す情報とデータと信号値と変数値は、メモリ121に記憶されるものとして説明する。   Information, data, signal values, and variable values indicating results of processing of functions of respective units implemented by the processor 11 are stored in the memory 121 or a register or cache memory in the processor 11. In the following description, information, data, signal values, and variable values indicating the result of the processing of the function of each unit realized by the processor 11 will be described as being stored in the memory 121.
プロセッサ11によって実現される各機能を実現するプログラムは、記憶装置12に記憶されているとした。しかし、このプログラムは、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ブルーレイ(登録商標)ディスク、DVDといった可搬記憶媒体に記憶されてもよい。   It is assumed that a program for realizing each function realized by the processor 11 is stored in the storage device 12. However, this program may be stored in a portable storage medium such as a magnetic disk, a flexible disk, an optical disk, a compact disk, a Blu-ray (registered trademark) disk, and a DVD.
図1では、プロセッサ11は、1つだけ示されている。しかし、支援画像表示装置10は、プロセッサ11を代替する複数のプロセッサを備えていてもよい。これら複数のプロセッサは、支援画像表示装置10の各部の機能を実現するプログラムの実行を分担する。それぞれのプロセッサは、プロセッサ11と同じように、プロセッシングを行うICである。   In FIG. 1, only one processor 11 is shown. However, the assistive image display device 10 may include a plurality of processors that replace the processor 11. The plurality of processors share execution of a program for realizing the functions of the respective units of the support image display device 10. Each processor, like the processor 11, is an IC that performs processing.
***動作の説明***
図2から図6を参照して、実施の形態1に係る支援画像表示装置10の動作を説明する。
実施の形態1に係る支援画像表示装置10の動作は、実施の形態1に係る支援画像表示方法に相当する。また、実施の形態1に係る支援画像表示装置10の動作は、実施の形態1に係る支援画像表示プログラムの処理に相当する。
*** Description of operation ***
The operation of the assistance image display device 10 according to the first embodiment will be described with reference to FIGS. 2 to 6.
The operation of the support image display device 10 according to the first embodiment corresponds to the support image display method according to the first embodiment. The operation of the support image display device 10 according to the first embodiment corresponds to the processing of the support image display program according to the first embodiment.
実施の形態1に係る支援画像表示装置10の動作の前提として、振動状態記憶部123には、高速道路と市街地の道路と山道といった道路種別と対応付けて、その道路種別の道路を過去に走行した際に発生した振動状態と、その道路種別についての閾値とが記憶されているものとする。振動状態は、車両100の傾斜角度の時間変化を示す。実施の形態1では、傾斜角度は、車両100の左右を軸とする上下方向の車両100の傾斜角度とする。つまり、傾斜角度は、ピッチング方向の車両の傾きを意味する。
具体的には、車両100が実際に走行した際に、車両計測部21は、センサ31であるIMUによって傾斜角度を計測する。道路種別取得部25は、走行した道路の道路種別をナビゲーションシステム32から取得する。車両計測部21と道路種別取得部25とは、取得された道路種別と、計測された傾斜角度の時間変化を示す振動状態とを対応付けて振動状態記憶部123に書き込む。また、角度予測部22は、道路種別に対応付けられた振動状態に応じて、その道路種別についての閾値を決定して、道路種別に対応付けて決定された閾値を振動状態記憶部123に書き込む。車両100が走行する度に、振動状態記憶部123のデータが更新され、より適切な振動状態及び閾値が記憶される。つまり、車両100が走行する度に、道路種別毎の適切な振動状態及び閾値が学習される。
図2に示すように、道路種別によって傾斜角度の変化幅が異なる。図2では、車両100の車体が路面と平行な状態が傾斜角度が0の状態とし、車体の前方が路面に対して上を向くほど傾斜角度が正の方向に大きな角度になり、車体の前方が路面に対して下を向くほど傾斜角度が負の方向に大きな角度になるものとする。角度予測部22は、振動状態における傾斜角度の極大値の平均値から基準値だけ小さい正の方向の角度を上限閾値Uとし、振動状態における傾斜角度の極小値の平均値から基準値だけ小さい負の方向の角度を下限閾値Lとして決定する。例えば、基準値は、変化幅に応じて定められる角度である。
As the premise of the operation of the support image display device 10 according to the first embodiment, the vibration state storage unit 123 travels the road type road in the past in association with the road type such as expressway, urban road and mountain road. It is assumed that the vibration state generated at the time of the event and the threshold value for the road type are stored. The vibration state indicates the time change of the tilt angle of the vehicle 100. In the first embodiment, the inclination angle is an inclination angle of the vehicle 100 in the vertical direction with the left and right of the vehicle 100 as axes. That is, the inclination angle means the inclination of the vehicle in the pitching direction.
Specifically, when the vehicle 100 actually travels, the vehicle measurement unit 21 measures the inclination angle by the IMU which is the sensor 31. The road type acquisition unit 25 acquires the road type of the traveled road from the navigation system 32. The vehicle measurement unit 21 and the road type acquisition unit 25 write the acquired road type in the vibration state storage unit 123 in association with the vibration state indicating the temporal change of the measured inclination angle. Further, the angle prediction unit 22 determines a threshold for the road type according to the vibration state associated with the road type, and writes the threshold determined in association with the road type in the vibration state storage unit 123 . Every time the vehicle 100 travels, the data of the vibration state storage unit 123 is updated, and a more appropriate vibration state and threshold value are stored. That is, each time the vehicle 100 travels, an appropriate vibration state and threshold value for each road type are learned.
As shown in FIG. 2, the change width of the inclination angle differs depending on the road type. In FIG. 2, when the vehicle body of the vehicle 100 is parallel to the road surface, the inclination angle is 0, and as the front of the vehicle body is upward with respect to the road surface, the inclination angle becomes larger in the positive direction. Is inclined to the road surface in the negative direction. The angle prediction unit 22 sets an angle in the positive direction smaller by the reference value from the average value of the local maximum values of the inclination angle in the vibration state as the upper limit threshold U, and a negative value smaller by the reference value from the average value The angle of the direction of is determined as the lower limit threshold L. For example, the reference value is an angle determined according to the change width.
なお、車両100とは異なる他の車両が実際に走行した際に計測された振動状態が、道路種別と対応付けて振動状態記憶部123に記憶されていてもよい。そして、振動状態記憶部123には、この振動状態に応じて決定された閾値が記憶されていてもよい。
但し、振動状態は車重等によって異なるため、振動状態記憶部123に記憶される振動状態は、車両100と同じ車種の車両が走行した際に計測された振動状態であることが望ましい。
The vibration state measured when another vehicle different from the vehicle 100 actually travels may be stored in the vibration state storage unit 123 in association with the road type. The vibration state storage unit 123 may store a threshold determined according to the vibration state.
However, since the vibration state differs depending on the vehicle weight and the like, the vibration state stored in the vibration state storage unit 123 is preferably a vibration state measured when a vehicle of the same vehicle type as the vehicle 100 travels.
図3を参照して、実施の形態1に係る支援画像表示装置10の全体的な動作を説明する。
車両100が走行中に図3に示す処理が繰り返し実行される。
The overall operation of the assistance image display device 10 according to the first embodiment will be described with reference to FIG.
While the vehicle 100 is traveling, the process shown in FIG. 3 is repeatedly executed.
(図3のステップS11:道路種別取得処理)
道路種別取得部25は、車両100が走行中の道路の道路種別を取得する。
具体的には、道路種別取得部25は、通信インタフェース13を介してナビゲーションシステム32から走行中の道路の道路種別を取得する。道路種別取得部25は、取得された道路種別をメモリ121に書き込む。
(Step S11 of FIG. 3: road type acquisition process)
The road type acquisition unit 25 acquires the road type of the road on which the vehicle 100 is traveling.
Specifically, the road type acquisition unit 25 acquires the road type of the traveling road from the navigation system 32 via the communication interface 13. The road type acquisition unit 25 writes the acquired road type in the memory 121.
(図3のステップS12:閾値取得処理)
道路種別取得部25は、ステップS11で取得された道路種別に対応する閾値を取得する。
具体的には、道路種別取得部25は、メモリ121から道路種別を読み出す。道路種別取得部25は、読み出された道路種別に対応付けて記憶された閾値を振動状態記憶部123から読み出す。閾値としては、上限閾値Uと下限閾値Lとが読み出される。道路種別取得部25は、上限閾値Uと下限閾値Lとの閾値をメモリ121に書き込む。
(Step S12 in FIG. 3: Threshold Acquisition Processing)
The road type acquisition unit 25 acquires a threshold value corresponding to the road type acquired in step S11.
Specifically, the road type acquisition unit 25 reads the road type from the memory 121. The road type acquisition unit 25 reads from the vibration state storage unit 123 the threshold value stored in association with the read road type. As the threshold, the upper threshold U and the lower threshold L are read. The road type acquisition unit 25 writes the threshold of the upper limit threshold U and the lower limit threshold L in the memory 121.
(図3のステップS13:傾斜角度計測処理)
車両計測部21は、センサ31によって車両100の傾斜角度を計測する。
具体的には、車両計測部21は、センサ31であるIMUによって車両100の現在の傾斜角度である実角度を計測する。車両計測部21は、計測された実角度をメモリ121に書き込む。
(Step S13 in FIG. 3: inclination angle measurement processing)
The vehicle measurement unit 21 measures the inclination angle of the vehicle 100 by the sensor 31.
Specifically, the vehicle measurement unit 21 measures an actual angle that is the current inclination angle of the vehicle 100 by the IMU that is the sensor 31. The vehicle measurement unit 21 writes the measured actual angle in the memory 121.
(図3のステップS14:角度予測処理)
角度予測部22は、ステップS13で計測された実角度と、ステップS12で取得された閾値と、車両100の傾斜角度の時間変化を示す振動状態とに基づき、基準時間後の車両100の傾斜角度である予測角度を計算する。振動状態は、ステップS13で計測された実角度の時間変化を参照することにより特定される。
基準時間は、支援画像表示装置10の性能等に応じて決定される時間であり、表示処理における遅延時間に相当する時間である。基準時間は、数ミリ秒である。
(Step S14 in FIG. 3: Angle prediction process)
The angle prediction unit 22 determines the inclination angle of the vehicle 100 after the reference time based on the actual angle measured in step S13, the threshold value acquired in step S12, and the vibration state that indicates the temporal change of the inclination angle of the vehicle 100. Calculate the predicted angle, which is The vibration state is identified by referring to the time change of the actual angle measured in step S13.
The reference time is a time determined according to the performance of the support image display device 10 and the like, and is a time corresponding to a delay time in display processing. The reference time is a few milliseconds.
図4を参照して、実施の形態1に係る角度予測処理を説明する。
(図4のステップS141:方向予測処理)
角度予測部22は、実角度と閾値とに基づき、基準時間後の車両100の傾斜角度の変化方向を予測する。
具体的には、角度予測部22は、実角度が閾値よりも大きい場合には、基準時間後の傾斜角度は実角度から変化しないと判定する。実角度が閾値よりも大きい場合とは、実角度が正の方向の角度であれば、実角度が上限閾値Uよりも大きい角度であり、実角度が負の方向の角度であれば、実角度が下限閾値Uよりも大きい角度である場合である。
また、角度予測部22は、実角度が閾値以下の場合には、基準時間後の傾斜角度は実角度から振動状態が示す直近の変化と同じ方向に変化すると判定する。実角度が閾値以下の場合とは、実角度が正の方向の角度であれば、実角度が上限閾値U以下の角度であり、実角度が負の方向の角度であれば、実角度が下限閾値U以下の角度である場合である。
The angle prediction process according to the first embodiment will be described with reference to FIG.
(Step S141 in FIG. 4: Direction Prediction Processing)
The angle prediction unit 22 predicts the change direction of the tilt angle of the vehicle 100 after the reference time based on the actual angle and the threshold.
Specifically, when the actual angle is larger than the threshold, the angle prediction unit 22 determines that the inclination angle after the reference time does not change from the actual angle. The case where the actual angle is larger than the threshold means that the actual angle is larger than the upper limit threshold U if the actual angle is an angle in the positive direction, and the actual angle if the actual angle is an angle in the negative direction. Is an angle larger than the lower limit threshold U.
In addition, when the actual angle is equal to or less than the threshold, the angle prediction unit 22 determines that the inclination angle after the reference time changes in the same direction as the latest change indicated by the vibration state from the actual angle. When the actual angle is less than or equal to the threshold value, if the actual angle is an angle in the positive direction, the actual angle is an angle less than or equal to the upper limit threshold U, and if the actual angle is an angle in the negative direction, the actual angle is the lower limit It is a case where it is an angle below threshold U.
図2を参照して、この判定の原理を説明する。
過去に同じ道路種別を走行した際の振動状態から、実角度が閾値よりも大きい場合には、点P1及び点P2のように、傾斜角度が直近の変化と逆方向に変化するために、一旦傾斜角度がほとんど変化しない状態になる。一方、過去に同じ道路種別を走行した際の振動状態から、実角度が閾値以下の場合には、点P3及び点P4のように、しばらくの間は、傾斜角度が直近の変化と同じ方向に変化する状態になる。
そのため、角度予測部22は、実角度が閾値よりも大きい場合には、基準時間後の傾斜角度は前記実角度から変化しないと判定し、実角度が閾値以下の場合には、傾斜角度が直近の変化と同じ方向に変化すると判定する。
The principle of this determination will be described with reference to FIG.
If the actual angle is greater than the threshold from the vibration state when traveling the same road type in the past, the inclination angle changes in the opposite direction to the latest change, as in point P1 and point P2. The inclination angle hardly changes. On the other hand, if the actual angle is less than the threshold from the vibration state when traveling the same road type in the past, the inclination angle will be in the same direction as the latest change for a while as in point P3 and point P4. It will be in a changing state.
Therefore, when the actual angle is larger than the threshold, the angle prediction unit 22 determines that the inclination angle after the reference time does not change from the actual angle, and when the actual angle is equal to or less than the threshold, the inclination angle is the latest. It is determined to change in the same direction as the change in.
(図4のステップS142:方向判定処理)
角度予測部22は、ステップS142で基準時間後の傾斜角度が直近の変化と同じ方向に変化すると判定された場合には、処理をステップS143に進める。一方、角度予測部22は、ステップS142で基準時間後の傾斜角度は実角度から変化しないと判定された場合には、処理をステップS145に進める。
(Step S142 in FIG. 4: Direction Determination Process)
If it is determined in step S142 that the inclination angle after the reference time changes in the same direction as the latest change in step S142, the angle prediction unit 22 advances the process to step S143. On the other hand, when it is determined in step S142 that the inclination angle after the reference time does not change from the actual angle in step S142, the angle prediction unit 22 advances the process to step S145.
(図4のステップS143:変化量予測処理)
角度予測部22は、実角度と閾値とに基づき、基準時間後までの傾斜角度の変化量を予測する。
具体的には、角度予測部22は、実角度が閾値に近い値であるほど、変化量を小さい値と予測し、実角度が0に近い値であるほど、変化量を大きい値と予測する。実角度が閾値に近い値とは、実角度が正の方向の角度であれば、実角度が上限閾値Uに近い角度であり、実角度が負の方向の角度であれば、実角度が下限閾値Uに近い角度である。
実角度が閾値に近い値である場合には、傾斜角度の変化する方向が逆方向になったばかり、又は、逆方向になる直前である可能性が高い。そのため、基準時間後までの傾斜角度の変化量は小さくなる。一方、実角度が0に近い値である場合には、傾斜角度が同じ方向に変化している最中である可能性が高い。そのため、基準時間後までの傾斜角度の変化量は大きくなる。
(Step S143 in FIG. 4: change amount prediction process)
The angle prediction unit 22 predicts the amount of change of the tilt angle up to the reference time based on the actual angle and the threshold.
Specifically, the angle prediction unit 22 predicts the change amount to be a smaller value as the actual angle is closer to the threshold value, and predicts the change amount to be a larger value as the actual angle is closer to 0. . A value close to the threshold means that the actual angle is close to the upper limit threshold U if the actual angle is in the positive direction, and the actual angle is the lower limit if the actual angle is in the negative direction The angle is close to the threshold U.
If the actual angle is close to the threshold value, it is highly likely that the direction in which the tilt angle changes is just the reverse direction, or just before the reverse direction. Therefore, the amount of change of the tilt angle until the reference time becomes small. On the other hand, when the actual angle is a value close to 0, there is a high possibility that the inclination angle is changing in the same direction. Therefore, the amount of change of the tilt angle until the reference time becomes large.
(図4のステップS144:第1角度計算処理)
角度予測部22は、ステップS141で予測された方向に、ステップS143で予測された変化量だけ、実角度から変化させた角度を予測角度として計算する。角度予測部22は、計算された予測角度をメモリ121に書き込む。
(Step S144 in FIG. 4: first angle calculation process)
The angle prediction unit 22 calculates, as a prediction angle, an angle changed from the actual angle by the change amount predicted in step S143 in the direction predicted in step S141. The angle prediction unit 22 writes the calculated predicted angle in the memory 121.
(図4のステップS145:第2角度計算処理)
角度予測部22は、実角度を予測角度として設定する。角度予測部22は、設定された予測角度をメモリ121に書き込む。
(Step S145 of FIG. 4: second angle calculation process)
The angle prediction unit 22 sets an actual angle as a predicted angle. The angle prediction unit 22 writes the set predicted angle in the memory 121.
(図3のステップS15:位置特定処理)
位置特定部23は、ステップS14で計算された予測角度に基づき、表示装置33における支援画像を表示する表示位置を特定する。支援画像は、道案内矢印といった画像データである。
(Step S15 in FIG. 3: Position Identification Process)
The position specifying unit 23 specifies a display position at which the support image is to be displayed on the display device 33 based on the predicted angle calculated in step S14. The support image is image data such as a route guidance arrow.
具体的には、図5に示すように、位置特定部23は、視点位置41と、支援画像を重畳させる重畳位置42と、表示装置33であるHUDの投影面位置43との相対的な位置関係から、支援画像を表示する表示位置を特定する。
視点位置41は、車両100の位置と、車両100と視点位置41との位置関係とから特定可能である。車両100の位置は、GPS(Global Positioning System)センサといった測位センサから取得可能である。ここでは、基準時間後の車両100の位置が必要になるが、基準時間後の車両100の位置は、車両100の現在位置と、車両100の車速とから推定可能である。車両100と視点位置41との位置関係は、車両100の内部に設置されたDMS(Driver Monitoring System)等のカメラ情報から特定可能である。
重畳位置42は、道路上の交差点といった特定の位置の場合には、ナビゲーションシステム32から取得可能である。重畳位置42は、歩行者といった移動物体の場合には、車両100に搭載されたカメラとLiDAR(Laser Imaging Detection and Ranging)とミリ波レーダといったセンサによって移動物体を検知することにより特定可能である。なお、重畳位置42が移動物体になる場合には、移動物体を検知するために、カメラとLiDARとミリ波レーダと等がセンサ31として支援画像表示装置10に接続されているものとする。
投影面位置43は、車両100の位置と、車両100と投影面位置43との位置関係とから特定可能である。車両100の位置については、上述した通りである。車両100と投影面位置43との位置関係は、表示装置33であるHUDは車両100に固定されており、事前に測定しておくことにより特定可能である。
Specifically, as shown in FIG. 5, the position specifying unit 23 is a relative position of the viewpoint position 41, the superimposed position 42 on which the support image is superimposed, and the projection surface position 43 of the HUD which is the display device 33. From the relationship, the display position at which the support image is displayed is specified.
The viewpoint position 41 can be identified from the position of the vehicle 100 and the positional relationship between the vehicle 100 and the viewpoint position 41. The position of the vehicle 100 can be acquired from a positioning sensor such as a GPS (Global Positioning System) sensor. Here, although the position of the vehicle 100 after the reference time is required, the position of the vehicle 100 after the reference time can be estimated from the current position of the vehicle 100 and the vehicle speed of the vehicle 100. The positional relationship between the vehicle 100 and the viewpoint position 41 can be specified from camera information such as a DMS (Driver Monitoring System) installed inside the vehicle 100.
The superimposed position 42 can be obtained from the navigation system 32 in the case of a specific position such as an intersection on the road. In the case of a moving object such as a pedestrian, the superimposed position 42 can be identified by detecting the moving object by a camera mounted on the vehicle 100 and a sensor such as a LiDAR (Laser Imaging Detection and Ranging) and a millimeter wave radar. When the superimposed position 42 is a moving object, a camera, a LiDAR, a millimeter wave radar, and the like are connected to the support image display device 10 as the sensor 31 in order to detect the moving object.
The projection plane position 43 can be identified from the position of the vehicle 100 and the positional relationship between the vehicle 100 and the projection plane position 43. The position of the vehicle 100 is as described above. The positional relationship between the vehicle 100 and the projection surface position 43 can be identified by measuring the HUD as the display device 33 on the vehicle 100 and measuring it in advance.
このとき、車両100の傾斜角度によって、視点位置41と重畳位置42と投影面位置43との相対的な位置関係が変化する。そこで、位置特定部23は、ステップS14で計算された予測角度をメモリ121から読み出す。そして、位置特定部23は、視点位置41と重畳位置42と投影面位置43とに加え、予測角度を考慮して、視点位置41と重畳位置42と投影面位置43との相対的な位置関係を特定する。そして、位置特定部23は、視点位置41と重畳位置42と投影面位置43との相対的な位置関係から、支援画像を表示する表示位置を特定する。位置特定部23は、特定された表示位置をメモリ121に書き込む。   At this time, the relative positional relationship between the viewpoint position 41, the overlapping position 42, and the projection surface position 43 changes depending on the inclination angle of the vehicle 100. Therefore, the position specifying unit 23 reads the predicted angle calculated in step S14 from the memory 121. Then, in addition to the viewpoint position 41, the superposition position 42, and the projection surface position 43, the position specifying unit 23 considers the prediction angle, and the relative positional relationship between the viewpoint position 41, the superposition position 42, and the projection surface position 43. Identify Then, the position specifying unit 23 specifies the display position at which the support image is to be displayed, from the relative positional relationship between the viewpoint position 41, the overlapping position 42, and the projection surface position 43. The position specifying unit 23 writes the specified display position in the memory 121.
例えば、図6に示すように、車両100の車体の前方が路面に対してα度だけ上を向くと、支援画像を表示する表示位置は、α度だけ下にずれる。逆に、車両100の車体の前方が路面に対してα度だけ下を向くと、支援画像を表示する表示位置は、α度だけ上にずれる。   For example, as shown in FIG. 6, when the front of the vehicle body of the vehicle 100 turns upward by α degrees with respect to the road surface, the display position at which the support image is displayed shifts by α degrees. Conversely, when the front of the vehicle body of the vehicle 100 turns downward by α degrees with respect to the road surface, the display position at which the support image is displayed shifts by α degrees.
(図3のステップS16:画像表示処理)
画像表示部24は、ステップS15で特定された表示装置33における表示位置に、支援画像を表示する。
具体的には、画像表示部24は、表示位置をメモリ121から読み出す。そして、画像表示部24は、表示位置に支援画像を示した画像データを表示装置33に送信することにより、表示装置33に支援画像を表示させる。
支援画像は、仮想的な3次元空間において、支援画像生成用の仮想カメラで支援画像の元となるAR表示物を撮影することにより、生成される。この際、視点位置41と投影面位置43との相対的な位置関係から、仮想カメラの撮影方向が決定される。
(Step S16 in FIG. 3: Image Display Processing)
The image display unit 24 displays the support image at the display position on the display device 33 specified in step S15.
Specifically, the image display unit 24 reads the display position from the memory 121. Then, the image display unit 24 causes the display device 33 to display the support image by transmitting to the display device 33 the image data in which the support image is shown at the display position.
The support image is generated by capturing an AR display object that is the source of the support image with a virtual camera for generating a support image in a virtual three-dimensional space. At this time, the shooting direction of the virtual camera is determined from the relative positional relationship between the viewpoint position 41 and the projection surface position 43.
***実施の形態1の効果***
以上のように、実施の形態1に係る支援画像表示装置10は、実角度と振動状態とに基づき基準時間後の車両の傾斜角度である予測角度を計算し、予測角度に基づき支援画像を表示する表示位置を特定する。これにより、表示処理には遅延時間が発生する場合にも、適切な表示位置を特定可能である。
*** Effect of Embodiment 1 ***
As described above, the support image display device 10 according to the first embodiment calculates the predicted angle which is the inclination angle of the vehicle after the reference time based on the actual angle and the vibration state, and displays the support image based on the predicted angle. Identify the display position to be Thereby, even when a delay time occurs in the display process, it is possible to specify an appropriate display position.
***他の構成***
<変形例1>
実施の形態1では、振動状態記憶部123には、道路種別と対応付けて振動状態及び閾値が記憶された。振動状態記憶部123には、道路種別だけでなく、天候及び車速といった他の情報と対応付けて振動状態及び閾値が記憶されてもよい。この場合には、図3のステップS11では、道路種別取得部25は、道路種別だけでなく、他の情報を取得し、図3のステップS12では、道路種別取得部25は、道路種別及び他の情報に対応する閾値を取得する。
これにより、走行状態により近い振動状態に基づき計算された閾値を用いて、傾斜角度を予測することが可能になる。
*** Other configuration ***
<Modification 1>
In the first embodiment, the vibration state and the threshold value are stored in the vibration state storage unit 123 in association with the road type. The vibration state storage unit 123 may store a vibration state and a threshold in association with other information such as weather and vehicle speed as well as the road type. In this case, in step S11 of FIG. 3, the road type acquisition unit 25 acquires not only the road type but also other information, and in step S12 in FIG. The threshold corresponding to the information of is acquired.
This makes it possible to predict the inclination angle using the threshold calculated based on the vibration state closer to the traveling state.
また、振動状態記憶部123には、具体的な道路と対応付けて振動状態及び閾値が記憶されてもよい。例えば、車両100が走行した道路については、その道路と
対応付けて振動状態及び閾値が記憶されてもよい。この場合には、図3のステップS11では、道路種別取得部25は、道路種別とともに、走行中の道路の識別情報を取得し、図3のステップS12では、道路種別取得部25は、走行中の道路に対応付られた振動状態及び閾値が振動状態記憶部123に記憶されている場合には、走行中の道路に対応付られた閾値を取得する。
これにより、過去にその道路を走行した際の振動状態に基づき計算された閾値を用いて、傾斜角度を予測することが可能になる。
The vibration state storage unit 123 may store the vibration state and the threshold value in association with a specific road. For example, for the road on which the vehicle 100 travels, the vibration state and the threshold may be stored in association with the road. In this case, in step S11 in FIG. 3, the road type acquisition unit 25 acquires road identification information along with the road type, and in step S12 in FIG. 3 the road type acquisition unit 25 is traveling When the vibration state and the threshold value associated with the road are stored in the vibration state storage unit 123, the threshold value associated with the road being traveled is acquired.
This makes it possible to predict the inclination angle using the threshold value calculated based on the vibration state when traveling on the road in the past.
<変形例2>
実施の形態1では、図4のステップS141で角度予測部22は、実角度と閾値とに基づき、基準時間後の車両100の傾斜角度の変化方向を予測する。角度予測部22は、実角度に代えて、車両100の角速度を用いてもよい。角速度は、センサ31であるIMUによって計測される。
具体的には、図3のステップS13で車両計測部21は、センサ31であるIMUによって車両100の角速度を計測する。図4のステップS141で角度予測部22は、角速度が閾値よりも小さい場合には、基準時間後の傾斜角度は実角度から変化しないと判定する。また、角度予測部22は、角速度が閾値以上の場合には、基準時間後の傾斜角度は実角度から振動状態が示す直近の変化と同じ方向に変化すると判定する。
実施の形態1で実角度と比較される閾値と、変形例2で角速度と比較される閾値とは異なる。つまり、角速度を用いて変化方向を予測する場合には、振動状態記憶部123には角速度を用いる場合の閾値が記憶されている。
<Modification 2>
In the first embodiment, the angle prediction unit 22 predicts the change direction of the tilt angle of the vehicle 100 after the reference time based on the actual angle and the threshold in step S141 of FIG. 4. The angle prediction unit 22 may use the angular velocity of the vehicle 100 instead of the actual angle. The angular velocity is measured by the sensor 31 IMU.
Specifically, in step S13 of FIG. 3, the vehicle measurement unit 21 measures the angular velocity of the vehicle 100 by the IMU which is the sensor 31. When the angular velocity is smaller than the threshold in step S141 of FIG. 4, the angle prediction unit 22 determines that the inclination angle after the reference time does not change from the actual angle. Further, when the angular velocity is equal to or greater than the threshold, the angle prediction unit 22 determines that the inclination angle after the reference time changes in the same direction as the latest change indicated by the vibration state from the actual angle.
The threshold compared with the actual angle in the first embodiment is different from the threshold compared with the angular velocity in the second modification. That is, in the case of predicting the change direction using the angular velocity, the vibration state storage unit 123 stores a threshold when using the angular velocity.
図7を参照して、この判定の原理を説明する。
過去に同じ道路種別を走行した際の振動状態から、角速度が閾値よりも小さい場合には、点P1及び点P2のように、傾斜角度が直近の変化と逆方向に変化するために、一旦傾斜角度がほとんど変化しない状態になる。一方、過去に同じ道路種別を走行した際の振動状態から、角速度が閾値以上の場合には、点P3及び点P4のように、しばらくの間は、傾斜角度が直近の変化と同じ方向に変化する状態になる。
The principle of this determination will be described with reference to FIG.
If the angular velocity is smaller than the threshold from the vibration state when traveling on the same road type in the past, the inclination angle changes once in the opposite direction to the latest change, like point P1 and point P2. The angle hardly changes. On the other hand, from the vibration state when traveling the same road type in the past, when the angular velocity is above the threshold, the inclination angle changes in the same direction as the latest change for a while as with points P3 and P4. It will be in the state of
<変形例3>
実施の形態1では、各機能構成要素がソフトウェアで実現された。しかし、変形例3として、各機能構成要素はハードウェアで実現されてもよい。この変形例3について、実施の形態1と異なる点を説明する。
<Modification 3>
In the first embodiment, each functional component is realized by software. However, as a third modification, each functional component may be realized by hardware. A point of difference with the first embodiment will be described with respect to the third modification.
図8を参照して、変形例3に係る支援画像表示装置10の構成を説明する。
各機能構成要素がハードウェアで実現される場合には、支援画像表示装置10は、プロセッサ11と記憶装置12とに代えて、電子回路15を備える。電子回路15は、各機能構成要素と、記憶装置12との機能とを実現する専用の回路である。
The configuration of the support image display device 10 according to the third modification will be described with reference to FIG.
When each functional component is realized by hardware, the support image display device 10 includes an electronic circuit 15 instead of the processor 11 and the storage device 12. The electronic circuit 15 is a dedicated circuit that realizes the functions of the functional components and the storage device 12.
電子回路15としては、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ロジックIC、GA(Gate Array)、ASIC(Application Specific Integrated Circuit)、FPGA(Field−Programmable Gate Array)が想定される。
各機能構成要素を1つの電子回路15で実現してもよいし、各機能構成要素を複数の電子回路15に分散させて実現してもよい。
The electronic circuit 15 may be a single circuit, a complex circuit, a programmed processor, a processor programmed in parallel, a logic IC, a gate array (GA), an application specific integrated circuit (ASIC), or a field-programmable gate array (FPGA). is assumed.
Each functional component may be realized by one electronic circuit 15, or each functional component may be distributed to a plurality of electronic circuits 15.
<変形例4>
変形例4として、一部の各機能構成要素がハードウェアで実現され、他の各機能構成要素がソフトウェアで実現されてもよい。
<Modification 4>
As a fourth modification, some of the functional components may be realized by hardware, and the other functional components may be realized by software.
プロセッサ11と記憶装置12と電子回路15とを処理回路という。つまり、各機能構成要素の機能は、処理回路により実現される。   The processor 11, the storage device 12, and the electronic circuit 15 are referred to as processing circuits. That is, the function of each functional component is realized by the processing circuit.
実施の形態2.
実施の形態2は、車両100に搭載されたサスペンションのバネの状態によって基準時間後の車両100の傾斜角度の変化方向を予測する点が実施の形態1と異なる。実施の形態2では、この異なる点を説明し、同一の点については説明を省略する。
Second Embodiment
The second embodiment differs from the first embodiment in that the change direction of the tilt angle of the vehicle 100 after the reference time is predicted depending on the state of the spring of the suspension mounted on the vehicle 100. In the second embodiment, this difference will be described, and the description of the same point will be omitted.
***構成の説明***
図9を参照して、実施の形態2に係る支援画像表示装置10の構成を説明する。
支援画像表示装置10は、道路種別取得部25を備えていない点が実施の形態1に係る支援画像表示装置10と異なる。また、支援画像表示装置10は、ストレージ122が振動状態記憶部123の機能を実現していない点が実施の形態1に係る支援画像表示装置10と異なる。
実施の形態2では、センサ31は、IMUと、ECS(電子制御サスペンション)とである。
*** Description of the configuration ***
The configuration of the support image display device 10 according to the second embodiment will be described with reference to FIG.
The support image display device 10 differs from the support image display device 10 according to the first embodiment in that the support image display device 10 does not include the road type acquisition unit 25. In addition, the support image display device 10 differs from the support image display device 10 according to the first embodiment in that the storage 122 does not realize the function of the vibration state storage unit 123.
In the second embodiment, the sensor 31 is an IMU and an ECS (Electronically Controlled Suspension).
***動作の説明***
図10から図12を参照して、実施の形態2に係る支援画像表示装置10の動作を説明する。
実施の形態2に係る支援画像表示装置10の動作は、実施の形態2に係る支援画像表示方法に相当する。また、実施の形態2に係る支援画像表示装置10の動作は、実施の形態2に係る支援画像表示プログラムの処理に相当する。
*** Description of operation ***
The operation of the assistance image display device 10 according to the second embodiment will be described with reference to FIGS. 10 to 12.
The operation of the support image display device 10 according to the second embodiment corresponds to the support image display method according to the second embodiment. The operation of the support image display device 10 according to the second embodiment corresponds to the processing of the support image display program according to the second embodiment.
図10を参照して、実施の形態2に係る支援画像表示装置10の全体的な動作を説明する。
車両100が走行中に図10に示す処理が繰り返し実行される。
ステップS22の処理は、図3のステップS13の処理と同じである。また、ステップS24及びステップS25の処理は、図3のステップS15及びステップS16の処理と同じである。
The overall operation of the assistance image display device 10 according to the second embodiment will be described with reference to FIG.
While the vehicle 100 is traveling, the process shown in FIG. 10 is repeatedly executed.
The process of step S22 is the same as the process of step S13 of FIG. Further, the processes of step S24 and step S25 are the same as the processes of step S15 and step S16 of FIG.
(図10のステップS21:サスペンション状態計測処理)
車両計測部21は、センサ31によって車両100のサスペンションの状態を計測する。
具体的には、車両計測部21は、センサ31であるECSによって車両100のサスペンションのバネの状態を計測する。より正確には、車両計測部21は、車両100のサスペンションのバネの伸び具合を計測する。
ECSには、アクティブサスペンションとセミアクティブサスペンションといった種類がある。アクティブサスペンションはアクチュエータでタイヤからの振動とは逆の力を発生させて振動を制御する。セミアクティブサスペンションは衝撃を吸収するダンパーの減衰力を変化させて振動を制御する。これらのサスペンションは、センサで車両の振動を検出し、それに合わせて、アクチュエータやダンパーの減衰力を変化させて振動を制御している。このため、ECSの制御値を参照することで、サスペンションのバネの伸び具合を計測することができる。
(Step S21 in FIG. 10: Suspension State Measurement Process)
The vehicle measurement unit 21 measures the state of the suspension of the vehicle 100 by the sensor 31.
Specifically, the vehicle measurement unit 21 measures the state of the spring of the suspension of the vehicle 100 by the ECS which is the sensor 31. More precisely, the vehicle measurement unit 21 measures the degree of extension of the spring of the suspension of the vehicle 100.
There are two types of ECS: active suspension and semi-active suspension. The active suspension is an actuator that generates a force opposite to the vibration from the tire to control the vibration. The semi-active suspension controls the vibration by changing the damping force of the shock absorbing damper. In these suspensions, sensors detect the vibration of the vehicle, and according to that, the damping force of the actuator and the damper is changed to control the vibration. For this reason, it is possible to measure the degree of extension of the spring of the suspension by referring to the control value of ECS.
(図10のステップS23:角度予測処理)
角度予測部22は、ステップS21で計測されたサスペンションのバネの伸び具合と、ステップS22で計測された実角度と、車両100の傾斜角度の時間変化を示す振動状態とに基づき、基準時間後の車両100の傾斜角度である予測角度を計算する。
(Step S23 in FIG. 10: Angle Prediction Processing)
The angle prediction unit 22 is based on the degree of extension of the spring of the suspension measured in step S21, the actual angle measured in step S22, and the vibration state indicating the temporal change of the tilt angle of the vehicle 100 after the reference time. A predicted angle, which is the inclination angle of the vehicle 100, is calculated.
図11を参照して、実施の形態2に係る角度予測処理を説明する。
ステップS232の処理は、図4のステップS142の処理と同じである。また、ステップS234及びステップS235の処理は、図4のステップS144及びステップS145の処理と同じである。
The angle prediction process according to the second embodiment will be described with reference to FIG.
The process of step S232 is the same as the process of step S142 of FIG. Further, the processes of steps S234 and S235 are the same as the processes of steps S144 and S145 of FIG. 4.
(図11のステップS231:方向予測処理)
角度予測部22は、サスペンションのバネの伸び具合に基づき、基準時間後の車両100の傾斜角度の変化方向を予測する。
具体的には、角度予測部22は、バネが上限値よりも伸びている場合と、バネが下限値よりも縮んでいる場合とには、基準時間後の傾斜角度は前記実角度から変化しないと判定する。また、角度予測部22は、バネが上限値以下の伸びであり、かつ、下限値以下の縮みである場合には、基準時間後の傾斜角度は実角度から振動状態が示す直近の変化と同じ方向に変化すると判定する。
上限値及び下限値は、サスペンションのバネに応じて事前に定められた値である。
(Step S231 in FIG. 11: Direction Prediction Processing)
The angle prediction unit 22 predicts the change direction of the tilt angle of the vehicle 100 after the reference time based on the degree of extension of the spring of the suspension.
Specifically, the angle prediction unit 22 does not change the inclination angle after the reference time from the actual angle when the spring extends beyond the upper limit value and when the spring contracts beyond the lower limit value. It is determined that In the angle prediction unit 22, when the spring has an elongation equal to or less than the upper limit and a contraction equal to or less than the lower limit, the inclination angle after the reference time is the same as the latest change indicated by the vibration state from the actual angle. It is determined to change in the direction.
The upper limit value and the lower limit value are values determined in advance according to the spring of the suspension.
図12を参照して、この判定の原理を説明する。
サスペンションのバネが伸びきった状態になると、点P1のように、傾斜角度が直近の変化と逆方向に変化するために、一旦傾斜角度がほとんど変化しない状態になる。同様に、サスペンションのバネが縮みきった状態になると、点P2のように、傾斜角度が直近の変化と逆方向に変化するために、一旦傾斜角度がほとんど変化しない状態になる。一方、サスペンションのバネが伸びきっても縮みきってもいない状態の場合には、点P3及び点P4のように、しばらくの間は、傾斜角度が直近の変化と同じ方向に変化する状態になる。
そのため、角度予測部22は、バネが上限値よりも伸びている場合と、バネが下限値よりも縮んでいる場合とには、基準時間後の傾斜角度は前記実角度から変化しないと判定し、バネが上限値以下の伸びであり、かつ、下限値以下の縮みである場合には、傾斜角度が直近の変化と同じ方向に変化すると判定する。
The principle of this determination will be described with reference to FIG.
When the spring of the suspension is in the fully extended state, as in the point P1, the inclination angle changes in the opposite direction to the latest change, so the inclination angle hardly changes once. Similarly, when the spring of the suspension is fully contracted, the inclination angle changes in the opposite direction to the latest change, as in the point P2, so that the inclination angle hardly changes once. On the other hand, in the case where the spring of the suspension does not expand or contract completely, the inclination angle changes in the same direction as the latest change for a while as with points P3 and P4. .
Therefore, the angle prediction unit 22 determines that the inclination angle after the reference time does not change from the actual angle when the spring extends beyond the upper limit value and when the spring contracts beyond the lower limit value. When the spring has an elongation equal to or less than the upper limit and a contraction equal to or less than the lower limit, it is determined that the inclination angle changes in the same direction as the latest change.
(図4のステップS233:変化量予測処理)
角度予測部22は、サスペンションのバネの伸び具合に基づき、基準時間後までの傾斜角度の変化量を予測する。
具体的には、角度予測部22は、バネの伸び具合が上限値又は下限値に近い値であるほど、変化量を小さい値と予測し、バネの伸び具合が上限値及び下限値から遠い値であるほど、変化量を大きい値と予測する。
バネの伸び具合が上限値又は下限値に近い値である場合には、傾斜角度の変化する方向が逆方向になったばかり、又は、逆方向になる直前である可能性が高い。そのため、基準時間後までの傾斜角度の変化量は小さくなる。一方、バネの伸び具合が上限値及び下限値から遠い値である場合には、傾斜角度が同じ方向に変化している最中である可能性が高い。そのため、基準時間後までの傾斜角度の変化量は大きくなる。
(Step S233 in FIG. 4: change amount prediction process)
The angle prediction unit 22 predicts the amount of change of the tilt angle until after the reference time based on the degree of extension of the spring of the suspension.
Specifically, the angle prediction unit 22 predicts that the amount of change is smaller as the degree of extension of the spring is closer to the upper limit or the lower limit, and the degree of extension of the spring is a value farther from the upper limit and the lower limit The change amount is predicted to be a larger value as
In the case where the degree of extension of the spring is a value close to the upper limit value or the lower limit value, it is highly likely that the direction in which the inclination angle changes is just the reverse direction or just before the reverse direction. Therefore, the amount of change of the tilt angle until the reference time becomes small. On the other hand, when the degree of extension of the spring is a value far from the upper limit value and the lower limit value, there is a high possibility that the inclination angle is changing in the same direction. Therefore, the amount of change of the tilt angle until the reference time becomes large.
***実施の形態2の効果***
以上のように、実施の形態2に係る支援画像表示装置10は、サスペンションのバネの伸び具合に基づき、基準時間後の車両100の傾斜角度の変化方向を予測する。これにより、実施の形態1と同様に、表示処理には遅延時間が発生する場合にも、適切な表示位置を特定可能である。
*** Effect of Embodiment 2 ***
As described above, the assistance image display device 10 according to the second embodiment predicts the change direction of the tilt angle of the vehicle 100 after the reference time based on the degree of extension of the spring of the suspension. Thus, as in the first embodiment, an appropriate display position can be identified even when a delay time occurs in the display process.
***他の構成***
<変形例5>
実施の形態1で説明した方法と、実施の形態2で説明した方法とを組み合わせて、基準時間後の傾斜角度である予測角度を計算してもよい。
具体例としては、実施の形態1で説明した方法により、基準時間後の車両100の傾斜角度の変化方向を予測し、実施の形態2で説明した方法により、基準時間後までの傾斜角度の変化量を予測してもよい。つまり、角度予測部22は、実角度と閾値とに基づき、基準時間後の車両100の傾斜角度の変化方向を予測し、サスペンションのバネの伸び具合に基づき、基準時間後までの傾斜角度の変化量を予測してもよい。
*** Other configuration ***
<Modification 5>
The prediction angle which is the inclination angle after the reference time may be calculated by combining the method described in the first embodiment and the method described in the second embodiment.
As a specific example, the change direction of the tilt angle of the vehicle 100 after the reference time is predicted by the method described in the first embodiment, and the change of the tilt angle up to the reference time by the method described in the second embodiment. The amount may be predicted. That is, the angle prediction unit 22 predicts the change direction of the tilt angle of the vehicle 100 after the reference time based on the actual angle and the threshold, and changes the tilt angle until the reference time based on the degree of extension of the spring of the suspension. The amount may be predicted.
実施の形態3.
実施の形態3は、路面の凹凸によって基準時間後の車両100の傾斜角度の変化方向を予測する点が実施の形態1と異なる。実施の形態3では、この異なる点を説明し、同一の点については説明を省略する。
Third Embodiment
The third embodiment differs from the first embodiment in that the change direction of the inclination angle of the vehicle 100 after the reference time is predicted by the unevenness of the road surface. In the third embodiment, this difference will be described, and the description of the same point will be omitted.
***構成の説明***
図13を参照して、実施の形態3に係る支援画像表示装置10の構成を説明する。
支援画像表示装置10は、道路種別取得部25に代えて、凹凸特定部26を備える点が実施の形態1に係る支援画像表示装置10と異なる。
実施の形態3では、センサ31は、IMUと、LiDARとである。なお、LiDARは路面の凹凸の形状及び大きさを特定するために使用される。そのため、路面の凹凸の形状及び大きさを特定することが可能であれば、センサ31は、LiDARではなくカメラ等であってもよい。
*** Description of the configuration ***
The configuration of the support image display device 10 according to the third embodiment will be described with reference to FIG.
The support image display device 10 differs from the support image display device 10 according to the first embodiment in that the support image display device 10 includes an unevenness specifying unit 26 instead of the road type acquisition unit 25.
In the third embodiment, the sensor 31 is an IMU and a LiDAR. Note that LiDAR is used to specify the shape and size of road surface irregularities. Therefore, the sensor 31 may be a camera or the like instead of LiDAR as long as it is possible to specify the shape and size of the unevenness of the road surface.
***動作の説明***
図14及び図15を参照して、実施の形態3に係る支援画像表示装置10の動作を説明する。
実施の形態3に係る支援画像表示装置10の動作は、実施の形態3に係る支援画像表示方法に相当する。また、実施の形態3に係る支援画像表示装置10の動作は、実施の形態3に係る支援画像表示プログラムの処理に相当する。
*** Description of operation ***
The operation of the assistance image display device 10 according to the third embodiment will be described with reference to FIGS. 14 and 15.
The operation of the support image display device 10 according to the third embodiment corresponds to the support image display method according to the third embodiment. The operation of the support image display device 10 according to the third embodiment corresponds to the processing of the support image display program according to the third embodiment.
実施の形態1に係る支援画像表示装置10の動作の前提として、振動状態記憶部123には、凹凸の形状及び大きさを示す凹凸情報と対応付けて、凹凸情報が示す凹凸を通過した際に発生した振動状態が記憶されているものとする。車両100が走行する度に、振動状態記憶部123のデータが更新され、より適切な振動状態が記憶される。つまり、車両100が走行する度に、凹凸情報毎の適切な振動状態が学習される。   As a premise of the operation of the support image display device 10 according to the first embodiment, when the vibration state storage unit 123 passes through the unevenness indicated by the unevenness information in association with the unevenness information indicating the shape and size of the unevenness. It is assumed that the generated vibration state is stored. Every time the vehicle 100 travels, the data of the vibration state storage unit 123 is updated, and a more appropriate vibration state is stored. That is, each time the vehicle 100 travels, an appropriate vibration state for each piece of unevenness information is learned.
なお、車両100とは異なる他の車両が実際に凹凸を通過した際に計測された振動状態が、凹凸情報と対応付けて振動状態記憶部123に記憶されていてもよい。
但し、振動状態は車重等によって異なるため、振動状態記憶部123に記憶される振動状態は、車両100と同じ車種の車両が走行した際に計測された振動状態であることが望ましい。
A vibration state measured when another vehicle different from the vehicle 100 actually passes the unevenness may be stored in the vibration state storage unit 123 in association with the unevenness information.
However, since the vibration state differs depending on the vehicle weight and the like, the vibration state stored in the vibration state storage unit 123 is preferably a vibration state measured when a vehicle of the same vehicle type as the vehicle 100 travels.
図14を参照して、実施の形態3に係る支援画像表示装置10の全体的な動作を説明する。
車両100が走行中に図14に示す処理が繰り返し実行される。
ステップS33の処理は、図3のステップS13の処理と同じである。また、ステップS35及びステップS36の処理は、図3のステップS15及びステップS16の処理と同じである。
The overall operation of the assistance image display device 10 according to the third embodiment will be described with reference to FIG.
While the vehicle 100 is traveling, the process shown in FIG. 14 is repeatedly performed.
The process of step S33 is the same as the process of step S13 of FIG. Further, the processes of step S35 and step S36 are the same as the processes of step S15 and step S16 of FIG. 3.
(図14のステップS31:凹凸特定処理)
凹凸特定部26は、基準時間後に車両100が通過する位置における路面の凹凸の形状及び大きさを示す凹凸情報を特定する。
具体的には、図15に示すように、凹凸特定部26は、車両100の前方に設置されたLiDARによって基準時間後に車両100が通過する位置における路面の凹凸の形状及び大きさを示す凹凸情報を特定する。凹凸特定部26は、凹凸情報をメモリ121に書き込む。
(Step S31 in FIG. 14: unevenness specifying process)
The unevenness specifying unit 26 specifies unevenness information indicating the shape and size of the unevenness of the road surface at the position where the vehicle 100 passes after the reference time.
Specifically, as shown in FIG. 15, the unevenness specifying unit 26 is an unevenness information indicating the shape and size of the unevenness of the road surface at a position where the vehicle 100 passes after the reference time by LiDAR installed in front of the vehicle 100. Identify The unevenness specifying unit 26 writes the unevenness information to the memory 121.
(図14のステップS32:振動状態取得処理)
凹凸特定部26は、ステップS31で特定された凹凸情報に対応する振動状態を取得する。
具体的には、凹凸特定部26は、メモリ121から凹凸情報を読み出す。凹凸特定部26は、読み出された凹凸情報に対応付けて記憶された振動状態を振動状態記憶部123から読み出す。凹凸特定部26は、読み出された振動状態をメモリ121に書き込む。
(Step S32 in FIG. 14: Vibration State Acquisition Process)
The unevenness specifying unit 26 acquires a vibration state corresponding to the unevenness information specified in step S31.
Specifically, the unevenness specifying unit 26 reads the unevenness information from the memory 121. The unevenness specifying unit 26 reads from the vibration state storage unit 123 the vibration state stored in association with the read unevenness information. The unevenness identifying unit 26 writes the read vibration state in the memory 121.
(図14のステップS34:角度予測処理)
角度予測部22は、ステップS32で読み出された振動状態と、ステップS33で計測された実角度とに基づき、基準時間後の車両100の傾斜角度である予測角度を計算する。
具体的には、角度予測部22は、ステップS32で読み出された振動状態が示す傾斜角度の時間変化と同じ変化をするとして、予測角度を計算する。例えば、振動状態が基準時間後から10ms間の傾斜角度の変化を示しているとする。すると、角度予測部22は、基準時間後から10ms間、実角度を基準として、振動状態が示す傾斜角度の時間変化に従って傾斜角度が変化すると予測する。例えば、基準時間後に0.5度前上がりに傾き、その1ms後にさらに0.5度前上がりに傾くとする。この場合には、角度予測部22は、基準時間後の予測角度を、実角度よりも0.5度前上がりの角度であると計算する。また、角度予測部22は、基準時間後の1ms後の予測角度を、実角度よりも1度前上がりの角度であると計算する。
(Step S34 in FIG. 14: Angle Prediction Processing)
The angle prediction unit 22 calculates a prediction angle, which is the inclination angle of the vehicle 100 after the reference time, based on the vibration state read in step S32 and the actual angle measured in step S33.
Specifically, the angle prediction unit 22 calculates the prediction angle on the assumption that the time change of the tilt angle indicated by the vibration state read out in step S32 is the same. For example, it is assumed that the vibration state indicates a change in tilt angle between 10 ms after the reference time. Then, the angle prediction unit 22 predicts that the inclination angle changes in accordance with the time change of the inclination angle indicated by the vibration state for 10 ms after the reference time, based on the actual angle. For example, it is assumed that after the reference time, it inclines 0.5 degrees upward, and after 1 ms, it further inclines 0.5 degrees upward. In this case, the angle prediction unit 22 calculates the predicted angle after the reference time as an angle that is 0.5 degrees ahead of the actual angle. Further, the angle prediction unit 22 calculates the predicted angle after 1 ms after the reference time as an angle that is one degree higher than the actual angle.
***実施の形態3の効果***
以上のように、実施の形態3に係る支援画像表示装置10は、路面の凹凸によって基準時間後の車両100の傾斜角度の変化方向を予測する。これにより、実施の形態1と同様に、表示処理には遅延時間が発生する場合にも、適切な表示位置を特定可能である。
*** Effect of Embodiment 3 ***
As described above, the assistance image display device 10 according to the third embodiment predicts the change direction of the inclination angle of the vehicle 100 after the reference time due to the unevenness of the road surface. Thus, as in the first embodiment, an appropriate display position can be identified even when a delay time occurs in the display process.
<変形例6>
実施の形態1で説明した方法と、実施の形態3で説明した方法とを組み合わせて、基準時間後の傾斜角度である予測角度を計算してもよい。
具体例としては、実施の形態3で説明した方法により、基準時間後の車両100の傾斜角度の変化方向を予測し、実施の形態1で説明した方法により、基準時間後までの傾斜角度の変化量を予測してもよい。つまり、角度予測部22は、路面の凹凸に基づき、基準時間後の車両100の傾斜角度の変化方向を予測し、実角度と閾値とに基づき、基準時間後までの傾斜角度の変化量を予測してもよい。
<Modification 6>
The prediction angle which is the inclination angle after the reference time may be calculated by combining the method described in the first embodiment and the method described in the third embodiment.
As a specific example, the change direction of the tilt angle of the vehicle 100 after the reference time is predicted by the method described in the third embodiment, and the change of the tilt angle up to the reference time by the method described in the first embodiment. The amount may be predicted. That is, the angle prediction unit 22 predicts the change direction of the tilt angle of the vehicle 100 after the reference time based on the unevenness of the road surface, and predicts the change amount of the tilt angle after the reference time based on the actual angle and the threshold. You may
同様に、実施の形態2で説明した方法と、実施の形態3で説明した方法とを組み合わせて、基準時間後の傾斜角度である予測角度を計算してもよい。また、実施の形態1〜3で説明した方法を組み合わせて、基準時間後の傾斜角度である予測角度を計算してもよい。   Similarly, the prediction angle, which is the inclination angle after the reference time, may be calculated by combining the method described in the second embodiment and the method described in the third embodiment. In addition, the prediction angles, which are inclination angles after the reference time, may be calculated by combining the methods described in the first to third embodiments.
以上、この発明の実施の形態及び変形例について説明した。これらの実施の形態及び変形例のうち、いくつかを組み合わせて実施してもよい。また、いずれか1つ又はいくつかを部分的に実施してもよい。なお、この発明は、以上の実施の形態及び変形例に限定されるものではなく、必要に応じて種々の変更が可能である。   The embodiment and the modification of the present invention have been described above. Some of these embodiments and modifications may be implemented in combination. Also, any one or some may be implemented partially. The present invention is not limited to the above embodiment and modifications, and various modifications can be made as needed.
10 支援画像表示装置、11 プロセッサ、12 記憶装置、13 通信インタフェース、14 ディスプレイインタフェース、15 電子回路、21 車両計測部、22 角度予測部、23 位置特定部、24 画像表示部、25 道路種別取得部、26 凹凸特定部、31 センサ、32 ナビゲーションシステム、33 表示装置、100 車両、121 メモリ、122 ストレージ、123 振動状態記憶部。   DESCRIPTION OF REFERENCE NUMERALS 10 support image display device 11 processor 12 storage device 13 communication interface 14 display interface 15 electronic circuit 21 vehicle measurement unit 22 angle prediction unit 23 position identification unit 24 image display unit 25 road type acquisition unit , 26 unevenness specifying unit, 31 sensor, 32 navigation system, 33 display device, 100 vehicle, 121 memory, 122 storage, 123 vibration state storage unit.

Claims (11)

  1. 車両の視点位置から観察される風景に重畳するように表示装置に支援画像を表示する支援画像表示装置であり、
    前記車両の現在の傾斜角度である実角度を計測する車両計測部と、
    基準時間後の前記車両の傾斜角度は、前記車両の傾斜角度の時間変化を示す振動状態が示す直近の変化と同じ方向に変化するとして、前記車両計測部によって計測された前記実角度と、前記振動状態とに基づき、基準時間後の前記車両の傾斜角度である予測角度を計算する角度予測部と、
    前記角度予測部によって計算された前記予測角度に基づき、前記表示装置における前記支援画像を表示する表示位置を特定する位置特定部と、
    前記位置特定部によって特定された前記表示装置における前記表示位置に前記支援画像を表示する画像表示部と
    を備える支援画像表示装置。
    A support image display device that displays a support image on the display device so as to be superimposed on the landscape observed from the viewpoint position of the vehicle;
    A vehicle measurement unit that measures an actual angle that is a current inclination angle of the vehicle;
    The actual angle measured by the vehicle measurement unit, assuming that the tilt angle of the vehicle after the reference time changes in the same direction as the latest change indicated by the vibration state indicating the time change of the tilt angle of the vehicle. An angle prediction unit that calculates a prediction angle that is an inclination angle of the vehicle after a reference time based on the vibration state ;
    A position specifying unit that specifies a display position at which the support image is displayed on the display device, based on the predicted angle calculated by the angle prediction unit;
    An image display unit configured to display the support image at the display position on the display device specified by the position specification unit;
  2. 前記角度予測部は、前記実角度が閾値よりも大きい場合には、前記基準時間後の傾斜角度は前記実角度から変化せず、前記実角度が前記閾値以下の場合には、前記基準時間後の傾斜角度は前記実角度から前記振動状態が示す直近の変化と同じ方向に変化するとして、前記予測角度を計算する
    請求項1に記載の支援画像表示装置。
    The angle prediction unit does not change the inclination angle after the reference time from the actual angle when the actual angle is larger than a threshold, and after the reference time when the actual angle is equal to or less than the threshold. The support image display apparatus according to claim 1, wherein the predicted angle is calculated on the assumption that the inclination angle of the angle changes from the actual angle to the same direction as the latest change indicated by the vibration state.
  3. 前記車両計測部は、前記車両の角速度を計測し、
    前記角度予測部は、前記角速度が閾値よりも小さい場合には、前記基準時間後の傾斜角度は前記実角度から変化せず、前記角速度が前記閾値以上の場合には、前記基準時間後の傾斜角度は前記実角度から前記振動状態が示す直近の変化と同じ方向に変化するとして、前記予測角度を計算する
    請求項1に記載の支援画像表示装置。
    The vehicle measurement unit measures the angular velocity of the vehicle,
    The angle prediction unit does not change the inclination angle after the reference time from the actual angle when the angular velocity is smaller than a threshold, and inclines after the reference time when the angular velocity is equal to or more than the threshold. The support image display device according to claim 1, wherein the predicted angle is calculated on the assumption that the angle changes from the actual angle to the same direction as the latest change indicated by the vibration state.
  4. 前記閾値は、前記車両が走行中の道路と同じ道路種別の道路における過去の前記振動状態に応じて決定される
    請求項2又は3に記載の支援画像表示装置。
    The support image display device according to claim 2 or 3, wherein the threshold is determined according to the past vibration state on a road of the same road type as the road on which the vehicle is traveling.
  5. 前記車両計測部は、前記車両に搭載されたサスペンションのバネの状態を計測し、
    前記角度予測部は、前記バネが上限値よりも伸びている場合と、前記バネが下限値よりも縮んでいる場合とには、前記基準時間後の傾斜角度は前記実角度から変化せず、前記バネが前記上限値以下の伸びであり、かつ、下限値以下の縮みである場合には、前記基準時間後の傾斜角度は前記実角度から前記振動状態が示す直近の変化と同じ方向に変化するとして、前記予測角度を計算する
    請求項1に記載の支援画像表示装置。
    The vehicle measurement unit measures a state of a spring of a suspension mounted on the vehicle,
    The angle prediction unit does not change the inclination angle after the reference time from the actual angle when the spring extends beyond the upper limit value and when the spring contracts beyond the lower limit value. When the spring has an elongation equal to or less than the upper limit and a contraction equal to or less than the lower limit, the inclination angle after the reference time changes in the same direction as the latest change indicated by the vibration state from the actual angle. The support image display device according to claim 1, wherein the prediction angle is calculated.
  6. 車両の視点位置から観察される風景に重畳するように表示装置に支援画像を表示する支援画像表示装置であり、
    前記車両の現在の傾斜角度である実角度を計測する車両計測部と、
    基準時間後に前記車両が通過する位置における路面の凹凸の形状及び大きさを示す凹凸情報を特定する凹凸特定部と、
    路面の凹凸の形状及び大きさに対応付けて前記凹凸を通過した際に発生する振動状態であって、前記車両の傾斜角度の時間変化を示す振動状態を記憶した振動状態記憶部から、前記凹凸特定部によって特定された前記凹凸情報が示す凹凸の形状及び大きさに対応する前記振動状態を読み出して、読み出された前記振動状態と、前記車両計測部によって計測された前記実角度とに基づき、基準時間後の前記車両の傾斜角度である予測角度を計算する角度予測部と、
    前記角度予測部によって計算された前記予測角度に基づき、前記表示装置における前記支援画像を表示する表示位置を特定する位置特定部と、
    前記位置特定部によって特定された前記表示装置における前記表示位置に前記支援画像を表示する画像表示部と
    を備える支援画像表示装置。
    A support image display device that displays a support image on the display device so as to be superimposed on the landscape observed from the viewpoint position of the vehicle;
    A vehicle measurement unit that measures an actual angle that is a current inclination angle of the vehicle;
    An unevenness specifying portion for specifying unevenness information indicating the shape and size of the unevenness of the road surface at the position where the vehicle passes after the reference time;
    The vibration state storage unit stores the vibration state indicating the time change of the inclination angle of the vehicle, which is a vibration state generated when passing through the unevenness in association with the shape and size of the unevenness of the road surface. reads the vibration state corresponding to the shape and size of the irregularities indicated by the unevenness information identified by the identifying unit, and the vibration state that is read, on the basis of said actual angle measured by the vehicle measurement unit An angle prediction unit that calculates a prediction angle that is an inclination angle of the vehicle after a reference time;
    A position specifying unit that specifies a display position at which the support image is displayed on the display device, based on the predicted angle calculated by the angle prediction unit;
    An image display unit configured to display the support image at the display position on the display device specified by the position specification unit;
  7. 前記角度予測部は、読み出された前記振動状態が示す傾斜角度の時間変化と同じ変化をするとして、前記予測角度を計算する
    請求項6に記載の支援画像表示装置。
    7. The support image display device according to claim 6, wherein the angle prediction unit calculates the prediction angle on the assumption that the time change of the tilt angle indicated by the read vibration state is the same.
  8. 車両の視点位置から観察される風景に重畳するように表示装置に支援画像を表示する支援画像表示方法であり、
    車両計測部が、前記車両の現在の傾斜角度である実角度を計測し、
    角度予測部が、基準時間後の前記車両の傾斜角度は、前記車両の傾斜角度の時間変化を示す振動状態が示す直近の変化と同じ方向に変化するとして、前記実角度と、前記振動状態とに基づき、基準時間後の前記車両の傾斜角度である予測角度を計算し、
    位置特定部が、前記予測角度に基づき、前記表示装置における前記支援画像を表示する表示位置を特定し、
    画像表示部が、前記表示装置における前記表示位置に前記支援画像を表示する支援画像表示方法。
    A support image display method for displaying a support image on a display device so as to be superimposed on a landscape observed from the viewpoint position of a vehicle,
    A vehicle measurement unit measures an actual angle which is a current inclination angle of the vehicle;
    The inclination angle of the vehicle after the reference time changes in the same direction as the latest change indicated by the vibration state indicating the time change of the tilt angle of the vehicle after the reference time , and the angle prediction unit determines the actual angle and the vibration state Calculate a prediction angle, which is the inclination angle of the vehicle after a reference time, based on
    The position specifying unit specifies a display position at which the support image is displayed on the display device based on the predicted angle;
    The support image display method which an image display part displays the said support image on the said display position in the said display apparatus.
  9. 車両の視点位置から観察される風景に重畳するように表示装置に支援画像を表示する支援画像表示プログラムであり、
    車両計測部が、前記車両の現在の傾斜角度である実角度を計測する車両計測処理と、
    角度予測部が、基準時間後の前記車両の傾斜角度は、前記車両の傾斜角度の時間変化を示す振動状態が示す直近の変化と同じ方向に変化するとして、前記車両計測処理によって計測された前記実角度と、前記振動状態とに基づき、基準時間後の前記車両の傾斜角度である予測角度を計算する角度予測処理と、
    位置特定部が、前記角度予測処理によって計算された前記予測角度に基づき、前記表示装置における前記支援画像を表示する表示位置を特定する位置特定処理と、
    画像表示部が、前記位置特定処理によって特定された前記表示装置における前記表示位置に前記支援画像を表示する画像表示処理と
    を行う支援画像表示装置としてコンピュータを機能させる支援画像表示プログラム。
    A support image display program for displaying a support image on a display device so as to be superimposed on a landscape observed from the viewpoint position of a vehicle,
    Vehicle measurement processing in which a vehicle measurement unit measures an actual angle that is a current inclination angle of the vehicle;
    The angle prediction unit measures the tilt angle of the vehicle after the reference time as measured by the vehicle measurement process as changing in the same direction as the latest change indicated by the vibration state indicating the time change of the tilt angle of the vehicle. Angle prediction processing for calculating a predicted angle which is an inclination angle of the vehicle after a reference time based on an actual angle and the vibration state ;
    A position specifying process for specifying a display position at which the support image is displayed on the display device, based on the predicted angle calculated by the angle prediction process;
    The support image display program which makes a computer function as a support image display apparatus which an image display part performs the image display process which displays the said support image on the said display position in the said display apparatus specified by the said position identification process.
  10. 車両の視点位置から観察される風景に重畳するように表示装置に支援画像を表示する支援画像表示方法であり、
    車両計測部が、前記車両の現在の傾斜角度である実角度を計測し、
    凹凸特定部が、基準時間後に前記車両が通過する位置における路面の凹凸の形状及び大きさを示す凹凸情報を特定し、
    角度予測部が、路面の凹凸の形状及び大きさに対応付けて前記凹凸を通過した際に発生する振動状態であって、前記車両の傾斜角度の時間変化を示す振動状態を記憶した振動状態記憶部から、前記凹凸情報が示す凹凸の形状及び大きさに対応する前記振動状態を読み出して、読み出された前記振動状態と、前記実角度とに基づき、基準時間後の前記車両の傾斜角度である予測角度を計算し、
    位置特定部が、前記予測角度に基づき、前記表示装置における前記支援画像を表示する表示位置を特定し、
    画像表示部が、前記表示装置における前記表示位置に前記支援画像を表示する支援画像表示方法。
    A support image display method for displaying a support image on a display device so as to be superimposed on a landscape observed from the viewpoint position of a vehicle,
    A vehicle measurement unit measures an actual angle which is a current inclination angle of the vehicle;
    The unevenness specifying unit specifies unevenness information indicating the shape and size of the unevenness of the road surface at the position where the vehicle passes after the reference time;
    A vibration state memory storing a vibration state indicating a temporal change of the inclination angle of the vehicle, which is a vibration state generated when the angle prediction unit passes through the unevenness in association with the shape and size of the unevenness of the road surface The vibration state corresponding to the shape and size of the unevenness indicated by the unevenness information is read from the part, and based on the read vibration state and the actual angle , the inclination angle of the vehicle after the reference time Calculate a certain prediction angle,
    The position specifying unit specifies a display position at which the support image is displayed on the display device based on the predicted angle;
    The support image display method which an image display part displays the said support image on the said display position in the said display apparatus.
  11. 車両の視点位置から観察される風景に重畳するように表示装置に支援画像を表示する支援画像表示装置であり、
    車両計測部が、前記車両の現在の傾斜角度である実角度を計測する車両計測処理と、
    凹凸特定部が、基準時間後に前記車両が通過する位置における路面の凹凸の形状及び大きさを示す凹凸情報を特定する凹凸特定処理と、
    角度予測部が、路面の凹凸の形状及び大きさに対応付けて前記凹凸を通過した際に発生する振動状態であって、前記車両の傾斜角度の時間変化を示す振動状態を記憶した振動状態記憶部から、前記凹凸特定処理によって特定された前記凹凸情報が示す凹凸の形状及び大きさに対応する前記振動状態を読み出して、読み出された前記振動状態と、前記車両計測処理によって計測された前記実角度とに基づき、基準時間後の前記車両の傾斜角度である予測角度を計算する角度予測処理と、
    位置特定部が、前記角度予測処理によって計算された前記予測角度に基づき、前記表示装置における前記支援画像を表示する表示位置を特定する位置特定処理と、
    画像表示部が、前記位置特定処理によって特定された前記表示装置における前記表示位置に前記支援画像を表示する画像表示処理と
    を行う支援画像表示装置としてコンピュータを機能させる支援画像表示プログラム。
    A support image display device that displays a support image on the display device so as to be superimposed on the landscape observed from the viewpoint position of the vehicle;
    Vehicle measurement processing in which a vehicle measurement unit measures an actual angle that is a current inclination angle of the vehicle;
    Concavo-convex specifying processing that specifies concavo-convex information indicating the shape and size of the concavities and convexities of the road surface at the position where the vehicle passes after the reference time;
    A vibration state memory storing a vibration state indicating a temporal change of the inclination angle of the vehicle, which is a vibration state generated when the angle prediction unit passes through the unevenness in association with the shape and size of the unevenness of the road surface The vibration state corresponding to the shape and size of the unevenness indicated by the unevenness information specified by the unevenness specifying process is read from the part, and the read vibration state and the value measured by the vehicle measurement process based on the actual angle, and the angle estimation process for calculating a predicted angle is the inclination angle of the vehicle after the reference time,
    A position specifying process for specifying a display position at which the support image is displayed on the display device, based on the predicted angle calculated by the angle prediction process;
    The support image display program which makes a computer function as a support image display apparatus which an image display part performs the image display process which displays the said support image on the said display position in the said display apparatus specified by the said position identification process.
JP2019509570A 2018-11-27 2018-11-27 SUPPORT IMAGE DISPLAY DEVICE, SUPPORT IMAGE DISPLAY METHOD, AND SUPPORT IMAGE DISPLAY PROGRAM Active JP6522270B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/043627 WO2020110206A1 (en) 2018-11-27 2018-11-27 Assistance image display device, assistance image display method, and assistance image display program

Publications (2)

Publication Number Publication Date
JP6522270B1 true JP6522270B1 (en) 2019-05-29
JPWO2020110206A1 JPWO2020110206A1 (en) 2021-02-15

Family

ID=66655718

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019509570A Active JP6522270B1 (en) 2018-11-27 2018-11-27 SUPPORT IMAGE DISPLAY DEVICE, SUPPORT IMAGE DISPLAY METHOD, AND SUPPORT IMAGE DISPLAY PROGRAM

Country Status (2)

Country Link
JP (1) JP6522270B1 (en)
WO (1) WO2020110206A1 (en)

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06294652A (en) * 1993-04-09 1994-10-21 Clarion Co Ltd Drift correction system for gyro
JPH10160506A (en) * 1996-11-28 1998-06-19 Murata Mfg Co Ltd Angle measuring device
JP2004306792A (en) * 2003-04-07 2004-11-04 Calsonic Kansei Corp Head-up display
JP5862532B2 (en) * 2012-09-26 2016-02-16 アイシン精機株式会社 Vehicle driving support device
US20200064640A1 (en) * 2016-02-05 2020-02-27 Maxell, Ltd. Head-up display apparatus
JP6601441B2 (en) * 2017-02-28 2019-11-06 株式会社デンソー Display control apparatus and display control method

Also Published As

Publication number Publication date
JPWO2020110206A1 (en) 2021-02-15
WO2020110206A1 (en) 2020-06-04

Similar Documents

Publication Publication Date Title
CN107003110B (en) Image processing apparatus, image processing method, and program
EP3321757B1 (en) Planning feedback based decision improvement system for autonomous driving vehicle
US10049328B2 (en) Group driving style learning framework for autonomous vehicles
JP6298772B2 (en) In-vehicle control device, own vehicle position and orientation identification device, in-vehicle display device
US10114374B2 (en) Emergency handling system for an autonomous driving vehicle (ADV)
WO2018232680A1 (en) Evaluation framework for predicted trajectories in autonomous driving vehicle traffic prediction
JP6650028B2 (en) Side slip compensation control method for autonomous vehicles
JP6637088B2 (en) Autonomous vehicle positioning based on Walsh kernel projection technology
KR102048646B1 (en) Combined method with physical modeling and machine learning to simulate autonomous vehicle movement
JP5461065B2 (en) Current position specifying device and current position specifying method
US10579062B2 (en) Scalable smooth reference path generator for autonomous driving vehicles
JP5292874B2 (en) VEHICLE IMAGE PROCESSING DEVICE, VEHICLE IMAGE PROCESSING PROGRAM, AND VEHICLE IMAGE PROCESSING METHOD
US10139818B2 (en) Visual communication system for autonomous driving vehicles (ADV)
US10579065B2 (en) Algorithm and infrastructure for robust and efficient vehicle localization
US20100268452A1 (en) Navigation device, navigation method, and navigation program
KR102126621B1 (en) System delay compensation control method for autonomous vehicles
JP4724043B2 (en) Object recognition device
CN107848416B (en) Display control device, display device, and display control method
US10551840B2 (en) Planning driven perception system for autonomous driving vehicles
WO2010035781A1 (en) Lane determining device and navigation system
US10732004B2 (en) Method and apparatus for displaying virtual route
US20150354968A1 (en) Curve modeling device, curve modeling method, and vehicular navigation device
US10816973B2 (en) Utilizing rule-based and model-based decision systems for autonomous driving control
KR102033265B1 (en) System Delay Estimation Method for Autonomous Vehicle Control
CN104520675A (en) Camera parameter computation device, navigation system, and camera parameter computation method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190218

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20190218

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190218

TRDD Decision of grant or rejection written
A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20190314

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190326

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190423

R150 Certificate of patent or registration of utility model

Ref document number: 6522270

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150