JP7272252B2 - 表示制御装置、表示制御プログラム及び虚像表示システム - Google Patents

Description

この明細書における開示は、虚像の表示を制御する表示制御装置、表示制御プログラム及び虚像表示システムに関する。

特許文献１には、車両の前方風景に重畳表示される虚像の重畳位置を決定する技術が開示されている。この技術では、ジャイロセンサ、Ｇセンサ、ヨーレートセンサ等によって検出された車両の姿勢情報に基づき、虚像の重畳位置が決定される。

特開２０１０－２５６８７８号公報

特許文献１のように、車両の姿勢情報から重畳位置を決定し、決定した位置に虚像を表示するシステムでは、姿勢情報の検出から虚像表示の開始までの間に、時間的なずれが不可避的に生じる。故に、特許文献１の技術では、車両の過渡的な姿勢変化に対し虚像の重畳位置を追従させることが困難となる。

本開示は、虚像の重畳位置のずれを抑制可能な表示制御装置等の提供を目的とする。

上記目的を達成するため、開示された一つの態様は、車両（Ａｓ）において用いられ、車両の前景中の重畳対象（Ｔｒ）に重畳される虚像（Ｖｉ）の表示を制御する表示制御装置であって、車両に加速度を与えるトルクの値又はトルクに関連する値であるトルク情報を取得するトルク情報取得部（７１）と、虚像の表示に関連するシステムの遅延時間と、トルクの発生に関連する車両の制御特性とを加味した補正式又は補正テーブルを準備し、補正式又は補正テーブルへのトルク情報の適用により、車両の姿勢変化を予測する姿勢予測部（７７）と、姿勢変化の予測に基づいて、虚像の重畳位置を補正する位置補正部（７８）と、を備える表示制御装置とされる。

また開示された一つの態様は、車両（Ａｓ）において用いられ、車両の前景中の重畳対象（Ｔｒ）に重畳される虚像（Ｖｉ）の表示を制御する表示制御プログラムであって、少なくとも一つの処理部（１１）に、虚像の表示に関連するシステムの遅延時間と、車両に加速度を与えるトルクの発生に関連する制御特性とを加味した補正式又は補正テーブルを準備し（Ｓ１４）、トルクの値又はトルクに関連する値であるトルク情報を取得し（Ｓ１０３，Ｓ１０４）、補正式又は補正テーブルへのトルク情報の適用により、車両の姿勢変化を予測し（Ｓ１１５）、姿勢変化の予測に基づいて、虚像の重畳位置を補正する（Ｓ２７～Ｓ２９）、ことを含む処理を実行させる表示制御プログラムとされる。

また開示された一つの態様は、車両（Ａｓ）において用いられる虚像表示システムであって、車両の前景中の重畳対象（Ｔｒ）に虚像を重畳表示させるヘッドアップディスプレイ（２０）と、車両に加速度を与えるトルクの値又はトルクに関連する値であるトルク情報を取得するトルク情報取得部（７１）と、虚像の表示に関連するシステムの遅延時間と、トルクの発生に関連する車両の制御特性とを加味した補正式又は補正テーブルを準備し、補正式又は補正テーブルへのトルク情報の適用により、車両の姿勢変化を予測する姿勢予測部（７７）と、姿勢変化の予測に基づいて、ヘッドアップディスプレイによって表示される虚像の重畳位置を補正する位置補正部（７８）と、を備える虚像表示システムとされる。

これらの態様によれば、車両に加速度を与えるトルクの値又はその関連の値から、車両の姿勢変化が予測される。故に、車両が過渡的に姿勢変化するシーンでも、虚像の重畳位置は、前景中の重畳対象に追従し得る。加えて、姿勢変化の予測には、システムの遅延時間と車両の制御特性とを加味した補正式又は補正テーブルが用いられる。このように、車両に適合させた補正式又は補正テーブルを用いれば、姿勢変化の予測精度、ひいては重畳位置の補正精度が向上し得る。したがって、虚像の重畳位置のずれの抑制が可能となる。

尚、上記括弧内の参照番号は、後述する実施形態における具体的な構成との対応関係の一例を示すものにすぎず、技術的範囲を何ら制限するものではない。

本開示の一実地形態によるＨＣＵ及び虚像表示システムを含む車載ネットワークの全体像を示す図である。 車両に搭載されるＨＵＤの一例を示す図である。 ＨＣＵの概略的な構成の一例を示す図である。 重畳コンテンツの補正位置のずれ補正の効果を説明するための図である。 重畳コンテンツの表示例を示す図であって、ずれ補正の効果を示す図である。 旋回補正項を設定することの効果を説明するための図である。 補正式設定処理の詳細を示すフローチャートである。 姿勢値算出処理の詳細を示すフローチャートである。 映像生成処理の詳細を示すフローチャートである。

本開示の一実施形態による表示制御装置の機能は、図１～図３に示すＨＣＵ（Human Machine Interface Control Unit）１００によって実現されている。ＨＣＵ１００は、車両Ａｓにおいて用いられる虚像表示システム１０を、ヘッドアップディスプレイ（以下、「ＨＵＤ」）２０等と共に構成している。虚像表示システム１０は、車両Ａｓの乗員（例えばドライバ等）へ向けて情報を提示する出力インターフェースの機能を備えている。

虚像表示システム１０は、車両Ａｓに搭載された車載ネットワーク１の通信バス９９に、通信可能に接続されている。通信バス９９は、例えばＣＡＮ（Controller Area Network，登録商標）を提供するバスである。虚像表示システム１０は、車載ネットワーク１に設けられた複数のノードのうちの一つである。車載ネットワーク１の通信バス９９には、複数の車載ＥＣＵ（Electronic Control Unit）がそれぞれ一つのノードとして接続されている。通信バス９９に接続されたこれらのノードは、相互に通信可能である。例えば、駆動制御ＥＣＵ５１、ブレーキ制御ＥＣＵ５２、ステア制御ＥＣＵ５３、ボディ系統合ＥＣＵ５４、ロケータ装置６０及びフロントカメラユニット６６等が通信バス９９に接続されている。

駆動制御ＥＣＵ５１は、車両Ａｓに動力源として搭載されたドライブユニットを制御する車載ＥＣＵである。車両Ａｓの動力源は、内燃機関、モータジェネレータ、及びこれらを組み合わせたハイブリッドシステム等であってよい。即ち、車両Ａｓは、純内燃機関車及びｘＥＶのいずれであってもよい。ドライブユニットには、内燃機関又はモータジェネレータの出力軸の回転を減速又は増速させるトランスミッションが含まれていてもよい。駆動制御ＥＣＵ５１は、アクセル開度センサ３１及び車軸トルクセンサ４１等と直接的又は間接的に電気接続されている。駆動制御ＥＣＵ５１は、各センサ３１，４１等の計測信号に基づき、ドライブユニットに発生させる駆動トルクを制御する。

アクセル開度センサ３１は、車両Ａｓのドライバによるアクセル操作量を計測するセンサである。アクセル開度センサ３１は、アクセル操作量に応じた信号を出力する。車軸トルクセンサ４１は、車両Ａｓの駆動源が発生させる駆動トルクの値を測定するセンサである。車軸トルクセンサ４１は、例えば車両Ａｓのドライブシャフトに設けられている。車軸トルクセンサ４１は、ドライブシャフトのねじれ量を検出することにより、駆動トルクの値を間接的に測定する。車軸トルクセンサ４１は、駆動トルクの値に応じた信号を出力する。車軸トルクセンサ４１は、車両Ａｓを加速させるプラス側の値だけでなく、車両Ａｓを減速させるマイナス側の値も出力する。尚、駆動制御ＥＣＵ５１には、回転数センサによって計測された内燃機関又はモータジェネレータの出力軸の回転数を示す信号が提供されてもよい。

ブレーキ制御ＥＣＵ５２は、車両Ａｓに搭載されたブレーキシステムを制御する車載ＥＣＵである。ブレーキ制御ＥＣＵ５２は、駆動制御ＥＣＵ５１と連携した制動力制御が可能であり、具体的には、ドライブユニットにて発生するエンジンブレーキ又は回生ブレーキに応じた制動力をブレーキシステムに発生させる。ブレーキ制御ＥＣＵ５２は、ブレーキペダルセンサ３２、ブレーキ油圧センサ４２、車輪速センサ４３及び慣性センサ４４等と直接的又は間接的に電気接続されている。ブレーキ制御ＥＣＵ５２は、各センサ３２，４２，４３の計測信号及び他の車載ＥＣＵから取得する信号等に基づき、ブレーキ油圧回路の油圧を調整し、各輪に発生させる制動トルクを制御する。

ブレーキペダルセンサ３２は、車両Ａｓのドライバによるブレーキ操作量を計測するセンサである。ブレーキペダルセンサ３２は、ブレーキ操作量に応じた信号を出力する。ブレーキ油圧センサ４２は、ブレーキシステムが発生させる制動トルクの値を測定するセンサである。ブレーキ油圧センサ４２は、マスタシリンダの油圧を計測することにより、制動トルクの値を間接的に測定する。ブレーキ油圧センサ４２は、制動トルクの値に応じた信号を出力する。

車輪速センサ４３は、各輪のハブ部分に設けられており、各輪の回転速度を計測するセンサである。車輪速センサ４３は、車両Ａｓの走行速度に応じた車速信号を出力する。慣性センサ４４は、例えば３軸ジャイロセンサ及び３軸加速度センサ等によって構成されたＩＭＵ（Inertial Measurement Unit）であり、車両Ａｓに作用する慣性力を計測する。慣性センサ４４は、車両Ａｓのピッチ軸、ヨー軸及びロール軸に関連づく加速度及び角速度を計測によって取得する。慣性センサ４４は、前後方向加速度及び横方向加速度を示す加速度信号、並びにヨーレートを示す角速度信号等を少なくとも出力する。

ステア制御ＥＣＵ５３は、車両Ａｓに搭載されたステアリングシステムを制御する車載ＥＣＵである。ステア制御ＥＣＵ５３は、操舵角センサ３３と電気接続されており、操舵角センサ３３の検出信号に基づき、ＥＰＳ（Electric Power Steering）アクチュエータを制御する。ステア制御ＥＣＵ５３は、操舵角センサ３３の検出信号に基づき、ステアリングシャフトの回転方向及び回転角度を演算する。回転角度は、直進時の角度位相（０°）が基準とされる。ステア制御ＥＣＵ５３は、基準位置からの回転方向及び回転角度（ステアリング角）を示す操舵情報を、通信バス９９を通じて他の車載ＥＣＵに提供する。

ボディ系統合ＥＣＵ５４は、灯火装置及びドアロックシステム等を制御する車載ＥＣＵである。ボディ系統合ＥＣＵ５４は、車高センサ４５及び着座センサ４６等と直接的又は間接的に電気接続されている。車高センサ４５は、車両Ａｓに生じる上下方向の変位を計測するセンサである。車高センサ４５は、ボディに懸架されたサスペンションアームの動作によって上下方向に変位する特定の車輪について、ボディに対する沈み込み量を計測する。車高センサ４５は、例えば右後輪又は左後輪に設置されており、ボディとサスペンションアームとの間の相対距離を、車高を示す信号として出力する。着座センサ４６は、車室内に設置された各シートの座面等に設置されている。着座センサ４６は、ユーザの着座を検知し、ユーザの有無を示す信号を出力する。

ここで、上述した入力系の各センサ３１～３３の接続先は、上記とは異なる車載ＥＣＵであってよい。同様に、状態検出系の各センサ４１～４６の接続先も、上記とは異なる車載ＥＣＵであってよい。各センサと接続された車載ＥＣＵは、各センサから入力される信号に基づき、検出結果を示す情報を通信バス９９に逐次出力する。さらに、入力系の各センサ３１～３３及び状態検出系の各センサ４１～４６は、車載ＥＣＵを介さずに、通信バス９９に直接的に電気接続されていてもよい。また入力系の各センサ３１～３３からの各出力信号に替えて、又は各出力信号と共に、運転支援ＥＣＵ又は自動運転ＥＣＵにて生成された運転制御のための制御信号が、駆動制御ＥＣＵ５１、ブレーキ制御ＥＣＵ５２及びステア制御ＥＣＵ５３に入力されてよい。

ロケータ装置６０は、車両Ａｓの現在位置を測定する車載装置である。ロケータ装置６０は、例えばナビゲーション装置であってもよい。ロケータ装置６０は、高精度地図データベース６１を有している。高精度地図データベース６１は、多数の３次元地図データ及び２次元地図データを格納した大容量の記憶媒体を主体とする構成である。３次元地図データは、自動運転を可能にする高精度な地図データである。３次元地図データでは、地形及び構造物が３次元の座標情報を持った点群によって表現されている。ロケータ装置６０は、他の車載ＥＣＵからの要求に応じて、現在位置周辺の地図データを要求元に提供する。ロケータ装置６０は、３次元地図データが未整備のエリアにおいて、２次元地図データを要求元に提供する。

フロントカメラユニット６６は、撮像素子及びレンズ部と、撮像素子の制御及び撮像画像の画像解析を行う制御ユニットとを有している。フロントカメラユニット６６は、車両Ａｓの進行方向に撮像方向を向けた姿勢にて、車室内のバックミラー近傍に設置されている。フロントカメラユニット６６は、撮像素子にて撮像された撮像画像の解析により、車両Ａｓの数ｍ～数十ｍ前方の範囲から、予め規定された静止物体及び移動物体を検出する。フロントカメラユニット６６は、例えば歩行者、自転車及び他車両等の移動物体、並びに交通信号、ガードレール、縁石、道路標識、道路標示及び区画線等の静止物体を検出可能である。フロントカメラユニット６６は、画像解析によって取得した物体の相対位置及び形状等を示すセンシング情報を、通信バス９９に逐次出力する。

虚像表示システム１０は、操作デバイス２６及びドライバステータスモニタ（以下、「ＤＳＭ」）２７等と直接的又は間接的に電気接続されている。虚像表示システム１０は、操作デバイス２６及びＤＳＭ２７との接続により、ドライバによる操作を受け付ける入力インターフェースの機能をさらに備える。以下、操作デバイス２６、ＤＳＭ２７、ＨＵＤ２０及びＨＣＵ１００の詳細を、順に説明する。

操作デバイス２６は、ドライバ等によるユーザ操作を受け付ける入力部である。操作デバイス２６には、例えば虚像表示システム１０の設定を変更するようなユーザ操作等が入力される。操作デバイス２６には、ステアリングホイールのスポーク部に設けられたステアスイッチ、ステアリングコラム部８に設けられた操作レバー、及びドライバの発話を検出する音声入力装置等が含まれる。

ＤＳＭ２７は、近赤外光源及び近赤外カメラと、これらを制御する制御ユニットとを含む構成である。ＤＳＭ２７は、運転席のヘッドレスト部分に近赤外カメラを向けた姿勢にて、例えばステアリングコラム部８の上面又はインスツルメントパネル９の上面等に設置されている。ＤＳＭ２７は、近赤外光源によって近赤外光を照射されたドライバの頭部を、近赤外カメラによって撮影する。近赤外カメラによる撮像画像は、制御ユニットによって画像解析される。制御ユニットは、ドライバのアイポイントＥＰの位置及び視線方向等の情報を撮像画像から抽出し、抽出した状態情報をＨＣＵ１００へ向けて逐次出力する。

ＨＵＤ２０は、マルチインフォメーションディスプレイ及びセンターインフォメーションディスプレイ等と共に、複数の車載表示デバイスの一つとして、車両Ａｓに搭載されている。ＨＵＤ２０は、例えば経路情報等、車両Ａｓに関連する種々の情報を、虚像Ｖｉを用いてドライバに提示する。

ＨＵＤ２０は、ＨＣＵ１００と電気的に接続されており、ＨＣＵ１００によって生成された映像データを逐次取得する。ＨＵＤ２０は、ウィンドシールドＷＳの下方にて、インスツルメントパネル９内の収容空間に収容されている。ＨＵＤ２０は、虚像Ｖｉとして結像される光を、ウィンドシールドＷＳの投影範囲ＰＡへ向けて投影する。ウィンドシールドＷＳに投影された光は、投影範囲ＰＡにおいて運転席側へ反射され、ドライバによって知覚される。ドライバは、投影範囲ＰＡを通して見える前景に、虚像Ｖｉが重畳された表示を視認する。

ＨＵＤ２０は、プロジェクタ２１及び拡大光学系２２を含んでいる。プロジェクタ２１は、ＬＣＤ（Liquid Crystal Display）パネル及びバックライトを有している。プロジェクタ２１は、ＬＣＤパネルの表示面を拡大光学系２２へ向けた姿勢にて、ＨＵＤ２０の筐体に固定されている。プロジェクタ２１は、映像データの各フレーム画像をＬＣＤパネルの表示面に表示し、当該表示面をバックライトによって透過照明することで、虚像Ｖｉとして結像される光を拡大光学系２２へ向けて射出する。拡大光学系２２は、合成樹脂又はガラス等からなる基材の表面にアルミニウム等の金属を蒸着させた凹面鏡を、少なくとも一つ含む構成である。拡大光学系２２は、プロジェクタ２１から射出された光を反射によって広げつつ、上方の投影範囲ＰＡに投影する。

ＨＵＤ２０には、画角ＶＡが設定される。ＨＵＤ２０にて虚像Ｖｉを結像可能な空間中の仮想範囲を結像面ＩＳ（図２及び図４参照）とすると、画角ＶＡは、ドライバのアイポイントＥＰと結像面ＩＳの外縁とを結ぶ仮想線に基づき規定される視野角である。画角ＶＡは、アイポイントＥＰから見て、ドライバが虚像Ｖｉを視認できる角度範囲となる。ＨＵＤ２０では、垂直方向における垂直画角（例えば４～５°程度）よりも、水平方向における水平画角（例えば１０～１２°程度）の方が大きくされている。アイポイントＥＰから見たとき、結像面ＩＳと重なる前方範囲が画角ＶＡ内の範囲となる。一例として、結像面ＩＳは、アイポイントＥＰから見て、概ね十数ｍ～数十ｍ程度の前方路面に重なるよう設定される。

ＨＵＤ２０は、重畳コンテンツＣＴｓ（図５参照）及び非重畳コンテンツＣＴｎ（図５参照）を、虚像Ｖｉとして表示する。重畳コンテンツＣＴｓは、拡張現実（Augmented Reality，以下「ＡＲ」）表示に用いられるＡＲ表示物である。重畳コンテンツＣＴｓの表示位置は、例えば路面、前方車両、歩行者及び道路標識等、前景に存在する特定の重畳対象Ｔｒ（図４及び図５参照）に関連付けられている。重畳コンテンツＣＴｓは、特定の重畳対象Ｔｒに重畳表示され、当該重畳対象Ｔｒに相対固定されているように、重畳対象Ｔｒを追って、ドライバの見た目上で移動可能である。即ち、ドライバのアイポイントＥＰと、前景中の重畳対象Ｔｒと、重畳コンテンツＣＴｓとの位置関係とは、継続的に維持される。

非重畳コンテンツＣＴｎは、前景に重畳表示される表示物のうちで、重畳コンテンツＣＴｓを除いた非ＡＲ表示物である。非重畳コンテンツＣＴｎは、重畳コンテンツＣＴｓとは異なり、特定の重畳対象Ｔｒに非重畳の状態で、前景に重畳表示される。非重畳コンテンツＣＴｎの表示位置は、特定の重畳対象Ｔｒには関連付けられていない。非重畳コンテンツＣＴｎは、特定の重畳対象Ｔｒを追従することなく、ウィンドシールドＷＳ等の車両構成に相対固定されているように表示される。尚、車両Ａｓと重畳対象Ｔｒとの位置関係のために、非重畳コンテンツＣＴｎであっても、一時的に重畳対象Ｔｒと重畳されることがある。

ＨＣＵ１００は、虚像表示システム１０において、ＨＵＤ２０を含む複数の車載表示デバイスによる表示を統合的に制御する電子制御装置である。ＨＣＵ１００は、処理部１１、ＲＡＭ１２、記憶部１３、入出力インターフェース１４、及びこれらを接続するバス等を備えたコンピュータを主体として含んでいる。処理部１１は、ＲＡＭ１２と結合された演算処理のためのハードウェアである。処理部１１は、ＣＰＵ（Central Processing Unit）及びＧＰＵ（Graphics Processing Unit）等の演算コアを少なくとも一つ含む構成である。処理部１１は、ＦＰＧＡ（Field-Programmable Gate Array）、ＮＰＵ（Neural network Processing Unit）及び他の専用機能を備えたＩＰコア等をさらに含む構成であってよい。処理部１１は、ＲＡＭ１２へのアクセスにより、後述する各機能部の機能を実現するための種々の処理を実行する。記憶部１３は、不揮発性の記憶媒体を含む構成である。記憶部１３には、処理部１１によって実行される種々のプログラム（表示制御プログラム等）が格納されている。

ＨＣＵ１００は、記憶部１３に記憶された表示制御プログラムを処理部１１によって実行することにより、複数の機能部を備える。具体的に、ＨＣＵ１００には、トルク情報取得部７１、勾配情報取得部７２、走行情報取得部７３、状態情報取得部７４、コンテンツ選定部７６、姿勢演算部７７及び表示生成部７８等の機能部が構築される。

トルク情報取得部７１は、主に前後方向の加速度を車両Ａｓに与えるトルクの値又はトルクに関連する値を、トルク情報として取得する。トルク情報取得部７１には、車軸トルクセンサ４１にて計測される駆動トルクの値を示す情報と、ブレーキ油圧センサ４２にて計測される制動トルクの値を示す情報とが、通信バス９９を通じて提供される。本実施形態のトルク情報取得部７１は、車軸トルク値及びブレーキ油圧値を、トルク情報として取得する。尚、トルク情報取得部７１は、アクセル開度センサ３１の出力に基づくアクセル開度、及びブレーキ油圧センサ４２の出力に基づくブレーキ操作量等の情報を、さらに取得してもよい。

勾配情報取得部７２は、車両Ａｓの現在位置と３次元地図データ又は２次元地図データとを、ロケータ装置６０から取得する。勾配情報取得部７２は、ロケータ装置６０から取得するロケータ情報に基づき、車両Ａｓが現在走行する道路の勾配を算出する。勾配情報取得部７２は、路面の縦断勾配に加えて、路面の横断勾配（カント）を、勾配情報として取得する。尚、勾配情報取得部７２は、カメラユニットから路面の勾配情報を取得してもよい。

走行情報取得部７３は、車両Ａｓの走行状態を示す走行情報を、通信バス９９を通じて取得する。具体的に、走行情報取得部７３は、操舵角センサ３３の検出信号に基づく舵角情報を、走行情報として取得する。加えて走行情報取得部７３は、車輪速センサ４３及び慣性センサ４４の計測に基づく車速、加速度及び角速度（ヨーレート）等の各情報を、走行情報として取得する。走行情報取得部７３は、エンジン回転数等の情報を、走行情報としてさらに取得してもよい。

状態情報取得部７４は、車両Ａｓの状態に関連する状態情報を取得する。状態情報取得部７４は、乗員及び積載物によって変化する車両Ａｓの総重量を示す重量情報を、状態情報の一つとして取得する。一例として、状態情報取得部７４は、車高センサ４５の計測に基づく車高情報と、着座センサ４６の検知に基づく着座情報とを取得する。状態情報取得部７４は、乗員の搭乗及び荷物等の積載がなく且つ車両Ａｓが停止している無負荷状態を特定し、車高情報の基準値を設定する。状態情報取得部７４は、車高情報の基準値からの変化量を、予め設定されたテーブル等に適用し、車両Ａｓの総重量を算出する。また別の一例として、状態情報取得部７４は、走行情報取得部７３にて取得される駆動トルクと車両Ａｓの前後方向の加速度との比較に基づき、車両Ａｓの総重量を算出してもよい。

加えて状態情報取得部７４は、車両Ａｓに異常が生じたことを示す異常信号を通信バス９９から取得する。車載ＥＣＵ及びセンサの少なくとも一部は、自己診断機能により、自己又は接続された構成の異常を検知可能である。自己診断機能を有する車載ＥＣＵ等は、異常を検知した場合、予め規定された内容の信号を、異常信号として通信バス９９に出力する。状態情報取得部７４は、こうした異常信号を取得し、車載ＥＣＵ及びセンサの異常を把握する。

また状態情報取得部７４は、スリップ情報を状態情報として取得する。スリップ情報は、例えば低μ路等において、車両Ａｓの各輪のタイヤにスリップが発生しているか否かを判定した判定結果である。スリップ判定は、各輪について個別に実施される。一例として、各輪の車輪速センサ４３の検出値と、通信バス９９に出力されている実車速の値との比較により、各輪のスリップの有無が判定される。スリップ情報は、ブレーキ制御ＥＣＵ５２にて生成され、状態情報取得部７４に提供されてもよい。又は、走行情報取得部７３にて取得される走行情報の比較に基づき、状態情報取得部７４又は走行情報取得部７３がスリップ情報を生成してもよい。

さらに、状態情報取得部７４は、通信バス９９から情報を取得する上記の機能に加えて、記憶部１３に記憶された情報を読み出す機能を有している。具体的に、状態情報取得部７４は、車両Ａｓの経年変化に関連する経年変化情報と、車両Ａｓのユーザによって設定されるユーザ設定値とを、記憶部１３からの読み出しによって取得する。経年変化情報は、車両Ａｓの劣化度合いを定量的に示す状態情報である。状態情報取得部７４は、例えば車両Ａｓのイグニッションのオン回数及び車両Ａｓの総走行距離等を、経年変化情報として読み出す。ユーザ設定値は、操作デバイス２６へのユーザ操作の入力に基づき設定された値である。ユーザ設定値は、重畳コンテンツＣＴｓの重畳位置の補正の強さを調整する値であり、姿勢演算部７７にて用いられる補正式（後述する）のゲインａ，ｂ等の調整に用いられる。

コンテンツ選定部７６は、各情報取得部７１～７４等によって通信バス９９から取得される各種の取得情報に基づき、虚像表示させる重畳コンテンツＣＴｓの選択及び調停を行う。コンテンツ選定部７６は、表示要求のある重畳コンテンツＣＴｓの優先度を総合的に判定し、表示対象とすべき重畳コンテンツＣＴｓを選定する。コンテンツ選定部７６によるコンテンツの選定結果は、姿勢演算部７７及び表示生成部７８に提供される。

姿勢演算部７７及び表示生成部７８は、重畳コンテンツＣＴｓを重畳対象Ｔｒに追従させる虚像表示を可能にする機能部である。詳しく説明すると、水平路面を車両Ａｓが一定速で走行している場合、車両姿勢も実質的に一定となる。故に、例えば車高情報等を用いた重畳位置の補正だけで、アイポイントＥＰから見た重畳対象Ｔｒに重畳コンテンツＣＴｓを重畳させることが可能である（図４上段 ＜一定速走行中＞参照）。

しかし、実環境における車両Ａｓには、姿勢変化が連続的に生じる。例えば車両Ａｓが加速している場合には、車体後方が沈み込む姿勢変化（スクワット）が発生する。このように、過渡的な姿勢変化が車両Ａｓに発生するシーンでは、位置補正が姿勢変化に対して遅れることとなり、アイポイントＥＰと重畳対象Ｔｒとを結ぶ仮想線上から、重畳コンテンツＣＴｓが外れてしまう（図４中段 ＜加速中／ずれ補正なし＞参照）。その結果、重畳コンテンツＣＴｓの表示ずれＤＭが生じ、例えば重畳コンテンツＣＴｓは、重畳対象Ｔｒである前方路面から浮き上がったような表示となる（図５上段 ＜ずれ補正なし＞参照）。

こうした表示ずれＤＭの発生を回避するため、姿勢演算部７７及び表示生成部７８は、トルク情報を用いたフィードフォワード制御によって車両Ａｓの姿勢変化を予測し、重畳コンテンツＣＴｓのずれ補正を実施する。こうした制御の実施により、加速中の姿勢変化に対しても、重畳コンテンツＣＴｓは、アイポイントＥＰと重畳対象Ｔｒとを結ぶ仮想線上に位置し続けることができる（図４下段 ＜加速中／ずれ補正あり＞参照）。その結果、重畳コンテンツＣＴｓは、重畳対象Ｔｒである前方路面に貼り付いたような表示を維持できる（図５下段 ＜ずれ補正あり＞参照）。

以上の表示制御の実現のため、姿勢演算部７７は、各情報取得部７１～７４による取得情報に基づき、車両姿勢を演算する。具体的に、姿勢演算部７７は、車両Ａｓのロール角を演算する機能と、車両Ａｓのピッチ角を予測する機能とを備えている。

尚、ロール角は、車両Ａｓに規定されたロール軸まわりの回転角度である。ロール角は、車両Ａｓの車体部分の水平路面に対する左右の傾き度合いを示す。ロール軸は、車両Ａｓの前後方向に沿った仮想軸であり、車両Ａｓのサスペンション形態に基づき、幾何学的に規定される。ピッチ角は、車両Ａｓに規定されたピッチ軸まわりの回転角度である。ピッチ角は、車両Ａｓの車体部分の水平路面に対する前後の傾き度合いを示す。ピッチ軸は、車両Ａｓの左右方向に沿った仮想軸であり、ピッチ軸と同様に車両Ａｓのサスペンション形態に基づき、幾何学的に規定される。

姿勢演算部７７は、勾配情報取得部７２にて取得される３次元地図データ等に基づき、走行中のカーブの曲率半径を取得する。姿勢演算部７７は、カーブの曲率半径と、走行情報取得部７３にて取得される舵角情報及び車速情報とを用いて、現在の車両Ａｓのロール角を算出する。さらに、姿勢演算部７７は、勾配情報取得部７２にて把握される路面の横断勾配を加える演算により、算出したロール角を補正する。

姿勢演算部７７は、トルク情報取得部７１にて取得されるトルク情報に基づき、車両Ａｓのピッチ角を予測する。姿勢演算部７７は、下記の（式１）に示す補正式にトルク情報を適用する処理により、トルク情報の計測時刻から所定時間（後述する）が経過した時刻での車両Ａｓの予測ピッチ角Ｐを算出する。尚、記憶部１３には、複数の補正式が予め記憶されている。
Ｐ＝ａ・Ｔｄ＋ｂ・Ｔｂ＋ｃ＋ｄ＋ｅ ・・・ （式１）

上記の補正式において、ａ及びｂは、トルク情報に適用されるゲインである。Ｔｄには、車軸トルクセンサ４１の検出に基づく車軸トルク値（単位はＮ・ｍ等）が代入される。故に、ａ・Ｔｄは、駆動トルクによるピッチ角変化を予測する駆動補正項となる。一方、Ｔｂには、ブレーキ油圧センサ４２の検出に基づくブレーキ油圧値（単位はＭＰａ等）が代入される。故に、ｂ・Ｔｂは、制動トルクによるピッチ角変化を予測する制動補正項となる。

また上記のｃ～ｅは、ａ・Ｔｄ及びｂ・Ｔｂとは異なる補正項である。具体的に、ｃは、車種によって決定される補正項（車種別補正項）である。ｃは、車両Ａｓの駆動源の種類、駆動方式、駆動源位置、サスペンションの形態及び特性、並びに車両重量等によって決定される。

ｄは、舵角情報に応じたピッチ角の補正項（旋回補正項）である。詳記すると、旋回中の車両Ａｓでは、車両Ａｓの進行方向に対してタイヤが僅かに異なる方向を向くことにより、向心力が生み出されている。そのため、駆動輪に生じる駆動力（図６ Ｆｆｌ参照）も、車両Ａｓの前後方向に対して、僅かに異なる方向に作用する。その結果、駆動輪に同一の駆動トルクが発生していても、旋回時に車両Ａｓの前後方向に作用する駆動力（図６ Ｆｆｌｔ参照）は、直進時の駆動力よりも少なくなる。即ち、旋回時では直進時と比較して、駆動トルクに対応するピッチ角が減少する。旋回補正項ｄは、こうした旋回時の影響を補正する補正項である。旋回補正項ｄは、駆動輪のタイヤのスリップ角が大きくなるほど、言い替えれば、操舵角又は横方向加速度が大きくなるほど、駆動補正項を減少させるような変数項とされる。

以上説明した旋回時の影響は、低速且つ大舵角で旋回する例えば交差点での右左折等のシーンでは、考慮しない方がよい。故に、例えば操舵角が操舵閾値を超えるような場合、旋回補正項ｄは、無視されるのが望ましい。

ｅは、トランスミッションの変速ショックを補正する補正項（変速補正項）である。ｅは、変速ショックの大きさ、言い替えれば、変速の前後の変速段に応じて変化する変数項であってもよく、又は定数項であってもよい。尚、ドライブユニットにトランスミッションが無い車両Ａｓでは、変速補正項ｅは、補正式から省略されてよい。また、モータジェネレータの駆動力のオン及びオフ時、内燃機関の始動及び停止時、並びに気筒休止のオン及びオフ時等において、駆動力の不連続な変化が生じる場合、これらに起因するピッチ角の変化が変速補正項ｅによって補正されてもよい。

以上の補正式は、車両適合によって予め構築される。即ち、補正式におけるゲインａ，ｂ及び補正項ｃ～ｅは、それぞれ車両適合のための適合試験パターンを用いて予め導出された値とされる。さらに、補正式は、虚像Ｖｉの表示に関連するシステムの遅延時間と、駆動トルク及び制動トルクの発生に関連する車両Ａｓの制御特性とを加味した内容とされる。

詳記すると、遅延時間は、トルク情報の計測時刻から虚像Ｖｉが表示されるまでに必要とされる時間である。遅延時間は、センサ、車載ＥＣＵ及び通信バス９９間にてそれぞれ生じる通信遅延、各車載ＥＣＵの処理部による演算処理に伴う処理遅延、映像データの生成に要する描画遅延、ＬＣＤパネル及びバックライトの駆動に要する表示遅延等を足し合わせた時間となる。遅延時間は、車載ネットワーク１の構成、ＨＣＵ１００等の車載ＥＣＵの処理性能、及びプロジェクタ２１の応答速度等により、車両Ａｓの種別毎に異なってくる。補正式は、こうした遅延時間の違いを車両適合させる内容であり、トルク情報が計測された時刻からシステム固有の遅延時間が経過した将来時刻におけるピッチ角を推定する推定式となる。

一方、制御特性は、駆動制御ＥＣＵ５１及びブレーキ制御ＥＣＵ５２の制御により、ドライブユニット及びブレーキシステムが発生させるトルクの特性である。制御特性は、ドライブユニットに設けられた動力源の種類、並びに前輪駆動、後輪駆動及び全輪駆動等の駆動方式により、車両Ａｓの種別毎に異なってくる。

一例として、車両Ａｓに所定の減速度を作用させる場合、純内燃機関車では、ブレーキシステムが全ての制動トルクを発生させる。対して、ｘＥＶでは、モータジェネレータを用いた回生ブレーキによって少なくとも一部の制動トルクが供給される。また、回生ブレーキによる制動トルクと、通常のフットブレーキによる制動トルクとの配分も、車種固有の値となる。さらに、ｘＥＶでは、制動開始時の減衰力が、純内燃機関車よりも高い傾向にある。

また別の一例として、車両Ａｓに所定の正の加速度を作用させる場合、前輪駆動車及び後輪駆動車では、駆動輪に全ての駆動トルクが発生する。一方で、全輪駆動車では、前輪及び後輪の両方に駆動トルクが発生する。さらに、前後輪のトルク配分も、車種固有の値となる。例えば、前後輪の一方が内燃機関で駆動され、他方がモータジェネレータで駆動される車両Ａｓでも、各動力源の制御特性により、前後輪のトルク配分が決定される。

補正式は、こうしたトルク発生に関する制御特性の違いを車両適合させる内容であり、駆動トルク及び制動トルクの各値に対応するピッチ角を推定する推定式となる。姿勢演算部７７は、車両適合によって構築された補正式を用いて、予想ピッチ角を演算する。

姿勢演算部７７は、状態情報の示す車両状態に応じて補正式を切り替える機能を有している。記憶部１３には、複数の補正式、言い替えれば、ゲインａ，ｂ及び補正項ｃ～ｅを一纏まりとする複数の数値セットが記憶されている。複数の補正式（数値セット）は、それぞれ車両Ａｓの状態に紐づけて設定された内容であり、互いに異なっている。姿勢演算部７７は、車両Ａｓの状態情報に基づき、記憶部１３から読み出す一つの補正式（数値セット）を選択する。

具体的に、姿勢演算部７７は、状態情報取得部７４にて取得される重量情報の示す総重量に応じて、補正式を切り替える。故に、乗員数及び積載物が変化し、車両総重量の増減によって加減速時の挙動が変化しても、姿勢演算部７７は、予測ピッチ角の推定精度を確保できる。

また姿勢演算部７７は、経年変化情報として状態情報取得部７４に取得されるイグニッションのオン回数又は車両Ａｓの総走行距離に応じて、補正式を切り替える。以上により、経年劣化によって加減速時の挙動が変化しても、姿勢演算部７７は、予測ピッチ角の推定精度を確保できる。

姿勢演算部７７は、車両Ａｓのいずれかのタイヤにスリップが生じたことを示すスリップ情報が状態情報取得部７４によって取得された場合、このスリップ情報に基づき、スリップの発生期間にて、予測ピッチ角の算出を中止する。その結果、表示生成部７８による重畳位置のずれ補正も中止される。スリップ情報に基づく予測演算の一時中断は、トルク情報と実際の車両挙動との間にスリップに起因する差が生じ、ひいては車両姿勢の予測精度が確保され難くなることを想定した処理である。予測演算の一時中断は、加速時のスリップに限定されてもよく、又は制動時のスリップに限定されてもよい。

また姿勢演算部７７は、状態情報取得部７４にて異常信号が取得された場合に、この異常信号に基づき、予測ピッチ角の算出を中止する。その結果、表示生成部７８による重畳位置のずれ補正も中止される。予測演算の中止対象となる異常信号は、通信バス９９に出力される全ての異常信号であってもよく、又は虚像表示に関連する車両構成の異常信号に限定されてもよい。

姿勢演算部７７は、車両Ａｓが勾配のある路面を走行する場合、勾配情報に基づき、予測ピッチ角を補正する。姿勢演算部７７は、勾配情報取得部７２にて把握される縦断勾配を用いて、道路勾配によって生じるピッチ角（以下、「傾斜ピッチ角」）を算出する。姿勢演算部７７は、傾斜ピッチ角を補正量として予測ピッチ角に加える演算により、道路勾配を補正した予測ピッチ角を取得する。

ここまで説明した姿勢演算部７７は、各情報取得部７１～７４及びコンテンツ選定部７６と連携し、補正式設定処理及び姿勢値算出処理を実施する。以下、補正式設定処理及び姿勢値算出処理の詳細を、図７及び図８に基づき、図１及び図３を参照しつつ、以下説明する。

図７に示す補正式設定処理は、例えば車両Ａｓが停車状態である場合に開始される。姿勢演算部７７は、例えば車両Ａｓの使用開始時にて、イグニッションがオン状態とされた後、車両Ａｓの走行開始前に、補正式設定処理を開始する。また姿勢演算部７７は、車両Ａｓのドアの開閉があった場合に、補正式設定処理を開始してもよい。

補正式設定処理のＳ１１では、状態情報取得部７４にて取得される状態情報に基づき、総重量及び劣化度合い等の現在の車両状態を把握し、Ｓ１２に進む。Ｓ１２では、Ｓ１１にて把握した車両状態に応じて、現在の車両状態に対応する補正式を、記憶部１３に記憶された複数の補正式の中から選択し、Ｓ１３に進む。

Ｓ１３では、ドライバ等によって設定されたユーザ設定値を記憶部１３から読み出す。そして、Ｓ１２にて選択した補正式のゲインａ，ｂ等を、読み出したユーザ設定値に基づき調整し、Ｓ１４に進む。Ｓ１３では、ユーザ設定値に基づく他の補正項ｃ～ｅの調整も実施されてもよい。一例として、Ｓ１３では、各ゲインａ，ｂ又は補正式の全体に、ユーザ設定値に基づく調整係数が乗算される。調整係数は、０～１の間の任意の値とされる。調整係数がゼロの場合、ずれ補正は、実質的にキャンセルされた状態となる。一方で、係数が１の場合、最大限のずれ補正が実施される。

Ｓ１４では、Ｓ１３にてゲイン等の調整を行った補正式を、姿勢値算出処理にて参照可能に準備し、補正式設定処理を終了する。Ｓ１４では、例えば補正式のゲインａ，ｂ及び補正項ｃ～ｅの各値が、予め規定されたＲＡＭ１２の特定アドレスに書き込まれる。

図８に示す姿勢値算出処理は、コンテンツ選定部７６にて重畳コンテンツＣＴｓの表示実施が決定された場合に、所定の周期で繰り返し実施される。姿勢値設定処理のＳ１０１では、状態情報取得部７４にて取得される状態情報に基づき、スリップの発生及び異常信号の有無等、現在の車両状態を把握し、Ｓ１０２に進む。

Ｓ１０２では、Ｓ１０１にて把握した車両状態に基づき、予測ピッチ角の算出を中止するか否かを判定する。Ｓ１０２にて、中止条件が成立していると判定した場合、姿勢値算出処理を終了する。この場合、予測ピッチ角は、ゼロ又は直前の算出値に維持される。一方、Ｓ１０２にて、補正の中止条件が成立していないと判定した場合、Ｓ１０３に進む。

Ｓ１０３及び１０４では、トルク情報を取得する。具体的に、Ｓ１０３では、車軸トルクセンサ４１の計測に基づく車軸トルク値を取得し、Ｓ１０４に進む。Ｓ１０４では、ブレーキ油圧センサ４２の計測に基づくブレーキ油圧値を取得し、Ｓ１０５に進む。

Ｓ１０５及びＳ１０６では、走行情報を取得する。具体的に、Ｓ１０５では、操舵角センサ３３の計測に基づく操舵角を取得し、Ｓ１０６に進む。Ｓ１０６では、慣性センサ４４の計測に基づく横加速度を取得し、Ｓ１０７に進む。

Ｓ１０７では、Ｓ１０５にて取得した操舵角が操舵閾値を超えているか否かを判定する。Ｓ１０７にて、操舵角が操舵閾値以下であると判定した場合、Ｓ１０９に進む。一方で、Ｓ１０７にて、操舵角が操舵閾値を超えていると判定した場合、Ｓ１０８に進む。Ｓ１０８では、補正式から旋回補正項ｄを除く設定とし、Ｓ１０９に進む。

Ｓ１０９では、車速情報をさらに取得し、Ｓ１１０に進む。Ｓ１１０では、Ｓ１０９にて取得した車速情報に基づき、車両Ａｓが停止しているか否かを判定する。Ｓ１１０にて、車速がゼロでないと判定した場合、Ｓ１１２に進む。一方で、Ｓ１０９にて、車速が実質的にゼロであると判定した場合、Ｓ１１１に進む。Ｓ１１１では、補正式から制動補正項「ｂ・Ｔｂ」を除く設定とし、Ｓ１１２に進む。

Ｓ１１２では、エンジン回転数及びアクセル開度等の情報をさらに取得し、Ｓ１１３に進む。Ｓ１１３では、Ｓ１１２にて取得した走行情報に基づき、変速の有無を判定する。Ｓ１１３にて、変速が有ると判定した場合、Ｓ１１５に進む。一方で、Ｓ１１３にて、変速が無いと判定した場合、Ｓ１１４に進む。Ｓ１１４では、補正式から変速補正項ｅを除く設定とし、Ｓ１１５に進む。

Ｓ１１５では、補正式設定処理（図７参照）にて設定した補正式を読み出し、Ｓ１０８、Ｓ１１１及びＳ１１４にて行った設定を反映する。加えてＳ１１５では、表示対象とされる重畳コンテンツＣＴｓの種別に応じた調整係数を、補正式のゲインａ，ｂ又は補正式全体に乗算し、補正の強度を調整してもよい。こうした補正式に、Ｓ１０３及びＳ１０４にて取得したトルク情報の各取得値を代入して、予測ピッチ角を算出し、一連の姿勢値算出処理を終了する。

表示生成部７８は、ＨＵＤ２０に出力する映像データを生成する映像生成処理（図９参照）の実施により、ＨＵＤ２０による虚像表示を制御する。表示生成部７８は、映像データの生成に関連する機能として、重畳コンテンツＣＴｓの元画像を描画する機能、非重畳コンテンツＣＴｎの元画像を描画する機能、及び各元画像を描画した複数のレイヤーを合成して映像データとする機能等を有している。

表示生成部７８は、コンテンツ選定部７６によるコンテンツの選定結果を取得し（図９ Ｓ２１参照）、選定された重畳コンテンツＣＴｓの元画像を、ＡＲレイヤーに描画する。表示生成部７８は、重畳コンテンツＣＴｓの描画に必要なコンテンツ情報を逐次取得する。例えば経路案内コンテンツ（図５参照）を表示させる場合、表示生成部７８は、経路案内コンテンツの内容を規定する経路情報を、コンテンツ情報としてナビゲーション装置から取得する（図９ Ｓ２２参照）。

加えて表示生成部７８は、重畳対象Ｔｒ及びアイポイントＥＰの位置関係を把握する（図９ Ｓ２３参照）。具体的に、表示生成部７８は、重畳コンテンツＣＴｓの重畳対象Ｔｒ（図４参照）の相対位置及び形状等を示すセンシング情報を、フロントカメラユニット６６等の外界センサから取得する。さらに表示生成部７８は、ドライバのアイポイントＥＰの３次元の位置情報を、ＤＳＭ２７から取得する。

表示生成部７８は、重畳対象Ｔｒ及びアイポイントＥＰの位置関係を継続的に把握し、これらの位置関係に基づくシミュレーション演算を繰り返し、結像面ＩＳにおける虚像Ｖｉの結像位置及び結像形状を決定する。表示生成部７８は、シミュレーション演算によって決定された結像位置及び結像形状の虚像Ｖｉが結像面ＩＳに結像されるよう、ＡＲレイヤーにおける元画像の描画位置及び描画形状をさらに決定する。

表示生成部７８は、重畳コンテンツＣＴｓを重畳対象Ｔｒに追従させるため、予測される車両姿勢に合わせて元画像の描画位置及び描画形状を補正する。具体的に、表示生成部７８は、姿勢演算部７７にて予測された姿勢変化の情報、即ち、予測ピッチ角を取得する。（図９ Ｓ２４参照）。表示生成部７８は、予測ピッチ角に基づき、結像面ＩＳの位置及び姿勢を、予測されたピッチ角に応じた状態に逐次補正する。以上により、車両Ａｓに対して相対固定された結像面ＩＳは、予測される車両姿勢に合わせた位置及び姿勢に規定される。表示生成部７８は、結像面ＩＳの位置だけでなく、アイポイントＥＰの位置も、ピッチ角の予測情報に応じて補正してよい。表示生成部７８は、予測される車両姿勢において、重畳対象Ｔｒに重なるような描画位置及び描画形状を決定する（図９ Ｓ２７参照）。表示生成部７８は、決定した描画位置及び描画形状にて、重畳コンテンツＣＴｓの元画像をＡＲレイヤーに描画する（図９ Ｓ２８参照）。

表示生成部７８は、ＡＲレイヤーの生成と併行して、非ＡＲレイヤーを生成する。表示生成部７８は、画角ＶＡ内に常時表示される例えばスピード表示（図５参照）等の非重畳コンテンツＣＴｎの元画像を、非ＡＲレイヤーに描画する。表示生成部７８は、ＡＲレイヤー及び非ＡＲレイヤーを合成し、一つの出力レイヤーを生成する（図９ Ｓ２９参照）。さらに表示生成部７８は、出力レイヤーに所定の歪み補正を適用し、投影範囲ＰＡへの光の投影に伴う虚像Ｖｉの歪みが低減（相殺）されるように、出力レイヤーの全体形状を変形させる（図９ Ｓ３０参照）。表示生成部７８は、歪み補正を適用した出力レイヤーを一つのフレーム画像とし、予め規定された映像フォーマットに従った映像データを生成する。表示生成部７８は、生成した映像データを、プロジェクタ２１へ向けて連続的に出力する（図９ Ｓ３１参照）。

加えて表示生成部７８は、重畳コンテンツＣＴｓの重畳位置のずれ補正を、一時的に中止する。表示生成部７８は、ずれ補正を中断する場合、一例として、重畳コンテンツＣＴｓを基準位置に表示させる。基準位置は、車両姿勢に変化が生じていないと仮定したとき、言い替えれば、ピッチ角、ロール角及びヨー角が全てゼロであると仮定したときの表示位置である。さらに別の一例として、表示生成部７８は、ずれ補正を中断する場合に、中断直前の表示位置に重畳コンテンツＣＴｓを固定してもよい。

表示生成部７８は、重畳位置のずれ補正を適用した重畳コンテンツＣＴｓの変形度合いが予め規定された上限を超える場合（図９ Ｓ２５参照）に、重畳位置の補正を中止する。例えば、重畳コンテンツＣＴｓの描画形状によっては、ずれ補正が逆効果となり、ドライバの煩わしさを感じさせる要因となり得る。一例として、制動時に車体前方が沈み込むと、画角ＶＡは、ごく近傍の前方路面と重なる。この場合、画角ＶＡの大部分を塗り潰すような重畳コンテンツＣＴｓが表示されてしまうため、ドライバは、煩わしさを感じ易い。また別の一例として、加速時に車体後方が沈み込むと、画角ＶＡは、遠方の路面と重なるようになる。この場合、重畳コンテンツＣＴｓは、上下方向に細長く伸びた意味理解の難しい形状となり得る。

こうした虚像形状の極端な変形を回避するため、表示生成部７８は、重畳コンテンツＣＴｓのずれ補正の上限を設定する。上限は、重畳コンテンツＣＴｓの種別毎に設定されている。上限は、姿勢演算部７７にて算出される予測ピッチ角に対し設定される値であってもよく、元画像に対して設定される画像上の境界であってもよい。

予測ピッチ角に対して変形上限値が設定される場合、表示生成部７８は、予測ピッチ角が変形上限値を超えると、予測ピッチ角に替えて、代替ピッチ角を設定する（図９ Ｓ２６参照）。代替ピッチ角は、例えばゼロ又は変形上限の値とされる。表示生成部７８は、重畳コンテンツＣＴｓの元画像の描画形状及び描画位置を、代替ピッチ角を用いて決定することで、重畳コンテンツＣＴｓのずれ補正を一時的に中断させる。故に、代替ピッチ角がゼロに設定された場合、重畳コンテンツＣＴｓの表示位置は、基準位置に維持される。また、代替ピッチ角が変形上限とされた場合、重畳コンテンツＣＴｓの表示位置は、特定位置に維持される。

さらに、表示生成部７８は、車両Ａｓの状態情報に基づき、重畳コンテンツＣＴｓの重畳位置のずれ補正を一時的に中止できる。上述したように、姿勢値算出処理にて中止条件が成立する場合（図９ Ｓ１０２参照）、予測ピッチ角は、特定の値に維持される。故に、中止条件が成立している期間において、表示生成部７８は、重畳コンテンツＣＴｓの表示位置を、基準位置又は特定位置に維持させる。具体的に、表示生成部７８は、状態情報取得部７４にてスリップ情報が取得された場合、このスリップ情報に基づき、スリップの発生期間にて重畳位置のずれ補正を中止する。加えて表示生成部７８は、状態情報取得部７４にて異常信号が取得された場合、この異常信号に基づき、重畳位置のずれ補正を中止する。

ここまで説明した本実施形態では、車両Ａｓに加速度を与えるトルクの値から、車両Ａｓの姿勢変化が予測される。故に、車両Ａｓが過渡的に姿勢変化するシーンでも、虚像Ｖｉの重畳位置は、前景中の重畳対象Ｔｒに追従し得る。加えて、姿勢変化の予測には、システムの遅延時間と車両Ａｓの制御特性とを加味した補正式が用いられる。このように、車両Ａｓに適合させた補正式を用いれば、姿勢変化の予測精度、ひいては重畳位置の補正精度が向上し得る。したがって、虚像Ｖｉの重畳位置のずれの抑制が可能となる。

より詳しく説明すると、通信、演算処理及び描画処理に伴う遅延時間は、車両Ａｓに搭載されたシステム毎に異なる。加えて、駆動源及び駆動方式が異なると、加減即時のトルク発生に関連する制御特性、例えば駆動制御や回生量制御等も異なってくる。本実施形態の補正式は、車両適合により、車種毎に異なる遅延時間及び制御特性を吸収できるよう構築されている。故に、補正式によって得られた予測ピッチ角を用いた補正を実施すれば、重畳コンテンツＣＴｓの位置ずれが低減可能となる。

加えて本実施形態では、車両Ａｓの状態に関連する状態情報が状態情報取得部７４によって取得される。故に、表示生成部７８は、重畳コンテンツＣＴｓの重畳位置のずれ補正を、車両Ａｓの状態に応じて、ドライバの違和感を惹起させないように、適切に実施し得る。

具体的に、本実施形態では、互いに異なる内容の補正式が、車両Ａｓの状態に紐づけて複数設定されている。そして、姿勢演算部７７は、状態情報の示す車両状態に応じて、予め設定された複数のうちで補正式を切り替える。故に、姿勢演算部７７は、実環境において不可避的に生じる外乱に対応し、現在の車両状態に応じた適切な補正式を使用できる。その結果、姿勢変化の予測精度、ひいては重畳コンテンツＣＴｓの重畳精度の外乱に対するロバスト性が確保され易くなる。

また本実施形態では、車両Ａｓの総重量に応じて、トルク情報を適用する補正式が切り替えられる。乗員の乗降や積載物の積み下ろしにより、車両Ａｓの総重量が増減すると、ピッチ軸まわりの慣性モーメントも変化する。慣性モーメントが変化すると、駆動トルク及び制動トルクに対する車両姿勢の態様も変化する。故に、総重量に応じた補正式を切り替えによれば、姿勢演算部７７は、乗員及び積載物が変化しても、現在の車両Ａｓの姿勢挙動に適合する補正式を使用できる。したがって、総重量が変化しても、重畳コンテンツＣＴｓの重畳精度の維持が可能になる。

さらに本実施形態では、車両Ａｓの経年変化情報に応じて、トルク情報を適用する補正式が切り替えられる。例えば車両Ａｓには、ドライブユニットの駆動トルクの減少、ブレーキユニットの制動力の低下、サスペンションのへたり等が、経年劣化として不可避的に生じる。故に、経年変化情報に応じた補正式を切り替えによれば、姿勢演算部７７は、車両Ａｓに経年劣化が生じても、車両Ａｓの劣化度合いに適合する補正式を使用し続けることができる。その結果、重畳コンテンツＣＴｓの重畳精度は、車両Ａｓの使用期間を通して、継続的に維持可能となる。

加えて本実施形態では、状態情報に基づき、重畳位置の補正が中止される。ＨＵＤ２０の画角ＶＡは、ウィンドシールドＷＳのごく一部に限られている。故に、車両Ａｓの状態によっては、重畳位置を補正しない方がよい場合、又は重畳位置を補正し切れない場合が生じ得る。そのため、状態情報に基づく補正の一時的な中断は、不適切な補正が実施されてしまい、重畳コンテンツＣＴｓの違和感が顕著となることを防ぎ得る。

また本実施形態では、スリップ情報に基づき、スリップの発生期間にて、重畳位置の補正が中止される。タイヤにスリップが発生した場合、トルク情報から推定される車両姿勢は、実際の車両姿勢とは異なってくる。故に、スリップ情報に基づく補正の一時的な中断は、違和感のある重畳コンテンツＣＴｓの表示回避に有効となる。

さらに本実施形態では、異常信号の取得に基づき、重畳位置の補正が中止される。例えば、虚像表示システム１０、駆動制御ＥＣＵ５１及びブレーキ制御ＥＣＵ５２に異常が生じた場合、予測ピッチ角又は補正量等は、誤った値となる可能性がある。故に、異常信号に基づく補正の一時的な中断は、ずれ補正が逆効果となるリスクの低減に寄与できる。

加えて本実施形態では、重畳位置の補正を適用した重畳コンテンツＣＴｓの変形度合いが予め規定された上限を超える場合、重畳位置の補正が中止される。変形度合が大きくなると、補正後の重畳コンテンツＣＴｓの描画形状は、意味理解に適さない形状、或いは誤解を生じさせるような形状になる可能性がある。そのため、変形度合いの上限を設定し、上限到達によって補正を中断すれば、情報提示に対するドライバの誤認が効果的に抑制され得る。

また本実施形態では、ドライバ等による重畳位置の補正の強さの調整が可能である。具体的には、補正可能な範囲又は補正が許容される範囲で最大限のずれ補正を実施する状態から、ずれ補正をキャンセルした状態まで、ドライバは、任意に調整することができる。重畳位置のずれに対する印象は、重畳コンテンツＣＴｓを視認するドライバによって異なってくる。故に、ずれ補正の強さに調整幅を持たせることによれば、表示生成部７８は、ドライバが違和感を覚え難いずれ補正を、重畳コンテンツＣＴｓに適用できる。

さらに本実施形態では、重畳コンテンツＣＴｓの内容に応じて、重畳位置の補正の強さが変更される。重畳位置のずれに対するドライバの印象は、重畳コンテンツＣＴｓの内容、例えば描画形状や表示色等に応じて異なってくる。故に、重畳コンテンツＣＴｓの種別毎に補正の強さが調整されれば、表示生成部７８は、多種の重畳コンテンツＣＴｓを、それぞれ違和感の抑制された状態で表示させることができる。

尚、上記実施形態では、姿勢演算部７７が「姿勢予測部」に相当し、表示生成部７８が「位置補正部」に相当し、ＨＣＵ１００が「表示制御装置」に相当する。

（他の実施形態）
以上、本開示の一実施形態について説明したが、本開示は、上記実施形態に限定して解釈されるものではなく、本開示の要旨を逸脱しない範囲内において種々の実施形態及び組み合わせに適用することができる。

上記実施形態の変形例１では、姿勢演算部７７による予測ピッチ角の算出に、補正式に替えて、補正テーブルが用いられる。補正テーブルは、例えば車軸トルク値及びブレーキ油圧値に、予測ピッチ角を紐づけたデータである。姿勢演算部７７は、車軸トルク値及びブレーキ油圧値を補正テーブルに適用する処理により、この補正テーブルから一つの予測ピッチ角を取得する。

加えて変形例１では、互いに異なる内容の補正テーブルが、車両Ａｓの状態に紐づけて複数設定されている。姿勢演算部７７は、補正テーブル設定処理により、状態情報の示す車両状態に応じた補正テーブルを記憶部１３から読み出し、トルク情報を適用する。こうした変形例１のような補正テーブルの切り替えによっても、補正式の切り替える形態と同様の効果が獲得され、ドライバの違和感を抑制可能な重畳位置のずれ補正が実施され得る。

上記実施形態の変形例２において、トルク情報取得部７１は、トルクに関連する値をトルク情報として取得する。具体的に、トルク情報取得部７１は、車軸トルク値に替えて、アクセル開度をトルク情報として取得する。またトルク情報取得部７１は、ブレーキ油圧値に替えて、ブレーキ操作量をトルク情報として取得する。姿勢演算部７７は、補正式のＴｄ及びＴｂに、それぞれアクセル開度及びブレーキ操作量が代入される。そのため、補正式のゲインａ，ｂは、アクセル開度及びブレーキ操作量に合わせた値に設定される。例えば、車軸トルク値及びブレーキ油圧値を用いた場合にトルク精度差が顕著となるような車両Ａｓでは、アクセル開度及びブレーキ操作量から、トルク値の推定及びピッチ角の予測が実施されてよい。

上記実施形態の変形例３では、補正式又は補正テーブルの切り替えが、重量情報及び経年変化情報のうちの一方のみに基づいて実施される。また、上記実施形態の変形例４では、状態情報に基づく補正式又は補正テーブルの切り替えが実施されない。さらに、上記実施形態の変形例５では、重畳位置の補正中止が、スリップ情報及び異常信号のうちの一方のみに基づいて実施される。また、上記実施形態の変形例６では、状態情報に基づく補正中止は、実施されない。さらに、上記実施形態の変形例７では、重畳位置の補正を中止する変形度合いの上限が設定されない。

上記実施形態の変形例８では、ユーザ設定値を重畳コンテンツＣＴｓの種別毎に設定できる機能が省略されている。そのため変形例８では、重畳コンテンツＣＴｓの種別に関わらず、同一のユーザ設定値に基づき、補正式のゲイン調整が実施される。また、上記実施形態の変形例９では、ユーザによるずれ補正強度の調整機能が設けられていない。

上記実施形態の補正式の内容は、適宜変更されてよい。例えば、上記実施形態の変形例１０の補正式では、車両Ａｓのダンパーの減衰特性がさらに加味されている。加えて変形例１０では、ダンパーの減衰特性が切替可能とされており、姿勢演算部７７は、切り替えられたダンパーの減衰特性に合わせて、補正式を切り替えることができる。また、上記実施形態の変形例１１では、補正式から旋回補正項ｄ及び変速補正項ｅの少なくとも一方が省略されている。こうした変形例１１のように、補正式に含まれる補正項は、適宜変更されてよい。さらに、補正式は、１次項だけでなく、２次項等を含んでいてもよい。

上記実施形態の変形例１２では、重畳コンテンツＣＴｓ（経路案内コンテンツ）として、２本線状の虚像Ｖｉが、それぞれ自車レーンの路面のうちで左右の区画線近傍に重畳される。また変形例１３では、１本線状の虚像Ｖｉが、自車レーンの路面中央に重畳コンテンツＣＴｓとして重畳表示される。以上の変形例１２及び変形例１３のように、重畳コンテンツＣＴｓの描画形状は、適宜変更されてよい。

さらに、虚像表示される各コンテンツは、表示色、表示輝度、基準となる表示形状等の静的な要素、さらに、点滅の有無、点滅の周期、アニメーションの有無、及びアニメーションの動作等の動的な要素を適宜変更されてよい。また、各コンテンツの静的又は動的な要素は、ドライバの嗜好に応じて変更可能であってよい。加えて、補正ずれを適用される重畳コンテンツＣＴｓは、経路案内コンテンツに限定されない。

上記実施形態では、ＤＳＭ２７にて検出されるアイポイントＥＰの位置情報に基づき、重畳コンテンツＣＴｓの元画像の描画位置及び描画形状が逐次変更されていた。しかし、変形例１４では、ＤＳＭ２７の検出情報を用いることなく、予め設定された基準アイポイント中心の設定情報を用いて、重畳コンテンツＣＴｓの元画像の描画位置及び描画形状が決定される。

変形例１５のＨＵＤのプロジェクタには、ＬＣＤパネル及びバックライトに替えて、ＥＬ（Electro Luminescence）パネルが設けられている。さらに、ＥＬパネルに替えて、プラズマディスプレイパネル、ブラウン管及びＬＥＤ等の表示器を用いたプロジェクタがＨＵＤには採用可能である。

変形例１６のＨＵＤには、ＬＣＤ及びバックライトに替えて、レーザモジュール（以下「ＬＳＭ」）及びスクリーンが設けられている。ＬＳＭは、例えばレーザ光源及びＭＥＭＳ（Micro Electro Mechanical Systems）スキャナ等を含む構成である。スクリーンは、例えばマイクロミラーアレイ又はマイクロレンズアレイである。こうしたＨＵＤでは、ＬＳＭから照射されるレーザ光の走査により、スクリーンに表示像が描画される。ＨＵＤは、スクリーンに描画された表示像を、拡大光学素子によってウィンドシールドに投影し、虚像を空中表示させる。

変形例１７のＨＵＤには、ＤＬＰ（Digital Light Processing，登録商標）プロジェクタが設けられている。ＤＬＰプロジェクタは、多数のマイクロミラーが設けられたデジタルミラーデバイス（以下、「ＤＭＤ」）と、ＤＭＤに向けて光を投射する投射光源とを有している。ＤＬＰプロジェクタは、ＤＭＤ及び投射光源を連携させた制御により、表示像をスクリーンに描画する。

さらに、変形例１８のＨＵＤでは、ＬＣＯＳ（Liquid Crystal On Silicon）を用いたプロジェクタが採用されている。また変形例１９のＨＵＤには、虚像Ｖｉを空中表示させる光学系の一つに、ホログラフィック光学素子が採用されている。以上の変形例１５～１９では、それぞれのＨＵＤの表示遅延を考慮して、補正式が予め構築される。

上記実施形態の変形例２０では、ＨＣＵとＨＵＤとが一体的に構成されている。即ち、ＨＵＤの制御回路に、ＨＣＵの処理機能が実装されている。こうした変形例２０では、ＨＵＤが「虚像表示システム」に相当する。また変形例２１では、メータＥＣＵ又はナビゲーションＥＣＵによって、ＨＣＵの機能が実現されている。

上記実施形態にて、ＨＣＵによって提供されていた各機能は、ソフトウェア及びそれを実行するハードウェア、ソフトウェアのみ、ハードウェアのみ、あるいはそれらの複合的な組合せによっても提供可能である。さらに、こうした機能がハードウェアとしての電子回路によって提供される場合、各機能は、多数の論理回路を含むデジタル回路、又はアナログ回路によっても提供可能である。

本開示の表示制御方法を実現可能な表示制御プログラム等を記憶する記憶媒体の形態は、適宜変更可能である。例えば記憶媒体は、回路基板上に設けられた構成に限定されず、メモリカード等の形態で提供され、スロット部に挿入されて、ＨＣＵの制御回路に電気的に接続される構成であってよい。さらに、記憶媒体は、ＨＣＵへのプログラムのコピー基となる光学ディスク及びのハードディスクドライブ等であってもよい。

本開示に記載の制御部及びその手法は、コンピュータプログラムにより具体化された一つ乃至は複数の機能を実行するようにプログラムされたプロセッサを構成する専用コンピュータにより、実現されてもよい。あるいは、本開示に記載の装置及びその手法は、専用ハードウェア論理回路により、実現されてもよい。もしくは、本開示に記載の装置及びその手法は、コンピュータプログラムを実行するプロセッサと一つ以上のハードウェア論理回路との組み合わせにより構成された一つ以上の専用コンピュータにより、実現されてもよい。また、コンピュータプログラムは、コンピュータにより実行されるインストラクションとして、コンピュータ読み取り可能な非遷移有形記録媒体に記憶されていてもよい。

Ａｓ 車両、Ｔｒ 重畳対象、Ｖｉ 虚像、１０ 虚像表示システム、１１ 処理部、２０ ＨＵＤ（ヘッドアップディスプレイ）、７１ トルク情報取得部、７４ 状態情報取得部、７７ 姿勢演算部（姿勢予測部）、７８ 表示生成部（位置補正部）、１００ ＨＣＵ（表示制御装置）

Claims (13)

1. 車両（Ａｓ）において用いられ、前記車両の前景中の重畳対象（Ｔｒ）に重畳される虚像（Ｖｉ）の表示を制御する表示制御装置であって、
   前記車両に加速度を与えるトルクの値又は前記トルクに関連する値であるトルク情報を取得するトルク情報取得部（７１）と、
   前記虚像の表示に関連するシステムの遅延時間と、前記トルクの発生に関連する前記車両の制御特性とを加味した補正式又は補正テーブルを準備し、前記補正式又は前記補正テーブルへの前記トルク情報の適用により、前記車両の姿勢変化を予測する姿勢予測部（７７）と、
   前記姿勢変化の予測に基づいて、前記虚像の重畳位置を補正する位置補正部（７８）と、
   を備える表示制御装置。
2. 前記車両の状態に関連する状態情報を取得する状態情報取得部（７４）、をさらに備える請求項１に記載の表示制御装置。
3. 互いに異なる内容の前記補正式又は前記補正テーブルが、前記車両の状態に紐づけて複数設定されており、
   前記姿勢予測部は、前記状態情報の示す車両状態に応じて、前記トルク情報を適用する前記補正式又は前記補正テーブルを、複数のうちで切り替える請求項２に記載の表示制御装置。
4. 前記状態情報取得部は、前記状態情報として、前記車両の総重量を示す重量情報を少なくとも取得し、
   前記姿勢予測部は、前記トルク情報を適用する前記補正式又は前記補正テーブルを、前記総重量に応じて切り替える請求項３に記載の表示制御装置。
5. 前記状態情報取得部は、前記状態情報として、前記車両の経年変化に関連する経年変化情報を少なくとも取得し、
   前記姿勢予測部は、前記トルク情報を適用する前記補正式又は前記補正テーブルを、前記経年変化情報の示す前記経年変化の内容に応じて切り替える請求項３又は４に記載の表示制御装置。
6. 前記位置補正部は、前記状態情報に基づき、前記重畳位置の補正を中止する請求項２～５のいずれか一項に記載の表示制御装置。
7. 前記状態情報取得部は、前記状態情報として、前記車両のタイヤにスリップが生じたことを示すスリップ情報を少なくとも取得し、
   前記位置補正部は、前記スリップ情報に基づき、前記スリップの発生期間にて前記重畳位置の補正を中止する請求項６に記載の表示制御装置。
8. 前記状態情報取得部は、前記状態情報として、前記車両に異常が生じたことを示す異常信号を少なくとも取得し、
   前記位置補正部は、前記異常信号に基づき前記重畳位置の補正を中止する請求項６又は７に記載の表示制御装置。
9. 前記位置補正部は、前記重畳位置の補正を適用した前記虚像の変形度合いが予め規定された上限を超える場合、前記重畳位置の補正を中止する請求項１～８のいずれか一項に記載の表示制御装置。
10. 前記重畳位置の補正の強さが、前記車両のユーザによって設定されたユーザ設定値に基づき調整される請求項１～９のいずれか一項に記載の表示制御装置。
11. 前記重畳位置の補正の強さが、前記虚像として表示されるコンテンツの内容に応じて調整される請求項１～１０のいずれか一項に記載の表示制御装置。
12. 車両（Ａｓ）において用いられ、前記車両の前景中の重畳対象（Ｔｒ）に重畳される虚像（Ｖｉ）の表示を制御する表示制御プログラムであって、
    少なくとも一つの処理部（１１）に、
    前記虚像の表示に関連するシステムの遅延時間と、前記車両に加速度を与えるトルクの発生に関連する制御特性とを加味した補正式又は補正テーブルを準備し（Ｓ１４）、
    前記トルクの値又は前記トルクに関連する値であるトルク情報を取得し（Ｓ１０３，Ｓ１０４）、
    前記補正式又は前記補正テーブルへの前記トルク情報の適用により、前記車両の姿勢変化を予測し（Ｓ１１５）、
    前記姿勢変化の予測に基づいて、前記虚像の重畳位置を補正する（Ｓ２７～Ｓ２９）、
    ことを含む処理を実行させる表示制御プログラム。
13. 車両（Ａｓ）において用いられる虚像表示システムであって、
    前記車両の前景中の重畳対象（Ｔｒ）に虚像を重畳表示させるヘッドアップディスプレイ（２０）と、
    前記車両に加速度を与えるトルクの値又は前記トルクに関連する値であるトルク情報を取得するトルク情報取得部（７１）と、
    前記虚像の表示に関連するシステムの遅延時間と、前記トルクの発生に関連する前記車両の制御特性とを加味した補正式又は補正テーブルを準備し、前記補正式又は前記補正テーブルへの前記トルク情報の適用により、前記車両の姿勢変化を予測する姿勢予測部（７７）と、
    前記姿勢変化の予測に基づいて、前記ヘッドアップディスプレイによって表示される前記虚像の重畳位置を補正する位置補正部（７８）と、
    を備える虚像表示システム。

Images