応する構成要素には同一の符号を付すことにより、重複する説明を省略する場合がある。各実施形態において構成の一部分のみを説明している場合、当該構成の他の部分については、先行して説明した他の実施形態の構成を適用することができる。また、各実施形態の説明において明示している構成の組み合わせばかりではなく、特に組み合わせに支障が生じなければ、明示していなくても複数の実施形態の構成同士を部分的に組み合わせることができる。そして、複数の実施形態及び変形例に記述された構成同士の明示されていない組み合わせも、以下の説明によって開示されているものとする。
(第一実施形態)
本開示の第一実施形態による表示制御装置の機能は、図1及び図2に示すHCU(Human Machine Interface Control Unit)100によって実現されている。HCU100は、車両Aにおいて用いられるHMI(Human Machine Interface)システム10を、ヘッドアップディスプレイ(以下、「HUD」)装置20、操作デバイス26及びドライバステータスモニタ27等と共に構成している。HMIシステム10は、車両Aの乗員(例えばドライバ等)による操作を受け付ける入力インターフェース機能と、ドライバへ向けて情報を提示する出力インターフェース機能とを備えている。
HMIシステム10は、車両Aに搭載された車載ネットワーク1の通信バス99に、通信可能に接続されている。HMIシステム10は、車載ネットワーク1に設けられた複数のノードのうちの一つである。車載ネットワーク1の通信バス99には、例えば周辺監視センサ30、ロケータ40、V2X通信器51及び運転支援ECU52等が各ノードとして接続されている。通信バス99に接続されたこれらのノードは、相互に通信可能となっている。
周辺監視センサ30は、車両Aの周辺環境を監視する自律センサである。周辺監視センサ30は、自車周囲の検出範囲から、歩行者、サイクリスト、人間以外の動物、及び他車両等の移動物体、さらに路上の落下物、ガードレール、縁石、走行区画線等の路面表示、及び道路脇の構造物等の静止物体、を検出可能である。周辺監視センサ30は、車両Aの周囲(特に前方範囲)の物体を検出した検出情報を、通信バス99を通じて、運転支援ECU52及びHCU100等に提供する。
周辺監視センサ30は、物体検出のための検出構成として、フロントカメラ31及びミリ波レーダ32等を有している。フロントカメラ31は、車両Aの前方範囲を撮影した撮像データ、及び撮像データの解析結果の少なくとも一方を、検出情報として出力する。ミリ波レーダ32は、ミリ波又は準ミリ波を前方範囲へ向けて照射し、移動物体及び静止物体等で反射された反射波を受信する処理により、外部に出力される検出情報を生成する。
ロケータ40は、複数の取得情報を組み合わせる複合測位により、車両Aの高精度な位置情報等を生成する。ロケータ40は、例えば複数車線のうちで、車両Aが走行する車線を特定可能である。ロケータ40は、GNSS(Global Navigation Satellite System)受信器41、慣性センサ42、高精度地図データベース(以下、「DB」)43及びロケータECU44等によって構成されている。
GNSS受信器41は、複数の人工衛星(測位衛星)から送信された測位信号を受信する。GNSS受信器41は、GPS、GLONASS、Galileo、IRNSS、QZSS、Beidou等の衛星測位システムのうちで、少なくとも一つの衛星測位システムの各測位衛星から、測位信号を受信可能である。慣性センサ42は、例えばジャイロセンサ及び加速度センサを備えている。高精度地図DB43は、不揮発性メモリを主体に構成されており、高精度な地図データ(以下、「高精度地図データ」)を記憶している。
ロケータECU44は、プロセッサ、RAM、記憶部、入出力インターフェース、及びこれらを接続するバス等を備えたマイクロコンピュータを主体に構成されている。ロケータECU44は、GNSS受信器41で受信する測位信号、慣性センサ42の計測結果、及び通信バス99に出力された車速情報等を組み合わせ、車両Aの自車位置及び進行方向等を逐次測位する。
ロケータECU44は、測位結果に基づく車両Aの位置情報及び方角情報を、通信バス99を通じてHCU100等に提供する。加えてロケータECU44は、HCU100等からの要求に応じて、必要とされた高精度地図データを高精度地図DB43から読み出し、要求元であるHCU100に提供する。
V2X(Vehicle to Everything)通信器51は、車両Aに搭載された通信モジュールである。V2X通信器51は、路車間(Vehicle to roadside Infrastructure,以下「V2I」)通信の機能を有しており、道路脇に設置された路側機120(図3参照)と通信可能である。またV2X通信器51は、車車間(Vehicle to Vehicle,以下「V2V」)通信の機能を有しており、他車両に搭載された車載システム110(図3参照)のV2X通信器113と通信可能である。V2X通信器51は、歩車間(Vehicle to Pedestrian,以下「V2P」)等の機能を有しており、歩行者及びサイクリスト等の所持するスマートフォン130(図3参照)等と通信可能である。
V2X通信器51は、V2I通信、V2V通信及びV2P通信等によって受信した情報を、HCU100に提供する。こうしたV2X通信器51の通信機能により、HMIシステム10は、インフラ協調によって取得した情報の提示を実施する。尚、V2X通信器51は、LTE(Long Term Evolution)及び5G等の通信規格に沿ったV2N(Vehicle to cellular Network)通信の機能を有していてもよい。
運転支援ECU52は、ドライバの運転操作を支援する運転支援機能、及びドライバの運転操作を代行可能な自動運転機能の少なくとも一方を備えている。運転支援ECU52は、周辺監視センサ30から取得する検出情報に基づき、車両Aの周囲の走行環境を認識する。運転支援ECU52は、走行環境認識のために実施した検出情報の解析結果を、解析済みの検出情報として、HCU100に提供可能である。一例として、運転支援ECU52は、フロントカメラ31の撮像データ等から抽出された情報、具体的には、前方範囲に存在する物体の相対位置、移動速度、移動方向、大きさ及び種別等の情報を、HCU100に提供する。
次に、HUD装置20及びHCU100の詳細を説明する。
HUD装置20は、マルチインフォメーションディスプレイ及びセンターインフォメーションディスプレイ等と共に、複数の車載表示デバイスの一つとして、車両Aに搭載されている。HUD装置20は、虚像Viを用いた拡張現実(Augmented Reality,以下「AR」)表示により、車両Aに関連する種々の情報をドライバに提示する。AR表示される虚像Viは、前景中の重畳対象に相対固定されているように、重畳対象を追って、ドライバの見た目上で移動可能である。
HUD装置20は、HCU100と電気的に接続されており、HCU100によって生成された映像データを逐次取得する。HUD装置20は、ウィンドシールドWSの下方にて、インスツルメントパネル9内の収容空間に収容されている。HUD装置20は、虚像Viとして結像される光を、ウィンドシールドWSの投影範囲PAへ向けて投影する。ウィンドシールドWSに投影された光は、投影範囲PAにおいて運転席側へ反射され、ドライバによって知覚される。ドライバは、投影範囲PAを通して見える前景中の重畳対象に、虚像Viが重畳された表示を視認する。
HUD装置20は、プロジェクタ21及び拡大光学系22等によって構成されている。プロジェクタ21は、LCD(Liquid Crystal Display)パネル及びバックライトを有している。プロジェクタ21は、LCDパネルの表示面を拡大光学系22へ向けた姿勢にて、HUD装置20の筐体に固定されている。プロジェクタ21は、映像データの各フレーム画像をLCDパネルの表示面に表示し、当該表示面をバックライトによって透過照明することで、虚像Viとして結像される光を拡大光学系22へ向けて射出する。拡大光学系22は、合成樹脂又はガラス等からなる基材の表面にアルミニウム等の金属を蒸着させた凹面鏡を、少なくとも一つ含む構成である。拡大光学系22は、プロジェクタ21から射出された光を反射によって広げつつ、上方の投影範囲PAに投影する。
HCU100は、HMIシステム10において、HUD装置20を含む複数の車載表示デバイスによる表示を統合的に制御する電子制御装置である。HCU100は、処理部11、RAM12、記憶部13、入出力インターフェース14、及びこれらを接続するバス等を備えたコンピュータを主体に構成されている。処理部11は、RAM12と結合された演算処理のためのハードウェアである。処理部11は、CPU(Central Processing Unit)及びGPU(Graphics Processing Unit)等の演算コアを少なくとも一つ含む構成である。処理部11は、FPGA(Field-Programmable Gate Array)及び他の専用機能を備えたIPコア等をさらに含む構成であってよい。記憶部13は、不揮発性の記憶媒体を含む構成である。記憶部13には、処理部11によって実行される種々のプログラム(表示制御プログラム等)が格納されている。
図1~図3に示すHCU100は、記憶部13に記憶されたプログラムを処理部11によって実行し、複数の機能部を備える。具体的に、HCU100には、視点位置特定部71、インフラ情報取得部72、位置情報取得部73、外界情報取得部74、前方状況認識75、リスク対象特定部76及び表示生成部77等の機能部が構築される。尚、以下の説明では、HMIシステム10を搭載した特定の車両Aを、他の車両との区別のために、「自車両As」とする。
視点位置特定部71は、運転席に着座するドライバのアイポイントに関連した検出情報を、ドライバステータスモニタ(以下、「DSM」)27から取得する。DSM27は、近赤外カメラによって撮像した顔画像を解析することでドライバの状態を監視する車載機器である。視点位置特定部71は、DSM27より取得する検出情報に基づき、現在のドライバの視点位置を特定し、特定した視点位置をリスク対象特定部76及び表示生成部77に提供する。
インフラ情報取得部72は、V2X通信器51との連携により、インフラ情報を取得する。具体的に、V2X通信器51は、他車両の車載システム110にて、周辺監視センサ111によって特定された他車両周囲の障害物の検出情報を、ロケータ112にて特定された他車両の位置情報と共に、他車両のV2X通信器113から受信する。一例として、他車両が自車両Asの前走車である場合、V2X通信器51は、他車両のさらに前方を走行する車両、即ち、自車両Asの2台前の車両の検出情報を、他車両の車載システム110から受信できる。またV2X通信器51は、進行方向の道路に存在する障害物、例えば落下物、駐車車両及び事故車両等の位置情報を、路側機120から受信する。さらにV2X通信器51は、スマートフォン130を所持した歩行者及びサイクリスト等の位置情報、移動速度及び移動方向等の情報を、スマートフォン130から受信する。インフラ情報取得部72は、V2X通信器51にて受信されたこれらのインフラ情報を取得し、前方状況認識75及びリスク対象特定部76に提供する。
位置情報取得部73は、自車両Asの位置情報及び方角情報を、自車位置情報としてロケータECU44から取得する。位置情報取得部73は、取得した自車位置情報を、リスク対象特定部76に提供する。
外界情報取得部74は、周辺監視センサ30及び運転支援ECU52の少なくとも一方から、自車両Asの前方範囲についての検出情報を取得する。検出情報は、フロントカメラ31によって撮影された前方範囲の撮像データ等であってもよく、或いは周辺監視センサ30又は運転支援ECU52での走行環境認識によって得られた解析結果であってもよい。加えて外界情報取得部74は、進行方向の道路形状の情報を含んだ高精度地図データを、ロケータECU44から取得する。外界情報取得部74は、高精度地図データに替えて、又は高精度地図データと共に、ルート案内等に用いられる通常のナビ地図データを、自車両Asに搭載されたナビゲーション装置から取得してもよい。外界情報取得部74は、検出情報及び地図データを、前方状況認識75及びリスク対象特定部76に提供する。
図3及び図4に示すように、前方状況認識75は、外界情報取得部74にて取得される地図データに基づき、走行中の走行レーン(以下、「自車レーンLns」)を含む前方の道路の形状を把握する。具体的に、前方状況認識75は、道路種別、道路幅、レーン本数、カーブの曲率及び勾配等を把握する。前方状況認識75は、これらの道路形状情報を、表示生成部77に提供する。
前方状況認識75は、外界情報取得部74にて取得される前方範囲の検出情報に基づき、自車レーンLnsを走行する前方車両Af1を認識する。前方状況認識75は、前方車両Af1について、相対位置、相対速度及び大きさ等の情報を取得する。加えて、前方状況認識75は、前方車両Af1における方向指示器の作動の有無を判定する。前方状況認識75は、前方車両Af1に関連するこれらの情報を、表示生成部77に提供する。
前方状況認識75は、リスク対象特定部76にて認識されるリスク対象RTの相対位置及び種別等の情報を取得する。前方状況認識75は、フロントカメラ31の撮像データ等、前方範囲の検出情報に基づき、リスク対象RTが前方車両Af1に隠れた状態か否かを判定する。前方状況認識75は、リスク対象RTの全体が前方車両Af1に隠れており、ドライバからの直接的に視認できない場合、リスク対象RTが不可視状態であることを表示生成部77に通知する。一方で、前方状況認識75は、リスク対象RTの少なくとも一部について、前方車両Af1によって隠されることなく、ドライバから直接的に視認できる場合、リスク対象RTが可視状態であることを表示生成部77に通知する。
リスク対象特定部76は、視点位置特定部71より提供される視点位置の情報と、予め設定された投影範囲PAの位置情報とに基づき、投影範囲PAを通じてドライバに視認される路面の範囲を、重畳範囲として規定する。加えてリスク対象特定部76は、インフラ情報取得部72にて取得される周辺物体の位置情報と、位置情報取得部73にて取得される自車位置情報とに基づき、周辺物体の自車両Asに対する相対位置等を把握する。リスク対象特定部76は、把握した周辺物体のうちで、重畳範囲に位置するものを、報知の対象となるリスク対象RTとして特定する。
具体的に、リスク対象特定部76は、自車両Asの前方の自車レーンLns上に少なくとも一部が存在し、自車両Asとの接触の可能性がある周辺物体を、リスク対象RTとして特定する。例えばリスク対象特定部76は、歩行者、事故に関連した物体、落下物、停止車両、及び前走車等を、リスク対象RTとして特定する。一方で、信号機及び道路標識は、リスク対象RTから除外される。リスク対象特定部76は、リスク対象RTの相対位置、相対速度、大きさ及び種別等の情報を、リスク対象RTに関連する情報として、前方状況認識75及び表示生成部77に提供する。
尚、外界情報取得部74にて取得されるミリ波レーダ32の検出情報には、前方車両Af1に隠れたリスク対象RTの相対位置及び相対速度等を示す情報が含まれ得る。そのためリスク対象特定部76は、インフラ情報に替えて又はインフラ情報と共に、ミリ波レーダ32による検出情報を使用して、前方車両Af1に隠れたリスク対象RTを把握可能であってよい。
表示生成部77は、HUD装置20に逐次出力される映像データを生成する処理により、HUD装置20によるドライバへの情報提示を制御する。表示生成部77は、取得した種々の情報に基づき、情報提示に用いるコンテツを選定する機能、コンテンツを描画する機能、及びコンテンツの表示期間を制御する機能等を有している。
表示生成部77は、自車両Asの前方を走行する前方車両Af1が前方状況認識75にて検出されており、且つ、前方車両Af1のさらに前方に存在するリスク対象RTがリスク対象特定部76にて検出されている場合に、仮想世界表示を実施する。仮想世界表示は、投影範囲PA越しに見える前景への虚像Viの重畳により、前方車両Af1に隠れたリスク対象RTを擬似的に可視化し、ドライバに注意喚起する情報表示である。仮想世界表示は、前景中の前方車両Af1の背面に、前方車両Af1によって隠された現実世界の透視映像を映すような表示であり、換言すれば、前方車両Af1によって隠された現実世界を覗いているような表示である。
以下、前方車両Af1に隠れた2台前の前方車両(以下、「前々車両Af2」)をリスク対象RTとし、当該前々車両Af2を注意喚起する仮想世界表示の詳細を、図4~図7に基づき、図1及び図3を参照しつつ説明する。尚、以下の説明における前々車両Af2は、自車レーンLnsの左寄りに停止された車両である。
表示生成部77は、前々車両Af2を注意喚起する仮想世界表示のために、図4に示す仮想提示画像Vio、矢印画像Via及び境界画像Vib等を、映像データを構成する個々のフレーム画像に描画する。表示生成部77は、視点位置特定部71にて取得されるドライバの視点位置に基づき、仮想提示画像Vio及び矢印画像Viaが適切な位置に重畳されるように、フレーム画像における各画像の描画位置を補正する。
仮想提示画像Vioは、前方車両Af1が存在し、且つ、リスク対象RTが存在する場合に、リスク対象RTの存在を示す画像である。仮想提示画像Vioは、前景にてリスク対象RTを遮蔽している前方車両Af1に重畳表示される。リスク対象RTが前々車両Af2である場合、仮想提示画像Vioは、車両形状を模った態様であって、車両を後方から見た態様の3Dオブジェクトとして描画される。仮想提示画像Vioは、例えば白色、薄い青色、又は薄い黄色等の発光色にて発光表示される。
仮想提示画像Vioは、矢印画像Viaの上方であり、且つ、1対の境界画像Vibの間に表示される。仮想提示画像Vioの表示位置は、前々車両Af2の自車両Asに対する相対位置に応じて変化する。自車両As及び前々車両Af2の間の距離が遠くなるほど、仮想提示画像Vioは、投影範囲PAの上方且つ中央寄りに表示される。対して、自車両As及び前々車両Af2の間の距離が近くなるほど、仮想提示画像Vioは、投影範囲PAの下方且つ左右いずれかの端寄りに表示される。
矢印画像Viaは、仮想提示画像Vioと同様に、前方車両Af1が存在し、且つ、リスク対象RTが存在する場合に表示される。矢印画像Viaは、走行中の自車レーンLnsに沿って帯状に延伸する画像である。矢印画像Viaは、前方状況認識75にて認識された進行方向の道路形状に基づき、延伸形状を規定される。矢印画像Viaは、全体として矢印状を呈しており、投影範囲PAの左下縁から、仮想提示画像Vioへ向けて延伸している。矢印画像Viaは、自車レーンLnsに対し、見かけ上の高さ(厚さ)を有する態様で描画される。矢印画像Viaは、1対の境界画像Vibの間に表示され、路面に沿った延伸によって仮想世界表示に奥行き感を付与する。矢印画像Viaの先端は、仮想提示画像Vioを指し示している。矢印画像Viaの先端は、基端よりも高輝度又は高彩度に表示され、仮想提示画像Vioと実質同一又は類似(同系統)の発光色で発光表示される。
境界画像Vibは、仮想提示画像Vioを環状に囲む部分リング形状の画像であり、投影範囲PAの左右両縁の近傍に1対表示される。境界画像Vibは、仮想提示画像Vioと実質同一の白色又は薄い青色にて発光表示される。境界画像Vibは、不可視範囲の情報を虚像Viによって提示する仮想領域VAを前景中に規定し、当該仮想領域VAと、可視範囲としての現実領域RAとを区切る画像である。具体的には、境界画像Vibによって囲まれた範囲が仮想領域VAとなり、現実領域RAに対して区別される。境界画像Vibは、現実世界とは異なる別世界又は異次元が仮想領域VAに映し出されているかのような印象を、ドライバに想起させる演出機能を有する。
表示生成部77は、仮想世界表示の開始を印象付けるため、図5~図7に示すように、境界画像Vib、矢印画像Via及び仮想提示画像Vioを順に表示させる。表示生成部77は、自車両Asから前々車両Af2までの距離が所定距離Lf(例えば100m)となったタイミングで、仮想世界表示を開始する。所定距離Lfは、虚像Viを重畳可能な重畳範囲に前々車両Af2(リスク対象RT)が入る数秒前での、自車両Asから前々車両Af2までの距離である。所定距離Lfは、自車両Asの走行速度及び投影範囲PAのサイズ等によって適宜調整されてよい。
表示生成部77は、仮想世界表示のオープニングにおいて、境界画像Vibの表示を開始する。表示開始時において、1対の境界画像Vibは、前景の上下方向に沿って延伸する略線状に表示される(図5A参照)。境界画像Vibは、水平方向に沿って互いに離れる方向に、投影範囲PAの左右両縁近傍まで移動する。境界画像Vibの曲率は、左右への移動に従って漸増する(図5B参照)。こうした1対の境界画像Vibの移動は、異次元を透視する透視扉が開いたような演出となる。そして、1対の境界画像Vibによって囲まれた領域が、以降、現実領域RAに対して区別される仮想領域VAとなる。
表示生成部77は、境界画像Vibの移動を完了させた後、境界画像Vibと概ね相似形のリング画像Vieを描画する。リング画像Vieは、境界画像Vibを起点とし、境界画像Vibから分離しつつ、仮想領域VA内にて縮径していく画像である(図5C参照)。リング画像Vieのアニメーションは、仮想領域VAを自車両Asの進行方向へ向けて飛翔する視覚効果を発揮する。その結果、リング画像Vieは、ドライバの視線を、次に表示される仮想提示画像Vioに誘導しつつ、ドライバの意識を、前方車両Af1によって隠された前方車両Af1よりも前の領域に向けさせることができる。加えてリング画像Vieのアニメーションは、仮想領域VAに奥行き感を付与する。
表示生成部77は、見かけ上での前々車両Af2の位置までリング画像Vieを飛翔させた後、リング画像Vieを波紋画像Virに切り替える(図6A参照)。波紋画像Virは、見かけ上での前々車両Af2の位置を中心とし、外周側へ広がる円環状に描画される。波紋画像Virは、前々車両Af2の位置をドライバに印象づける。
表示生成部77は、リング画像Vie及び波紋画像Virを順次表示させた後、投影範囲PAの下縁から、フェードアウト中の波紋画像Virへ向けて、矢印画像Viaを延伸させる(図6B参照)。矢印画像Viaの基端(下縁)の位置は、予め設定されている。一方で、矢印画像Viaの延伸方向は、前々車両Af2の相対的な横位置に応じて、適宜調整される。
表示生成部77は、矢印画像Viaの延伸を完了させると、矢印画像Viaの指示先に仮想提示画像Vioを表示させる(図6C参照)。上述したように、仮想提示画像Vioの表示位置が前々車両Af2の相対位置に対応するため、仮想提示画像Vioは、実際の前々車両Af2と同様に、当該前々車両Af2の相対位置に追従し、仮想領域VA内を移動するように表示される。例えば、前々車両Af2から自車両Asまでの距離が短くなると、仮想提示画像Vioは、左下隅へ向けて移動する。こうした仮想提示画像Vioの移動に伴い、矢印画像Viaも短縮される(図7A参照)。
加えて表示生成部77は、前々車両Af2から自車両Asまでの距離が短くなるほど、仮想提示画像Vioの表示サイズを大きくする。さらに表示生成部77は、前々車両Af2の自車両Asへの接近に基づき、奥行を強調する態様に仮想提示画像Vioを制御する。具体的に、表示生成部77は、車両形状を模った仮想提示画像Vioの側面部分Svを大きく描画し、前々車両Af2が接近してきているような印象をドライバに想起させる。
表示生成部77は、前々車両Af2の自車両Asへの接近と、前々車両Af2を避けるための前方車両Af1の車線変更とにより、前々車両Af2の直接的な視認が可能になるタイミングにて、仮想世界表示を終了させる。こうしたタイミングでの仮想世界表示の終了により、直接的に視認可能なリスク対象RTへの虚像Viの重畳表示が回避される。
こうした仮想世界表示のエンディングにおいて、表示生成部77は、仮想提示画像Vio及び矢印画像Viaをフェードアウトさせたうえで、オープニングとは反対に、1対の境界画像Vibを投影範囲PAの中央へ向けて移動させる。境界画像Vibは、水平方向に沿って互いに近接する方向に、投影領域の中央近傍まで移動する。このとき、境界画像Vibの曲率は、中央への移動に従って漸減する(図7B参照)。こうした1対の境界画像Vibの移動は、透視扉が閉じたような演出となり、仮想領域VAの縮小及び消失をドライバに印象づける。そして、境界画像Vibがフェードアウトすることにより、仮想世界表示が終了となる(図7C参照)。
ここまで説明した仮想世界表示を実現するため、HCU100にて実施される表示処理の詳細を、図8に示すフローチャートに基づき、図3及び図4を参照しつつ、以下説明する。図8に示す表示処理は、例えばリスク対象RTの候補となる周辺物体の存在を示す情報を把握したことに基づき、開始される。
S101では、前方車両Af1を検出すると共に、前方車両Af1の相対距離及び大きさから、前方車両Af1によって不可視となる前方範囲を特定し、S102に進む。S102では、リスク対象RTとなる周辺物体を検出し、当該リスク対象RTの相対位置等を把握して、S103に進む。
S103では、前方車両Af1のさらに前方に存在し、前方車両Af1に隠れる周辺物体、即ちリスク対象RTがあるか否かを判定する。S103にて、周辺物体が前方車両Af1に隠れるものではないと判定した場合、S101に戻り、周辺物体の動きを監視した状態を維持する。一方、S103にて、前方車両Af1に隠れるリスク対象RTがあると判定した場合、S104に進む。
前方車両Af1が存在し、且つ、この前方車両Af1に隠れたリスク対象RTが存在する場合のS104では、所定時間後(例えばN秒後)に、リスク対象RTがHUD装置20の画角内に入るか否かを判定する。本実施形態では、リスク対象RT及び自車両Asの間の距離が所定距離Lf未満となったか否かを判定する。S104では、仮に前方車両Af1が存在せず、リスク対象RTが直接的に視認可能であった場合に、このリスク対象RTが、ドライバから見て、所定時間後に投影範囲PA越しに見える位置に入るか否かを判定している。S104では、リスク対象RTが画角内に入るタイミングを待機し、リスク対象RTが画角内にもうすぐ入ると判定したタイミングにて、S105に進む。
S105では、リスク対象RTを注意喚起する仮想世界表示を開始させ、S106に進む。S105では、境界画像Vibの表示を開始させた後に、矢印画像Via及び仮想提示画像Vioの重畳表示を順に開始する。S104の判定が「画角内に入る所定時間前」に設定されることにより、境界画像Vibが仮想領域VAを開くオープニングアニメーションの完了タイミングにて、リスク対象RTは、画角内、即ちドライバから見た投影範囲PA内に入るようになる。
S106では、前方車両Af1及びリスク対象RTの状態を監視しつつ、仮想世界表示の終了条件の成立を待機する。終了条件の一つは、リスク対象RTの一部がドライバから直接的に視認可能か否かである。表示生成部77は、リスク対象RTの全体が前方車両Af1に隠れた状態でないと判定した場合、終了条件を成立させる。また表示生成部77は、前方車両Af1の方向指示器がオン状態となった場合、前々車両Af2が投影範囲PAからフレームアウトした場合にも、終了条件を成立させる。
S106にて、終了条件が成立したと判定した場合、S107に進む。S107では、終了条件の成立に基づき、仮想世界表示を終了させる。具体的に、S107では、仮想提示画像Vio及び矢印画像Viaの重畳表示を中止させて、仮想領域VAを閉じるような境界画像Vibによるエンディングアニメーションを表示させる。こうして、今回のリスク対象RTを注意喚起する一連の表示処理は、終了となる。
ここまで説明した第一実施形態では、前方車両Af1が存在し、且つ、この前方車両Af1に隠れたリスク対象RTが検出されている場合にて、リスク対象RTの存在を示す仮想提示画像Vioが、前景に重畳表示される。以上によれば、リスク対象RTが前方車両Af1に隠れており、直接的な視認が難しい状況であっても、前景に重畳表示される仮想提示画像Vioにより、リスク対象RTの注意喚起が可能になる。
加えて第一実施形態では、リスク対象RTと自車両Asとの接近に基づき、仮想提示画像Vioは、奥行きを強調する態様に制御される。こうした仮想提示画像Vioの態様変更によれば、この仮想提示画像Vioが、前方車両Af1ではなく、その向こう側にある隠れたリスク対象RTを示していることを、ドライバは、認識し易くなる。
また第一実施形態では、仮想提示画像Vioに車両側面を模した側面部分Svが、前々車両Af2の接近に伴って、大きく描画されるようになる。こうした態様変更によれば、ドライバは、直接視認できないリスク対象RTの接近を、直感的に理解できる。
さらに第一実施形態では、リスク対象RT及び自車両Asの間の距離が短くなるほど、仮想提示画像Vioの表示サイズを大きくする。以上のような表示態様の変化によれば、ドライバは、前方車両Af1に隠れたリスク対象RTの接近を認識し易くなる。また、自車両Asから前方車両Af1までの距離と、自車両Asからリスク対象RTまでの距離とは、変化の仕方が異なり得る。故に、表示サイズの変化する仮想提示画像Vioは、前方車両Af1ではなく、その向こう側にある隠れたリスク対象RTを注意喚起していることを、ドライバに認識され易くなる。
加えて第一実施形態では、自車レーンLnsに沿って帯状に延伸する矢印画像Viaがさらに表示される。こうした矢印画像Viaは、前景中にて、前方車両Af1に隠れて見えないリスク対象RTの自車両Asからの距離感を分かり易く示し、前方車両Af1よりも前にリスク対象RTがいることを、ドライバに直感的に理解させ得る。
また第一実施形態の矢印画像Via、自車レーンLnsに対し見かけ上の高さを有する態様にて、自車レーンLnsの路面に重畳表示される。このように、厚みのある態様の矢印画像Viaは、自車両Asの進行方向に延伸する形状と相俟って、仮想領域VAの奥行き感を強調し得る。その結果、平面的な前方車両Af1の背面に各虚像Viが重畳表示されたとしても、ドライバは、仮想領域VAを立体的な空間として捉え易くなる。以上によれば、ドライバは、仮想提示画像Vioの視認により、自車両Asからリスク対象RTまでの距離感を感覚的に掴み易くなる。
さらに第一実施形態では、仮想領域VAと現実領域RAとを前景中にて区切る境界画像Vibがさらに表示される。こうした表示によれば、上述のような別世界又は異次元を覗いているようなイメージをドライバに想起させることが可能となる。その結果、ドライバは、仮想提示画像Vioについて、前方車両Af1ではなく、その向こう側にある隠れたリスク対象RTを示していることを、直感的に理解し易くなる。
加えて第一実施形態では、仮想領域VAの扉を開くような演出を境界画像Vibによって実施した後に、仮想提示画像Vioの表示が開始される。以上によれば、仮想提示画像Vioについて、前方車両Af1ではなく、さらにその前のリスク対象RTを注意喚起する表示物であることが、ドライバにより理解され易くなる。
また第一実施形態の境界画像Vibは、仮想提示画像Vioを囲むように湾曲している。こうした湾曲形状の物体は、前景にほとんど存在しない。故に、湾曲形状の境界画像Vibは、前景に重畳されても、前景中の物体に紛れ難く、ドライバに視認され易い状態を維持し得る。加えて、境界画像Vibの湾曲形状は、その湾曲の中心近傍にある仮想提示画像Vioに、ドライバの視線を誘導する効果を発揮する。
また第一実施形態では、実際のリスク対象RTの少なくとも一部が直接的に視認可能である場合に、仮想提示画像Vioの表示が中止される。以上によれば、実際のリスク対象RTと、仮想提示画像Vioとのズレ等に起因して、ドライバの混乱を引き起こす事態は、発生し難くなる。
尚、第一実施形態において、矢印画像Viaが「延伸画像」に相当し、前方状況認識75が「前方車両検出部」に相当し、リスク対象特定部76が「対象検出部」に相当し、表示生成部77が「表示制御部」に相当する。また、HCU100が「表示制御装置」に相当する。
(第二実施形態)
本開示の第二実施形態は、第一実施形態の変形例である。第二実施形態の仮想世界表示は、第一実施形態の仮想世界表示に対しシンプル化されている。以下、第二実施形態にて、前々車両Af2(図4参照)をリスク対象RTとして注意喚起するケースでの仮想世界表示の詳細を、図9に基づき、図3を参照しつつ、説明する。
表示生成部77は、第一実施形態と同様に、境界画像Vib、矢印画像Via及び仮想提示画像Vio等を順に表示する。まず仮想世界表示のオープニングでは、上下方向に沿って延伸する1対の境界画像Vibが、投影範囲PAの中央から左右両縁近傍まで、曲率を漸増させながら移動する(図9A参照)。こうした境界画像Vibの演出により、現実領域RAに対し区別された仮想領域VAが前景中に定義される。
表示生成部77は、境界画像Vibの移動を完了させた後、投影範囲PAの下縁から、検出された前々車両Af2の相対位置へ向けて、矢印画像Viaを延伸させる(図9B参照)。矢印画像Viaの延伸アニメーションは、リング画像Vieの飛翔アニメーション(図5C参照)と同様に、次に表示される波紋画像Vir及び仮想提示画像Vioにドライバの視線を誘導しつつ、仮想領域VAに奥行き感を付与する。
表示生成部77は、矢印画像Viaを延伸させると、矢印画像Viaの指示先に波紋画像Virを表示させる。さらに、表示生成部77は、波紋画像Virの波紋演出を終了させると、矢印画像Viaの指示先に、フェードアウトしていく波紋画像Virに替えて、仮想提示画像Vioを表示する(図9C参照)。
以上の仮想提示画像Vio及び矢印画像Viaは、前々車両Af2の直接的な視認が可能になるタイミングにて、仮想領域VAからフェードアウトする。そして、境界画像Vibによるエンディングアニメーションが実施されて、仮想世界表示は、終了となる(図7B,C参照)。
ここまで説明した第二実施形態でも、第一実施形態と同様の効果を奏し、リスク対象RTが前方車両Af1に隠れており、直接的な視認が難しい状況であっても、前景に重畳表示される仮想提示画像Vioにより、リスク対象RTの注意喚起が可能になる。
(第三実施形態)
本開示の第三実施形態は、第一実施形態の別の変形例である。図10に示すように、第三実施形態の仮想世界表示では、第一実施形態と実質同一の境界画像Vib、リング画像Vie及び仮想提示画像Vioに加えて、白線画像Vil及び水平画像Vih等が表示される。以下、リスク対象RTとしての前々車両Af2(図4参照)を注意喚起する第三実施形態の仮想世界表示の詳細を、図10に基づき、図3を参照しつつ、説明する。
表示生成部77は、前景中に仮想領域VAを定義するオープニングアニメーションを1対の境界画像Vibによって表示させる(図5A,B参照)。表示生成部77は、境界画像Vibの移動を完了させると、自車両As(図4参照)の進行方向へ向けてリング画像Vieを飛翔させるアニメーションを表示させる。表示生成部77は、リング画像Vieの移動に合わせて、投影範囲PAの下縁から前景中の消失点へ向けて、白線画像Vilを延伸表示させる(図10A参照)。
白線画像Vilは、矢印画像Via(図4参照)と同様に、走行中の自車レーンLnsに沿って帯状に延伸する画像である。白線画像Vilは、自車レーンLnsの左右両側の区画線に対し僅かに内側となる路面に重畳表示される。白線画像Vilは、所定の間隔で繰り返し途切れているような鎖線状に描画されている。白線画像Vilは、例えば白色等に発光表示される。
表示生成部77は、リング画像Vieの飛翔アニメーションを終了させた後、見かけ上において前々車両Af2が存在する位置に、水平画像Vih及び仮想提示画像Vioを順に表示させる(図10B参照)。水平画像Vih及び仮想提示画像Vioは、共にアンバー等の発光色にて発光表示される。
水平画像Vihは、1対の白線画像Vilの間にて、仮想提示画像Vioと重なるように表示され、水平方向に延伸している。水平画像Vihは、仮想提示画像Vioの下方にて、2つの白線画像Vilを視覚的に繋ぐ視覚効果により、各白線画像Vilと協働して、仮想提示画像Vioの上下位置、ひいては前々車両Af2の実際の相対位置を、ドライバから把握し易くする。
表示生成部77は、前々車両Af2の自車両Asへの接近により、仮想提示画像Vio及び水平画像Vihを拡大させつつ、投影範囲PAの下方へと移動させる(図10C参照)。このとき、各白線画像Vilは、仮想提示画像Vio及び水平画像Vihよりも上方に延伸する形状となっている。表示生成部77は、各白線画像Vilのうちで、水平画像Vihの下縁よりも上側を遠方部分Vifsとし、水平画像Vihの下縁よりも下側を近傍部分Vinsとする。表示生成部77は、白線画像Vilのうちで仮想提示画像Vioに対し上側となる遠方部分Vifsを、仮想提示画像Vioに対し下側となる近傍部分Vinsとは異なる表示色で表示させる。例えば、遠方部分Vifsの表示色は、アンバー等の仮想提示画像Vio及び水平画像Vihと実質同一又は類似(同系統)の発光色とされる。一方で、近傍部分Vinsの発光色は、白色に維持される。
ここまで説明した第三実施形態でも、第一実施形態と同様の効果を奏し、リスク対象RTが前方車両Af1に隠れており、直接的な視認が難しい状況であっても、前景に重畳表示される仮想提示画像Vioにより、リスク対象RTの注意喚起が可能になる。
加えて第三実施形態では、2つの白線画像Vilの間が水平画像Vihによって視覚的に繋げられている。故に、水平画像Vihは、白線画像Vilに対する相対位置の変化により、あたかも白線画像Vil上の位置を指し示す指針のように機能し、前々車両Af2までの車間距離を示すことができる。
また第三実施形態では、各白線画像Vilのうちの遠方部分Vifsが、近傍部分Vinsとは異なる表示色で表示される。そのためドライバは、自車両Asから前々車両Af2までの距離をより直感的に理解し易くなる。尚、第三実施形態では、白線画像Vilが「延伸画像」に相当する。
(第四実施形態)
本開示の第四実施形態は、第一実施形態のさらに別の変形例である。図11に示すように、第四実施形態の仮想世界表示では、投影範囲PAに多数のドットVidが表示される。多数のドットVidは、上下方向及び水平方向のそれぞれに互いに等間隔で配列されている(図11A参照)。各ドットVid間の間隔は、重畳される前方車両Af1の視認を妨げない程度に確保されている。多数のドットVidは、前景中に仮想領域VAを規定する表示物であり、多数のドットVidの並ぶ領域が仮想領域VAとなる。最外縁に並ぶドットVidは、境界画像Vib(図4参照)と同様に、仮想領域VAと現実領域RAとを区切る表示物となる。
表示生成部77は、リスク対象RTとしての前々車両Af2(図4参照)が画角内に入ると、多数のドットVidのうちで、アイポイント及び前々車両Af2間に位置するドットVidの発光輝度を上げて、高輝度ドットVidsとする(図11B参照)。高輝度ドットVidsは、他の通常のドットVidよりも大きな光点として表示される。複数の高輝度ドットVidsは、仮想領域VAに前々車両Af2のシルエットを浮かび上がらせることで、仮想提示画像Vioを形成する。
前々車両Af2が前方車両Af1に接近し、前方車両Af1にて制動がかけられると、表示生成部77は、高輝度ドットVidsの輝度をさらに高くすると共に、高輝度ドットVidsの発光サイズを拡大させる(図11C参照)。加えて表示生成部77は、高輝度ドットVidsを除く他のドットVidを非表示にする。その結果、多数の高輝度ドットVidsよりなる仮想提示画像Vioは、前々車両Af2にシルエットをより鮮明に提示し、ドライバに前々車両Af2の接近を意識させる。
前々車両Af2及び前方車両Af1が自車両As(図4参照)にさらに接近すると、表示生成部77は、多数の高輝度ドットVidsを飛散させるアニメーションを表示させる(図11D参照)。高輝度ドットVidsの飛散アニメーションは、正面から高輝度ドットVidsが飛んでくるような視覚効果により、前々車両Af2の接近を強く意識させて、ドライバに制動操作を促す。
ここまで説明した第四実施形態のように、仮想提示画像Vioが多数の高輝度ドットVidsによって形成されていても、第一実施形態と同様の効果が発揮され得る。即ち、リスク対象RTの直接的な視認が難しい状況であっても、前景に重畳表示される仮想提示画像Vioにより、リスク対象RTの注意喚起が可能になる。
(他の実施形態)
以上、本開示の複数の実施形態について説明したが、本開示は、上記実施形態に限定して解釈されるものではなく、本開示の要旨を逸脱しない範囲内において種々の実施形態及び組み合わせに適用することができる。
上記第三実施形態の変形例1の仮想世界表示では、境界画像を用いたオープニングアニメーションは、省略される。図12に示すように、表示生成部は、表示開始の条件が成立すると、投影範囲PAの両縁近傍に、部分環状を呈する1対の境界画像Vibを表示させる。加えて表示生成部は、境界画像Vibを表示させた後に、仮想提示画像Vio及び白線画像Vilを概ね同時に表示する。仮想提示画像Vioは、感嘆符の記号を含んだ三角形状のアイコンとされており、例えば黄色又はアンバー等の発光色にて発光表示される。白線画像Vilは、消失点へ向けて連続的に延伸する線状に描画されており、仮想提示画像Vioと同様に、例えば黄色又はアンバー等の発光色にて発光表示される。
上記第三実施形態の変形例2において、1対の境界画像Vibは、上下方向に直線状に延伸している。変形例2の仮想世界表示では、直線状の各境界画像Vibを、投影範囲PAの中央から左右両縁へ向けて移動させるオープニングアニメーションが表示される(図13A,B参照)。変形例2のオープニングは、襖が開くことにより、現実世界とは異なる別世界又は異次元が仮想領域VAに映し出されているかのようなイメージをドライバに想起させる。
表示生成部は、各境界画像Vibの移動に合わせて、2つの境界画像Vibの間の仮想領域VAに、仮想提示画像Vio及び白線画像Vilを表示させる(図13B参照)。仮想提示画像Vioは、仮想領域VA内を移動してリスク対象の位置を示す画像であり、変形例1と同様に、感嘆符を含んだアイコンとされる。一方、白線画像Vilは、白色の鎖線状に表示される。
リスク対象が前方車両Af1に接近すると、表示生成部は、仮想提示画像Vioの移動に合わせて、各境界画像Vibの発光色を変更する(図13C参照)。各境界画像Vibの発光色は、例えば黄色又はアンバー等に変更される。
上記実施形態の変形例3の仮想世界表示では、仮想提示画像及び白線画像が描画される一方で、境界画像の描画は省略される。また上記実施形態の変形例4では、仮想提示画像及び境界画像が描画される一方で、白線画像の描画は省略される。さらに上記実施形態の変形例5では、仮想提示画像が描画される一方で、白線画像及び境界画像の描画は省略される。
加えて、上記実施形態及び変形例にて描画された仮想提示画像、矢印画像又は白線画像、及び境界画像等の形状、サイズ、発光色等は、適宜変更されてよい。例えば、投影範囲の上下方向の画角が広い場合、境界画像は、仮想提示画像を全周に亘って環状に囲むようなリング形状に描画されてもよい。また、リスク対象の自車両への接近に基づき、仮想提示画像の奥行を強調する態様変化は、側面部分Svの拡大に限定されず、陰影の変化、発光色の変化、及び3Dモデルの姿勢変化等であってもよい。
上記第一,第二実施形態では、リスク対象の種別に応じて、リスク対象を想起させる形状の仮想提示画像が表示される。一方で、上記実施形態の変形例6では、リスク対象の種別に関わらず、同一形状の仮想提示画像が表示される。加えて変形例6の仮想提示画像は、自車両からリスク対象までの距離に関わらず、表示サイズを一定に維持される。
上記実施形態の変形例7では、実際のリスク対象への仮想提示画像の重畳表示が許容されている。表示生成部は、直接的に視認可能なリスク対象に仮想提示画像を重畳させた後で、仮想提示画像をフェードアウトさせる。リスク対象の相対位置が高精度に把握可能であれば、変形例7のような表示制御が採用されてよい。
上記実施形態の変形例8のHMIシステムでは、DSMが省略されている。変形例8の表示生成部は、予め規定された基準アイポイントに基づき、基準アイポイントから見て、仮想提示画像が実際のリスク対象の位置に重畳されるように、仮想提示画像の描画形状及び描画位置を設定する。
上記実施形態の変形例9では、HCU100とHUD装置20とが一体的に構成されている。即ち、変形例9のHUD装置20の制御回路には、HCU100の処理機能が実装されている。
重畳表示に用いられるHUD装置のプロジェクタの具体構成は、適宜変更されてよい。例えば変形例10のHUD装置には、LCD及びバックライトに替えて、EL(Electro Luminescence)パネルが設けられている。さらに、ELパネルに替えて、プラズマディスプレイパネル、ブラウン管及びLED等の表示器を用いたプロジェクタがHUD装置には採用可能である。
また変形例11のHUD装置には、LCD及びバックライトに替えて、レーザモジュール(以下「LSM」)及びスクリーンが設けられている。LSMは、例えばレーザ光源及びMEMS(Micro Electro Mechanical Systems)スキャナ等を含む構成である。スクリーンは、例えばマイクロミラーアレイ又はマイクロレンズアレイである。変形例11のHUD装置では、LSMから照射されるレーザ光の走査により、スクリーンに表示像が描画される。HUD装置は、スクリーンに描画された表示像を、拡大光学素子によってウィンドシールドに投影し、虚像を空中表示させる。
また変形例12のHUD装置には、DLP(Digital Light Processing,登録商標)プロジェクタが設けられている。DLPプロジェクタは、多数のマイクロミラーが設けられたデジタルミラーデバイス(以下、「DMD」)と、DMDに向けて光を投射する投射光源とを有している。DLPプロジェクタは、DMD及び投射光源を連携させた制御により、表示像をスクリーンに描画する。さらに、変形例13のHUD装置では、LCOS(Liquid Crystal On Silicon)を用いたプロジェクタが採用されている。またさらに、変形例14のHUD装置には、虚像を空中表示させる光学系の一つに、ホログラフィック光学素子が採用されている。
上記実施形態にて、HCUによって提供されていた各機能は、ソフトウェア及びそれを実行するハードウェア、ソフトウェアのみ、ハードウェアのみ、あるいはそれらの複合的な組合せによっても提供可能である。さらに、こうした機能がハードウェアとしての電子回路によって提供される場合、各機能は、多数の論理回路を含むデジタル回路、又はアナログ回路によっても提供可能である。
また、上記の表示制御方法を実現可能なプログラム等を記憶する記憶媒体の形態も、適宜変更されてよい。例えば記憶媒体は、回路基板上に設けられた構成に限定されず、メモリカード等の形態で提供され、スロット部に挿入されて、HCUの制御回路に電気的に接続される構成であってよい。さらに、記憶媒体は、HCUへのプログラムのコピー基となる光学ディスク及びのハードディスクドライブ等であってもよい。
HMIシステムを搭載する車両は、一般的な自家用の乗用車に限定されず、レンタカー用の車両、有人タクシー用の車両、ライドシェア用の車両、貨物車両及びバス等であってもよい。さらに、モビリティサービスに用いられる無人運転専用の車両に、HMIシステム及びHCUが搭載されてもよい。また、HMIシステムを搭載する車両は、右ハンドル車両であってもよく、又は左ハンドル車両であってもよい。各コンテンツの表示形態は、車両のハンドル位置等に応じて最適化される。
本開示に記載の制御部及びその手法は、コンピュータプログラムにより具体化された一つ乃至は複数の機能を実行するようにプログラムされたプロセッサを構成する専用コンピュータにより、実現されてもよい。あるいは、本開示に記載の装置及びその手法は、専用ハードウェア論理回路により、実現されてもよい。もしくは、本開示に記載の装置及びその手法は、コンピュータプログラムを実行するプロセッサと一つ以上のハードウェア論理回路との組み合わせにより構成された一つ以上の専用コンピュータにより、実現されてもよい。また、コンピュータプログラムは、コンピュータにより実行されるインストラクションとして、コンピュータ読み取り可能な非遷移有形記録媒体に記憶されていてもよい。