JP6981377B2 - 車両用表示制御装置、車両用表示制御方法、及び制御プログラム - Google Patents

Description

本開示は、車両用表示制御装置、車両用表示制御方法、及び制御プログラムに関するものである。

従来、ウインドシールド等の投影部材へ画像を投影することによって車両の前景に虚像を重畳表示させるヘッドアップディスプレイ（以下、ＨＵＤ）が知られている。例えば特許文献１には、車両において互いに離れた位置に配置される２つの測距センサでそれぞれ測定する注目物体までの距離の違いから、車両を基準とした注目物体の相対位置を検出し、ヘッドアップディスプレイによってフロントウインドシールド上に、その注目物体の周囲を囲むようにして環状の指標を映出する技術が開示されている。特許文献１では、測距センサとして、信号を発してからその信号が注目物体で反射して戻ってくるまでに要する時間を測定する超音波センサ、レーザレーダ、又はミリ波レーダを使用することが開示されている。

特開２００５−３４３３５１号公報

車両の前方の物体は、その車両が位置する地点とその物体が位置する地点との勾配差によって、その車両のドライバから見える高さが大きく変動する場合がある。しかしながら、特許文献１に開示の技術では、超音波センサ、レーザレーダ、又はミリ波レーダといった測距センサは、自車に対する注目物体の高さまでを精度良く測定することが難しい。よって、自車に対する注目物体の高さ方向のずれを特定しにくく、注目物体を囲む環状の指標が高さ方向にずれやすくなる。その結果、注目物体に対し、意図した位置から高さ方向に大幅にずれた重畳表示が行われ、運転者が注目物体の誤認識をしたりシステムに対する不信感を抱いたりするおそれがある。

この開示のひとつの目的は、ヘッドアップディスプレイによって車両の前景中の対象物を強調する虚像を重畳表示させる際に、ドライバによるその対象物の誤認識及びドライバの不信感を低減させることを可能にする車両用表示制御装置、車両用表示制御方法、及び制御プログラムを提供することにある。

上記目的は独立請求項に記載の特徴の組み合わせにより達成され、また、下位請求項は、開示の更なる有利な具体例を規定する。特許請求の範囲に記載した括弧内の符号は、ひとつの態様として後述する実施形態に記載の具体的手段との対応関係を示すものであって、本開示の技術的範囲を限定するものではない。

上記目的を達成するために、本開示の第１の車両用表示制御装置は、車両で用いられ、投影部材（１０）に表示画像を投影することによって車両の前景中の対象物を強調する虚像を重畳表示させるヘッドアップディスプレイ（２３０）を制御する車両用表示制御装置であって、探査波を送信し、その探査波が対象物で反射される反射波を受信することで車両に対する対象物の距離及び方位を検出する探査波センサ（４２）で検出する、その距離及び方位を、取得する距離方位取得部（２０１）と、地点別の高さの情報を含む高精度地図を取得する高精度地図取得部（２０３）と、距離方位取得部で取得する距離及び方位と、高精度地図取得部で取得する高精度地図とを用いて、車両に対する対象物の三次元位置を特定する三次元位置特定部（２０４）と、三次元位置特定部で特定する、車両に対する対象物の三次元位置に合わせて、対象物を強調する虚像を重畳表示させる表示制御部（２０７）と、車両のドライバの視点位置を特定する視点位置特定部（２０５）と、高精度地図に高さの情報が含まれている地点のうち、車両と対象物との間の地点の高さの情報と、視点位置特定部で特定する視点位置とをもとに、路面の勾配変化によってドライバから不可視となる不可視領域を推定する不可視領域推定部（２０６）とを備え、表示制御部は、不可視領域推定部で推定する不可視領域を避けて、対象物を強調する虚像を重畳表示させる。
上記目的を達成するために、本開示の第２の車両用表示制御装置は、車両で用いられ、投影部材（１０）に表示画像を投影することによって車両の前景中の対象物を強調する虚像を重畳表示させるヘッドアップディスプレイ（２３０）を制御する車両用表示制御装置であって、探査波を送信し、その探査波が対象物で反射される反射波を受信することで車両に対する対象物の距離及び方位を検出する探査波センサ（４２）で検出する、その距離及び方位を、取得する距離方位取得部（２０１）と、地点別の高さの情報を含む高精度地図を取得する高精度地図取得部（２０３）と、距離方位取得部で取得する距離及び方位と、高精度地図取得部で取得する高精度地図とを用いて、車両に対する対象物の三次元位置を特定する三次元位置特定部（２０４）と、三次元位置特定部で特定する、車両に対する対象物の三次元位置に合わせて、対象物を強調する虚像を重畳表示させる表示制御部（２０７）と、車両の前方を撮像する撮像装置（４１）で撮像する撮像画像を取得する撮像画像取得部（２００）とを備え、三次元位置特定部は、車両に対する対象物の距離が所定距離以上の場合には、距離方位取得部で取得する距離及び方位と、高精度地図取得部で取得する高精度地図とを用いて、車両に対する対象物の三次元位置を特定する一方、車両に対する対象物の距離が所定距離未満の場合には、距離方位取得部で取得する距離及び方位に加え、撮像画像取得部で取得する撮像画像を用いて、車両に対する対象物の三次元位置を特定する。

上記目的を達成するために、本開示の第１の車両用表示制御方法は、車両で用いられ、投影部材（１０）に表示画像を投影することによって車両の前景中の対象物を強調する虚像を重畳表示させるヘッドアップディスプレイ（２３０）を制御する車両用表示制御方法であって、探査波を送信し、その探査波が対象物で反射される反射波を受信することで車両に対する対象物の距離及び方位を検出する探査波センサ（４２）で検出する、その距離及び方位を、取得し、地点別の高さの情報を含む高精度地図を取得し、取得する距離及び方位と、取得する高精度地図とを用いて、車両に対する対象物の三次元位置を特定し、車両のドライバの視点位置を特定し、高精度地図に高さの情報が含まれている地点のうち、車両と対象物との間の地点の高さの情報と、特定する視点位置とをもとに、路面の勾配変化によってドライバから不可視となる不可視領域を推定し、推定する不可視領域を避けて、特定する車両に対する対象物の三次元位置に合わせて、対象物を強調する虚像を重畳表示させる。
上記目的を達成するために、本開示の第２の車両用表示制御方法は、車両で用いられ、投影部材（１０）に表示画像を投影することによって車両の前景中の対象物を強調する虚像を重畳表示させるヘッドアップディスプレイ（２３０）を制御する車両用表示制御方法であって、探査波を送信し、その探査波が対象物で反射される反射波を受信することで車両に対する対象物の距離及び方位を検出する探査波センサ（４２）で検出する、その距離及び方位を、取得し、地点別の高さの情報を含む高精度地図を取得し、車両の前方を撮像する撮像装置（４１）で撮像する撮像画像を取得し、車両に対する対象物の距離が所定距離以上の場合には、取得する距離及び方位と、取得する高精度地図とを用いて、車両に対する対象物の三次元位置を特定する一方、車両に対する対象物の距離が所定距離未満の場合には、取得する距離及び方位に加え、取得する撮像画像を用いて、車両に対する対象物の三次元位置を特定し、特定する、車両に対する対象物の三次元位置に合わせて、対象物を強調する虚像を重畳表示させる。

上記目的を達成するために、本開示の第１の制御プログラムは、コンピュータを、車両で用いられ、投影部材（１０）に表示画像を投影することによって車両の前景中の対象物を強調する虚像を重畳表示させるヘッドアップディスプレイ（２３０）を制御する車両用表示制御装置として機能させるための制御プログラムであって、探査波を送信し、その探査波が対象物で反射される反射波を受信することで車両に対する対象物の距離及び方位を検出する探査波センサ（４２）で検出する、その距離及び方位を、取得する距離方位取得部（２０１）と、地点別の高さの情報を含む高精度地図を取得する高精度地図取得部（２０３）と、距離方位取得部で取得する距離及び方位と、高精度地図取得部で取得する高精度地図とを用いて、車両に対する対象物の三次元位置を特定する三次元位置特定部（２０４）と、車両のドライバの視点位置を特定する視点位置特定部（２０５）と、高精度地図に高さの情報が含まれている地点のうち、車両と対象物との間の地点の高さの情報と、視点位置特定部で特定する視点位置とをもとに、路面の勾配変化によってドライバから不可視となる不可視領域を推定する不可視領域推定部（２０６）と、三次元位置特定部で特定する、車両に対する対象物の三次元位置に合わせて、不可視領域推定部で推定する不可視領域を避けて、対象物を強調する虚像を重畳表示させる表示制御部（２０７）として機能させる。
上記目的を達成するために、本開示の第２の制御プログラムは、コンピュータを、車両で用いられ、投影部材（１０）に表示画像を投影することによって車両の前景中の対象物を強調する虚像を重畳表示させるヘッドアップディスプレイ（２３０）を制御する車両用表示制御装置として機能させるための制御プログラムであって、探査波を送信し、その探査波が対象物で反射される反射波を受信することで車両に対する対象物の距離及び方位を検出する探査波センサ（４２）で検出する、その距離及び方位を、取得する距離方位取得部（２０１）と、地点別の高さの情報を含む高精度地図を取得する高精度地図取得部（２０３）と、車両の前方を撮像する撮像装置（４１）で撮像する撮像画像を取得する撮像画像取得部（２００）と、車両に対する対象物の距離が所定距離以上の場合には、距離方位取得部で取得する距離及び方位と、高精度地図取得部で取得する高精度地図とを用いて、車両に対する対象物の三次元位置を特定する一方、車両に対する対象物の距離が所定距離未満の場合には、距離方位取得部で取得する距離及び方位に加え、撮像画像取得部で取得する撮像画像を用いて、車両に対する対象物の三次元位置を特定する三次元位置特定部（２０４）と、三次元位置特定部で特定する、車両に対する対象物の三次元位置に合わせて、対象物を強調する虚像を重畳表示させる表示制御部（２０７）として機能させる。

これらによれば、探査波センサで検出する、車両に対する対象物の距離及び方位に加え、地点別の高さの情報を含む高精度地図も用いて、車両に対する対象物の三次元位置を特定するので、車両に対する対象物の高さをより精度良く特定することが可能になる。また、この三次元位置に合わせて、対象物を強調する虚像を重畳表示させるので、対象物を強調する虚像が、意図した位置から高さ方向に大幅にずれることを抑えることが可能になる。その結果、ヘッドアップディスプレイによって車両の前景中の対象物を強調する虚像を重畳表示させる際に、ドライバによるその対象物の誤認識及びドライバの不信感を低減させることが可能になる。

車両システム１の概略的な構成の一例を示す図である。 ＨＵＤ装置２３０の車両への搭載例を示す図である。 ＨＣＵ２０の概略的な構成の一例を示す図である。 ＨＣＵ２０での虚像表示制御関連処理の流れの一例を示すフローチャートである。 対象地点が地図データ点にあたる場合の、自車に対する対象物の高さ方向の位置の特定の一例について説明するための図である。 対象地点にとっての勾配基準点の探索の一例について説明するための図である。 不可視領域の推定の一例について説明するための図である。 重畳表示の一例を示す図である。 重畳表示の一例を示す図である。 撮像画像からの自車に対する対象物の高さ方向の位置の特定の一例について説明するための図である。 重畳表示の一例を示す図である。 重畳表示の一例を示す図である。

図面を参照しながら、開示のための複数の実施形態を説明する。なお、説明の便宜上、複数の実施形態の間において、それまでの説明に用いた図に示した部分と同一の機能を有する部分については、同一の符号を付し、その説明を省略する場合がある。同一の符号を付した部分については、他の実施形態における説明を参照することができる。

（実施形態１）
＜車両システム１の概略構成＞
以下、本実施形態について図面を用いて説明する。車両システム１は、自動車といった路上を走行する車両で用いられるものである。車両システム１は、一例として、図１に示すように、ＨＭＩ（Human Machine Interface）システム２、ＡＤＡＳ（Advanced Driver Assistance Systems）ロケータ３、周辺監視センサ４、車両制御ＥＣＵ５、及び運転支援ＥＣＵ６を含んでいる。ＨＭＩシステム２、ＡＤＡＳロケータ３、周辺監視センサ４、車両制御ＥＣＵ５、及び運転支援ＥＣＵ６は、例えば車内ＬＡＮに接続されているものとする。

ＡＤＡＳロケータ３は、図１に示すように、ＧＮＳＳ（Global Navigation Satellite System）受信機３０、慣性センサ３１、及び地図データベース（以下、地図ＤＢ）３２を備えている。ＧＮＳＳ受信機３０は、複数の人工衛星からの測位信号を受信する。慣性センサ３１は、例えばジャイロセンサ及び加速度センサを備える。ＡＤＡＳロケータ３は、ＧＮＳＳ受信機３０で受信する測位信号と、慣性センサ３１の計測結果とを組み合わせることにより、自車の車両位置を逐次測位する。一例として、本実施形態では、車両位置が経緯度の座標で表されるものとして説明を行う。経緯度の座標ではｘ軸が経度，ｙ軸が緯度を示す。なお、車両位置の測位には、自車に搭載された車速センサから逐次出力される検出結果から求めた走行距離等を用いる構成としてもよい。そして、測位した車両位置を車内ＬＡＮへ出力する。

地図ＤＢ３２は、不揮発性メモリであって、リンクデータ、ノードデータ、道路形状等の地図データを格納している。リンクデータは、リンクを特定するリンクＩＤ、リンクの長さを示すリンク長、リンク方位、リンク旅行時間、リンクの始端と終端とのノード座標、及び道路属性等の各データから構成される。ノードデータは、地図上のノード毎に固有の番号を付したノードＩＤ、ノード座標、ノード名称、ノード種別、ノードに接続するリンクのリンクＩＤが記述される接続リンクＩＤ、交差点種別等の各データから構成される。道路形状のデータには、高度、横断勾配、縦断勾配等のデータを含むものとする。よって、この高度が高さの情報に相当し、地図データが高精度地図に相当する。高度、横断勾配、縦断勾配等のデータは、少なくとも道路上の地点別であればよく、例えば地図データの観測点別とすればよい。

また、地図データとして、道路形状及び構造物の特徴点の点群からなる三次元地図を用いる構成としてもよく、この三次元地図を用いる場合はこの点群の高さ方向の座標を高さの情報として用いてもよい。ＡＤＡＳロケータ３は、この三次元地図を用いる場合、ＧＮＳＳ受信機３０を用いずに、この三次元地図と、道路形状及び構造物の特徴点の点群を検出するＬＩＤＡＲ（Light Detection and Ranging/Laser Imaging Detection and Ranging）等の周辺監視センサ４での検出結果とを用いて、自車の車両位置を特定する構成としてもよい。なお、地図データは、自車に搭載された車載通信モジュールを用いて自車の外部から取得する構成としてもよい。

周辺監視センサ４は、自車の周辺環境を監視する自律センサである。一例として、周辺監視センサ４は、歩行者，人間以外の動物、自車以外の車両等の移動する動的物標、及び路上の落下物，ガードレール、縁石、及び樹木等の静止している静的物標といった自車周辺の対象物を検出する。他にも、自車周辺の走行区画線等の路面標示を検出する。例えば周辺監視センサ４としては、自車周囲の所定範囲を撮像する周辺監視カメラ、自車周囲の所定範囲に探査波を送信するミリ波レーダ、ソナー、ＬＩＤＡＲ等の探査波センサがある。周辺監視カメラは、逐次撮像する撮像画像をセンシング情報として車内ＬＡＮへ逐次出力する。探査波センサは、対象物によって反射された反射波を受信した場合に得られる受信信号に基づく走査結果をセンシング情報として車内ＬＡＮへ逐次出力する。

より詳しくは、探査波センサは、探査波を送信してから、対象物で反射される反射波を受信するまでにかかった時間をもとに、探査波センサから対象物までの距離を測定する。また、探査波センサは、探査波を走査することで、反射波を受信する際の探査波の送信角度から、探査波センサに対する対象物の方位を測定する。方位は方位角で表せばよく、例えば正面方向を基準として時計回りを正の方位角、反時計回りを負の方位角で表せばよい。なお、探査波センサは、探査波を送信する送信部を自車の異なる箇所に複数設けることで、どの送信部から探査波を送信する場合に反射波を受信するかによって探査波センサに対する対象物の方位角を測定する構成としてもよい。

本実施形態では、周辺監視センサ４として、少なくとも、自車の前方の所定範囲を撮像範囲とする前方カメラ４１と、自車の前方の所定範囲に探査波を送信するミリ波レーダ４２とを用いる構成とする。この前方カメラ４１が撮像装置に相当する。前方カメラ４１とミリ波レーダ４２とのセンシング範囲は、少なくとも一部が重なるが、同一である必要はない。例えば、前方カメラ４１は、自車のルームミラー，インストルメントパネル上面等に設ける構成とすればよい。また、ミリ波レーダ４２は、自車のフロントグリル，フロントバンパ等に設ける構成とすればよい。ミリ波レーダ４２は、ミリ波又は準ミリ波を自車の前方の所定範囲を走査しながら送信し、対象物によって反射された反射波を受信することで、ミリ波レーダ４２に対しての対象物の距離及び方位角を測定する。以降では、ミリ波レーダ４２に対する対象物の距離及び方位角、つまり自車に対する対象物の距離及び方位角を、単に対象物の距離及び方位角と呼ぶ。

なお、周辺監視センサ４としては、自車の前方以外を撮像するカメラを用いたり、ソナー，ＬＩＤＡＲ（Light Detection and Ranging/Laser Imaging Detect ion and Ranging）等の探査波センサを用いたりする構成としてもよい。

車両制御ＥＣＵ５は、自車の加減速制御及び／又は操舵制御を行う電子制御装置である。車両制御ＥＣＵ５としては、操舵制御を行う操舵ＥＣＵ、加減速制御を行うパワーユニット制御ＥＣＵ及びブレーキＥＣＵ等がある。車両制御ＥＣＵ５は、自車に搭載されたアクセルポジションセンサ、ブレーキ踏力センサ、舵角センサ、車輪速センサ等の各センサから出力される検出信号を取得し、電子制御スロットル、ブレーキアクチュエータ、ＥＰＳ（Electric Power Steering）モータ等の各走行制御デバイスへ制御信号を出力する。また、車両制御ＥＣＵ５は、上述の各センサの検出信号を車内ＬＡＮへ出力可能である。

運転支援ＥＣＵ６は、車両制御ＥＣＵ５を制御することにより、ドライバによる運転操作の代行を行う自動運転機能を実行する。運転支援ＥＣＵ６は、ＡＤＡＳロケータ３から取得する自車の車両位置及び地図データ，周辺監視センサ４でのセンシング情報をもとに、自車の走行環境を認識する。一例としては、周辺監視センサ４でのセンシング情報から、自車周辺の物体の形状及び移動状態を認識したり、自車周辺の路面標示の形状を認識したりする。そして、自車の車両位置及び地図データと組み合わせることで、実際の走行環境を三次元で再現した仮想空間を生成する。

また、運転支援ＥＣＵ６は、認識した走行環境に基づき、自動運転機能によって自車を自動走行させるための走行計画を生成する。走行計画としては、長中期の走行計画と、短期の走行計画とを生成する等すればよい。短期の走行計画では、生成した自車の周囲の仮想空間を用いて、例えば先行車との目標車間距離を維持するための加減速，車線追従及び車線変更のための操舵，並びに衝突回避のための急制動等が決定される。長中期の走行計画としては、自車を目的地へ向かわせるための推奨経路を生成する。なお、運転支援ＥＣＵ６は、短期の走行計画と長中期の走行計画とのうちの短期の走行計画のみを生成する構成としてもよい。

運転支援ＥＣＵ６で実行する自動運転機能の一例としては、駆動力及び制動力を調整することで、先行車との目標車間距離を維持するように自車の走行速度を制御するＡＣＣ（Adaptive Cruise Control）機能がある。また、前方のセンシング情報をもとに制動力を発生させることで、自車を強制的に減速させるＡＥＢ（Autonomous Emergency Braking）機能がある。なお、ここで述べたのは、あくまで一例であり、自動運転の機能として他の機能を備えている構成としてもよい。

ＨＭＩシステム２は、ＨＣＵ（Human Machine Interface Control Unit）２０、操作デバイス２１、ＤＳＭ（Driver Status Monitor）２２、及び表示装置２３を備えており、自車のユーザであるドライバからの入力操作を受け付けたり、自車のドライバに向けて情報を提示したりする。操作デバイス２１は、自車のドライバが操作するスイッチ群である。操作デバイス２１は、各種の設定を行うために用いられる。例えば、操作デバイス２１としては、自車のステアリングのスポーク部に設けられたステアリングスイッチ等がある。

ＤＳＭ２２は、近赤外光源及び近赤外カメラと、これらを制御する制御ユニット等とによって構成されている。ＤＳＭ２２は、近赤外カメラを自車の運転席側に向けた姿勢にて、例えばステアリングコラムカバー，インストルメントパネル１２（図２参照）の上面等に配置される。ＤＳＭ２２は、近赤外光源によって近赤外光を照射されたドライバの頭部を、近赤外カメラによって撮影する。近赤外カメラによる撮像画像は、制御ユニットによって画像解析される。制御ユニットは、例えばドライバの目を撮像画像から抽出し、車室内の基準位置に対する目の位置（以下、視点位置）を検出する。基準位置は例えば近赤外カメラの設置位置等とすればよい。ＤＳＭ２２は、検出した視点位置の情報をＨＣＵ２０へ出力する。

表示装置２３としては、ヘッドアップディスプレイ（ＨＵＤ）装置２３０を用いる。ここで、図２を用いてＨＵＤ装置２３０について説明を行う。図２に示すようにＨＵＤ２３０は、自車のインストルメントパネル１２に設けられる。ＨＵＤ２３０は、例えば液晶式又は走査式等のプロジェクタ２３１により、ＨＣＵ２０から出力される画像データに基づく表示画像を形成する。表示画像としては、ＡＣＣ機能によって自車が追従する先行車を強調表示するための画像等の対象物を強調表示するための画像がある。強調表示の対象となる対象物は、ＡＣＣ機能によって自車が追従する先行車に限らず、自車の回避対象となる障害物等であってもよい。なお、表示画像としては、対象物を強調表示するための画像に限らず、車速，自動運転機能の動作状態等の自車状態を示す画像を含んだり、自車の予定進路を示す画像を含んだりする構成としてもよい。

ＨＵＤ２３０は、プロジェクタ２３１によって形成される表示画像を、例えば凹面鏡等の光学系２３２を通じて、投影部材としてのフロントウインドシールド１０に既定された投影領域に投影する。投影領域は、運転席前方に位置するものとする。フロントウインドシールド１０によって車室内側に反射された表示画像の光束は、運転席に着座するドライバによって知覚される。また、透光性ガラスにより形成されるフロントウインドシールド１０を透過した、自車の前方に存在する風景としての前景からの光束も、運転席に着座するドライバによって知覚される。これにより、ドライバは、フロントウインドシールド１０の前方にて結像される表示画像の虚像１００を、前景の一部と重ねて視認可能となる。つまり、ＨＵＤ２３０は、自車の前景に虚像１００を重畳表示し、所謂ＡＲ（Augmented Reality）表示を実現する。

なお、ＨＵＤ２３０が表示画像を投影する投影部材は、フロントウインドシールド１０に限らず、透光性コンバイナであっても構わない。また、表示装置２３として、ＨＵＤ２２０の他にも、画像を表示する装置を用いる構成としてもよい。一例としては、コンビネーションメータ、ＣＩＤ（Center Information Display）等がある。

ＨＣＵ２０は、プロセッサ、揮発性メモリ、不揮発性メモリ、Ｉ／Ｏ、これらを接続するバスを備えるマイクロコンピュータを主体として構成され、ＨＵＤ２３０と車内ＬＡＮとに接続されている。ＨＣＵ２０は、不揮発性メモリに記憶された制御プログラムを実行することにより、ＨＵＤ２３０による表示を制御する。このＨＣＵ２０が車両用表示制御装置に相当する。プロセッサがこの制御プログラムを実行することは、制御プログラムに対応する車両用表示制御方法が実行されることに相当する。ここで言うところのメモリは、コンピュータによって読み取り可能なプログラム及びデータを非一時的に格納する非遷移的実体的記憶媒体（non-transitory tangible storage medium）である。また、非遷移的実体的記憶媒体は、半導体メモリ又は磁気ディスクなどによって実現される。なお、ＨＵＤ装置２３０による表示の制御に関するＨＣＵ２０の構成については、以下で詳述する。

＜ＨＣＵ２０の概略構成＞
ここで、図３を用いてＨＣＵ２０の概略構成についての説明を行う。ＨＣＵ２０は、ＨＵＤ装置２３０での表示制御に関して、図３に示すように、撮像画像取得部２００、距離方位取得部２０１、自車位置取得部２０２、高精度地図取得部２０３、三次元位置特定部２０４、視点位置特定部２０５、不可視領域推定部２０６、及び表示生成部２０７を機能ブロックとして備える。なお、ＨＣＵ２０が実行する機能の一部又は全部を、一つ或いは複数のＩＣ等によりハードウェア的に構成してもよい。また、ＨＣＵ２０が備える機能ブロックの一部又は全部は、プロセッサによるソフトウェアの実行とハードウェア部材の組み合わせによって実現されてもよい。

撮像画像取得部２００は、前方カメラ４１で逐次撮像する撮像画像をセンシング情報として取得する。距離方位取得部２０１は、ミリ波レーダ４２で逐次測定する対象物の距離及び方位角をセンシング情報として取得する。自車位置取得部２０２は、ＡＤＡＳロケータ３で逐次測位する自車の車両位置を取得する。高精度地図取得部２０３は、ＡＤＡＳロケータ３の地図ＤＢ３２に格納されている地図データを取得する。高精度地図取得部２０３は、観測点別、つまり複数の地点別の高度及び横断勾配の情報を含む高精度地図を取得することになる。

三次元位置特定部２０４は、自車に対する対象物の三次元位置を特定する。例えば、三次元位置特定部２０４は、運転支援ＥＣＵ６で認識する走行環境のうちから対象物を選定して三次元位置を特定すればよい。一例としては、自車の回避対象とする障害物を対象物として選定したり、ＡＣＣ機能で追従させる先行車を対象物として選定したりする構成とすればよい。以下では、ＡＣＣ機能で追従させる先行車を対象物として選定する場合を例に挙げて説明を行う。運転支援ＥＣＵ６で認識する走行環境のうちの対象物と、撮像画像取得部２００で取得する撮像画像中の対象物及び距離方位取得部２０１で距離及び方位を取得する対象物との紐付けは、自車に体する距離及び方位の略一致をもとに行う等すればよい。

三次元位置特定部２０４は、自車に対する対象物の距離が所定距離以上の場合には、距離方位取得部２０１で取得する対象距離及び方位角と、高精度地図取得部で取得する高精度地図とを用いて、自車に対する対象物の三次元位置を特定する。詳細については後述する。ここで言うところの所定距離とは、前方カメラ４１の撮像画像をもとに撮像画像中の物体の高さを特定する精度が十分でなくなり始めると推定される距離とすればよく、任意に設定可能な値である。

一方、三次元位置特定部２０４は、自車に対する対象物の距離が前述の所定距離未満の場合には、距離方位取得部２０１で取得する距離及び方位角に加え、撮像画像取得部２００で取得する撮像画像を用いて、自車に対する対象物の三次元位置を特定する。詳細については後述する。なお、三次元位置特定部２０４は、自車に対する対象物の距離が前述の所定距離未満の場合にも高精度地図取得部２０３で取得する高精度地図を用いる構成としてもよい。

視点位置特定部２０５は、ＤＳＭ２２で逐次検出する視点位置の情報から自車の車両位置を基準とするドライバの視点位置を特定する。例えば、視点位置特定部２０５は、ＤＳＭ２２で検出する視点位置を、ＤＳＭ２２での視点位置の基準とする位置と自車における車両位置の基準となる位置とのずれをもとに、自車の車両位置を基準とする視点位置に変換することで、自車のドライバの視点位置を特定する。

不可視領域推定部２０６は、高精度地図取得部２０３で取得する高精度地図に高度の情報が含まれている地点のうち、自車と対象物との間の地点の高度の情報と、視点位置特定部２０５で特定する視点位置とをもとに、路面の勾配変化によって自車のドライバから不可視となる不可視領域を推定する。詳細については後述する。

表示生成部２０７は、自車に対する対象物の三次元位置に合わせて対象物を強調する虚像を重畳表示させるための画像データを生成し、この画像データをＨＵＤ２３０に出力することで、自車に対する対象物の三次元位置に合わせて対象物を強調する虚像を重畳表示させる。この表示生成部２０７が表示制御部に相当する。画像データを構成する個々のフレームには、対象物を強調表示するためのマーク（以下、強調表示マーク）が描画されている。強調表示マークの描画位置は、強調表示マークの表示画像が投影領域に投影されたときに、強調表示マークの表示画像に基づく虚像が前景中の意図する位置に表示されるように設定される。

一例としては、表示生成部２０７は、三次元位置特定部２０４で特定する自車に対する対象物の三次元位置と、視点位置特定部２０５で特定する視点位置と、予めＨＣＵ２０の不揮発性メモリに格納されている投影領域の設定位置とをもとに、対象物、視点、及び投影領域の位置関係を把握する。そして、表示生成部２０７は、対象物、視点、及び投影領域の位置関係に基づき、強調表示マークの表示画像の投影領域内での投影位置、つまり、強調表示マークの表示画像に基づく虚像の結像位置を、幾何学的な演算によって算出する。

また、表示生成部２０７は、不可視領域推定部２０６で推定される不可視領域が存在する場合には、この不可視領域を避けて、対象物を強調する虚像を重畳表示させる。対象物を強調する虚像の重畳表示の詳細については後述する。

＜ＨＣＵ２０での虚像表示制御関連処理＞
続いて、図４のフローチャートを用いて、ＨＣＵ２０でのＨＵＤ２３０による重畳表示の制御に関連する処理（以下、虚像表示制御関連処理）の流れの一例について説明を行う。図４のフローチャートでは、ＨＵＤ２３０の電源がオン且つＨＵＤ２３０の機能がオンになった場合に開始する構成とすればよい。ＨＵＤ２３０の機能のオンオフは、操作デバイス２１で受け付ける入力操作に応じて切り替えられる構成とすればよい。また、ＨＵＤ２３０の電源のオンオフは、自車の内燃機関又はモータジェネレータを始動させるためのスイッチ（以下、パワースイッチ）のオンオフに応じて切り替えられる構成とすればよい。

まず、ステップＳ１では、距離方位取得部２０１が、ミリ波レーダ４２で測定する対象物の距離及び方位角をセンシング情報として取得する。ステップＳ２では、三次元位置特定部２０４が、Ｓ１で取得する対象物の距離及び方位角をもとに、自車の車両位置を基準とする座標系における対象物の位置座標を算出する。詳しくは、極座標系であるミリ波レーダ４２で測定する距離及び方位角を、自車の車両位置を基準とする左右方向の軸（以下、ｘ軸）と前後方向の軸（以下、ｙ軸）とで表されるｘｙ座標系に座標変換する。自車に対する対象物の距離ｒ，自車に対する対象物の方位角θとする場合、ｘ＝ｒ・ｃｏｓθ，ｙ＝ｒ・ｓｉｎθの演算式によって、対象物の（ｘ，ｙ）座標を算出する。

ステップＳ３では、Ｓ１で取得する対象物の距離が前述の所定距離以上である場合（Ｓ３でＹＥＳ）には、ステップＳ４に移る。一方、Ｓ１で取得する対象物の距離が前述の所定距離未満である場合（Ｓ３でＮＯ）には、ステップＳ１２に移る。

ステップＳ４では、高精度地図取得部２０３が、地図ＤＢ３２に格納されている高精度地図を取得する。例えば高精度地図取得部２０３は、自車位置取得部２０２で取得する自車の車両位置周辺に絞って高精度地図を取得する構成とすればよい。

ステップＳ５では、三次元位置特定部２０４が、Ｓ２で算出する対象物の（ｘ，ｙ）座標に対応する地点（以下、対象地点）が、Ｓ４で取得する高精度地図に高さ及び横断勾配の情報が含まれている地点（以下、地図データ点）にあたるか否かを判別する。一例として、対象地点は、地理座標系における自車の車両位置の経緯度を、Ｓ２で算出する対象物の（ｘ，ｙ）座標分だけオフセットすることで特定すればよい。そして、対象地点が、地図データ点にあたる場合（Ｓ５でＹＥＳ）には、ステップＳ６に移る。一方、対象地点が、地図データ点にあたらない場合（Ｓ５でＮＯ）には、ステップＳ７に移る。

ステップＳ６では、三次元位置特定部２０４が、自車に対する対象物の高さ方向の位置を特定して、ステップＳ９に移る。詳しくは、自車の車両位置を基準とする高さ方向の軸（以下、ｚ軸）のｚ座標を特定する。ここで、図５を用いて、対象地点が地図データ点にあたる場合の、自車に対する対象物の高さ方向の位置の特定の一例について説明する。図５のＯｖが自車を示しており、Ｖａが対象物としての先行車を示している。また、図５の黒丸が地図データ点，Ｏｐが地図データ点のうちの自車が位置する地点，Ａｐが地図データ点のうちの先行車が位置する地点を示している。

三次元位置特定部２０４は、高精度地図上の自車が位置する地点（図５のＯｐ参照）の高度と、高精度地図上のＳ２で算出する対象物の（ｘ，ｙ）座標が示す地点（図５のＡｐ参照）の高度との差分（図５のＤｉ参照）から対象物のｚ座標を特定する。なお、三次元位置特定部２０４は、例えば自車の車両位置としては、自車位置取得部２０２で取得する自車の車両位置を、Ｓ４で取得する高精度地図の地図データ点にマップマッチングさせた位置を用いればよい。

ステップＳ７では、三次元位置特定部２０４が、Ｓ４で取得する高精度地図の地図データ点から、対象地点にとっての横断勾配の基準となる勾配基準点を探索する。ここで、図６を用いて、三次元位置特定部２０４での対象地点にとっての勾配基準点の探索の一例について説明する。図６のＯｖが自車を示しており、Ｖａが対象物としての先行車を示している。また、図６の黒丸が地図データ点，Ｏｐが地図データ点のうちの自車が位置する地点，Ａｐが地図データ点のうちの先行車が位置する地点，Ｓｃｐが対象地点にとっての勾配基準点を示している。

三次元位置特定部２０４は、自車の車両位置よりも前方の地図データ点から、自車前方の経路を近似する経路近似曲線（図６の破線参照）を算出する。一例としては、スプライン曲線を算出すればよい。続いて、三次元位置特定部２０４は、対象地点（図６のＡｐ参照）からこの経路近似曲線に垂線を下ろし、垂線と経路近似曲線との交わる点から最短距離にある地図データ点を勾配基準点（図６のＳｃｐ参照）とする。なお、三次元位置特定部２０４は、対象地点を高精度地図にマップマッチングさせて、対象地点から最短距離にある地図データ点を勾配基準点として探索すると言い換えることもできる。

ステップＳ８では、Ｓ７で探索する勾配基準点における横断勾配と、この勾配基準点と対象地点との距離とを用いて、対象地点の高さを特定してステップＳ９に移る。ここで、図６を用いて、対象地点が地図データ点にあたらない場合の、自車に対する対象物の高さ方向の位置の特定の一例について説明する。

三次元位置特定部２０４は、勾配基準点の（ｘ，ｙ）座標と対象地点の（ｘ，ｙ）座標とから、勾配基準点から対象地点までの距離を算出する。一例として、勾配基準点の（ｘ，ｙ）座標は、地理座標系における勾配基準点の経緯度の座標を、地理座標系における自車の車両位置の経緯度の座標分だけオフセットすることで特定すればよい。続いて、勾配基準点から対象地点までの距離と、勾配基準点における横断勾配とをもとに、勾配基準点から対象地点までこの横断勾配で一定と仮定した上で三角関数を用いることで、勾配基準点と対象地点との高度の差分（図６のＤｉ_２参照）を算出する。そして、Ｓ６と同様にして算出する自車の車両位置と勾配基準点との高度の差分（図６のＤｉ_１参照）と、勾配基準点と対象地点との高度の差分（図６のＤｉ_２参照）とを足し合わせて対象物のｚ座標を特定する。

ステップＳ９では、三次元位置特定部２０４が、Ｓ２で算出する対象物の（ｘ，ｙ）座標と、Ｓ６若しくはＳ８で特定する対象物のｚ座標とを合わせて、自車に対する対象物の三次元位置、つまり（ｘ，ｙ，ｚ）座標を特定する。

ステップＳ１０では、不可視領域推定部２０６が、Ｓ４で取得する高精度地図の地図データ点のうちの、自車と対象物との間の地図データ点の高度の情報と、視点位置特定部２０５で特定する視点位置とをもとに、路面の勾配変化によって自車のドライバから不可視となる不可視領域を推定する。ここで、図７を用いて、不可視領域の推定の一例について説明する。図７のＯｖが自車を示しており、Ｖａが対象物としての先行車を示している。また、図７の黒丸が地図データ点，Ｖｐが視点位置，Ｌｏｓが視点位置を起点とする線分，Ｏｐが地図データ点のうちの自車が位置する地点，Ａｐが地図データ点のうちの先行車が位置する地点を示している。

不可視領域推定部２０６は、自車の車両位置（図７のＯｐ参照）と対象地点（図７のＡｐ参照）との間の地図データ点から高度の情報を抽出し、高度の情報をスプライン補間して近似曲線（以下、勾配近似曲線）を求める。なお、対象地点が、地図データ点にあたらない場合には、前述の勾配基準点を対象地点の代わりに用いる構成とすればよい。続いて、視点位置特定部２０５で特定する視点位置（図７のＶｐ参照）を起点とし、求めた勾配近似曲線と接する線分を求め、接点の（ｘ，ｙ，ｚ）座標を算出する。そして、求めた座標点のｚ座標、つまり自車に対する高さに基づき、この高さ以下の領域を不可視領域として推定する。この高さよりも高い領域が可視領域となる。なお、例えば、不可視領域推定部２０６は、視点位置から対象地点までの間で勾配近似曲線に接する線分を引けない場合は、不可視領域なしと推定すればよい。

ステップＳ１１では、Ｓ１０で不可視領域が推定される場合、つまり不可視領域ありの場合（Ｓ１１でＹＥＳ）には、ステップＳ１２に移る。一方、Ｓ１０で不可視領域なしの場合（Ｓ１１でＮＯ）には、ステップＳ１３に移る。ステップＳ１２では、表示生成部２０７が、不可視領域を強調表示マークの表示画像の描画対象から除外する不可視領域回避処理を行って、ステップＳ１３に移る。

ステップＳ１３では、表示生成部２０７が、Ｓ９で特定する三次元位置に合わせて、強調表示マークの表示画像の画像データを生成する。ステップＳ１４では、表示生成部２０７が、Ｓ１３で生成する画像データをＨＵＤ２３０に出力することで、自車に対する対象物の三次元位置に合わせて対象物を強調する強調表示マークの虚像を前景に重畳表示させる。そして、ステップＳ２０に移る。

一例として、表示生成部２０７は、Ｓ９で特定する三次元位置と、視点位置特定部２０５で特定する視点位置と、予めＨＣＵ２０の不揮発性メモリに格納されている投影領域の設定位置とをもとに、図８に示すような対象物（図８のＶａ参照）の下端に沿うライン状の強調表示マークの虚像（図８のＨｌ参照）を前景に重畳表示させる。図８は、重畳表示の一例を示す図であって、Ｖｉが投影領域を示している。なお、対象物の下端に沿う形状であれば、ライン状以外の形状であってもよい。

また、表示生成部２０７は、Ｓ１２で不可視領域回避処理を行っている場合、つまり、不可視領域推定部２０６で推定される不可視領域が存在する場合には、この不可視領域を避けて、強調表示マークの虚像を重畳表示させる。具体例としては、図９に示すように、対象物（図９のＶａ参照）の下端に沿うライン状の強調表示マーク（図９のＨｌ参照）を、可視領域の高さまで平行移動させて、対象物の可視領域中の下端に沿うように重畳表示させればよい。図９は、重畳表示の一例を示す図であって、Ｖｉが投影領域を示している。

ステップＳ１５では、撮像画像取得部２００が、前方カメラ４１で撮像する撮像画像をセンシング情報として取得する。ステップＳ１６では、三次元位置特定部２０４が、Ｓ１５で取得する撮像画像を用いて、自車に対する対象物の高さ方向の位置を特定する。三次元位置特定部２０４は、自車に対する対象物の高さ方向の位置については、撮像画像から画像認識によって検出する消失点の、平坦路での消失点からの変化量をもとに特定すればよい。

ここで、図１０を用いて、撮像画像からの自車に対する対象物の高さ方向の位置の特定の一例について説明する。図１０のＡが前方上り勾配の路面の撮像画像の例を示しており、Ｂが平坦路の撮像画像の例を示している。なお、本実施形態では、平坦路の撮像画像中における消失点である基準点（図１０のＢＰ参照）の位置は、車両の製造時，車両へのＨＵＤ２３０の取り付け時等に予め求めてＨＣＵ２０の不揮発性メモリに格納済みとする。また、基準点の位置は、車両のピッチング状態に応じた位置を選択して用いることができるように、例えば車両のハイトセンサの出力値別とすることが好ましい。

まず、三次元位置特定部２０４は、Ｓ１４で取得する撮像画像に対してエッジ抽出を行い、エッジ抽出を行った白線候補に対してＨｏｕｇｈ変換を行うことで線分を抽出する。三次元位置特定部２０４は、抽出する線分を色情報と比較することで白線を抽出する。三次元位置特定部２０４は、撮像画像から抽出する左右の白線を延長することで左右の白線の交点の位置を算出し、算出する交点を消失点（図１０のＦＯＥ参照）とする。なお、前述の基準点についても予め同様にして算出しておく構成とすればよい。続いて、三次元位置特定部２０４は、この消失点を基準点と比較し、基準点に対する消失点の変化量から自車前方の縦断勾配を特定する。変化量からの縦断勾配の特定については、予め変化量と縦断勾配との対応関係をＨＣＵ２０の不揮発性メモリに格納しておき、この対応関係を参照することで特定可能とすればよい。

そして、三次元位置特定部２０４は、Ｓ１で取得する対象物の距離と、特定する自車前方の縦断勾配とをもとに、自車から対象物までこの縦断勾配で一定と仮定した上で三角関数を用いることで、自車の車両位置と対象地点との高度の差分から対象物のｚ座標を特定する。また、三次元位置特定部２０４は、画像認識によって車高といった対象物自体の高さも特定することが好ましい。

ステップＳ１７では、三次元位置特定部２０４が、Ｓ２で算出する対象物の（ｘ，ｙ）座標と、Ｓ１６で推定する対象物のｚ座標とを合わせて、自車に対する対象物の三次元位置、つまり（ｘ，ｙ，ｚ）座標を特定する。ステップＳ１８では、表示生成部２０７が、Ｓ１７で特定する三次元位置に合わせて、強調表示マークの表示画像の画像データを生成する。ステップＳ１９では、表示生成部２０７が、Ｓ１８で生成する画像データをＨＵＤ２３０に出力することで、自車に対する対象物の三次元位置に合わせて対象物を強調する強調表示マークの虚像を前景に重畳表示させる。

一例として、表示生成部２０７は、Ｓ１７で特定する三次元位置及び対象物の高さと、視点位置特定部２０５で特定する視点位置と、予めＨＣＵ２０の不揮発性メモリに格納されている投影領域の設定位置とをもとに、図１１に示すような対象物（図１１のＶａ参照）を囲う枠状の強調表示マークの虚像（図１１のＨｌ参照）を前景に重畳表示させる。図１１は、重畳表示の一例を示す図であって、Ｖｉが投影領域を示している。なお、対象物を囲う形状であれば、枠状以外の形状であってもよく、一部を欠いている形状であってもよい。

ステップＳ２０では、虚像表示制御関連処理の終了タイミングであった場合（Ｓ２０でＹＥＳ）には、虚像表示制御関連処理を終了する。一方、虚像表示制御関連処理の終了タイミングでなかった場合（Ｓ２０でＮＯ）には、Ｓ１に戻って処理を繰り返す。虚像表示制御関連処理の終了タイミングの一例としては、自車のパワースイッチがオフになった場合，ＨＵＤ２３０の機能がオフになった場合等がある。

図４のフローチャートで説明した例では、Ｓ４〜Ｓ１４の処理では、前方カメラ４１で撮像する撮像画像を用いないため、自車に対する対象物の高さは精度良く特定することが可能となる一方、対象物自体の高さを精度良く特定することが難しいため、対象物の下端に沿う形状の虚像を重畳表示させる。これによれば、対象物を強調する表示を、高さ方向のずれを抑えつつ行うことが可能になる。また、Ｓ１５〜Ｓ１９の処理では、前方カメラ４１で撮像する撮像画像も用いるため、自車に対する対象物の高さを精度良く特定することが可能となるとともに、対象物自体の高さも精度良く特定することが可能となる。よって、対象物を囲う形状の虚像を重畳表示させる。これによれば、対象物を強調する表示を、対象物を囲って対象物をドライバに認識しやすくしながらも、高さ方向のずれを抑えて行うことが可能になる。

＜実施形態１のまとめ＞
実施形態１の構成によれば、探査波センサであるミリ波レーダ４２で検出する、自車に対する対象物の距離及び方位角に加え、地点別の高さの情報を含む高精度地図も用いて、自車に対する対象物の三次元位置を特定するので、自車に対する対象物の高さをより精度良く特定することが可能になる。また、この三次元位置に合わせて、対象物を強調する虚像を重畳表示させるので、対象物を強調する虚像が、意図した位置から高さ方向に大幅にずれることを抑えることが可能になる。その結果、ＨＵＤ２３０によって自車の前景中の対象物を強調する虚像を重畳表示させる際に、ドライバによるその対象物の誤認識及びドライバの不信感を低減させることが可能になる。

また、実施形態１の構成によれば、対象物が自車から所定距離未満の近距離の場合には、この近距離において自車に対する対象物の高さを精度良く特定することが可能な、前方カメラ４１で撮像する撮像画像を用いることで、自車に対する対象物の高さを特に精度良く特定することが可能になる。一方、対象物が自車から所定距離以上の遠距離の場合には、この距離において自車に対する対象物の高さを精度良く特定することが困難な、前方カメラ４１で撮像する撮像画像を用いず、高精度地図を用いることで、自車に対する対象物の高さを精度良く特定することが可能になる。

さらに、実施形態１の構成によれば、対象地点が高精度地図の地図データ点にあたらない場合であっても、この対象地点にとっての横断勾配の基準となる勾配基準点を探索し、探索する勾配基準点における横断勾配と、この勾配基準点と対象地点との距離とを用いて、対象地点の高さを特定することが可能になる。よって、対象地点が高精度地図の地図データ点にあたらない場合であっても、自車に対する対象物の高さをより精度良く特定することが可能になる。

他にも、実施形態１の構成によれば、不可視領域推定部２０６が不可視領域を推定し、表示生成部２０７が不可視領域を避けて強調表示マークの虚像を重畳表示させるので、対象物のうちの前方勾配で隠れていない部分から大きく離れた位置に対象物を強調する虚像を重畳表示させずに済む。よって、ドライバによるその対象物の誤認識及びドライバの不信感をさらに低減させることが可能になる。

（実施形態２）
実施形態１では、対象物が自車から所定距離未満の近距離の場合には、対象物の三次元位置の特定に前方カメラ４１で撮像する撮像画像を用いるが高精度地図は用いない一方、対象物が自車から所定距離以上の遠距離の場合には、対象物の三次元位置の特定に高精度地図は用いるが前方カメラ４１で撮像する撮像画像を用いない構成を示したが、必ずしもこれに限らない。

例えば、対象物が近距離の場合であっても遠距離の場合であっても高精度地図を用いて自車に対する対象物の高さを特定する構成としてもよい。この場合、例えば前方カメラ４１で撮像する撮像画像は、対象物が近距離の場合において対象物自体の高さを特定し、対象物を囲う形状の虚像を重畳表示させるのに用いる構成としてもよい。さらに、この場合、実施形態１と同様にして不可視領域推定部２０６が不可視領域を、高精度地図を用いて推定し、不可視領域を避けて強調表示マークの虚像を重畳表示させる構成としてもよい。具体例としては、図１２に示すように、対象物（図１２のＶａ参照）を囲う枠状の強調表示マーク（図１２のＨｌ参照）の不可視領域にあたる部分をマスク処理して、対象物の可視領域中の部分を囲うように重畳表示させればよい。図１２は、重畳表示の一例を示す図であって、Ｖｉが投影領域を示している。

以上の構成であっても、探査波センサであるミリ波レーダ４２で検出する、自車に対する対象物の距離及び方位角に加え、地点別の高さの情報を含む高精度地図も用いて、自車に対する対象物の三次元位置を特定するので、自車に対する対象物の高さをより精度良く特定することが可能になる。よって、ＨＵＤ２３０によって自車の前景中の対象物を強調する虚像を重畳表示させる際に、ドライバによるその対象物の誤認識及びドライバの不信感を低減させることが可能になる。

また、対象物が近距離の場合であっても遠距離の場合であっても高精度地図を用いて自車に対する対象物の高さを特定する一方、対象地点が地図データ点にあたらない場合に、前方カメラ４１で撮像する撮像画像を用いて自車に対する対象物の高さを特定する構成としてもよい。この構成において、対象地点が地図データ点にあたらない場合であって、対象物が近距離の場合に、前方カメラ４１で撮像する撮像画像を用いて自車に対する対象物の高さを特定する一方、対象地点が地図データ点にあたらない場合であって、対象物が遠距離の場合に、Ｓ７〜Ｓ８の処理と同様にして自車に対する対象物の高さを特定する構成とすることが好ましい。

これによれば、対象地点が地図データ点にあたらない場合であって、対象物の距離が近距離の場合には、この近距離において自車に対する対象物の高さを精度良く特定することが可能な、前方カメラ４１で撮像する撮像画像を用いることで、勾配基準点を探索する処理負荷を抑えつつも自車に対する対象物の高さを精度良く特定することが可能になる。一方、対象地点が地図データ点にあたらない場合であって、対象物の距離が遠距離の場合には、この距離において自車に対する対象物の高さを精度良く特定することが困難な、前方カメラ４１で撮像する撮像画像を用いず、勾配基準点を探索して自車に対する対象物の高さを精度良く特定することが可能になる。

（実施形態３）
実施形態１では、前方カメラ４１で撮像する撮像画像を用いて自車に対する対象物の高さを特定するか否かに応じて、対象物を囲う形状の虚像を重畳表示させるか対象物の下端に沿う形状の虚像を重畳表示させるかを切り替える構成を示したが、必ずしもこれに限らない。例えば、前方カメラ４１で撮像する撮像画像を用いて自車に対する対象物の高さを特定するか否かにかかわらず、同様の形状の虚像を重畳表示させる構成としてもよい。

（実施形態４）
実施形態１では、不可視領域推定部２０６が不可視領域を推定し、表示生成部２０７が不可視領域を避けて強調表示マークの虚像を重畳表示させる構成を示したが、必ずしもこれに限らない。例えば、ＨＣＵ２０に不可視領域推定部２０６を備えず、不可視領域を推定しない構成としてもよい。

（実施形態５）
実施形態１では、ＤＳＭ２２で検出した視点位置の情報から視点位置特定部２０５が自車の車両位置を基準とするドライバの視点位置を特定する構成を示したが、必ずしもこれに限らない。例えば、予めＨＣＵ２０の不揮発性メモリに格納される設定位置を、自車の車両位置を基準とするドライバの視点位置として用いる構成としてもよい。この設定位置は、車種別に設定される仮想の点であって、通常の運転状態におけるドライバの目の位置を代表する点である。設定位置は、例えばシーティングリファレンスポイントの直上６３５ｍｍの高さに設定される構成とすればよい。

他にも、設定位置をリクライニング角度，スライド位置といった運転席のシート位置別に予め格納しておくことで、シート位置に応じた設定位置を選択して、自車の車両位置を基準とするドライバの視点位置を特定する構成としてもよい。

（実施形態６）
実施形態１では、高精度地図取得部２０３が地図データを取得する地図ＤＢ３２がＡＤＡＳロケータ３に備えられている構成を示したが、必ずしもこれに限らない。例えば、地図ＤＢ３２は、ＡＤＡＳロケータ３以外に備えられる構成としてもよい。

（実施形態７）
実施形態１では、自車が自動運転機能を有している場合に適用した例を挙げて説明を行ったが、必ずしもこれに限らない。例えば、自車が自動運転機能を有していない構成であってもよい。この場合には、自車のドライバが注意すべき対象物を強調する虚像を重畳表示させることで、この対象物に対する注意喚起を行う構成等とすればよい。

（実施形態８）
実施形態１では、ＨＵＤ２３０での表示の制御に関する機能をＨＵＤ２３０とは別体のＨＣＵ２０が担う構成を示したが、必ずしもこれに限らない。例えば、ＨＵＤ２３０での表示の制御に関する機能をＨＵＤ２３０に設けられる制御回路が担う構成としてもよいし、コンビネーションメータに設けられる制御回路等が担う構成としてもよい。

なお、本開示は、上述した実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本開示の技術的範囲に含まれる。

１ 車両システム、２ ＨＭＩシステム、３ ＡＤＡＳロケータ、４ 周辺監視センサ、５ 車両制御ＥＣＵ、６ 運転支援ＥＣＵ、１０ フロントウインドシールド（投影部材）、２０ ＨＣＵ（車両用表示制御装置）、４１ 前方カメラ（撮像装置）、４２ ミリ波レーダ（探査波センサ）、１００ 虚像、２００ 撮像画像取得部、２０１ 距離方位取得部、２０２ 自車位置取得部、２０３ 高精度地図取得部、２０４ 三次元位置特定部、２０５ 視点位置特定部、２０６ 不可視領域推定部、２０７ 表示生成部（表示制御部）、２３０ ＨＵＤ（ヘッドアップディスプレイ）

Claims (11)

1. 車両で用いられ、投影部材（１０）に表示画像を投影することによって前記車両の前景中の対象物を強調する虚像を重畳表示させるヘッドアップディスプレイ（２３０）を制御する車両用表示制御装置であって、
   探査波を送信し、その探査波が前記対象物で反射される反射波を受信することで前記車両に対する前記対象物の距離及び方位を検出する探査波センサ（４２）で検出する、その距離及び方位を、取得する距離方位取得部（２０１）と、
   地点別の高さの情報を含む高精度地図を取得する高精度地図取得部（２０３）と、
   前記距離方位取得部で取得する前記距離及び前記方位と、前記高精度地図取得部で取得する前記高精度地図とを用いて、前記車両に対する前記対象物の三次元位置を特定する三次元位置特定部（２０４）と、
   前記三次元位置特定部で特定する、前記車両に対する前記対象物の三次元位置に合わせて、前記対象物を強調する虚像を重畳表示させる表示制御部（２０７）と、
   前記車両のドライバの視点位置を特定する視点位置特定部（２０５）と、
   前記高精度地図に前記高さの情報が含まれている地点のうち、前記車両と前記対象物との間の地点の前記高さの情報と、前記視点位置特定部で特定する前記視点位置とをもとに、路面の勾配変化によって前記ドライバから不可視となる不可視領域を推定する不可視領域推定部（２０６）とを備え、
   前記表示制御部は、前記不可視領域推定部で推定する前記不可視領域を避けて、前記対象物を強調する虚像を重畳表示させる車両用表示制御装置。
2. 前記車両の前方を撮像する撮像装置（４１）で撮像する撮像画像を取得する撮像画像取得部（２００）を備え、
   前記三次元位置特定部は、前記車両に対する前記対象物の距離が所定距離以上の場合には、前記距離方位取得部で取得する前記距離及び前記方位と、前記高精度地図取得部で取得する前記高精度地図とを用いて、前記車両に対する前記対象物の三次元位置を特定する一方、前記車両に対する前記対象物の距離が所定距離未満の場合には、前記距離方位取得部で取得する前記距離及び前記方位に加え、前記撮像画像取得部で取得する前記撮像画像を用いて、前記車両に対する前記対象物の三次元位置を特定する請求項１に記載の車両用表示制御装置。
3. 車両で用いられ、投影部材（１０）に表示画像を投影することによって前記車両の前景中の対象物を強調する虚像を重畳表示させるヘッドアップディスプレイ（２３０）を制御する車両用表示制御装置であって、
   探査波を送信し、その探査波が前記対象物で反射される反射波を受信することで前記車両に対する前記対象物の距離及び方位を検出する探査波センサ（４２）で検出する、その距離及び方位を、取得する距離方位取得部（２０１）と、
   地点別の高さの情報を含む高精度地図を取得する高精度地図取得部（２０３）と、
   前記距離方位取得部で取得する前記距離及び前記方位と、前記高精度地図取得部で取得する前記高精度地図とを用いて、前記車両に対する前記対象物の三次元位置を特定する三次元位置特定部（２０４）と、
   前記三次元位置特定部で特定する、前記車両に対する前記対象物の三次元位置に合わせて、前記対象物を強調する虚像を重畳表示させる表示制御部（２０７）と、
   前記車両の前方を撮像する撮像装置（４１）で撮像する撮像画像を取得する撮像画像取得部（２００）とを備え、
   前記三次元位置特定部は、前記車両に対する前記対象物の距離が所定距離以上の場合には、前記距離方位取得部で取得する前記距離及び前記方位と、前記高精度地図取得部で取得する前記高精度地図とを用いて、前記車両に対する前記対象物の三次元位置を特定する一方、前記車両に対する前記対象物の距離が所定距離未満の場合には、前記距離方位取得部で取得する前記距離及び前記方位に加え、前記撮像画像取得部で取得する前記撮像画像を用いて、前記車両に対する前記対象物の三次元位置を特定する車両用表示制御装置。
4. 前記表示制御部は、前記三次元位置特定部で、前記撮像画像を用いて、前記車両に対する前記対象物の三次元位置を特定する場合には、前記対象物を強調する虚像として、前記前景中の前記対象物を囲う形状の虚像を重畳表示させる一方、前記撮像画像を用いず、前記高精度地図取得部で取得する前記高精度地図を用いて、前記車両に対する前記対象物の三次元位置を特定する場合には、前記対象物を強調する虚像として、前記前景中の前記対象物の下端に沿う形状の虚像を重畳表示させる請求項２又は３に記載の車両用表示制御装置。
5. 前記三次元位置特定部は、前記撮像画像を用いて、前記車両に対する前記対象物の三次元位置を特定する場合、前記車両に対する前記対象物の高さ方向の位置については、前記撮像画像から画像認識によって検出する消失点の、平坦路での消失点からの変化量をもとに特定する請求項２〜４のいずれか１項に記載の車両用表示制御装置。
6. 前記三次元位置特定部は、前記高精度地図取得部で取得する前記高精度地図を用いて、前記車両に対する前記対象物の三次元位置を特定する場合、前記車両に対する前記対象物の高さ方向の位置については、前記高精度地図上の前記車両が位置する地点の高さと、前記車両に対する前記対象物の前記距離及び前記方位が示す地点の高さとの差分から特定する請求項１〜５のいずれか１項に記載の車両用表示制御装置。
7. 前記高精度地図は、少なくとも道路上の複数地点についての高さ及び横断勾配の情報を含むものであり、
   前記三次元位置特定部は、前記高精度地図取得部で取得する前記高精度地図を用いて、前記車両に対する前記対象物の三次元位置を特定する場合であって、前記車両に対する前記対象物の距離及び方位が示す地点である対象地点が、前記高精度地図に前記高さ及び前記横断勾配の情報が含まれている地点にあたらない場合には、前記高精度地図に前記高さ及び前記横断勾配の情報が含まれている地点のうちから、前記対象地点にとっての横断勾配の基準となる勾配基準点を探索し、前記勾配基準点での横断勾配と、前記勾配基準点と前記対象地点との距離とから、前記車両に対する前記対象物の前記距離及び前記方位が示す地点の高さを特定する請求項６に記載の車両用表示制御装置。
8. 車両で用いられ、投影部材（１０）に表示画像を投影することによって前記車両の前景中の対象物を強調する虚像を重畳表示させるヘッドアップディスプレイ（２３０）を制御する車両用表示制御方法であって、
   探査波を送信し、その探査波が前記対象物で反射される反射波を受信することで前記車両に対する前記対象物の距離及び方位を検出する探査波センサ（４２）で検出する、その距離及び方位を、取得し、
   地点別の高さの情報を含む高精度地図を取得し、
   取得する前記距離及び方位と、取得する前記高精度地図とを用いて、前記車両に対する前記対象物の三次元位置を特定し、
   前記車両のドライバの視点位置を特定し、
   前記高精度地図に前記高さの情報が含まれている地点のうち、前記車両と前記対象物との間の地点の前記高さの情報と、特定する前記視点位置とをもとに、路面の勾配変化によって前記ドライバから不可視となる不可視領域を推定し、
   推定する前記不可視領域を避けて、特定する前記車両に対する前記対象物の三次元位置に合わせて、前記対象物を強調する虚像を重畳表示させる車両用表示制御方法。
9. 車両で用いられ、投影部材（１０）に表示画像を投影することによって前記車両の前景中の対象物を強調する虚像を重畳表示させるヘッドアップディスプレイ（２３０）を制御する車両用表示制御方法であって、
   探査波を送信し、その探査波が前記対象物で反射される反射波を受信することで前記車両に対する前記対象物の距離及び方位を検出する探査波センサ（４２）で検出する、その距離及び方位を、取得し、
   地点別の高さの情報を含む高精度地図を取得し、
   前記車両の前方を撮像する撮像装置（４１）で撮像する撮像画像を取得し、
   前記車両に対する前記対象物の距離が所定距離以上の場合には、取得する前記距離及び方位と、取得する前記高精度地図とを用いて、前記車両に対する前記対象物の三次元位置を特定する一方、前記車両に対する前記対象物の距離が所定距離未満の場合には、取得する前記距離及び前記方位に加え、取得する前記撮像画像を用いて、前記車両に対する前記対象物の三次元位置を特定し、
   特定する、前記車両に対する前記対象物の三次元位置に合わせて、前記対象物を強調する虚像を重畳表示させる車両用表示制御方法。
10. コンピュータを、
    車両で用いられ、投影部材（１０）に表示画像を投影することによって前記車両の前景中の対象物を強調する虚像を重畳表示させるヘッドアップディスプレイ（２３０）を制御する車両用表示制御装置として機能させるための制御プログラムであって、
    探査波を送信し、その探査波が前記対象物で反射される反射波を受信することで前記車両に対する前記対象物の距離及び方位を検出する探査波センサ（４２）で検出する、その距離及び方位を、取得する距離方位取得部（２０１）と、
    地点別の高さの情報を含む高精度地図を取得する高精度地図取得部（２０３）と、
    前記距離方位取得部で取得する前記距離及び前記方位と、前記高精度地図取得部で取得する前記高精度地図とを用いて、前記車両に対する前記対象物の三次元位置を特定する三次元位置特定部（２０４）と、
    前記車両のドライバの視点位置を特定する視点位置特定部（２０５）と、
    前記高精度地図に前記高さの情報が含まれている地点のうち、前記車両と前記対象物との間の地点の前記高さの情報と、前記視点位置特定部で特定する前記視点位置とをもとに、路面の勾配変化によって前記ドライバから不可視となる不可視領域を推定する不可視領域推定部（２０６）と、
    前記三次元位置特定部で特定する、前記車両に対する前記対象物の三次元位置に合わせて、前記不可視領域推定部で推定する前記不可視領域を避けて、前記対象物を強調する虚像を重畳表示させる表示制御部（２０７）として機能させるための制御プログラム。
11. コンピュータを、
    車両で用いられ、投影部材（１０）に表示画像を投影することによって前記車両の前景中の対象物を強調する虚像を重畳表示させるヘッドアップディスプレイ（２３０）を制御する車両用表示制御装置として機能させるための制御プログラムであって、
    探査波を送信し、その探査波が前記対象物で反射される反射波を受信することで前記車両に対する前記対象物の距離及び方位を検出する探査波センサ（４２）で検出する、その距離及び方位を、取得する距離方位取得部（２０１）と、
    地点別の高さの情報を含む高精度地図を取得する高精度地図取得部（２０３）と、
    前記車両の前方を撮像する撮像装置（４１）で撮像する撮像画像を取得する撮像画像取得部（２００）と、
    前記車両に対する前記対象物の距離が所定距離以上の場合には、前記距離方位取得部で取得する前記距離及び前記方位と、前記高精度地図取得部で取得する前記高精度地図とを用いて、前記車両に対する前記対象物の三次元位置を特定する一方、前記車両に対する前記対象物の距離が所定距離未満の場合には、前記距離方位取得部で取得する前記距離及び前記方位に加え、前記撮像画像取得部で取得する前記撮像画像を用いて、前記車両に対する前記対象物の三次元位置を特定する三次元位置特定部（２０４）と、
    前記三次元位置特定部で特定する、前記車両に対する前記対象物の三次元位置に合わせて、前記対象物を強調する虚像を重畳表示させる表示制御部（２０７）として機能させるための制御プログラム。

Images