JP7151073B2 - 表示装置及びコンピュータプログラム - Google Patents

Description

本発明は、車両の走行支援を行う表示装置及びコンピュータプログラムに関する。

従来より、車両の乗員に対して経路案内や障害物の警告等の車両の走行支援を行う為の各種情報を提供する情報提供手段として、様々な手段が用いられている。例えば、車両に設置された液晶ディスプレイによる表示や、スピーカから出力する音声等である。そして、近年、このような情報提供手段の一つとして、ヘッドアップディスプレイ（以下、ＨＵＤという）やウインドウシールドディスプレイ（以下、ＷＳＤという）のように運転者の周辺環境（風景）に重畳する画像を表示することによって、情報の提供を行う装置がある。

例えば、特開２００５－６９８００号公報には、ナビゲーションシステムによって経路を案内する際に、経路の目印となるランドマーク（コンビニなど）を音声案内装置によってアナウンスするとともに、ＨＵＤを用いて車両前方の実景の中におけるランドマークの位置に重畳する虚像を表示することについて開示されている。乗員はフロントウィンドウを通して見える虚像の位置に基づいて、右左折の目印となるランドマークの位置（即ち右左折する交差点の位置）を把握することが可能となる。

特開２００５－６９８００号公報（図４）

ここで、上記特許文献１に記載の技術では、実景内の右左折の目印となるランドマークの位置に重畳して、乗員から視認されるように虚像を表示している。しかしながら、表示される虚像はランドマークの一部に上書きして重畳表示するのみで、ランドマークと虚像の前後関係が不明確であった。

本発明は前記従来における問題点を解消するためになされたものであり、案内画像と実景内の対象物との前後の位置関係を明確とすることによって、進むべき進行路を正確に車両の乗員に通知可能な表示装置及びコンピュータプログラムを提供することを目的とする。

前記目的を達成するため本発明に係る表示装置は、車両に搭載され、案内分岐点を退出した後の車両が進行する進行路の進行方向を案内する案内画像を、前記車両前方の風景に重畳して視認させる表示装置であって、地図情報に基づいて案内分岐点の周辺を３次元で表現した３次元空間を生成するとともに、生成された３次元空間に対して案内分岐点を退出した後の車両が進行する進行路に前記案内画像を配置する画像配置手段と、案内分岐点の周囲に存在する動体物を含む周辺対象物をモデリングしたモデルを３次元空間内における前記周辺対象物が存在する位置に配置するモデル配置手段と、３次元空間内における車両の位置から前記案内画像を視認した場合の前記案内画像の形状の内、前記車両が進行する前記進行路の手前側に存在する周辺対象物の前記モデル及び前記進行路の奥側に存在する周辺対象物の内の動体物の前記モデルと重ならない部分を取得する形状取得手段と、前記３次元空間に配置された前記案内画像及び前記モデルの内、前記モデルについては前記車両の乗員から視認される対象として表示することなく前記形状取得手段によって取得された形状の前記案内画像を、前記車両の乗員から視認される風景に重畳して表示することにより、前記車両が進行する前記進行路の手前側に存在する周辺対象物及び前記進行路の奥側に存在する周辺対象物の内の動体物と重なる領域を表示対象から除いた前記案内画像を表示する案内画像表示手段と、を有する。

また、本発明に係るコンピュータプログラムは、車両の走行支援を行うプログラムである。具体的には、車両に搭載され、案内分岐点を退出した後の車両が進行する進行路の進行方向を案内する案内画像を、前記車両前方の風景に重畳して視認させる表示装置を、地図情報に基づいて案内分岐点の周辺を３次元で表現した３次元空間を生成するとともに、生成された３次元空間に対して案内分岐点を退出した後の車両が進行する進行路に前記案内画像を配置する画像配置手段と、案内分岐点の周囲に存在する動体物を含む周辺対象物をモデリングしたモデルを３次元空間内における前記周辺対象物が存在する位置に配置するモデル配置手段と、３次元空間内における車両の位置から前記案内画像を視認した場合の前記案内画像の形状の内、前記車両が進行する前記進行路の手前側に存在する周辺対象物の前記モデル及び前記進行路の奥側に存在する周辺対象物の内の動体物の前記モデルと重ならない部分を取得する形状取得手段と、前記３次元空間に配置された前記案内画像及び前記モデルの内、前記モデルについては前記車両の乗員から視認される対象として表示することなく前記形状取得手段によって取得された形状の前記案内画像を、前記車両の乗員から視認される風景に重畳して表示することにより、前記車両が進行する前記進行路の手前側に存在する周辺対象物及び前記進行路の奥側に存在する周辺対象物の内の動体物と重なる領域を表示対象から除いた前記案内画像を表示する案内画像表示手段と、して機能させる。

前記構成を有する本発明に係る表示装置及びコンピュータプログラムによれば、案内分岐点を退出した後の進行方向を案内する案内画像は、車両が進行する進行路の手前側に存在する周辺対象物と重なる領域については重畳対象から除かれるので、実景に含まれる周辺対象物（例えば建物、歩行者、車両、街路樹等）の位置と、案内画像の位置との前後関係を車両の乗員は明確に把握することが可能となる。その結果、進むべき進行路を正確に車両の乗員に通知可能となる。

第１実施形態に係る重畳画像表示装置の概略構成図である。 第１実施形態に係るナビゲーション装置を示したブロック図である。 第１実施形態に係る走行支援処理プログラムのフローチャートである。 前進を案内する矢印を虚像表示した状態を示す図である。 左折を案内する矢印を虚像表示した状態を示す図である。 車両から案内分岐点に設置された道路標識までの距離を示す図である。 フロントウィンドウ上の道路標識の位置を示す図である。 道路標識と重なる非描画領域を設定した矢印を虚像表示した状態を示す図である。 道路標識及び建物と重なる非描画領域を設定した矢印を虚像表示した状態を示す図である。 第２実施形態に係る走行支援処理プログラムのフローチャートである。 ３次元地図情報に基づいて生成される３次元立体地図を示した図である。 案内画像と動体物を配置した後の３次元立体地図を示した図である。 自車両が進行路に沿って進行する場合に影響のある動体物を説明した図である。 影響動体物と重なる領域に虚像が表示されないように案内画像を補正する例を示した図である。 影響動体物と重なる領域に虚像が表示されないように案内画像を補正する例を示した図である。 車両の乗員から視認される案内画像の虚像の例を示した図である。 表示範囲決定処理のサブ処理プログラムのフローチャートである。 変形例について説明した図である。

以下、本発明に係る表示装置を重畳画像表示装置１に具体化した第１実施形態及び第２実施形態について図面を参照しつつ詳細に説明する。

［第１実施形態］
先ず、第１実施形態に係る重畳画像表示装置１の概略構成について図１を用いて説明する。図１は第１実施形態に係る重畳画像表示装置１の概略構成図である。

図１に示すように重畳画像表示装置１は、車両２に搭載されたナビゲーション装置３と、同じく車両２に搭載されるとともにナビゲーション装置３と接続されたヘッドアップディスプレイ装置（以下、ＨＵＤという）４とを基本的に有する。

ここで、ナビゲーション装置３は、目的地までの推奨経路を探索したり、サーバから取得したりメモリに格納された地図データに基づいて車両２の現在位置周辺の地図画像を表示したり、設定された案内経路に沿った走行案内をＨＵＤ４とともに行う機能を有する。尚、上記機能の全てをナビゲーション装置３が備えている必要はなく、少なくとも案内経路に沿った走行案内を行う機能を有していれば本願発明を構成することが可能である。尚、ナビゲーション装置３の構造の詳細については後述する。

一方、ＨＵＤ４は、車両２のダッシュボード５内部に設置されており、内部には映像が表示される映像表示面である液晶ディスプレイ６を有する。そして、液晶ディスプレイ６に投射された映像を、後述のようにＨＵＤ４が備える凹面鏡７等を介し、更に運転席の前方のフロントウィンドウ８に反射させて車両２の乗員９に視認させるように構成されている。尚、液晶ディスプレイ６に表示される映像としては、車両２に関する情報や乗員９の運転の支援の為に用いられる各種情報がある。例えば乗員９に対して警告対象となる対象物（他車両や歩行者）に対する警告、ナビゲーション装置３で設定された案内経路や案内経路に基づく案内情報（右左折方向を示す矢印等）、路面に表示する警告（追突注意、制限速度等）、現在車速、広告画像、案内標識、地図画像、交通情報、ニュース、天気予報、時刻、接続されたスマートフォンの画面、テレビ番組等がある。

また、第１実施形態のＨＵＤ４では、フロントウィンドウ８を反射して乗員９が液晶ディスプレイ６に表示された映像を視認した場合に、乗員９にはフロントウィンドウ８の位置ではなく、フロントウィンドウ８の先の遠方の位置に液晶ディスプレイ６に表示された映像が虚像１０として視認されるように構成される。また、虚像１０は車両前方の風景（実景）に重畳して表示されることとなり、例えば車両前方に位置する任意の対象物（路面、建築物、警告対象となる動体物等）に重畳させて表示させることも可能である。尚、乗員９が視認できる虚像１０は液晶ディスプレイ６に表示された映像であるが、凹面鏡７やその他のミラーを介することによって上下方向や左右方向が反転する場合があり、それらの反転を考慮して液晶ディスプレイ６の映像の表示を行う必要がある。また、凹面鏡７を介することによってサイズも変更する。

ここで、虚像１０を生成する位置、より具体的には乗員９から虚像１０までの距離（以下、結像距離という）Ｌについては、ＨＵＤ４が備える凹面鏡７の曲率、液晶ディスプレイ６と凹面鏡７との相対位置等によって適宜設定することが可能である。例えば、凹面鏡７の曲率が固定であれば、液晶ディスプレイ６において映像の表示された位置から凹面鏡７までの光路に沿った距離（光路長）によって結像距離Ｌが決定される。例えば結像距離Ｌが２．５ｍとなるように光路長が設定されている。

また、第１実施形態では車両前方の風景に重畳する画像を表示する手段としてＨＵＤ４を用いているが、他の手段を用いても良い。例えば、フロントウィンドウ８に対して映像を表示するウインドウシールドディスプレイ（ＷＳＤ）を用いても良い。ＷＳＤでは、フロントウィンドウ８をスクリーンとしてプロジェクタから映像を表示しても良いし、フロントウィンドウ８を透過液晶ディスプレイとしても良い。ＷＳＤによってフロントウィンドウ８に対して表示された画像は、ＨＵＤ４と同様に車両前方の風景に重畳する画像となる。

更に、後述のフロントカメラ１１で撮像した車両前方の風景を車内の液晶ディスプレイに表示し、同一の液晶ディスプレイ内において表示された風景に重畳する画像を表示することも可能である。その場合においても液晶ディスプレイに表示された画像は、ＨＵＤ４と同様に車両前方の風景に重畳する画像となる。

また、車両のフロントバンパの上方やルームミラーの裏側等にはフロントカメラ１１が設置される。フロントカメラ１１は、例えばＣＣＤ等の固体撮像素子を用いたカメラを有する撮像装置であり、光軸方向を車両の進行方向前方に向けて設置される。そして、フロントカメラ１１により撮像された撮像画像に対して画像処理が行われることによって、フロントウィンドウ８越しに乗員９に視認される前方環境（即ち虚像１０が重畳される環境）の状況等が検出される。尚、フロントカメラ１１の代わりにミリ波レーダ等のセンサを用いても良い。

また、車両のインストルメントパネルの上面には車内カメラ１２が設置される。車内カメラ１２は、例えばＣＣＤ等の固体撮像素子を用いたカメラを有する撮像装置であり、光軸方向を運転席に向けて設置される。そして、運転席に座った乗員９の顔を撮像する。そして、車内カメラ１２により撮像された撮像画像に対して画像処理が行われることによって、乗員９の目の位置（視線開始点）や視線方向を検出する。

次に、上記重畳画像表示装置１を構成するナビゲーション装置３の概略構成について図２を用いて説明する。図２は第１実施形態に係るナビゲーション装置３を示したブロック図である。

図２に示すように第１実施形態に係るナビゲーション装置３は、ナビゲーション装置３が搭載された車両２の現在位置を検出する現在位置検出部１３と、各種のデータが記録されたデータ記録部１４と、入力された情報に基づいて、各種の演算処理を行うナビゲーションＥＣＵ１５と、ユーザからの操作を受け付ける操作部１６と、ユーザに対して車両周辺の地図や施設の関する施設情報を表示する液晶ディスプレイ１７と、経路案内に関する音声ガイダンスを出力するスピーカ１８と、記憶媒体であるＤＶＤを読み取るＤＶＤドライブ１９と、ＶＩＣＳ（登録商標：Vehicle Information and Communication System）センタ等の情報センタとの間で通信を行う通信モジュール２０と、を有する。また、ナビゲーション装置３はＣＡＮ等の車載ネットワークを介して、前述したＨＵＤ４、フロントカメラ１１及び車内カメラ１２等が接続されている。

以下に、ナビゲーション装置３が有する各構成要素について順に説明する。
現在位置検出部１３は、ＧＰＳ２１、車速センサ２２、ステアリングセンサ２３、ジャイロセンサ２４等からなり、現在の車両の位置、方位、車両の走行速度、現在時刻等を検出することが可能となっている。ここで、特に車速センサ２２は、車両の移動距離や車速を検出する為のセンサであり、車両の駆動輪の回転に応じてパルスを発生させ、パルス信号をナビゲーションＥＣＵ１５に出力する。そして、ナビゲーションＥＣＵ１５は発生するパルスを計数することにより駆動輪の回転速度や移動距離を算出する。尚、上記４種類のセンサをナビゲーション装置３が全て備える必要はなく、これらの内の１又は複数種類のセンサのみをナビゲーション装置３が備える構成としても良い。

また、データ記録部１４は、外部記憶装置及び記録媒体としてのハードディスク（図示せず）と、ハードディスクに記録された地図情報ＤＢ３１や所定のプログラム等を読み出すとともにハードディスクに所定のデータを書き込む為のドライバである記録ヘッド（図示せず）とを備えている。尚、データ記録部１４はハードディスクの代わりにフラッシュメモリやメモリーカードやＣＤやＤＶＤ等の光ディスクを有していても良い。また、地図情報ＤＢ３１は外部のサーバに格納させ、ナビゲーション装置３が通信により取得する構成としても良い。

ここで、地図情報ＤＢ３１は、２次元地図情報３３と３次元地図情報３４とがそれぞれ記憶される。２次元地図情報３３は、一般的なナビゲーション装置３において用いられる地図情報であり、例えば、道路（リンク）に関するリンクデータ、ノード点に関するノードデータ、施設に関する施設データ、経路探索処理に用いられる探索データ、地図を表示するための地図表示データ、各交差点に関する交差点データ、地点を検索するための検索データ等を含む。

一方、３次元地図情報３４は、平面だけではなく高さ情報についても有し、３次元で地図を表現する為の地図情報である。特に本実施形態では３次元で道路の輪郭、建築物の形状、道路の区画線、信号機、道路標識、看板等を表現する為の地図情報とする。尚、３次元地図情報３４としては上記道路の輪郭、建築物の形状、道路の区画線、信号機、道路標識、看板以外の情報についても含めても良い。例えば、街路樹や路面標示等についても３次元で表現する為の情報を含めても良い。また、３次元地図情報３４としては３次元空間上に上記道路の輪郭、建築物の形状、道路の区画線、信号機、道路標識、看板等の各オブジェクトを配置した地図そのものを記憶しても良いし、３次元で地図を表現する為に必要な情報（道路の輪郭、建築物の形状、道路の区画線、信号機、道路標識、看板等の３次元の座標データなど）を記憶しても良い。３次元で地図を表現する為に必要な情報が格納されている場合には、ナビゲーション装置３は、必要なタイミングで３次元地図情報３４として記憶された情報を用いて、対象エリアを３次元で表現した地図を生成する。

そして、ナビゲーション装置３は、液晶ディスプレイ１７における地図画像の表示、案内経路の探索等の一般的な機能については２次元地図情報３３を用いて行う。また、後述のように案内画像の表示に係る処理については２次元地図情報３３に加えて３次元地図情報３４についても用いて行う。

一方、ナビゲーションＥＣＵ（エレクトロニック・コントロール・ユニット）１５は、ナビゲーション装置３の全体の制御を行う電子制御ユニットであり、演算装置及び制御装置としてのＣＰＵ４１、並びにＣＰＵ４１が各種の演算処理を行うにあたってワーキングメモリとして使用されるとともに、経路が探索されたときの経路データ等が記憶されるＲＡＭ４２、制御用のプログラムのほか、後述の走行支援処理プログラム（図３）等が記録されたＲＯＭ４３、ＲＯＭ４３から読み出したプログラムを記憶するフラッシュメモリ４４等の内部記憶装置を備えている。尚、ナビゲーションＥＣＵ１５は、処理アルゴリズムとしての各種手段を有する。例えば、周辺対象物判定手段は、案内経路における案内分岐点の周辺に存在する周辺対象物の有無を判定する。補正手段は、案内分岐点を退出した後の車両が進行する進行路の進行方向を案内する案内画像のうち、周辺対象物と重なる部分を描画対象から除く非描画領域として補正する。表示手段は、補正後の案内画像を表示する。

操作部１６は、走行開始地点としての出発地及び走行終了地点としての目的地を入力する際等に操作され、各種のキー、ボタン等の複数の操作スイッチ（図示せず）を有する。そして、ナビゲーションＥＣＵ１５は、各スイッチの押下等により出力されるスイッチ信号に基づき、対応する各種の動作を実行すべく制御を行う。尚、操作部１６は液晶ディスプレイ１７の前面に設けたタッチパネルを有していても良い。また、マイクと音声認識装置を有していても良い。

また、液晶ディスプレイ１７には、道路を含む地図画像、交通情報、操作案内、操作メニュー、キーの案内、出発地から目的地までの案内経路、案内経路に沿った案内情報、ニュース、天気予報、時刻、メール、テレビ番組等が表示される。尚、第１実施形態では情報の表示手段としてＨＵＤ４を備えているので、上記地図画像等の表示をＨＵＤ４で行う構成とすれば液晶ディスプレイ１７は省略しても良い。

また、スピーカ１８は、ナビゲーションＥＣＵ１５からの指示に基づいて案内経路に沿った走行を案内する音声ガイダンスや、交通情報の案内を出力する。

また、ＤＶＤドライブ１９は、ＤＶＤやＣＤ等の記録媒体に記録されたデータを読み取り可能なドライブである。そして、読み取ったデータに基づいて音楽や映像の再生、地図情報ＤＢ３１の更新等が行われる。尚、ＤＶＤドライブ１９に替えてメモリーカードを読み書きする為のカードスロットを設けても良い。

また、通信モジュール２０は、交通情報センタ、例えば、ＶＩＣＳセンタやプローブセンタ等から送信された渋滞情報、規制情報、交通事故情報等の各情報から成る交通情報を受信する為の通信装置であり、例えば携帯電話機やＤＣＭが該当する。

続いて、前記構成を有する重畳画像表示装置１の内、特にナビゲーション装置３において実行する走行支援処理プログラムについて図３に基づき説明する。図３は第１実施形態に係る走行支援処理プログラムのフローチャートである。ここで、走行支援処理プログラムは車両のＡＣＣ電源(accessory power supply)がＯＮされた後に実行され、ＨＵＤ４を用いて車両２の乗員９に案内分岐点における車両の進行方向の案内を行うプログラムである。尚、以下の図３にフローチャートで示されるプログラムは、ナビゲーション装置３が備えているＲＡＭ４２やＲＯＭ４３に記憶されており、ＣＰＵ４１により実行される。

尚、「案内分岐点」とは、ナビゲーション装置３において設定されている案内経路に沿った車両の走行案内を行う場合において、車両の進行方向を案内する必要がある分岐点であり、例えば十字路、Ｔ字路、Ｙ字路などの交差点が該当する。但し、案内分岐点は、２つの道路が交わる交差点に限らず、例えば一つの道路が複数の道路に分岐する分岐部分でも良い。

先ず、走行支援処理プログラムでは、ステップ（以下、Ｓと略記する）１においてＣＰＵ４１は、車両２の進行方向前方の所定距離（例えば７００ｍ）以内に案内分岐点が存在するか否かを判定する。具体的には、ＣＰＵ４１は、ナビゲーション装置３において現在設定されている案内経路と、地図情報ＤＢ３１に格納された地図情報と、現在位置検出部１３に基づいて検出した車両２の現在位置とに基づいて判定する。尚、案内経路は、例えば走行開始時等においてユーザが目的地を設定した場合に、公知のダイクストラ法を用いた経路探索処理により決定される。

また、前記Ｓ１において車両２の進行方向前方の所定距離に案内分岐点が存在するか否かを判定する手段は、上記方法に限られない。例えば、ＣＰＵ４１は、フロントカメラ１１で撮像された撮像画像と３次元地図情報３４とを照合することによって、３次元地図情報３４内における車両の現在位置を特定し、進行方向前方に案内分岐点が存在するか否かを判定してもよい。

そして、車両２の進行方向前方の所定距離に案内分岐点が存在すると判定された場合（Ｓ１：ＹＥＳ）には、Ｓ２へと移行する。それに対して、車両２の進行方向前方の所定距離に案内分岐点が存在しないと判定された場合（Ｓ１：ＮＯ）には、案内分岐点が存在すると判定されるまで待機する。この場合、ＣＰＵ４１は、例えば予め設定された時間だけ間を空けてＳ１の処理を繰り返し実行する。

Ｓ２においてＣＰＵ４１は、車両の進行方向前方にある案内分岐点の周辺にある周辺対象物として、特に道路標識が存在するか否かを判定する。前記Ｓ２における判定処理は、フロントカメラ１１で撮像された撮像画像を画像処理することによって判定しても良いし、車両の現在位置と３次元地図情報３４に基づいて判定しても良い。尚、３次元地図情報３４には、予め道路標識の設置位置を特定する情報が含まれている。

また、上記Ｓ２で判定対象となる「周辺対象物」としては、道路標識以外に、案内分岐点に存在するガードレール、カーブミラー、電柱、建物などの人工物や防風林などの人工物を対象としても良い。更に、周辺対象物は、固定されたものに限らず、人などの動く動体物でも良い。以下では、周辺対象物の一例として道路標識を例に挙げて説明する。

そして、車両の進行方向前方にある案内分岐点の周辺に道路標識が存在すると判定された場合（Ｓ２：ＹＥＳ）には、Ｓ５へと移行する。それに対して、車両の進行方向前方にある案内分岐点の周辺に道路標識が存在しないと判定された場合（Ｓ２：ＮＯ）には、Ｓ３へと移行する。

Ｓ３においてＣＰＵ４１は、ＨＵＤ４の液晶ディスプレイ６に対して表示する画像として、特に案内分岐点を退出した後の車両が進行する進行路の進行方向を案内する矢印の画像を生成する。生成される矢印の画像の形状は、車両の進行方向と案内分岐点の形状によって決定される。尚、液晶ディスプレイ６に表示された画像は、虚像１０として車両の乗員からは車両の車両前方の風景に重畳して視認される（図１参照）。

更に、前記Ｓ３においてＣＰＵ４１は、生成された矢印の画像を補正する。具体的には、進行路に沿って進行方向の先端側に向かって矢印の先端側を延長し、矢印全体の長さをより長くする。

その後、Ｓ４においてＣＰＵ４１は、ＨＵＤ４に対して制御信号を送信し、ＨＵＤ４の液晶ディスプレイ６に対して前記Ｓ３で生成並びに補正された後の矢印の画像を表示する。その結果、案内分岐点を退出した後の車両が進行する進行路の進行方向を案内する案内画像として特に矢印の虚像１０が、車両の乗員から車両前方の風景に重畳して視認される。

ここで、図４は特に案内分岐点を退出した後の車両が進行する進行路の進行方向が直進方向である場合に、車両の乗員から視認される矢印の虚像を示した図である。
図４に示すように、車両のフロントウィンドウ８越しには、走行路７３の路面上に重畳して、前方へ進むことを示す矢印７１（矢印画像）が虚像として表示されている。また、矢印７１の虚像は、十字路である案内分岐点７２を通過し、走行路７３に沿って進行方向の先に向かって延長されている。矢印７１は、例えば、ＨＵＤ４の表示可能な領域の上側端部まで延長されている。その結果、図４に示す矢印７１の虚像を視認した乗員は、案内分岐点７２を直進して進むことを容易に把握することが可能となる。

また、図５は特に案内分岐点を退出した後の車両が進行する進行路の進行方向が左方向（即ち左折）である場合に、車両の乗員から視認される矢印の虚像を示した図である。
図５に示すように、車両のフロントウィンドウ８越しには、走行路７３から案内分岐点７２を左折した後の進行路７４に跨って、路面に対して上方に離間した位置に重畳して、左方へ進むことを示す矢印７１（矢印画像）が虚像として表示されている。また、矢印７１の虚像は、案内分岐点７２を左折した後の進行路７４に沿って、進行方向の先に向かって延長されている。矢印７１は、例えば、ＨＵＤ４の表示可能な領域の左側端部まで延長されている。その結果、図５に示す矢印７１の虚像を視認した乗員は、案内分岐点７２を左折して進行路７４へと退出することを容易に把握することが可能となる。

一方、Ｓ５においてＣＰＵ４１は、案内分岐点７２の周辺に設置された道路標識の種類及び大きさ（撮像画像中の大きさではなく実際の大きさ）を取得する。具体的にはＣＰＵ４１は、フロントカメラ１１で撮像した道路標識の画像を画像処理し、形状、図柄などの特徴に基づいて道路標識の種類及び大きさを判定する。道路標識の形状（大きさ）、図柄等は、例えば、日本国内であれば、道路標識、区画線及び道路標示に関する命令（標識令）で規定されている。地図情報ＤＢ３１には、標識令で規定された道路標識の種類毎に形状や図柄の情報が予め格納されており、ＣＰＵ４１は該当する道路標識のデータを抽出することによって、案内分岐点７２の周辺に設置された道路標識の種類及び大きさを取得する。尚、３次元地図情報３４を用いて道路標識の種類及び大きさを取得しても良い。３次元地図情報３４には、予め道路標識の設置位置に加えて、道路標識の種類や大きさを特定する情報が含まれている。

次に、Ｓ６においてＣＰＵ４１は、車両２から案内分岐点の周辺に設置された道路標識までの距離（以下、第一距離という）を算出する。以下に、前記Ｓ６の第一距離の算出方法の詳細について説明する。

ここで、図６は車両２から案内分岐点７２の周辺に設置された道路標識８１までの第一距離Ｄ１を示している。
図６に示すように第１実施形態では、第一距離Ｄ１は、特に車両２の乗員９の頭部の位置Ｘから道路標識８１までの距離とする。車内カメラ１２は、上記したように車両２のインストルメントパネルや天井に設置され、撮像方向を運転席に向けて設置されており、撮像画像には運転者である乗員９の顔が含まれることとなる。従って、ＣＰＵ４１は、車内カメラ１２の撮像画像に基づいて、乗員９の頭の位置Ｘを検出することが可能である。

また、ＣＰＵ４１は、前記Ｓ５で取得した道路標識８１の大きさと、フロントカメラ１１で撮像した撮像画像中の道路標識８１の大きさとを比較して、フロントカメラ１１と道路標識８１とを結ぶ直線距離を算出する。フロントカメラ１１で撮像された道路標識８１の大きさは、道路標識８１と車両２との間の第一距離Ｄ１が長いほど小さくなる。このため、ＣＰＵ４１は、撮像画像中の道路標識８１の大きさと、道路標識８１の実際の大きさとを比較することで、フロントカメラ１１と道路標識８１と間の直線距離を算出することが可能である。尚、フロントカメラ１１をステレオカメラとすれば、撮像画像から直接、フロントカメラ１１と道路標識８１と間の直線距離を算出することも可能である。ＣＰＵ４１は、算出した直線距離に、フロントカメラ１１と乗員９の頭部の位置Ｘとの間の距離を加算し、乗員９の頭部の位置Ｘと道路標識８１とを結ぶ直線距離Ｄ３を算出する。

また、ＣＰＵ４１は、乗員９の頭部の位置Ｘと道路標識８１とを結ぶ直線と、車両２の幅方向とがなす角度θを算出する。具体的には、ＣＰＵ４１は先ずフロントカメラ１１で撮像した撮像画像を画像処理することによって、撮像画像内の道路標識８１の位置を特定する。その後、特定された道路標識８１の位置と、フロントカメラ１１と道路標識８１と間の直線距離とに基づいて角度θを算出する。そして、ＣＰＵ４１は、直線距離Ｄ３と角度θとに基づいて、乗員９の頭部の位置Ｘから道路標識８１までの第一距離Ｄ１を算出する。

尚、前記Ｓ６では上記した方法以外で第一距離Ｄ１や直線距離Ｄ３を算出してもよい。例えば、ＣＰＵ４１は、３次元地図情報３４に含まれる道路標識８１の位置情報と、現在位置検出部１３により検出した車両２の現在位置とに基づいて直線距離Ｄ３や第一距離Ｄ１を算出してもよい。更に、ＣＰＵ４１は、車内カメラ１２の画像処理によって検出した乗員９の視線に基づいて角度θを算出することも可能である。具体的には、先ず車内カメラ１２の撮像画像を処理することで、視線開始点（目の位置）及び視線方向を検出する。視線開始点や視線方向の検出方法としては、例えば角膜反射法により計測された瞳孔の中心位置やプルキニエ像を用いて検出する方法がある。それらの方法は既に公知の技術であるので、詳細は省略する。その後、ＣＰＵ４１は、乗員９の視線が案内する進行路７４に集中した場合、乗員が道路標識８１を注視していると仮定して視線方向に基づいて角度θを算出することが可能である。

また、前記Ｓ６においてＣＰＵ４１は、案内分岐点７２の周囲に複数の道路標識が存在数する場合には、存在する道路標識毎に第一距離Ｄ１を算出する。但し、全ての道路標識が対象となるのではなく、案内分岐点７２の進行路７４側に設置された道路標識のみが対象となる。例えば図６に示す例では、案内分岐点７２を左折して進行路７４を進むように案内する場合、案内分岐点７２の進行路７４側に設置された道路標識８１、８２が、第一距離Ｄ１を算出する対象となる。また、走行路７３の左側の歩道に設置された道路標識８３も対象となる。一方、案内経路から外れる案内分岐点７２を右折した進行路７５側の道路標識８４は、第一距離Ｄ１を算出する対象外とする。但し、案内分岐点７２の進行路７４側に設置された道路標識以外（例えば図６の道路標識８４）についても第一距離Ｄ１の算出対象としても良い。

その後、Ｓ７においてＣＰＵ４１は、車両２と、案内分岐点７２を退出した後の進行路７４の道路端Ｙとの間の距離である第二距離Ｄ２を算出する。尚、道路端Ｙは、特に進行路７４の案内分岐点７２側の道路端であって、且つ最も手前側（車両側）の位置とする。 具体的には先ずＣＰＵ４１は、地図情報に基づいて進行路７４の道路端Ｙの位置を検出する。次にＣＰＵ４１は、進行路７４の道路端Ｙの位置、車両２の現在位置、乗員９の頭の位置Ｘに基づいて第二距離Ｄ２を算出する。尚、上記した第一距離Ｄ１及び第二距離Ｄ２は、乗員９の頭の位置Ｘを基準としたが、これに限らず、車両２のフロントカメラ１１、車両先端、車両中心の位置などを基準としても良い。

次に、Ｓ８においてＣＰＵ４１は、Ｓ６で算出した第一距離Ｄ１と、Ｓ７で算出した第二距離Ｄ２とに基づいて、案内分岐点７２を退出した後の進行路７４の手前側に立っている道路標識が存在するか否かを判定する。図６に示すように、進行路７４の手前側に立つ道路標識８１の第一距離Ｄ１は、進行路７４の道路端Ｙの第二距離Ｄ２以下となる。一方、進行路７４の奥側に立つ道路標識８２の第一距離Ｄ１は、第二距離Ｄ２よりも長くなる。このため、ＣＰＵ４１は、第二距離Ｄ２を基準として、道路標識が進行路７４の手前側に存在すか否かを判定できる。

尚、ＣＰＵ４１は、第一距離Ｄ１や第二距離Ｄ２以外にも、図６に示す乗員９の頭部の位置Ｘから進行路７４の奥側の道路端までの距離Ｄ４や、進行路７４の道路幅Ｗ１などを用いて、道路標識８１、８２が進行路７４の手前側に立っているか、奥側に立っているかを判定してもよい。例えば、ＣＰＵ４１は、第二距離Ｄ２に道路幅Ｗ１を加えた距離と、道路標識８２の第一距離Ｄ１とを比較して、進行路７４の手前側に存在するか判定することが可能である。ＣＰＵ４１は、道路幅Ｗ１を、地図情報に基づいて検出できる。

そして、案内分岐点７２を退出した後の進行路７４の手前側に立っている道路標識が存在すると判定された場合（Ｓ８：ＹＥＳ）には、Ｓ９へと移行する。それに対して、案内分岐点７２を退出した後の進行路７４の手前側に立っている道路標識が存在しないと判定された場合（Ｓ８：ＮＯ）には、Ｓ３へと移行する。その後、前述したように、ＨＵＤ４の液晶ディスプレイ６に対して表示する画像として、特に案内分岐点を退出した後の車両が進行する進行路の進行方向を案内する矢印の画像を生成し、液晶ディスプレイ６に対して表示する。尚、矢印の先端は、進行路に沿って進行方向の先端側へと延長される。

一方で、Ｓ９においてＣＰＵ４１は、案内分岐点７２を退出した後の進行路７４の手前側に立っている道路標識（例えば、図６に示す例では道路標識８１であり、以下、対象道路標識という）を、案内画像として表示される矢印の虚像１０と絡めた表示を行う対象の道路標識として決定する。尚、前記Ｓ９で決定された対象道路標識が矢印の虚像１０の手前側に設置されていることを明確にする為に、以下の処理が実行される。

Ｓ１０においてＣＰＵ４１は、フロントウィンドウ８上に映る対象道路標識の位置を算出する。より具体的には、ＣＰＵ４１は、乗員９がフロントウィンドウ８越しに対象道路標識を見た場合、乗員９の対象道路標識を見る視線と、フロントウィンドウ８とが重なる位置を算出する。

図７は、フロントウィンドウ８上の道路標識８１の位置９１を示している。位置９１は、例えば、道路標識８１の上下方向の中央を、乗員９が見た場合の位置とする。
先ずＣＰＵ４１は、上記した角度θ、乗員の頭部の位置Ｘ、及び車両情報に基づいて位置９１を算出する。ここでいう乗員の頭部の位置Ｘとは、例えば、車両２の前後方向、左右方向、上下方向における位置（即ち３次元空間における位置）である。また、車両情報とは、例えば、フロントウィンドウ８の大きさ、配置（運転席との距離）、傾斜角度などの情報であり、データ記録部１４に予め保存されている。そして、ＣＰＵ４１は、頭部の位置Ｘにおいて車両の幅方向に対し角度θで水平方向に延びる直線とフロントウィンドウ８とが重なる位置を、フロントウィンドウ８上の道路標識８１の位置９１として算出する。

続いてＳ１１においてＣＰＵ４１は、乗員９が対象道路標識を見た際に案内画像である矢印７１の虚像と対象道路標識とが重なる領域を算出し、重なる領域を描画対象から除く非描画領域に設定する。具体的に前記Ｓ１１ではＣＰＵ４１は以下の処理を実行する。

先ずＣＰＵ４１は、乗員の頭部の位置Ｘと対象道路標識とを結ぶ直線距離Ｄ３に基づき、フロントウィンドウ８に映る対象道路標識の大きさを算出する。次にＣＰＵ４１は、算出した対象道路標識の大きさと、上記したＳ１０で算出された対象道路標識の位置とに基づいて、乗員９から見えるフロントウィンドウ８に映る対象道路標識の位置や大きさを算出する。更にＣＰＵ４１は、対象道路標識の位置や大きさと、矢印７１の表示する位置や大きさに基づいて、乗員９が対象道路標識を見た際に矢印７１の虚像と対象道路標識とが重なる領域を算出する。そして、ＣＰＵ４１は、算出された領域を、矢印７１を描画しない非描画領域に設定する。その後、ＣＰＵ４１は、後述のように矢印７１の画像をＨＵＤ４の液晶ディスプレイ６に表示する際に、設定された非描画領域に矢印７１の虚像が表示されないように表示制御する。

続いてＳ４においてＣＰＵ４１は、先ずＨＵＤ４の液晶ディスプレイ６に対して表示する画像として、特に案内分岐点を退出した後の車両が進行する進行路の進行方向を案内する矢印の画像を生成する。生成される矢印の画像の形状は、車両の進行方向と案内分岐点の形状によって決定される。尚、液晶ディスプレイ６に表示された画像は、虚像１０として車両の乗員からは車両の車両前方の風景に重畳して視認される（図１参照）。

更に、前記Ｓ４においてＣＰＵ４１は、生成された矢印の画像の内、前記Ｓ１１において設定された非描画領域に虚像が表示されないように、該当する領域を欠いた矢印の画像とする。その後、ＣＰＵ４１はＨＵＤ４に対して制御信号を送信し、ＨＵＤ４の液晶ディスプレイ６に対して生成並びに補正された後の矢印の画像を表示する。その結果、対象道路標識と重なる部分について描画対象から除かれた矢印の虚像が表示される。

ここで図８は、非描画領域９３を設定した、即ち、非描画領域９３に基づく補正を行った矢印７１の虚像を表示した状態を示している。図８に示すように、矢印７１の虚像は、道路標識８１のポール８１Ａと重なる部分を非描画領域９３に補正（設定）されている。従って、矢印７１の虚像は、非描画領域９３において進行路７４の手前側に立つ道路標識８１のポール８１Ａの奥側（後側）を通るように表示される。

また、進行路７４の奥側の道路標識８２に対しては非描画領域を設定しないため、矢印７１の虚像は、道路標識８２の手前側を通るように上に重なって表示される。これにより、乗員９は、道路標識８１、８２と矢印７１の虚像との前後の位置関係を把握でき、進むべき進行路７４を正確に認識できる。ＣＰＵ４１は、案内分岐点を通過するまで継続して矢印７１の虚像の表示を行う。そして、案内分岐点を通過した後に終了する。その後は次の案内分岐点が近づいた場合にＳ１以降の処理を再度実行する。

また、上記した図８に示す例では、道路標識８１、８２を対象として非描画領域を設定しているが、ガードレール、カーブミラー、建物、防風林などの他の周辺対象物についても同様の処理を実行することができる。例えば、図９に示すように、進行路７４の手前側に建物８５が立っている場合、ＣＰＵ４１は、矢印７１の虚像と建物８５とが重なる部分を非描画領域９４に設定してもよい。図９に示す例では、矢印７１は、その先端部分を建物８５の奥側に回り込ませたように表示される。これにより、乗員９は、建物８５を目印にして建物８５の奥側を通る進行路７４を把握でき、曲がる道を誤るような事態の発生が抑制される。

以上詳細に説明した通り、第１実施形態に係る重畳画像表示装置１及び重畳画像表示装置１で実行されるコンピュータプログラムによれば、案内分岐点７２を左折した後の進行方向を案内する矢印７１の虚像は、案内分岐点７２の周辺に存在する道路標識８１と重なる部分を非描画領域９３とする補正が行われる。更に補正後の矢印７１の虚像は、道路標識８１の位置に非描画領域９３の位置を合わせて表示される。その結果、道路標識８１の一部（ポール８１Ａ）は、非描画領域９３において、補正後の矢印７１の手前側に位置するように視認される。これにより、乗員９は、道路標識８１の位置と、補正後の矢印７１の虚像の位置との前後関係を認識することができ、進むべき進行路７４を正確に把握できる。

〔第２実施形態〕
次に、第２実施形態に係る重畳画像表示装置について図１０乃至図１６に基づいて説明する。尚、以下の説明において上記図１乃至図９の第１実施形態に係る重畳画像表示装置１の構成と同一符号は、前記第１実施形態に係る重畳画像表示装置１等の構成と同一あるいは相当部分を示すものである。

この第２実施形態に係る重畳画像表示装置の概略構成は、第１実施形態に係る重畳画像表示装置１とほぼ同じ構成である。また、各種制御処理も第１実施形態に係る重畳画像表示装置１とほぼ同じ制御処理である。
ただし、第１実施形態に係る重畳画像表示装置１が、車両と周辺対象物との位置関係に基づいて非描画領域を算出し、算出した非描画領域から表示する案内画像の形状を決定しているのに対して、第２実施形態に係る重畳画像表示装置は、３次元地図情報３４に対して案内画像のモデルを置くことによって表示する案内画像の形状を決定する点で第１実施形態に係る重畳画像表示装置１と異なっている。

以下に、第２実施形態に係る重畳画像表示装置において実行される走行支援処理プログラムについて図１０に基づき説明する。図１０は第２実施形態に係る走行支援処理プログラムのフローチャートである。

先ず、Ｓ２１においてＣＰＵ４１は、車両２の進行方向前方の所定距離（例えば７００ｍ）以内に案内分岐点が存在するか否かを判定する。詳細は前記Ｓ１と同様であるので省略する。

そして、車両２の進行方向前方の所定距離に案内分岐点が存在すると判定された場合（Ｓ２１：ＹＥＳ）には、Ｓ２２へと移行する。それに対して、車両２の進行方向前方の所定距離に案内分岐点が存在しないと判定された場合（Ｓ２１：ＮＯ）には、案内分岐点が存在すると判定されるまで待機する。この場合、ＣＰＵ４１は、例えば予め設定された時間だけ間を空けてＳ２１の処理を繰り返し実行する。

Ｓ２２においてＣＰＵ４１は、フロントカメラ１１によって車両前方の風景を撮像した撮像画像を取得する。更に、ＣＰＵ４１は、地図情報ＤＢ３１から車両の現在位置周辺の３次元地図情報３４を読み出す。尚、３次元地図情報３４には、３次元で地図を表現する為に必要な情報（道路の輪郭、建築物の形状、道路の区画線、信号機、道路標識、看板等の３次元の座標データなど）が記憶される。

次に、Ｓ２３においてＣＰＵ４１は、前記Ｓ２２で読み出した３次元地図情報３４に基づいて、案内分岐点付近を示す３次元立体地図（３次元で建物や道路等を表現した地図）を生成する。具体的には、以下の処理を実行することにより３次元立体地図を生成する。

先ず、ＣＰＵ４１は、３次元地図情報３４から３次元空間上に道路、建築物、道路標識、看板等をモデリングしたオブジェクト（形状データ）を取得する。尚、ＣＰＵ４１は、予めモデリングしてＤＢに格納しておいたオブジェクトの内、該当するオブジェクトを取得する構成としても良いし、Ｓ２３においてモデリングを実施してオブジェクトを新たに作成する構成としても良い。モデリングを実施する場合には、３次元地図情報３４から道路や案内分岐点周辺にある構造物（建築物、道路標識、看板等）の形状や位置を特定する情報を取得し、取得した情報に基づいてモデリング処理を行う。

ここで、モデリングとは３次元空間上においてモデル（物体）の形状を作成する処理であり、より具体的には各頂点の座標の決定や、境界線、面を表現する方程式のパラメータの決定などを行う。尚、モデリングについては公知の技術であるので詳細は省略する。そして、モデリングされたオブジェクト（形状データ）は、用途に応じて辺のみ表示する「ワイヤーフレームモデル」、面を表示する「サーフィスモデル」等の形で表現される。そして各オブジェクトが形成された３次元空間を３次元立体地図とする。

また、前記Ｓ２３でＣＰＵ４１は、現在位置検出部１３で検出されたパラメータに基づいて、生成された３次元立体地図における自車両の現在位置及び方位についても特定する。尚、後述の３次元立体地図と撮像画像との照合の処理を容易化する為に、自車両の現在位置は特に自車両に設置されたフロントカメラ１１の設置位置とし、自車両の方位はフロントカメラ１１の光軸方向とするのが望ましい。

ここで、図１１は前記Ｓ２３で生成される３次元立体地図１０１の一例を示した図である。図１１に示すように３次元立体地図１０１には、３次元空間に対して、道路や構造物（建築物、道路標識、看板等）を示す各オブジェクト１０２が配置される。特に車両の進行方向前方にある案内分岐点１０３周辺の道路や構造物を示す各オブジェクト１０２が配置される。また、３次元立体地図１０１には自車両の現在位置と方位を示す自車位置マーク１０４についても配置される。

続いてＳ２４においてＣＰＵ４１は、前記Ｓ２２で取得した撮像画像と前記Ｓ２３で生成された３次元立体地図とを照合し、両者の間にズレが生じていないかを判定する。具体的にはＣＰＵ４１は、３次元立体地図に設定されている自車両の現在位置（より具体的にはフロントカメラ１１の設置位置であり高さも考慮する）を視点とし、自車両の方位を視線方向に設定し、設定された視点及び視線方向によって３次元立体地図を視認した際の像と、撮像画像とを照合する。尚、３次元立体地図には、歩行者や他車両等の動体物、樹木などの一部の固定物については含まれないので、それらに起因するズレは基本的には無視して判定する。また、ズレが生じていないとは両者が完全に一致する場合のみに限らず、ある程度の許容範囲内のズレが生じている場合においてもズレが生じていないとみなすのが望ましい。

そして、前記Ｓ２２で取得した撮像画像と前記Ｓ２３で生成された３次元立体地図との間にズレが生じていないと判定された場合（Ｓ２４：ＹＥＳ）には、Ｓ２６へと移行する。それに対して、前記Ｓ２２で取得した撮像画像と前記Ｓ２３で生成された３次元立体地図との間にズレが生じていると判定された場合（Ｓ２４：ＮＯ）には、Ｓ２５へと移行する。

Ｓ２５においてＣＰＵ４１は、前記Ｓ２３で生成された３次元立体地図について、前記Ｓ２２で取得した撮像画像と間のズレが小さくなるように３次元立体地図内に設定された自車両の現在位置及び方位を補正する。尚、３次元立体地図における自車両の現在位置及び方位は固定してオブジェクト側を補正しても良い。それによって、３次元立体地図内における正確な自車両の現在位置及び方位（より具体的にはフロントカメラ１１の設置位置と光軸方向）を特定することが可能となる。その後、Ｓ２４へと戻る。

一方、Ｓ２６においてＣＰＵ４１は、案内分岐点での案内を行う案内画像を、前記Ｓ２３で生成された３次元立体地図に対して配置する。尚、第２実施形態では案内分岐点を退出した後の車両が進行する進行路の進行方向を案内する矢印の画像を、案内画像とする。そして、案内分岐点を退出した後に車両が進行する進行路（例えば案内分岐点で左折する場合には、案内分岐点の左側に接続される道路）の路面に対して所定距離（例えば１ｍ）上方に離間した位置に鉛直方向に立てた状態で案内画像を配置する。

次に、Ｓ２７においてＣＰＵ４１は、案内分岐点の周辺に位置する動体物（移動いている物体）を検出する。尚、検出対象となる動体物は例えば歩行者、自転車、車両であり、フロントカメラ１１で撮像した撮像画像に対して画像処理を行うことにより検出される。また、ＣＰＵ４１は、撮像画像に基づいて検出された動体物の位置、種類、形状、その後の進行路（進行方向）についても特定する。

続いて、Ｓ２８においてＣＰＵ４１は、案内分岐点の周辺で検出された動体物のモデル（仮想体）を、前記Ｓ２３で生成された３次元立体地図に対して検出された位置に配置する。複数の動体物が検出された場合には、検出された全ての動体物を３次元立体地図に対して配置する。尚、３次元立体地図に対して配置される仮想体は実際の動体物の形状を模した形状とする。例えば歩行者であれば人の形状を有する仮想体として、車両であれば車両の形状を有する仮想体とする。サイズについても実際の動体物のサイズと対応させる。但し、動体物が不定形である（形状や種類を特定できない）場合には、例外的に仮想体は該動体物の全てを含む最小の直方体とする。

ここで、図１２は３次元立体地図１０１に対して案内画像１０５と動体物の仮想体１０６、１０７をそれぞれ配置した図である。尚、図１２に示す例では仮想体１０６は歩行者を示し、仮想体１０６は自転車を示している。即ち、案内分岐点１０３の周辺には動体物として歩行者と自転車がそれぞれ存在することを示している。

その後、Ｓ２９においてＣＰＵ４１は、３次元立体地図に対して仮想体が配置されている動体物の内、“自車両が進行路に沿って進行する場合に影響のある動体物”があるか否かを判定する。具体的には、車両の進行路と今後の進行路が重複する動体物については、“自車両が進行路に沿って進行する場合に影響のある動体物”であると判定する。

例えば、図１３に示すように仮想体１０６でモデリングされた歩行者の進行路（進行方向）が、案内分岐点の左側に接続する道路を横断する進行路である場合には、歩行者の今後の進行路と自車両の進行路１０８とが重複することとなる。従って、仮想体１０６でモデリングされた歩行者は、“自車両が進行路に沿って進行する場合に影響のある動体物”であると判定される。一方で、仮想体１０７でモデリングされた自転車の進行路（進行方向）は、案内分岐点の左側に接続する道路を横断せずに案内分岐点１０３から離れる方向へと移動する進行路であるので、自転車の今後の進行路と自車両の進行路１０８とは重複しない。従って、仮想体１０７でモデリングされた自転車は、“自車両が進行路に沿って進行する場合に影響のある動体物”でないと判定される。

そして、３次元立体地図に対して仮想体が配置されている動体物の内、“自車両が進行路に沿って進行する場合に影響のある動体物”があると判定された場合（Ｓ２９：ＹＥＳ）には、Ｓ３０へと移行する。一方で、３次元立体地図に対して仮想体が配置されている動体物が、いずれも“自車両が進行路に沿って進行する場合に影響のある動体物”ではないと判定された場合（Ｓ２９：ＮＯ）には、Ｓ３１へと移行する。

Ｓ３０においてＣＰＵ４１は、車両が進行路に沿って進行する場合に影響があると判定された動体物（以下、影響動体物という）と重ならない態様で案内画像を表示する為に、３次元立体地図に配置された案内画像の補正を行う。具体的には、先ずＣＰＵ４１は動体物や案内画像が配置された３次元立体地図を、車両（乗員）の視点から車両の進行方向に視認した画像（以下、視認画像という）を取得する。特に車両の視点は車両の乗員の目の位置とする。尚、乗員の目の位置については車内カメラ１２によって検出することが可能であり、前記Ｓ２４での撮像画像と３次元立体地図の照合の結果、最終的に特定された車両の現在位置及び方位と、車内カメラ１２の検出結果を組み合わせることによって、３次元立体地図における乗員の目の位置を特定する。そして、視認画像は、３次元立体地図に配置された各オブジェクト（道路、建築物、道路標識、看板、動体物の仮想体、案内画像等）を車両（乗員）の視点から車両の進行方向に視認した際に視認できる像であり、車両の乗員の視界に相当する。但し、視認画像については車両（乗員）の視点から視認した画像であれば、必ずしも車両の進行方向に視認した画像である必要は無い。但し、少なくとも視認画像に案内画像が含まれる必要はある。そして、上記のように取得された視認画像において図１２に示すように影響動体物の仮想体１０６と案内画像が重複している場合に、以下の（１）、（２）のいずれかの補正を行う。

（１）影響動体物と重なる領域に虚像が表示されないように、３次元立体地図に配置された案内画像を、影響動体物の仮想体と重なる領域を欠いた案内画像へと補正する。例えば、図１４に示すように視認画像において案内画像１０５と影響動体物の仮想体１０６とが重なる領域を欠いた矢印とする。但し、特に矢印の先端において影響動体物の仮想体１０６と重なる場合については、矢印の先端を伸ばす或いは縮めることにより矢印の先端については表示する。
（２）影響動体物と重なる領域に虚像が表示されないように、３次元立体地図に配置された案内画像を、影響動体物の仮想体を迂回する形状の案内画像へと補正する。例えば、図１５に示すように視認画像において案内画像１０５を影響動体物の仮想体１０６と重ならないように湾曲した矢印とする。

尚、第２実施形態では特に自車両の進行路の奥側（即ち案内画像１０５よりも奥側）に位置する影響対象物のみを対象として上記Ｓ３０の処理を行う。自車両の進行路の手前側（即ち案内画像１０５よりも手前側）に位置する影響対象物については、Ｓ３０の補正を行わなかったとしても後述のＳ３１の処理において案内画像の形状を決定する際に、影響対象物と重複する部分は除かれた案内画像となるからである。

次に、Ｓ３１においてＣＰＵ４１は、視認画像に含まれる案内画像の形状（前記Ｓ３０の補正を行った場合には補正後の形状）を、ＨＵＤ４により表示対象とする案内画像の形状として記憶する。尚、視認画像に含まれる案内画像の形状は、３次元立体地図に配置された各オブジェクト（道路、建築物、道路標識、看板、動体物の仮想体、案内画像等）を車両（乗員）の視点から視認した際に視認できる案内画像の形状である。ここで、前記Ｓ３１で記憶される案内画像の形状は、進行路の手前側に位置する各オブジェクト（例えば道路標識、建築物、前記Ｓ２８で配置された動体物の仮想体など）と重なって視認される場合には、重なる部分を除いた形状となる。例えば案内画像の形状が矢印の形状であれば、矢印の内、各オブジェクトと重なって視認される領域について除かれた形状となる。但し、特に矢印の先端においてオブジェクトと重なる場合については、矢印の先端を伸ばす或いは縮めることによって矢印の先端がオブジェクトと重ならないようにし、少なくとも矢印の先端については含む形状とする。一方で、案内画像が進行路の奥側に位置する各オブジェクトと重なって視認される場合には、重なる部分についても含む形状となる。

更に、Ｓ３２においてＣＰＵ４１は、３次元立体地図において配置された案内画像の位置を取得する。具体的には案内分岐点を退出した後に車両が進行する進行路の路面に対して所定距離（例えば１ｍ）上方に離間した位置となる。

その後、Ｓ３３においてＣＰＵ４１は、後述の表示範囲決定処理を行う。表示範囲決定処理では、ＨＵＤ４において案内画像を表示する範囲（フロントウィンドウ８に対して案内画像を投影する範囲、或いはＨＵＤ４の液晶ディスプレイ６に対して案内画像を表示する範囲）を決定する。

続いて、Ｓ３４においてＣＰＵ４１は、ＨＵＤ４に対して制御信号を送信し、ＨＵＤ４の液晶ディスプレイ６に対して前記Ｓ３１で記憶された形状の案内画像を、前記Ｓ３３で決定された表示範囲に表示する。その結果、案内分岐点を退出した後の車両が進行する進行路の進行方向を案内する案内画像として特に矢印の虚像が、車両の乗員から車両前方の風景に重畳して視認される。

ここで、図１６は特に案内分岐点を退出した後の車両が進行する進行路の進行方向が左方向（即ち左折）である場合に、車両の乗員から視認される案内画像の虚像を示した図である。
図１６に示すように、車両のフロントウィンドウ８越しには、案内分岐点１０３を左折した後の進行路の路面に対して上方に離間した位置に重畳して、左方へ進むことを示す矢印の案内画像１０５が虚像として表示されている。また、案内画像１０５の虚像は、進行路の手前側に位置する周辺対象物である道路標識１１２と重なる領域については除いて表示される。従って、案内画像１０５は、道路標識１１２の奥側（後側）を通るように視認される。一方、進行路の奥側に立つ道路標識１１３に対しては重なって表示される。従って、案内画像１０５は、道路標識１１３の手前側を通るように視認される。その結果、乗員９は、道路標識１１２、１１３の位置と、案内画像１０５の虚像の位置との前後関係を認識することができ、進むべき進行路を正確に把握できる。尚、図１６に示す例では特に案内画像１０５の虚像と重なる周辺対象物が道路標識の場合であるが、建築物や動体物（歩行者や他車両）の場合についても同様にして表示される。
更に、前述したように案内分岐点１０３の周辺に影響動体物１１０がある場合については、影響動体物１１０と重なる領域に虚像が表示されないように、該当する領域を欠いた、或いは影響動体物１１０を迂回する形状の案内画像１０５となる。その結果、乗員９は、案内画像１０５によって影響動体物１１０の視認性が阻害されることなく、影響動体物１１０について確実に視認することが可能となる。

次に、前記Ｓ３３において実行される表示範囲決定処理のサブ処理について図１７に基づき説明する。図１７は表示範囲決定処理のサブ処理プログラムのフローチャートである。

先ず、Ｓ４１においてＣＰＵ４１は、車両の乗員の目の位置を車内カメラ１２で撮像した撮像画像に基づいて検出する。尚、検出された目の位置は３次元の位置座標で特定される。

次に、Ｓ４２においてＣＰＵ４１は、ＨＵＤ４の表示がＯＮになっているか否かを判定する。尚、ＨＵＤ４の表示のＯＮ又はＯＦＦの切り替えは車両の乗員の操作によって行うことが可能である。また、周辺状況や車両の状態に基づいてＯＮ又はＯＦＦを自動で切り替えても良い。

そして、ＨＵＤ４の表示がＯＮになっていると判定された場合（Ｓ４２：ＹＥＳ）には、Ｓ４３へと移行する。一方、ＨＵＤ４の表示がＯＦＦになっていると判定された場合（Ｓ４２：ＮＯ）には、ＨＵＤ４による案内画像の虚像の表示を行うことなく終了する。

Ｓ４３においてＣＰＵ４１は、ＨＵＤ４によって画像を投影する対象となるフロントウィンドウ８の位置座標を取得する。尚、フロントウィンドウ８の位置座標は３次元の位置座標で特定される。

次に、Ｓ４４においてＣＰＵ４１は、前記Ｓ３２で取得された３次元立体地図において配置された案内画像の位置を特定する座標を、案内画像の位置座標として取得する。尚、案内画像の位置座標は同じく３次元の位置座標で特定される。

続いて、Ｓ４５においてＣＰＵ４１は、前記Ｓ４１、Ｓ４３及びＳ４４で取得された各位置座標に基づいて、フロントウィンドウ８における案内画像の投影範囲を決定する。更に、決定された投影範囲からＨＵＤ４の内部の液晶ディスプレイ６における案内画像の表示範囲についても決定する。その後、Ｓ３４へと移行し、決定された投影範囲や表示範囲に基づいてＨＵＤ４を用いた虚像の表示を行う。尚、ＨＵＤの表示がオフになるまで繰り返しＳ３１～Ｓ３４の処理を行うこととなる。

以上詳細に説明した通り、第２実施形態に係る重畳画像表示装置及び重畳画像表示装置で実行されるコンピュータプログラムによれば、案内分岐点を退出した後の車両が進行する進行路の進行方向を案内する案内画像を、車両前方の風景に重畳して視認させる場合に、車両が進行する進行路の手前側に存在する周辺対象物と重なる領域を案内画像から除いて表示する（Ｓ３１～Ｓ３４）ので、実景に含まれる周辺対象物（例えば建物、歩行者、車両、街路樹等）の位置と、案内画像の位置との前後関係を車両の乗員は明確に把握することが可能となる。その結果、進むべき進行路を正確に車両の乗員に通知可能となる。

尚、本発明は上記実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内で種々の改良、変形が可能であることは勿論である。
例えば、上記第１実施形態及び第２実施形態では、案内分岐点として十字路である案内分岐点７２を例に説明したが、これに限らない。例えば、図１８に示すように走行路７３が２つに分岐する分岐点７６でもよい。この場合、矢印７１の虚像は、図１８に示すように、例えば、分岐点７６を退出した後の進行路７４に沿って左斜め前方へと延長した虚像となる。また、矢印７１は、進行路７４の手前側の道路標識８１と重なる部分を非描画領域９５に設定される。また、矢印７１は、進行路７４の奥側に存在する道路標識８２の手前側に重なって表示される。このような場合にも、上記実施形態と同様に、乗員９に進むべき進行路７４を正確に把握させることができる。
また、上記実施形態では特に言及していないが、本願発明は、左側通行だけでなく、右側通行の場合にも同様に適用できる。

また、第１実施形態及び第２実施形態では、ＨＵＤ４によって車両２のフロントウィンドウ８の前方に虚像を生成する構成としているが、フロントウィンドウ８以外のウィンドウの前方に虚像を生成する構成としても良い。また、ＨＵＤ４により映像を反射させる対象はフロントウィンドウ８自身ではなくフロントウィンドウ８の周辺に設置されたバイザー（コンバイナー）であっても良い。

また、第１実施形態及び第２実施形態では、周辺環境に重畳する画像を表示する手段としてＨＵＤ４を用いているが、フロントウィンドウ８に対して画像を表示するウインドウシールドディスプレイ（ＷＳＤ）を用いても良い。或いはナビゲーション装置３の液晶ディスプレイ１７に表示した実景に、案内画像を重畳させる表示装置でもよい。

また、第１実施形態及び第２実施形態では、走行支援処理プログラム（図３、図１０）の処理をナビゲーション装置３のナビゲーションＥＣＵ１５が実行する構成としているが、実行主体は適宜変更することが可能である。例えば、ＨＵＤ４の制御部、車両制御ＥＣＵ、その他の車載器が実行する構成としても良い。尚、ＨＵＤ４の制御部が実行する場合には、本発明に係る表示装置はＨＵＤ４のみで構成することも可能である。

また、本発明に係る表示装置を具体化した実施例について上記に説明したが、表示装置は以下の構成を有することも可能であり、その場合には以下の効果を奏する。

例えば、第１の構成は以下のとおりである。
案内経路における案内分岐点（７２）の周辺に存在する周辺対象物（８１、８２）の有無を判定する周辺対象物判定手段（４１）と、前記案内分岐点を退出した後の車両（２４）が進行する進行路（７４）の進行方向を案内する案内画像（７１）のうち、前記周辺対象物と重なる部分を描画対象から除く非描画領域（９３、９４、９５、９６）として補正する補正手段（４１）と、補正後の前記案内画像を表示する表示手段（４１）と、を有する。
上記構成を有する表示装置によれば、案内分岐点を退出した後の進行方向を案内する案内画像は、案内分岐点の周辺に存在する周辺対象物と重なる部分を非描画領域とする補正が行われる。補正後の案内画像は、周辺対象物の位置に非描画領域の位置を合わせて表示される。周辺対象物の一部は、非描画領域において、補正後の案内画像の手前側に（上に）重なるように表示される。これにより、ユーザは、実景の物体（周辺対象物）の位置と、補正後の案内画像の位置との前後関係を認識することができ、進むべき進行路を把握できる。

また、第２の構成は以下のとおりである。
前記周辺対象物判定手段（４１）は、前記案内分岐点（７２）を曲がった後の前記車両（２４）が進行する前記進行路（７４）の手前側に存在する前記周辺対象物（８１）の有無を判定する。
上記構成を有する表示装置によれば、案内画像は、案内分岐点を曲がった車両が進行する進行路の手前側に存在する周辺対象物と重なる部分が非描画領域となる。これにより、曲がった後の進行路の手前側の周辺対象物を案内画像の手前側に表示することで、曲がる位置や曲がった後の進行路をユーザにより確実に認識させることができる。

また、第３の構成は以下のとおりである。
前記表示手段（４１）は、前記車両（２４）のフロントウィンドウ（２５）を通じて見える実景に前記案内画像（７１）を重畳させ、前記車両（２４）と前記周辺対象物（８１、８２）とを結ぶ直線（Ｄ３）と、前記車両の幅方向とがなす角度（θ）を取得する角度取得手段（４１）と、前記角度取得手段により取得された前記角度に基づいて、前記フロントウィンドウにおける前記車両の乗員（２６）が前記周辺対象物を視認する位置（９１）を取得する位置取得手段（５１）と、有し、前記補正手段（４１）は、前記位置取得手段により取得された位置に基づいて、前記非描画領域（９３、９４、９５、９６）の位置を決定する。
上記構成を有する表示装置によれば、角度取得手段は、車両と周辺対象物とを結ぶ直線と、車両の幅方向とがなす角度を取得する。位置取得手段は、この角度に基づいて、フロントウィンドウにおける乗員が周辺対象物を視認する位置を検出する。補正手段は、位置取得手段によって検出した位置に基づいて非描画領域の位置を決定する。これにより、ＨＵＤやウィンドシールドディスプレイ装置などのフロントウィンドウ越しの実景に案内画像を重畳させる表示装置では、非描画領域の位置を周辺対象物の位置により正確に合わせることができる。

また、第４の構成は以下のとおりである。
前記周辺対象物（８１、８２）の大きさに基づいて前記車両（２４）から前記周辺対象物までの第一距離（Ｄ１）を取得する第一距離取得手段（４１）と、前記車両（２４）から前記進行路（７４）の手前側の道路端（７４Ａ）までの第二距離（Ｄ２）を取得する第二距離取得手段（４１）と、を有し、前記周辺対象物判定手段（４１）は、前記第一距離が前記第二距離以下であることに基づいて前記周辺対象物の有無を判定する。
例えば、道路標識（周辺対象物）は、法令などによって大きさが規定されている。このため、道路標識の規定の大きさと、撮像された道路標識の大きさとに基づいて、車両から周辺対象物までの第一距離を取得できる。そして、当該表示装置によれば、第一距離と、車両から進行路の手前側までの第二距離とに基づいて、周辺対象物が進行路の手前側に存在するのか、あるいは奥側に存在するのかをより正確に判定できる。

また、第５の構成は以下のとおりである。
前記案内画像（７１）は、矢印を示す画像であり、前記補正手段（４１）は、前記進行路（７４）に沿って前記進行方向の先端側に向かって前記案内画像の矢印の先端側を延長する。
上記構成を有する表示装置によれば、案内画像の矢印を、進行路の進行方向の先に向かって延長する。これにより、ユーザは、案内分岐点を直進や左折した後の進行方向をイメージし易くなる。

また、第６の構成は以下のとおりである。
前記表示手段（４１）は、前記進行路（７４）の奥側に存在する前記周辺対象物（８２）の手前に補正後の前記案内画像（７１）を重ねて表示する。
上記構成を有する表示装置によれば、補正後の案内画像は、進行路の奥側の周辺対象物の手前側に重ねて表示される。例えば、進行路の手前にある周辺対象物は、案内画像の手前に表示され、進行路の奥側の周辺対象物は、案内画像の奥側に表示される。このため、ユーザは、周辺対象物と案内画像の前後関係をより正確に把握できる。

また、第７の構成は以下のとおりである。
前記表示手段（４１）は、補正後の前記案内画像（７１）を虚像として表示する。
上記構成を有する表示装置によれば、進行方向を案内する虚像を実景に重畳させ、進行路などと合わせて虚像をユーザに視認させることができる。ユーザは、例えば、フロントウィンドウ越しに見える実景に重畳された虚像（案内画像）と周辺対象物との位置関係を確認することで、曲がるべき交差点などをより正確に把握できる。

また、第８の構成は以下のとおりである。
車両（２）に搭載され、案内分岐点（１０３）を退出した後の車両が進行する進行路（１０８）の進行方向を案内する案内画像（１０５）を、前記車両前方の風景に重畳して視認させる表示装置（１）であって、前記車両が進行する前記進行路の手前側に存在する周辺対象物（１１２）と重なる領域を前記案内画像から除いて表示する案内画像表示手段（４１）を有する。
上記構成を有する表示装置によれば、案内分岐点を退出した後の進行方向を案内する案内画像は、車両が進行する進行路の手前側に存在する周辺対象物と重なる領域については重畳対象から除かれるので、実景に含まれる周辺対象物（例えば建物、歩行者、車両、街路樹等）の位置と、案内画像の位置との前後関係を車両の乗員は明確に把握することが可能となる。その結果、進むべき進行路を正確に車両の乗員に通知可能となる。

また、第９の構成は以下のとおりである。
前記案内画像（１０５）は、路面に対して上方に離間して視認される位置に表示される。
上記構成を有する表示装置によれば、路面等の風景に対して案内画像が調和することなく、車両の乗員に対して風景から案内画像を識別して、明確に視認させることが可能となる。

また、第１０の構成は以下のとおりである。
前記案内画像（１０５）は、前記案内分岐点（１０３）を退出した後の車両が進行する進行路（１０８）の進行方向を示す矢印の画像であって、前記案内画像表示手段（４１）は、前記周辺対象物（１１２）と重ならない領域に矢印の先端部分を表示する。
上記構成を有する表示装置によれば、案内画像と周辺対象物が重なった場合であっても、少なくとも矢印の先端部分については表示することが可能となるので、乗員は案内画像により示される進行方向について把握することが可能となる。

また、第１１の構成は以下のとおりである。
前記車両（２）前方の風景を撮像した撮像画像を取得する撮像画像取得手段（４１）と、３次元地図情報（３４）を取得する地図情報取得手段（４１）と、前記撮像画像と３次元地図情報を照合する照合手段（４１）と、前記照合手段の照合結果に基づいて、３次元地図情報内における案内分岐点を退出した後の車両が進行する進行路に前記案内画像（１０５）を配置する画像配置手段（４１）と、３次元地図情報内における車両の位置から前記案内画像を視認した場合の前記案内画像の形状を取得する形状取得手段（４１）と、を有し、前記案内画像表示手段は、前記形状取得手段によって取得された形状の前記案内画像を表示する。
上記構成を有する表示装置によれば、車両前方の風景を撮像した撮像画像と３次元地図情報とを用いることによって、車両が進行する進行路の手前側に存在する周辺対象物と重なる領域について重畳対象から除かれた案内画像を容易に生成することが可能となる。

また、第１２の構成は以下のとおりである。
前記周辺対象物は、少なくとも一つの建築物、道路標識、動体物である。
上記構成を有する表示装置によれば、案内分岐点を退出した後の進行方向を案内する案内画像は、車両が進行する進行路の手前側に存在する建築物、道路標識、動体物等と重なる領域については重畳対象から除かれるので、実景に含まれる建築物、道路標識、動体物等の位置と、案内画像の位置との前後関係を車両の乗員は明確に把握することが可能となる。その結果、進むべき進行路を正確に車両の乗員に通知可能となる。

１ 重畳画像表示装置
２ 車両
３ ナビゲーション装置
４ ＨＵＤ
８ フロントウィンドウ
９ 乗員
４１ ＣＰＵ
４２ ＲＡＭ
４３ ＲＯＭ
７２、１０３ 案内分岐点
７１ 矢印
７４、１０８ 進行路
８１～８４、１１２，１１３ 道路標識
９３ 非描画領域
１０５ 案内画像
１０６、１０７ 動体物の仮想体

Claims (5)

1. 車両に搭載され、案内分岐点を退出した後の車両が進行する進行路の進行方向を案内する案内画像を、前記車両前方の風景に重畳して視認させる表示装置であって、
   地図情報に基づいて案内分岐点の周辺を３次元で表現した３次元空間を生成するとともに、生成された３次元空間に対して案内分岐点を退出した後の車両が進行する進行路に前記案内画像を配置する画像配置手段と、
   案内分岐点の周囲に存在する動体物を含む周辺対象物をモデリングしたモデルを３次元空間内における前記周辺対象物が存在する位置に配置するモデル配置手段と、
   ３次元空間内における車両の位置から前記案内画像を視認した場合の前記案内画像の形状の内、前記車両が進行する前記進行路の手前側に存在する周辺対象物の前記モデル及び前記進行路の奥側に存在する周辺対象物の内の動体物の前記モデルと重ならない部分を取得する形状取得手段と、
   前記３次元空間に配置された前記案内画像及び前記モデルの内、前記モデルについては前記車両の乗員から視認される対象として表示することなく前記形状取得手段によって取得された形状の前記案内画像を、前記車両の乗員から視認される風景に重畳して表示することにより、前記車両が進行する前記進行路の手前側に存在する周辺対象物及び前記進行路の奥側に存在する周辺対象物の内の動体物と重なる領域を表示対象から除いた前記案内画像を表示する案内画像表示手段と、を有する表示装置。
2. 前記案内画像は、路面に対して上方に離間して視認される位置に表示される請求項１に記載の表示装置。
3. 前記案内画像は、前記案内分岐点を退出した後の車両が進行する進行路の進行方向を示す矢印の画像であって、
   前記案内画像表示手段は、前記周辺対象物と重ならない領域に矢印の先端部分を表示する請求項１又は請求項２に記載の表示装置。
4. 前記車両前方の風景を撮像した撮像画像を取得する撮像画像取得手段と、
   前記３次元空間として３次元地図情報を取得する地図情報取得手段と、
   前記撮像画像と３次元地図情報を照合する照合手段と、を有し、
   前記画像配置手段は、前記照合手段の照合結果に基づいて、３次元地図情報内における案内分岐点を退出した後の車両が進行する進行路に前記案内画像を配置する請求項１乃至請求項３のいずれかに記載の表示装置。
5. 車両に搭載され、案内分岐点を退出した後の車両が進行する進行路の進行方向を案内する案内画像を、前記車両前方の風景に重畳して視認させる表示装置を、
   地図情報に基づいて案内分岐点の周辺を３次元で表現した３次元空間を生成するとともに、生成された３次元空間に対して案内分岐点を退出した後の車両が進行する進行路に前記案内画像を配置する画像配置手段と、
   案内分岐点の周囲に存在する動体物を含む周辺対象物をモデリングしたモデルを３次元空間内における前記周辺対象物が存在する位置に配置するモデル配置手段と、
   ３次元空間内における車両の位置から前記案内画像を視認した場合の前記案内画像の形状の内、前記車両が進行する前記進行路の手前側に存在する周辺対象物の前記モデル及び前記進行路の奥側に存在する周辺対象物の内の動体物の前記モデルと重ならない部分を取得する形状取得手段と、
   前記３次元空間に配置された前記案内画像及び前記モデルの内、前記モデルについては前記車両の乗員から視認される対象として表示することなく前記形状取得手段によって取得された形状の前記案内画像を、前記車両の乗員から視認される風景に重畳して表示することにより、前記車両が進行する前記進行路の手前側に存在する周辺対象物及び前記進行路の奥側に存在する周辺対象物の内の動体物と重なる領域を表示対象から除いた前記案内画像を表示する案内画像表示手段と、
   して機能させる為のコンピュータプログラム。

Images