JP6759132B2 - ヘッドアップディスプレイ装置及び表示制御方法 - Google Patents

Description

本発明は、ヘッドアップディスプレイ装置及び表示制御方法に関する。

従来より、車両のフロントウィンドウに画像を投影し、車両前方の虚像として運転者に視認させる車両用のヘッドアップディスプレイ装置が知られている。当該装置によれば、運転者は少ない視線移動で、車両情報（速度情報や目的地までの距離情報、目的地に誘導するための誘導先を示す情報等）を視認することができる。

ここで、車両用のヘッドアップディスプレイ装置は、一般にダッシュボード等に収納されるため、フロントウィンドウにおいて画像が投影可能な投影領域（ＦＯＶ（Field Of View））は制限される。このため、通常は、フロントウィンドウの一部の領域を利用して画像の投影が行われる。

この結果、例えば、車両が右折または左折する場合等においては、運転者が視認する虚像の位置と、車両が実際に進む道路の位置との間にずれが生じ、運転者に対して適切な誘導を行うことができなくなる。具体的には、車両の右折または左折中に誘導先を示す情報（例えば、誘導先を示す矢印等）を含む画像をＦＯＶに投影すると、運転者は、フロントウィンドウを介して視認する実景の建物や対向車線、歩道等の位置に、当該誘導先を示す情報を視認することになる。

このような問題に対して、下記特許文献１では、ハンドルの舵角を監視し、舵角に応じて誘導先を示す情報の表示を制御する表示制御方法が提案されている。

特開２０１４−２１３７６３号公報

しかしながら、車両が右折または左折する場合、運転者がハンドルを操作する直前の状態であっても、運転者が視認する虚像の位置と、車両が実際に進む道路の位置との間にはずれが生じる。このため、ハンドルの舵角に応じて表示を制御したとしても、運転者に対して適切な誘導を行うことができない場合がある。

本発明は上記課題に鑑みてなされたものであり、車両用のヘッドアップディスプレイ装置において、運転者に対して適切な誘導を行うことができるようにすることを目的とする。

一態様によれば、車両に搭載されるヘッドアップディスプレイ装置は、
前記車両のフロントウィンドウを介して前記車両の運転者により視認される実景に相当する目線画像において、前記車両の誘導先の道路の路面の領域を算出する算出部と、
前記車両の誘導先を示す情報が表示される前記フロントウィンドウでの位置に対応する前記目線画像での位置と、算出された前記路面の領域との位置関係に基づいて、前記誘導先を示す情報の表示を制御する制御部と、を有し、
前記制御部は、
前記誘導先を示す情報を含む投影画像が投影される前記フロントウィンドウの投影領域に対応する前記目線画像での領域と、算出された前記路面の領域との重なり度合いに基づいて、前記誘導先を示す情報の表示を制御することを特徴とする。

車両用のヘッドアップディスプレイ装置において、運転者に対して適切な誘導を行うことができるようになる。

ヘッドアップディスプレイ装置の構成を示す図である。 画像投影装置のハードウェア構成の一例を示す図である。 画像投影装置の機能構成の一例を示す図である。 実景画像取得部の処理の具体例を示す図である。 ナビゲーション情報取得部の処理の具体例を示す図である。 走行路算出部の処理の具体例を示す図である。 表示可否判定部の処理の具体例を示す図である。 投影画像生成部の処理の具体例を示す図である。 誘導先表示制御処理の流れを示すフローチャートである。 誘導先を示す図形のバリエーションを示す図である。 表示可否判定部の処理の具体例を示す図である。 投影画像生成部の処理の具体例を示す図である。

以下、各実施形態について添付の図面を参照しながら説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省く。

［第１の実施形態］
＜ヘッドアップディスプレイ装置の構成＞
はじめに、ヘッドアップディスプレイ装置の構成について説明する。図１は、ヘッドアップディスプレイ装置の構成を示す図である。図１に示すように、ヘッドアップディスプレイ装置１００は、画像投影装置１０１と、反射ミラー１０２、１０３とを有し、車両に搭載される（例えば、ダッシュボード等に収納される）。画像投影装置１０１より出射した投影画像は、反射ミラー１０２、１０３においてそれぞれ反射した後、車両のフロントウィンドウ１３０に投影される。これにより、運転者は、フロントウィンドウ１３０にて反射した投影画像を、フロントウィンドウ１３０の前方の虚像として視認することができる。

なお、本実施形態において、画像投影装置１０１は、撮像装置１１０において撮影された車両前方の実景画像と、ナビゲーション装置１２０より送信されたナビゲーション情報とを用いて、投影画像を生成するものとする。

撮像装置１１０は、車両前方を撮影することで実景画像を生成し、画像投影装置１０１に送信する。ナビゲーション装置１２０は、車両走行中に生成される各種ナビゲーション情報を、画像投影装置１０１に送信する。

＜画像投影装置のハードウェア構成＞
次に、画像投影装置１０１のハードウェア構成について説明する。図２は、画像投影装置のハードウェア構成の一例を示す図である。図２に示すように、画像投影装置１０１は、ＣＰＵ（Central Processing Unit）２０１、ＲＯＭ（Read Only Memory）２０２、ＲＡＭ（Random Access Memory）２０３を有する。ＣＰＵ２０１、ＲＯＭ２０２、ＲＡＭ２０３は、いわゆるコンピュータを形成する。また、画像投影装置１０１は、補助記憶装置２０４、ＧＰＵ（Graphic Processing Unit）２０５、投影装置２０６、Ｉ／Ｆ（Interface）装置２０７を有する。画像投影装置１０１の各部は、バス２０８を介して相互に接続されている。

ＣＰＵ２０１は、補助記憶装置２０４にインストールされている各種プログラム（例えば、画像投影プログラム等）を実行するデバイスである。ＲＯＭ２０２は、不揮発性メモリである。ＲＯＭ２０２は、補助記憶装置２０４にインストールされている各種プログラムをＣＰＵ２０１が実行するために必要な各種プログラムやデータ等を格納する、主記憶デバイスとして機能する。具体的には、ＲＯＭ２０２はＢＩＯＳ（Basic Input/Output System）やＥＦＩ（Extensible Firmware Interface）等のブートプログラム等を格納する。

ＲＡＭ２０３は、ＤＲＡＭ（Dynamic Random Access Memory）やＳＲＡＭ（Static Random Access Memory）等の揮発性メモリである。ＲＡＭ２０３は、補助記憶装置２０４にインストールされている各種プログラムがＣＰＵ２０１によって実行される際に展開される作業領域を提供する、主記憶デバイスとして機能する。

補助記憶装置２０４は、各種プログラムや、各種プログラムが実行されることで生成される情報、ならびに各種プログラムが実行される際に用いられる情報を格納する補助記憶デバイスである。後述する投影領域情報格納部は、補助記憶装置２０４において実現される。

ＧＰＵ２０５は、画像処理を行う専用の集積回路であり、本実施形態では、例えば、出射する投影画像を生成する。Ｉ／Ｆ装置２０７は、撮像装置１１０やナビゲーション装置１２０等と接続するための接続デバイスである。

＜画像投影装置の機能構成＞
次に、画像投影装置１０１の機能構成について説明する。図３は、画像投影装置の機能構成の一例を示す図である。画像投影装置１０１には、画像投影プログラムがインストールされている。画像投影装置１０１は、当該プログラムが実行されることで、図３に示すように、実景画像取得部３１０、ナビゲーション情報取得部３２０、走行路算出部３３０、表示可否判定部３４０、投影画像生成部３５０、投影画像出力部３６０として機能する。

実景画像取得部３１０は生成部の一例である。実景画像取得部３１０は、撮像装置１１０より送信された実景画像をフレーム単位で取得する。また、実景画像取得部３１０は、取得した実景画像の各フレームに基づき、フロントウィンドウ１３０を介して車両の運転者が視認する実景に相当する画像（運転者の目線に対応する「目線画像」）を生成し、走行路算出部３３０に通知する。

ナビゲーション情報取得部３２０は、ナビゲーション装置１２０より送信されたナビゲーション情報を取得する。また、ナビゲーション情報取得部３２０は、取得したナビゲーション情報を、走行路算出部３３０及び投影画像生成部３５０に通知する。

走行路算出部３３０は算出部の一例である。走行路算出部３３０は、実景画像取得部３１０より通知された目線画像と、ナビゲーション情報取得部３２０より通知されたナビゲーション情報とを取得する。また、走行路算出部３３０は、目線画像に含まれる道路の路面のうち、ナビゲーション情報に基づいて特定される、自車両の誘導先の道路（「走行路」と称す）の路面の領域を算出する。また、走行路算出部３３０は、走行路の路面の領域が算出された目線画像を、表示可否判定部３４０に通知する。更に、走行路算出部３３０は、ナビゲーション情報に基づいて誘導先を示す情報を生成し、表示可否判定部３４０に通知する。

表示可否判定部３４０は判定部の一例である。表示可否判定部３４０は、投影領域情報格納部３７０より、投影領域情報を読み出す。投影領域情報とは、画像投影装置１０１より出射された投影画像が投影される、フロントウィンドウ１３０での投影領域（ＦＯＶ）の位置を特定する情報を指す。表示可否判定部３４０は、投影領域情報により特定される投影領域（ＦＯＶ）の位置に対応する目線画像での位置と、走行路算出部３３０により算出された走行路の路面の領域との位置関係に基づいて、誘導先を示す情報を表示するか否かを判定する。また、表示可否判定部３４０は、判定結果を、誘導先を示す情報とともに投影画像生成部３５０に通知する。

投影画像生成部３５０は制御部の一例である。投影画像生成部３５０は、ナビゲーション情報取得部３２０より通知されたナビゲーション情報等に基づいて投影画像を生成し、投影画像出力部３６０に通知する。投影画像生成部３５０は投影画像を生成するにあたり、表示可否判定部３４０より通知された判定結果を参照する。

具体的には、表示可否判定部３４０より通知された判定結果が"表示可"であった場合、投影画像生成部３５０は、表示可否判定部３４０より通知された誘導先を示す情報を含む投影画像を生成する。一方、表示可否判定部３４０より通知された判定結果が"表示不可"であった場合、投影画像生成部３５０は、表示可否判定部３４０より通知された誘導先を示す情報を含まない投影画像を生成するか、または投影画像を生成しない。

なお、投影画像生成部３５０は、ナビゲーション情報取得部３２０より通知されたナビゲーション情報に基づいて、誘導先を示す情報以外の各種車両情報を含む投影画像を生成する。ただし、以下では、説明の簡略化のため、投影画像に含める車両情報として、誘導先を示す情報以外の車両情報についての説明は割愛する。

投影画像出力部３６０は、投影画像生成部３５０より通知された投影画像を、所定周期で出射する。つまり、投影画像出力部３６０は、表示可否判定部３４０により"表示可"と判定されている間、誘導先を示す情報を含む投影画像を出射し、"表示不可"と判定された場合には、誘導先を示す情報を含まない投影画像を出射するか、または投影画像を出射しない。

なお、誘導先を示す情報を含まない投影画像が出射された後であっても、表示可否判定部３４０により再び"表示可"と判定された場合には、投影画像出力部３６０は、誘導先を示す情報を含む投影画像の出射を再開する。

＜画像投影装置の各部の処理の詳細＞
次に、画像投影装置１０１の各部（実景画像取得部３１０、ナビゲーション情報取得部３２０、走行路算出部３３０、表示可否判定部３４０、投影画像生成部３５０）の処理の詳細について説明する。

（１）実景画像取得部の処理の詳細
はじめに、実景画像取得部３１０の処理の詳細について説明する。図４は、実景画像取得部の処理の具体例を示す図である。上述したとおり、撮像装置１１０は、車両前方を撮影することで得た実景画像を画像投影装置１０１に送信し、実景画像取得部３１０は、撮像装置１１０より送信された実景画像をフレーム単位で取得する。このため、実景画像取得部３１０により取得される実景画像の各フレームの内容は、時間の経過とともに車両の進行方向に沿って変化する。

図４（ａ）に示す実景画像のフレーム４１０は、時刻＝ｔ_１において撮像装置１１０により撮影された画像である。フレーム４１０の例は、車両が建物４１２と建物４１３との間を通る道路４１１上を走行していることを示している。なお、以下で説明する道路は、いずれも、右側通行の道路であるとする。

実景画像取得部３１０は、取得したフレーム４１０を、フロントウィンドウ１３０を介して車両の運転者が視認する実景に相当する目線画像に変換する。なお、本実施形態では、説明の簡略化のため、実景画像のフレーム４１０と、実景画像のフレーム４１０を変換することで得られる目線画像とは、同じ画像であるとする。したがって、以下では、フレーム４１０を、実景画像のフレームとして説明する場合と、目線画像のフレームとして説明する場合とがある。

図４（ｂ）に示す実景画像のフレーム４２０は、時刻＝ｔ_２において撮像装置１１０により撮影された画像である。フレーム４２０に示すように、建物４１３の手前には、道路４１１から右方向に分岐する道路４２１がある。車両は、この後、道路４１１から道路４２１へと右折するものとする。

図４（ｃ）に示す実景画像のフレーム４３０は、時刻＝ｔ_３において撮像装置１１０により撮影された画像であり、車両が道路４１１から道路４２１へと右折を開始した様子を示している。車両が道路４１１から道路４２１へと右折を開始したことで、フレーム４３０には、建物４１３とその手前の歩道４３１が中央上側に映し出される一方で、車両の進行方向の道路４２１は、フレーム４３０の右下に映し出されることになる。

図４（ｄ）に示す実景画像のフレーム４４０は、時刻＝ｔ_４において撮像装置１１０により撮影された画像であり、道路４１１から道路４２１への右折が完了し、車両が道路４２１での走行を開始した様子を示している。道路４１１から道路４２１への右折が完了したことで、フレーム４３０には、道路４２１が中央に映し出され、更に、道路４２１の先の建物４４１が映し出されることになる。

このように、実景画像取得部３１０は、走行中の車両において、運転者がフロントウィンドウ１３０を介して視認する実景に相当する画像を、目線画像としてリアルタイムに生成する。

（２）ナビゲーション情報取得部の処理の詳細
次に、ナビゲーション情報取得部３２０の処理の詳細について説明する。図５は、ナビゲーション情報取得部の処理の具体例を示す図である。上述したとおり、ナビゲーション情報取得部３２０は、ナビゲーション装置１２０より送信されたナビゲーション情報を取得する。

図５（ａ）に示すナビゲーション情報５１０は、時刻＝ｔ_１においてナビゲーション装置１２０より送信されたナビゲーション情報である。時刻＝ｔ_１において、車両は、建物４１２と建物４１３との間を通る道路４１１上を走行している。ナビゲーション情報５１０には、走行中の車両の周辺の地図情報（道路４１１、４２１、建物４１２、４１３）に加え、道路４１１上での車両の位置を示す位置情報５１１が含まれる。また、ナビゲーション情報５１０には、車両を目的地に誘導するための誘導経路５１２、及び、誘導経路５１２に基づいて生成された、現在の誘導先情報５１３が含まれる。なお、フロントウィンドウ１３０の投影領域に表示される誘導先を示す情報は、ナビゲーション情報５１０に含まれる誘導先情報５１３に基づいて生成されるものとする。以下、各時刻ｔ_ｎごとのナビゲーション情報は当該時刻における上述した各情報を含むものとする。

図５（ｂ）に示すナビゲーション情報５２０は、時刻＝ｔ_２においてナビゲーション装置１２０より送信されたナビゲーション情報である。時刻＝ｔ_２において、車両は、建物４１３の手前の道路４２１に近い位置を走行している。

図５（ｃ）に示すナビゲーション情報５３０は、時刻＝ｔ_３においてナビゲーション装置１２０より送信されたナビゲーション情報である。時刻＝ｔ_３において、車両は、道路４１１から道路４２１へと右折を開始した位置を走行している。

図５（ｄ）に示すナビゲーション情報５４０は、時刻＝ｔ_４においてナビゲーション装置１２０より送信されたナビゲーション情報である。時刻＝ｔ_４において、車両は、道路４１１から道路４２１への右折が完了し、道路４２１上を走行している。

このように、ナビゲーション情報取得部３２０は、実景画像取得部３１０による実景画像の取得と同期してナビゲーション情報を取得する。これにより、ナビゲーション情報取得部３２０では、実景画像取得部３１０において生成された目線画像に対応する、自車両の周辺の地図情報、自車両の位置情報、誘導経路、誘導先情報を取得することができる。

（３）走行路算出部の処理の詳細
次に、走行路算出部３３０の処理の詳細について説明する。図６は、走行路算出部の処理の具体例を示す図である。上述したとおり、走行路算出部３３０は、実景画像取得部３１０より通知された目線画像と、ナビゲーション情報取得部３２０より通知されたナビゲーション情報とに基づいて、誘導先の道路（走行路）の路面の領域を算出する。

図６（ａ）〜（ｄ）に示す目線画像のフレーム６１０〜６４０は、時刻＝ｔ_１〜ｔ_４の目線画像のフレーム４１０〜４４０それぞれに対して、時刻＝ｔ_１〜ｔ_４のナビゲーション情報５１０〜５４０それぞれに基づいて走行路算出部３３０が算出した、走行路の路面の領域６１１〜６４１それぞれを重ね合わせた画像である。

図６（ａ）において、走行路算出部３３０は、ナビゲーション情報５１０に含まれる車両の位置情報５１１から、道路４１１が、自車両が走行中の道路であると認識する。また、走行路算出部３３０は、ナビゲーション情報５１０に含まれる誘導経路５１２から、建物４１３の手前の道路４２１を右折するまでの間、車両が道路４１１を直進すると認識する。これにより、走行路算出部３３０では、目線画像のフレーム４１０において、走行路の路面の領域６１１を算出することができる。

図６（ｂ）において、走行路算出部３３０は、ナビゲーション情報５２０に含まれる車両の位置情報５１１から、道路４１１が、自車両が走行中の道路であると認識する。また、走行路算出部３３０は、ナビゲーション情報５２０に含まれる誘導経路５１２から、建物４１３の手前の道路４２１を右折するまでの間、自車両が道路４１１を直進すると認識する。更に、走行路算出部３３０は、道路４２１に到達したら右折すると認識する。これにより、走行路算出部３３０は、目線画像のフレーム４２０において、走行路の路面の領域６２１を算出することができる。

図６（ｃ）において、走行路算出部３３０は、ナビゲーション情報５３０に含まれる自車両の位置情報５１１から、自車両が道路４１１から道路４２１へと右折を開始した位置にいると認識する。また、走行路算出部３３０は、ナビゲーション情報５３０に含まれる誘導経路５１２から、道路４２１が誘導先の道路であると認識する。これにより、走行路算出部３３０では、目線画像のフレーム４３０において、走行路の路面の領域６３１を算出することができる。

図６（ｄ）において、走行路算出部３３０は、ナビゲーション情報５４０に含まれる自車両の位置情報５１１から、道路４２１が、右折が完了した自車両が走行する道路であると認識する。また、走行路算出部３３０は、ナビゲーション情報５４０に含まれる誘導経路５１２から、自車両が道路４２１を直進すると認識する。これにより、走行路算出部３３０では、目線画像のフレーム４４０において、走行路の路面の領域６４１を算出することができる。

（４）表示可否判定部の処理の詳細
次に、表示可否判定部３４０の処理の詳細について説明する。図７は、表示可否判定部の処理の具体例を示す図である。上述したとおり、表示可否判定部３４０は、投影領域情報により特定されるフロントウィンドウ１３０での投影領域の位置に対応する目線画像での位置と、走行路の路面の領域との位置関係に基づいて、投影領域に、誘導先を示す情報を表示するか否かを判定する。

図７（ａ）は、時刻＝ｔ_１の目線画像のフレーム６１０（走行路の路面の領域６１１が重ね合わされた画像）に、フロントウィンドウ１３０の投影領域に対応する目線画像での領域７０１、７０２を重畳した様子を示している。図７（ａ）に示すように、ヘッドアップディスプレイ装置１００は、フロントウィンドウ１３０の２つの投影領域に投影画像を投影する。このうち、上側の投影領域に投影される投影画像には、誘導先を示す情報（矢印）７１１が含まれる。なお、誘導先を示す情報（矢印）７１１は、時刻＝ｔ_１のナビゲーション情報に含まれる誘導先情報５１３に基づいて表示可否判定部３４０により生成されるものとする。

表示可否判定部３４０は、上側の投影領域に投影される投影画像に、誘導先を示す情報（矢印）７１１を含めるか否かを判定するにあたり、投影領域に対応する目線画像での領域７０１と、走行路の路面の領域６１１との重なり度合いを算出する。重なり度合いとは、投影領域に対応する目線画像での領域７０１の面積のうち、走行路の路面の領域６１１と重畳している領域の面積の占める割合を指すものとする。

表示可否判定部３４０は、算出した重なり度合いが所定の閾値以上であると判定した場合、上側の投影領域に投影される投影画像に、誘導先を示す情報（矢印）７１１を含める（"表示可"）と判定する。一方、表示可否判定部３４０は、算出した重なり度合いが所定の閾値未満であると判定した場合、上側の投影領域に投影される投影画像に、誘導先を示す情報（矢印）７１１を含めない（"表示不可"）と判定する。

図７（ａ）の場合、表示可否判定部３４０は、算出した重なり度合いが所定の閾値以上であるため、"表示可"と判定する。このため、上側の投影領域には、誘導先を示す情報（矢印）７１１を含む投影画像が投影されることになる。

同様に、図７（ｂ）の場合、表示可否判定部３４０は、算出した重なり度合いが所定の閾値以上であるため、"表示可"と判定する。このため、上側の投影領域には、誘導先を示す情報（矢印）７２１を含む投影画像が投影されることになる。なお、図７（ａ）と同様、誘導先を示す情報（矢印）７２１は、時刻＝ｔ_２のナビゲーション情報に含まれる誘導先情報５１３に基づいて表示可否判定部３４０により生成されるものとする。

一方、図７（ｃ）の場合、表示可否判定部３４０は、算出した重なり度合いが所定の閾値未満であるため、"表示不可"と判定する。このため、上側の投影領域には、誘導先を示す情報（矢印）７３１を含まない投影画像が投影されることになる。この結果、時刻＝ｔ_３において、誘導先を示す情報（矢印）７３１が、運転者によって視認されることはない。

更に、図７（ｄ）の場合、表示可否判定部３４０は、算出した重なり度合いが所定の閾値以上であるため、"表示可"と判定する。このため、上側の投影領域には、誘導先を示す情報（矢印）７４１を含む投影画像が投影されることになる。なお、図７（ａ）と同様、誘導先を示す情報（矢印）７４１は、時刻＝ｔ_４のナビゲーション情報に含まれる誘導先情報５１３に基づいて表示可否判定部３４０により生成されるものとする。

（５）投影画像生成部の処理の詳細
次に、投影画像生成部３５０の処理の詳細について説明する。上述したとおり、投影画像生成部３５０は投影画像を生成する。このとき、投影画像生成部３５０は、表示可否判定部３４０より通知された判定結果を参照し、誘導先を示す情報を含む投影画像または誘導先を示す情報を含まない投影画像のいずれかを生成する。

図８（ａ）は、時刻＝ｔ_１において運転者がフロントウィンドウ１３０を介して視認する実景及び投影画像である。時刻＝ｔ_１の目線画像に対して、表示可否判定部３４０では、"表示可"と判定しているため、図８（ａ）に示すように、投影領域８０１には、誘導先を示す情報（矢印）７１１を含む投影画像が投影される。

同様に、図８（ｂ）は、時刻＝ｔ_２において運転者がフロントウィンドウ１３０を介して視認する実景及び投影画像である。時刻＝ｔ_２の目線画像に対して、表示可否判定部３４０では、"表示可"と判定しているため、図８（ｂ）に示すように、投影領域８０１には、誘導先を示す情報（矢印）７２１を含む投影画像が投影される。

図８（ｃ）は、時刻＝ｔ_３において運転者がフロントウィンドウ１３０を介して視認する実景及び投影画像である。ここで、時刻＝ｔ_３の目線画像に対して、表示可否判定部３４０では、"表示不可"と判定しているため、図８（ｃ）に示すように、投影領域８０１に投影される投影画像には、誘導先を示す情報（矢印）７３１が含まれない。

図８（ｄ）は、時刻＝ｔ_４において運転者がフロントウィンドウ１３０を介して視認する実景及び投影画像である。時刻＝ｔ_４の目線画像に対して、表示可否判定部３４０では、"表示可"と判定しているため、図８（ｄ）に示すように、投影領域８０１には、誘導先を示す情報（矢印）７４１を含む投影画像が投影される。

なお、時刻＝ｔ_３において、投影画像生成部３５０が、仮に、誘導先を示す情報（矢印）７３１を含む投影画像を生成したとすると、図８（ｃ）に示す実景において、投影領域８０１に、誘導先を示す情報（矢印）７３１が表示されることになる。この場合、誘導先を示す情報（矢印）７３１が歩道上を指し示すことになり、運転者に対して適切でない誘導が行われることになる。

このように、誘導先を示す情報（矢印）を表示することで、実景との関係において、運転者に対して適切でない誘導を行う可能性がある場合、投影画像生成部３５０は、誘導先を示す情報（矢印）を投影画像に含める処理を一旦停止する。これにより、本実施形態によれば、誘導先を示す情報（矢印）の表示が停止され、運転者に対して適切でない誘導が行われることを回避することができる。

また、実景との関係において、運転者に対して適切な誘導を行うことが可能となった場合には、投影画像生成部３５０は、誘導先を示す情報（矢印）を投影画像に含める処理を再開する。これにより、本実施形態によれば、運転者に対して適切な誘導を再開することができる。

＜画像投影装置の誘導先表示制御処理の流れ＞
次に、画像投影装置１０１による誘導先表示制御処理の流れについて説明する。図９は、誘導先表示制御処理の流れを示すフローチャートである。ヘッドアップディスプレイ装置１００を起動するとともに、ナビゲーション装置１２０を動作させ、運転者が目的地を入力することで誘導経路の案内が開始されると、画像投影装置１０１では、図９に示す誘導先表示制御処理を開始する。

ステップＳ９０１において、実景画像取得部３１０は、撮像装置１１０より、実景画像をフレーム単位で取得する。ステップＳ９０２において、ナビゲーション情報取得部３２０は、ナビゲーション装置１２０より、ナビゲーション情報を取得する。

ステップＳ９０３において、実景画像取得部３１０は、取得した実景画像のフレームを変換し、目線画像のフレームを生成する。ステップＳ９０４において、走行路算出部３３０は、目線画像のフレームと、ナビゲーション情報とを用いて、目線画像のフレームにおける走行路の路面の領域を算出するとともに、ナビゲーション情報を用いて、誘導先を示す情報（矢印）を生成する。

ステップＳ９０５において、表示可否判定部３４０は、フロントウィンドウ１３０での投影領域の位置に対応する目線画像での位置と、目線画像における走行路の路面の領域との位置関係に基づいて、両者の重なり度合いを算出する。ステップＳ９０６において、表示可否判定部３４０は、重なり度合いが所定の閾値以上か否かを判定する。

ステップＳ９０６において、所定の閾値以上であると判定した場合には（ステップＳ９０６においてＹｅｓの場合には）、ステップＳ９０７に進む。ステップＳ９０７において、表示可否判定部３４０は、"表示可"と判定し、判定結果及び誘導先を示す情報（矢印）を投影画像生成部３５０に通知する。この場合、投影画像生成部３５０は、誘導先を示す情報（矢印）を含む投影画像を生成する。

一方、ステップＳ９０６において、所定の閾値未満であると判定した場合には（ステップＳ９０６においてＮｏの場合には）、ステップＳ９０８に進む。ステップＳ９０８において、表示可否判定部３４０は、"表示不可"と判定し、判定結果を投影画像生成部３５０に通知する。この場合、投影画像生成部３５０は、誘導先を示す情報（矢印）を含まない投影画像を生成する。

ステップＳ９０９において、実景画像取得部３１０は、誘導先表示制御処理を終了するか否かを判定する。ステップＳ９０９において、誘導先表示制御処理を終了しないと判定した場合には（ステップＳ９０９においてＮｏの場合には）、ステップＳ９０１に戻る。一方、ステップＳ９０９において、終了すると判定した場合には（ステップＳ９０９においてＹｅｓの場合には）、誘導先表示制御処理を終了する。

＜まとめ＞
以上の説明から明らかなように、本実施形態に係るヘッドアップディスプレイ装置１００は、
・フロントウィンドウを介して運転者が視認する実景に相当する目線画像を生成し、生成した目線画像において、車両の誘導先の道路の路面の領域を算出する。
・フロントウィンドウにおいて誘導先を示す情報が表示される投影領域の位置に対応する目線画像での位置と、走行路の路面の領域との位置関係に基づいて、誘導先を示す情報（矢印）を投影領域に表示するか否かを判定し、判定結果に応じた投影画像を生成する。

これにより、本実施形態に係るヘッドアップディスプレイ装置１００では、フロントウィンドウを介して運転者が視認する実景との関係に基づいて、誘導先を示す情報（矢印）の投影領域への表示を制御することが可能になる。つまり、ハンドルの舵角によらずに表示を制御することが可能になる。この結果、本実施形態によれば、運転者に対して適切な誘導を行うことが可能になる。

［第２の実施形態］
上記第１の実施形態では、誘導先を示す情報として、１本の矢印からなる図形を用いるものとして説明した。しかしながら、誘導先を示す情報として用いる図形は、１本の矢印に限定されない。

図１０は、誘導先を示す情報として用いる図形のバリエーションを示す図である。図１０において、図形ＩＤ＝１により特定される図形は、上記第１の実施形態の説明において用いた、１本の矢印である。

一方、図形ＩＤ＝２は、２本の矢印を用いる場合を示している。また、図形ＩＤ＝３は、レーンを示す図形を用いる場合を示している。また、図形ＩＤ＝４は、レーンを示す図形と、１本の矢印とを用いることを示している。

また、図形ＩＤ＝５は、レーンとレーンの間の領域（レーン領域）を塗りつぶした図形を用いる場合を示している。また、図形ＩＤ＝６は、レーン領域をメッシュで形成した図形を用いる場合を示している。更に、図形ＩＤ＝７は、レーン領域をメッシュで形成するにあたり、奥行き感を出すために、手前側と奥側とで、メッシュ幅を可変とした図形を用いる場合を示している。

このように、誘導先を示す情報として複数種類の図形を用意しておくことで、第２の実施形態によれば、複数種類の図形の中から選択した図形を、誘導先を示す情報として用いることが可能になる。

［第３の実施形態］
上記第１の実施形態では、フロントウィンドウ１３０での投影領域の位置に対応する目線画像での位置と、目線画像における走行路の路面の領域との位置関係に基づいて、投影領域に、誘導先を示す情報（矢印）を表示するか否かを判定する構成とした。

これに対して、第３の実施形態では、投影領域に表示される誘導先を示す情報の位置に対応する目線画像での位置と、目線画像における走行路の路面の領域との位置関係に基づいて、投影領域に、誘導先を示す情報を表示するか否かを判定する。以下、第１の実施形態との相違点を中心に説明する。

図１１は、表示可否判定部の処理の具体例を示す図である。このうち、図１１（ａ）は、時刻＝ｔ_２'の目線画像のフレーム１１１０に、誘導先を示す情報（矢印）１１１１を重畳した様子を示している。本実施形態において表示可否判定部３４０は、誘導先を示す情報（矢印）１１１１の先端１１１２が、走行路の路面の領域１１０１に重畳している場合に、"表示可"と判定する。図１１（ａ）の例の場合、誘導先を示す情報（矢印）１１１１の先端１１１２が、走行路の路面の領域１１０１に重畳しているため、表示可否判定部３４０は、"表示可"と判定する。

図１１（ｂ）は、時刻＝ｔ_２'の目線画像のフレーム１１１０に、誘導先を示す情報（２本の矢印）１１２１を重畳した様子を示している。本実施形態において表示可否判定部３４０は、誘導先を示す情報（２本の矢印）１１２１のうち、誘導先に近い側の矢印の先端１１２２が、走行路の路面の領域１１０１に重畳している場合に、"表示可"と判定する。図１１（ｂ）の例の場合、誘導先を示す情報（２本の矢印）１１２１のうち、誘導先に近い側の矢印の先端１１２２が、走行路の路面の領域１１０１に重畳しているため、表示可否判定部３４０は、"表示可"と判定する。

図１１（ｃ）は、時刻＝ｔ_２'の目線画像のフレーム１１１０に、誘導先を示す情報（レーン）１１３１を重畳した様子を示している。本実施形態において表示可否判定部３４０は、誘導先を示す情報（レーン）１１３１のうち、誘導先に近い側のレーンの先端１１３２が、走行路の路面の領域１１０１に重畳している場合に、"表示可"と判定する。図１１（ｃ）の例の場合、誘導先を示す情報（レーン）１１３１のうち、誘導先に近い側のレーンの先端１１３２が、走行路の路面の領域１１０１に重畳しているため、表示可否判定部３４０は、"表示可"と判定する。

図１１（ｄ）は、時刻＝ｔ_２'の目線画像のフレーム１１１０に、誘導先を示す情報（レーン領域）１１４１を重畳した様子を示している。本実施形態において表示可否判定部３４０は、誘導先を示す情報（レーン領域）１１４１の先端の一部が、走行路の路面の領域１１０１に重畳している場合に、"表示可"と判定する。図１１（ｄ）の例の場合、誘導先を示す情報（レーン領域）１１４１の先端の一部１１４２が、走行路の路面の領域１１０１に重畳しているため、表示可否判定部３４０は、"表示可"と判定する。

このように、本実施形態では、投影領域８０１に表示される誘導先を示す情報の、目線画像での位置と、目線画像における走行路の路面の領域との位置関係に基づいて、投影領域に、誘導先を示す情報を表示するか否かを判定する。これにより、本実施形態によれば、上記第１の実施形態同様、運転者に対して適切な誘導を行うことが可能になる。

［第４の実施形態］
上記第１乃至第３の実施形態では、表示可否判定部３４０が"表示可"と判定した場合、誘導先を示す情報が投影領域８０１内の所定の位置に表示されるように、投影画像生成部３５０が、投影画像内の所定の位置に誘導先を示す情報を配置するものとして説明した。

これに対して、第４の実施形態における表示可否判定部３４０では、誘導先を示す情報が走行路の路面の領域に重畳する割合が大きくなるように配置及びサイズを決定する。また、第４の実施形態における投影画像生成部３５０では、決定された配置及びサイズに基づいて、誘導先を示す情報を含む投影画像を生成する。

図１２は、投影画像生成部の処理の具体例を示す図である。図１２（ａ）は、時刻＝ｔ_２'の目線画像のフレーム１１１０に、誘導先を示す情報（矢印）１１１１を配置した際に、走行路の路面の領域１１０１と重畳する割合が大きくなるように配置を決定した様子を示している。図１２（ａ）の例によれば、誘導先を示す情報（矢印）１１１１全体を、走行路の路面の領域１１０１に重畳させることができる。投影画像生成部３５０では、時刻＝ｔ_２の目線画像のフレーム１１１０に対して決定した誘導先を示す情報（矢印）１１１１の配置と等しくなるように、誘導先を示す情報（矢印）１１１１を投影画像内に縮小またはスライドして配置する。

同様に、図１２（ｂ）は、時刻＝ｔ_２'の目線画像のフレーム１１１０に、誘導先を示す情報（２本の矢印）１１２１を配置した際に、走行路の路面の領域１１０１と重畳する割合が大きくなるように配置を決定した様子を示している。図１２（ｂ）の例によれば、誘導先を示す情報（２本の矢印）１１２１全体を、走行路の路面の領域１１０１に重畳させることができる。投影画像生成部３５０では、時刻＝ｔ_２'の目線画像のフレーム１１１０に対して決定した誘導先を示す情報（２本の矢印）１１２１の配置と等しくなるように、誘導先を示す情報（２本の矢印）１１２１を投影画像内に縮小またはスライドして配置する。

一方、図１２（ｃ）は、時刻＝ｔ_２'の目線画像のフレーム１１１０に、誘導先を示す情報（レーン）１１３１を配置した際に、走行路の路面の領域１１０１と重畳する割合が大きくなるように配置及びサイズを決定した様子を示している。図１２（ｃ）の例によれば、誘導先を示す情報（レーン）１１３１全体を、走行路の路面の領域１１０１に重畳させることができる。投影画像生成部３５０では、時刻＝ｔ_２'の目線画像のフレーム１１１０に対して決定した誘導先を示す情報（レーン）１１３１の配置及びサイズと等しくなるように、誘導先を示す情報（レーン）１１３１を投影画像内に縮小して配置する。

同様に、図１２（ｄ）は、時刻＝ｔ_２'の目線画像のフレーム１１１０に、誘導先を示す情報（レーン領域）１１４１を配置した際に、走行路の路面の領域１１０１と重畳する割合が大きくなるように配置及びサイズを決定した様子を示している。図１２（ｄ）の例によれば、誘導先を示す情報（レーン領域）１１４１全体を、走行路の路面の領域１１０１に重畳させることができる。投影画像生成部３５０では、時刻＝ｔ_２'の目線画像のフレーム１１１０に対して決定した誘導先を示す情報（レーン領域）１１４１の配置及びサイズと等しくなるように、誘導先を示す情報（レーン領域）１１４１を投影画像内に縮小して配置する。

このように、誘導先を示す情報と走行路の路面の領域とが重畳する割合が大きくなるように、投影画像生成部３５０が、誘導先を示す情報の配置及びサイズを変えることで、運転者に対して適切な誘導を行うことが可能になる。また、上述した例では誘導先を示す情報のサイズを縮小する例で表したが、サイズを拡大することで走行路の路面の領域と重畳する割合を大きくすることが可能な状況であれば、サイズを拡大するようにしても良いことはいうまでもない。また、配置についても同様である。

［第５の実施形態］
上記第１の実施形態では、画像投影装置１０１が、撮像装置１１０から実景画像を取得し、ナビゲーション装置１２０から取得したナビゲーション情報と対比することで、目線画像を生成するものとして説明した。しかしながら、目線画像の生成方法はこれに限定されない。例えば、撮像装置１１０から実景画像を取得する代わりに、高精度３次元マップを取得し、ナビゲーション装置１２０から取得したナビゲーション情報と対比することで、目線画像を生成するように構成してもよい。

また、上記第４の実施形態では、表示可否判定部３４０が配置及びサイズを決定するものとして説明した。しかしながら、表示可否判定部３４０が決定する対象は、配置及びサイズに限定されず、誘導先を示す情報の形状等、他の表示態様を決定してもよい。

なお、上記実施形態に挙げた構成等に、その他の要素との組み合わせ等、ここで示した構成に本発明が限定されるものではない。これらの点に関しては、本発明の趣旨を逸脱しない範囲で変更することが可能であり、その応用形態に応じて適切に定めることができる。

１００ ：ヘッドアップディスプレイ装置
１０１ ：画像投影装置
１０２、１０３ ：反射ミラー
１１０ ：撮像装置
１２０ ：ナビゲーション装置
１３０ ：フロントウィンドウ
３１０ ：実景画像取得部
３２０ ：ナビゲーション情報取得部
３３０ ：走行路算出部
３４０ ：表示可否判定部
３５０ ：投影画像生成部
３６０ ：投影画像出力部
４１０、４２０、４３０、４４０ ：実景画像のフレーム
５１０、５２０、５３０、５４０ ：ナビゲーション情報
５１１ ：位置情報
５１２ ：誘導経路
６１０、６２０、６３０、６４０ ：目線画像のフレーム
６１１、６２１、６３１、６４１ ：走行路の路面の領域
７０１、７０２ ：投影領域に対応する目線画像での領域
７１１、７２１、７３１、７４１ ：誘導先を示す情報（矢印）
８０１ ：投影領域

Claims (10)

1. 車両に搭載されるヘッドアップディスプレイ装置であって、
   前記車両のフロントウィンドウを介して前記車両の運転者により視認される実景に相当する目線画像において、前記車両の誘導先の道路の路面の領域を算出する算出部と、
   前記車両の誘導先を示す情報が表示される前記フロントウィンドウでの位置に対応する前記目線画像での位置と、算出された前記路面の領域との位置関係に基づいて、前記誘導先を示す情報の表示を制御する制御部と、を有し、
   前記制御部は、
   前記誘導先を示す情報を含む投影画像が投影される前記フロントウィンドウの投影領域に対応する前記目線画像での領域と、算出された前記路面の領域との重なり度合いに基づいて、前記誘導先を示す情報の表示を制御することを特徴とするヘッドアップディスプレイ装置。
2. 前記重なり度合いが所定の閾値以上であった場合に、前記誘導先を示す情報について表示可と判定し、前記重なり度合いが所定の閾値未満であった場合に、前記誘導先を示す情報について表示不可と判定する判定部を更に有することを特徴とする請求項１に記載のヘッドアップディスプレイ装置。
3. 車両に搭載されるヘッドアップディスプレイ装置であって、
   前記車両のフロントウィンドウを介して前記車両の運転者により視認される実景に相当する目線画像において、前記車両の誘導先の道路の路面の領域を算出する算出部と、
   前記車両の誘導先を示す情報が表示される前記フロントウィンドウでの位置に対応する前記目線画像での位置と、算出された前記路面の領域との位置関係に基づいて、前記誘導先を示す情報の表示を制御する制御部と、を有し、
   前記制御部は、
   前記誘導先を示す情報が表示される前記フロントウィンドウでの位置に対応する前記目線画像での位置において、前記誘導先を示す情報の一部が、算出された前記路面の領域と重なるか否かに基づいて、前記誘導先を示す情報の表示を制御することを特徴とするヘッドアップディスプレイ装置。
4. 前記誘導先を示す情報の先端の一部が、算出された前記路面の領域と重なる場合に、前記誘導先を示す情報について表示可と判定し、前記誘導先を示す情報の先端の一部が、算出された前記路面の領域と重ならない場合に、前記誘導先を示す情報について表示不可と判定する判定部を更に有することを特徴とする請求項３に記載のヘッドアップディスプレイ装置。
5. 前記判定部により前記誘導先を示す情報について表示可と判定された場合、前記制御部は、前記誘導先を示す情報を含む投影画像を生成し、
   前記判定部により前記誘導先を示す情報について表示不可と判定された場合、前記制御部は、前記誘導先を示す情報を含まない投影画像を生成することを特徴とする請求項２または４に記載のヘッドアップディスプレイ装置。
6. 前記判定部は、前記誘導先を示す情報について表示可と判定した場合、前記誘導先を示す情報と算出された前記路面の領域とが重なる度合いが大きくなるように、前記目線画像における前記誘導先を示す情報の配置を決定し、前記制御部は、前記判定部により決定された配置に基づいて前記投影画像を生成することを特徴とする請求項５に記載のヘッドアップディスプレイ装置。
7. 前記判定部は、前記誘導先を示す情報について表示可と判定した場合、前記誘導先を示す情報と算出された前記路面の領域とが重なる度合いが大きくなるように、前記目線画像における前記誘導先を示す情報のサイズを決定し、前記制御部は、前記判定部により決定されたサイズに基づいて、前記投影画像を生成することを特徴とする請求項５に記載のヘッドアップディスプレイ装置。
8. 前記算出部は、
   前記車両の周辺の地図情報、前記車両の位置情報及び前記車両を目的地に誘導するための誘導経路と、前記目線画像とを対比することで、前記誘導先の道路の路面の領域を算出することを特徴とする請求項１乃至７のいずれか１項に記載のヘッドアップディスプレイ装置。
9. 車両に搭載されるヘッドアップディスプレイ装置における表示制御方法であって、
   前記車両のフロントウィンドウを介して前記車両の運転者により視認される実景に相当する目線画像において、前記車両の誘導先の道路の路面の領域を算出する算出工程と、
   前記車両の誘導先を示す情報が表示される前記フロントウィンドウでの位置に対応する前記目線画像での位置と、算出された前記路面の領域との位置関係に基づいて、前記誘導先を示す情報の表示を制御する制御工程と、を有し、
   前記制御工程は、
   前記誘導先を示す情報を含む投影画像が投影される前記フロントウィンドウの投影領域に対応する前記目線画像での領域と、算出された前記路面の領域との重なり度合いに基づいて、前記誘導先を示す情報の表示を制御することを特徴とする表示制御方法。
10. 車両に搭載されるヘッドアップディスプレイ装置における表示制御方法であって、
    前記車両のフロントウィンドウを介して前記車両の運転者により視認される実景に相当する目線画像において、前記車両の誘導先の道路の路面の領域を算出する算出工程と、
    前記車両の誘導先を示す情報が表示される前記フロントウィンドウでの位置に対応する前記目線画像での位置と、算出された前記路面の領域との位置関係に基づいて、前記誘導先を示す情報の表示を制御する制御工程と、を有し、
    前記制御工程は、
    前記誘導先を示す情報が表示される前記フロントウィンドウでの位置に対応する前記目線画像での位置において、前記誘導先を示す情報の一部が、算出された前記路面の領域と重なるか否かに基づいて、前記誘導先を示す情報の表示を制御することを特徴とする表示制御方法。