JP6811106B2 - ヘッドアップディスプレイ装置および表示制御方法 - Google Patents

Description

本発明は、ヘッドアップディスプレイ装置および表示制御方法に関する。

従来、ヘッドアップディスプレイ装置がある。特許文献１には、表示器から発せられる表示光をウィンドシールドに照射し、その表示光を実景と重ねて視認させるヘッドアップディスプレイ装置の技術が開示されている。特許文献１のヘッドアップディスプレイ装置では、ヘッドアップディスプレイ装置の表示に影響する外光や発光体などの障害物があった場合には、その影響を及ぼす範囲に対応する箇所が通常の表示輝度よりも高くされる。

特開２０１６−９７８１８号公報

虚像の輝度を調節することについて、なお改良の余地がある。虚像の輝度を高くすることで、虚像の視認性を高めることはできる。一方で、虚像の輝度が高すぎる場合、背景に対して虚像が目立ちすぎてしまい、運転者にとって虚像が煩わしく感じられることがある。

本発明の目的は、虚像の輝度を適切に調節することができるヘッドアップディスプレイ装置および表示制御方法を提供することである。

本発明のヘッドアップディスプレイ装置は、車両を運転する運転者の前方に配置された反射部材と、前記反射部材に向けて光を投影し、前記運転者から見て重畳表示対象と重畳する領域に虚像を表示させる投影手段と、前記車両の前方を撮像し、当該前方の画像である前方画像を生成する撮像手段と、を備え、前記投影手段は、前記前方画像における前記重畳表示対象の領域の輝度分布に応じて、前記虚像の輝度分布を調節することを特徴とする。

上記ヘッドアップディスプレイ装置において、前記投影手段は、前記重畳表示対象の領域において低輝度の部分が存在する場合、前記虚像における前記低輝度の部分に対応する部分の輝度を低くすることが好ましい。

上記ヘッドアップディスプレイ装置において、前記重畳表示対象の領域は複数の分割領域に分割され、前記投影手段は、前記分割領域の輝度値に応じて、前記虚像における前記分割領域に対応する部分の輝度を調節することが好ましい。

上記ヘッドアップディスプレイ装置において、更に、前記運転者の視点位置と前記撮像手段の位置との視差を算出する算出手段を備え、前記視差の大きさに応じて前記分割領域の大きさを変化させることが好ましい。

上記ヘッドアップディスプレイ装置において、前記重畳表示対象は、検出手段によって検出された車両前方の検出対象であることが好ましい。

上記ヘッドアップディスプレイ装置において、前記検出対象は、前記車両の前方の移動体であり、前記投影手段が表示させる前記虚像は、前記移動体を囲む枠であることが好ましい。

本発明の表示制御方法は、車両の前方の画像である前方画像を取得する取得ステップと、前記車両を運転する運転者の前方に配置された反射部材に向けて光を投影し、前記運転者から見て重畳表示対象と重畳する領域に虚像を表示させる投影ステップと、を含み、前記投影ステップにおいて、前記前方画像における前記重畳表示対象の領域の輝度分布に応じて、前記虚像の輝度分布を調節することを特徴とする。

上記表示制御方法において、前記前方画像において低輝度の部分が存在する場合、前記投影ステップにおいて前記虚像における前記低輝度の部分に対応する部分の輝度を低くすることが好ましい。

上記表示制御方法において、前記重畳表示対象の領域は複数の分割領域に分割され、前記投影ステップにおいて、前記分割領域の輝度値に応じて、前記虚像における前記分割領域に対応する部分の輝度を調節することが好ましい。

上記表示制御方法において、前記運転者の視点位置と前記前方画像を撮像する撮像手段の位置との視差の大きさに応じて前記分割領域の大きさを変化させることが好ましい。

上記表示制御方法において、前記重畳表示対象は、検出手段によって検出された車両前方の検出対象であることが好ましい。

本発明に係るヘッドアップディスプレイ装置は、車両を運転する運転者の前方に配置された反射部材と、反射部材に向けて光を投影し、運転者から見て重畳表示対象と重畳する領域に虚像を表示させる投影手段と、車両の前方を撮像し、当該前方の画像である前方画像を生成する撮像手段と、を備える。投影手段は、前方画像における重畳表示対象の領域の輝度分布に応じて、虚像の輝度分布を調節する。本発明に係るヘッドアップディスプレイ装置は、重畳表示対象の領域の輝度分布に応じて虚像の輝度分布を調節することで、虚像の輝度を適切なものとすることができるという効果を奏する。

図１は、実施形態に係るヘッドアップディスプレイ装置の概略構成図である。 図２は、実施形態に係るヘッドアップディスプレイ装置のブロック図である。 図３は、前景に重畳して表示される虚像の一例を示す図である。 図４は、実施形態に係るヘッドアップディスプレイ装置の動作を示すフローチャートである。 図５は、実施形態に係る対象領域および分割領域を示す図である。 図６は、実施形態に係る分割領域の説明図である。 図７は、代表輝度値のマップを示す図である。 図８は、補正前の枠の輝度分布を示す図である。 図９は、補正後の枠の輝度分布を示す図である。 図１０は、前景に重畳して表示された輝度補正後の枠を示す図である。 図１１は、実施形態の第１変形例に係る輝度補正前の虚像を示す図である。 図１２は、実施形態の第１変形例に係る対象領域を示す図である。 図１３は、実施形態の第１変形例に係る輝度補正後の虚像を示す図である。 図１４は、実施形態の第１変形例に係るフローチャートである。

以下に、本発明の実施形態に係るヘッドアップディスプレイ装置および表示制御方法につき図面を参照しつつ詳細に説明する。なお、この実施形態によりこの発明が限定されるものではない。また、下記の実施形態における構成要素には、当業者が容易に想定できるものあるいは実質的に同一のものが含まれる。

［実施形態］
図１から図１０を参照して、実施形態について説明する。本実施形態は、ヘッドアップディスプレイ装置および表示制御方法に関する。図１は、実施形態に係る実施形態に係るヘッドアップディスプレイ装置の概略構成図、図２は、実施形態に係るヘッドアップディスプレイ装置のブロック図、図３は、前景に重畳して表示される虚像の一例を示す図、図４は、実施形態に係るヘッドアップディスプレイ装置の動作を示すフローチャート、図５は、実施形態に係る対象領域および分割領域を示す図、図６は、実施形態に係る分割領域の説明図、図７は、代表輝度値のマップを示す図、図８は、補正前の枠の輝度分布を示す図、図９は、補正後の枠の輝度分布を示す図、図１０は、前景に重畳して表示された輝度補正後の枠を示す図である。

図１および図２に示すように、実施形態に係るヘッドアップディスプレイ装置１は、撮像手段２、ドライバモニタカメラ３、照度センサ６、投影手段７、およびウインドシールド８を有する。

ヘッドアップディスプレイ装置１は、車両１００に搭載される。ウインドシールド８は、車両１００における運転者Ｄの前方に配置されている。ウインドシールド８は、投影手段７から投影される光の一部を反射する反射部材である。ウインドシールド８には、入射する光の一部を反射し、光の一部を透過させる半透過性のコーティング等がなされていてもよい。

投影手段７は、ウインドシールド８に向けて光を投影し、運転者Ｄの前方に虚像Ｓを表示させる。本実施形態の投影手段７は、運転者Ｄから見た場合に後述する重畳表示対象と重畳する領域に虚像Ｓを表示させる。投影手段７は、インストルメントパネル１０２によって覆われた収容部に収容されている。インストルメントパネル１０２の上面には、開口１０２ｂが設けられている。投影手段７は、開口１０２ｂを介してウインドシールド８に向けて光を投影する。

本実施形態の投影手段７は、表示装置１１およびミラー１２を有する。表示装置１１は、後述する制御部１３からの情報をもとに前方視界の風景に虚像Ｓを重畳表示する。本実施形態の表示装置１１は、ＴＦＴ−ＬＣＤ（Thin Film Transistor−Liquid Crystal Display）等の液晶表示装置である。表示装置１１は、液晶表示部およびバックライトを有する。液晶表示部は、任意の画像、例えばカラー画像を表示する。バックライトは、液晶表示部の背面側から光を照射して、液晶表示部に表示された画像をミラー１２に向けて投影する。ミラー１２は、表示装置１１から投影された画像をウインドシールド８に向けて反射する。ミラー１２から投影された画像は、ウインドシールド８によって運転者Ｄに向けて反射される。ウインドシールド８によって反射された画像は、運転者Ｄから見た場合にウインドシールド８よりも車両前方の位置で虚像Ｓとして結像する。

撮像手段２は、車両１００の前方を撮像し、当該前方の画像である前方画像２０（図３参照）を生成する。本実施形態の撮像手段２は、車両１００の車室内に配置されている。撮像手段２は、例えば、車両１００のルーフ１０３に配置される。撮像手段２は、ルーフ１０３に配置されたバックミラーに設けられてもよい。撮像手段２は、ウインドシールド８を通して車両１００の前方を撮像する。

ドライバモニタカメラ３は、運転者Ｄを撮像する。ドライバモニタカメラ３は、車両１００の車室内における運転者Ｄの前方に配置される。本実施形態のドライバモニタカメラ３は、ステアリングコラム１０５の上部で、かつ運転者Ｄから見てステアリングホイール１０１の背後に配置されている。ドライバモニタカメラ３は、少なくとも運転者Ｄの視点位置ＥＰを撮像できるように設置されている。ドライバモニタカメラ３による撮像範囲は、例えば、運転者Ｄの頭部を含む上半身を撮像できるように定められる。

図２に示すナビゲーション装置４は、車両１００の自車位置や周辺の詳細な地図情報を提供する装置である。ナビゲーション装置４は、ＧＰＳ（Global Positioning System）衛星からの情報等に基づいて自車位置を取得する。また、ナビゲーション装置４は、予め記憶している地図情報や通信によって、トンネルや立体交差等の情報を取得する。

検出手段５は、車両１００の前方の重畳表示対象を検出する。重畳表示対象とは、虚像Ｓを重畳させる対象である。投影手段７は、運転者Ｄから見て虚像Ｓが重畳表示対象と重畳するように虚像Ｓの表示位置を定める。本実施形態の検出手段５は、先進運転支援システム（Advanced Driver Assistance System）である。検出手段５は、撮像手段２や各種センサから物体や路面等の重畳表示対象を検出する。本実施形態の重畳表示対象は、車両１００の前方の移動体、車両１００の前方の路面、車両１００の前方の構造物等、運転者Ｄが注意を払うべき対象である。本実施形態では、車両１００の前方の移動体が重畳表示対象として検出される。本実施形態のヘッドアップディスプレイ装置１は、検出手段５によって検出された検出対象を重畳表示対象とする。なお、検出対象とする移動体には、二輪車等を含む車両全般や、歩行者などが含まれる。

照度センサ６は、前方視界の明るさを検出する装置である。照度センサ６は、例えば、インストルメントパネル１０２の上面に配置される。照度センサ６は、ウインドシールド８等を介して車室内に入射する光を検出可能な位置に設置される。

投影手段７は、上記の表示装置１１および制御部１３を有する。制御部１３は、重畳描画装置であり、表示装置１１に表示させる画像、映像についての指令を作成する装置である。制御部１３は、表示装置１１の一部であってもよい。制御部１３は、例えば、演算部、記憶部、インタフェース部等を有するコンピュータである。制御部１３は、撮像手段２、ドライバモニタカメラ３、ナビゲーション装置４、検出手段５、照度センサ６のそれぞれと通信可能に接続されている。制御部１３は、撮像手段２が生成した前方画像を撮像手段２から取得する。

制御部１３は、ドライバモニタカメラ３から運転者Ｄの視点情報を取得する。ドライバモニタカメラ３は、撮像した運転者Ｄの画像（以下、単に「運転者画像」と称する。）から運転者Ｄの視点位置ＥＰを検出する。視点位置ＥＰは、車両１００に設定された座標における座標位置として算出される。視点位置ＥＰは、車幅方向の位置および車両高さ方向の位置を含み、更に、車両前後方向の位置を含んでもよい。なお、視点位置ＥＰの算出は制御部１３によってなされてもよい。

また、制御部１３は、車両１００の現在位置および地図情報をナビゲーション装置４から取得する。取得する地図情報は、車両１００が現在走行している道路の前方に位置する構造物のうち、前景の明暗に影響する構造物の情報である。より具体的には、制御部１３は、トンネルなど、車両１００の進行方向前方で前景の明暗が変化する箇所の位置情報をナビゲーション装置４から取得する。

制御部１３は、検出手段５が検出した検出対象についての情報を検出手段５から取得する。本実施形態の検出手段５は、撮像手段２と接続されており、撮像手段２から前方画像２０を取得する。本実施形態の検出手段５は、前方画像２０に基づいて、車両１００の前方に存在する検出対象を検出する。検出対象を検出する方法としては、例えば、パターンマッチングが挙げられる。検出手段５は、検出された検出対象について、車両１００との相対位置を算出することができる。なお、検出手段５は、前方画像２０に加えて、あるいは前方画像２０に代えて、レーダー情報等に基づいて上記の相対位置を算出することもできる。

検出手段５は、前方画像２０において、検出対象を含む画像領域である対象領域６０を決定する。図３には、対象領域６０の一例が示されている。本実施形態では、検出手段５によって検出される検出対象が他車両２１である。他車両２１は、車両１００の前方の道路上に位置しており、路上に停車している。検出手段５は、前方画像２０において、更に、路面２３および白線２４を検出している。検出手段５は、検出された路面２３および白線２４に基づいて、前方の道路の形状や勾配を推定することができる。また、検出手段５は、検出された路面２３および白線２４に基づいて、道路上における他車両２１の位置や他車両２１の走行速度等を算出することができる。

本実施形態の対象領域６０は、検出された他車両２１を含む矩形の画像領域、例えば正方形の画像領域である。検出手段５は、他車両２１に対して画像縦方向および画像横方向に所定のマージンを加えて対象領域６０を定める。なお、対象領域６０の決定や路面２３および白線２４の検出、道路の形状や勾配の推定等は、検出手段５に代えて制御部１３によってなされてもよい。ヘッドアップディスプレイ装置１は、決定された対象領域６０を虚像Ｓの重畳表示対象の領域として認識する。

本実施形態のヘッドアップディスプレイ装置１は、運転者Ｄから見て重畳表示対象と重畳する領域に虚像の枠を表示させる。この枠は、重畳表示対象を囲むように重畳表示対象の周囲に表示される。重畳表示対象を囲む枠は、例えば、図３に示すような矩形の枠７０である。他車両２１の周囲に虚像の枠７０が表示されることで、他車両２１に対する運転者の注意を喚起することができる。

ここで、他車両２１の近傍には、人２２がいる。人２２は、例えば、他車両２１に乗降する搭乗者や、他車両２１の横を歩いている歩行者である。人２２は、他車両２１の日陰部分にいる。このため、人２２は、他車両２１の光が当たっている部分２１ａ等と比較して目立ちにくい状態となっている。こうした状況において、枠７０が人２２に重畳して表示されてしまうと、運転者Ｄにとって枠７０が煩わしいものとなってしまう可能性がある。また、他車両２１の日陰になっている部分２１ｂの輝度に対して、当該部分２１ｂに隣接する枠７０の輝度が高すぎると、運転者Ｄにとって枠７０が目立ちすぎ、煩わしいものとなってしまう可能性がある。

本実施形態のヘッドアップディスプレイ装置１は、以下に説明するように、前方画像２０における重畳表示対象の領域の輝度分布に応じて、虚像Ｓの輝度分布を調節する。本実施形態の投影手段７は、背景が暗い部分では、その部分に重畳する虚像Ｓの輝度を低くする。よって、本実施形態のヘッドアップディスプレイ装置１は、虚像Ｓの輝度を適切なものとすることができる。

図４は、本実施形態のヘッドアップディスプレイ装置１の動作を示すフローチャートである。図４のフローチャートは、本実施形態に係る表示制御方法を示している。制御部１３は、以下に説明する表示制御方法を実行するように予めプログラムされている。ステップＳ１０において、制御部１３は、撮像手段２から前方画像２０を受信する。前方画像２０は、検出手段５に対しても送られる。ステップＳ１０が実行されると、ステップＳ２０に進む。

ステップＳ２０において、制御部１３は、検出手段５から認識情報を取得する。ステップＳ２０において取得される認識情報は、虚像Ｓを重畳表示する対象の情報、および虚像Ｓを重畳表示する領域の情報の少なくとも一方である。制御部１３は、虚像Ｓを重畳表示する対象の情報として、例えば、検出された他車両２１の車両１００に対する相対位置についての情報を取得する。制御部１３は、虚像Ｓを重畳表示する領域の情報として、対象領域６０に関する座標情報を取得する。この座標情報は、例えば、対象領域６０の四隅の点の座標値であってもよい。

制御部１３は、虚像Ｓの表示位置を設定するために、前方画像２０における座標値と、この座標値に対応する表示装置１１の画素位置との対応関係を予め記憶している。すなわち、制御部１３は、運転者Ｄから見た場合に表示装置１１の各画素の光が重畳する位置が、前方画像２０のどの座標位置に対応するかを予め記憶している。この対応関係は、例えば、運転者Ｄの視点位置ＥＰが予め定められた標準位置である場合の対応関係である。ステップＳ２０が実行されると、ステップＳ３０に進む。

ステップＳ３０において、制御部１３は、ドライバモニタカメラ３から運転者Ｄの視点位置ＥＰを取得する。ステップＳ３０が実行されると、ステップＳ４０に進む。

ステップＳ４０において、制御部１３は、運転者Ｄの視点位置ＥＰと撮像手段２との間の視差を算出する。制御部１３は、例えば、撮像手段２の位置と、ステップＳ２０において取得した他車両２１の位置と、ステップＳ３０で取得した視点位置ＥＰとに基づいて視差を算出する。ステップＳ４０が実行されると、ステップＳ５０に進む。

ステップＳ５０において、制御部１３は、視差に応じて前方画像２０を分割する。制御部１３は、図５に示すように、対象領域６０を複数の分割領域６１に分割する。各分割領域６１の形状は、矩形である。本実施形態では、分割領域６１の形状が正方形とされている。図５に示すように、対象領域６０は、画像横方向Ｗに沿って複数の列に等分割され、かつ画像縦方向Ｈに沿って複数の行に等分割される。本実施形態では、行の高さＨ１は各行で共通であり、かつ列の幅Ｗ１は各列で共通である。なお、後述するように、対象領域６０が分割される分割数、言い換えると高さＨ１および幅Ｗ１は、視差の大きさに応じて異なる。ステップＳ５０が実行されると、ステップＳ６０に進む。

ステップＳ６０において、制御部１３は、分割したブロック毎に明るさ（階調値）を取得し平滑化する。図６に示すように、対象領域６０において分割領域６１（ブロック）の各列を第一列ｘ１、第二列ｘ２、…、第六列ｘ６と称する。また、対象領域６０において分割領域６１の各行を第一行ｙ１、第二行ｙ２、…、第六行ｙ６と称する。制御部１３は、第一行第一列（ｘ１，ｙ１）から第六行第六列（ｘ６，ｙ６）までの各分割領域６１について、その分割領域６１の明るさを示す代表値（以下、単に「代表輝度値ＢＲ」と称する。）を算出する。

例えば、第一行第一列（ｘ１，ｙ１）の分割領域６１の代表輝度値ＢＲは、第一行第一列（ｘ１，ｙ１）の分割領域６１を構成する複数の画素の輝度を平均した平均値である。同様にして、制御部１３は、各分割領域６１の代表輝度値ＢＲをそれぞれ算出する。ステップＳ６０が実行されると、ステップＳ７０に進む。

ステップＳ７０において、制御部１３は、ナビゲーション装置４から自車位置および地図情報を取得する。ステップＳ７０が実行されると、ステップＳ８０に進む。

ステップＳ８０において、制御部１３は、照度センサ６から前方視界の明るさを取得する。制御部１３は、照度センサ６から照度の検出結果を示す情報を取得する。ステップＳ８０が実行されると、ステップＳ９０に進む。

ステップＳ９０において、制御部１３は、周辺の明暗を認識する。制御部１３は、ステップＳ７０で取得した自車位置および地図情報と、ステップＳ８０で取得した前方視界の明るさに基づいて、周辺の明暗を認識する。制御部１３は、例えば、照度センサ６から取得した照度から周辺の明暗を算出する。制御部１３は、算出された明暗に対して、車両１００の前方のトンネルと車両１００との相対位置に基づいて、周辺の明暗を補正する。車両１００から前方のトンネルまでの距離が短いほど、周辺の明暗は暗い側の値に補正される。なお、トンネルまでの相対位置に基づいて、周辺の明暗を補正するとしたが、例えば、トンネルとの距離が一定距離に近づいた場合に明暗を一定値に補正してもよい。ステップＳ９０が実行されると、ステップＳ１００に進む。

ステップＳ１００において、制御部１３は、ブロック毎に平滑化した前方画像２０と重畳表示を合成する。制御部１３は、ステップＳ６０において算出された代表輝度値ＢＲに基づいて、表示する虚像Ｓの各部の輝度を設定する。輝度の設定について、図７から図９を参照して説明する。図７には、代表輝度値ＢＲのマップが示されている。このマップは、各分割領域６１の画素の輝度が代表輝度値ＢＲに平滑化されたものである。図７のマップは、対象領域６０の輝度分布のマップである。各分割領域６１の濃淡は、代表輝度値ＢＲの値に対応している。代表輝度値ＢＲが高いほど分割領域６１が淡く示され、代表輝度値ＢＲが低いほど分割領域６１が濃く示されている。

図８には、輝度が調整される前の枠４０が示されている。枠４０は、重畳表示対象の領域に重畳させて表示される虚像Ｓである。枠４０は、複数の部分４１に分割されている。第一行第一列（ｘ１，ｙ１）の部分４１は、第一行第一列（ｘ１，ｙ１）の分割領域６１に対応する部分である。同様にして、第六行第六列（ｘ６，ｙ６）の部分４１まで、枠４０が２０個の部分４１に分割されている。各部分４１の濃淡は、各部分４１が投影される際の輝度値ＢＴに対応している。濃く表示されている部分４１は高輝度で投影され、淡く表示されている部分４１は低輝度で表示される。輝度値ＢＴが調整される前の枠４０では、各部分４１の輝度値ＢＴ、すなわち各部分４１の濃淡は共通の値である。

制御部１３は、各部分４１の輝度値ＢＴに対して、対応する分割領域６１の代表輝度値ＢＲに基づく調節を行う。第一行第一列（ｘ１，ｙ１）の部分４１を例に輝度の調節について説明する。制御部１３は、第一行第一列の分割領域６１の代表輝度値ＢＲ（ｘ１，ｙ１）に応じて、第一行第一列の部分４１の輝度値ＢＴ（ｘ１，ｙ１）を調節する。制御部１３は、例えば、代表輝度値ＢＲ（ｘ１，ｙ１）が基準値に対して高輝度であるほど、輝度値ＢＴ（ｘ１，ｙ１）を高輝度側に補正する。一方、制御部１３は、代表輝度値ＢＲ（ｘ１，ｙ１）が基準値に対して低輝度であるほど、輝度値ＢＴ（ｘ１，ｙ１）を低輝度側に補正する。制御部１３は、同様にして、各部分４１の輝度値ＢＴを補正する。

制御部１３は、更に、ステップＳ９０で認識された周辺の明暗に応じて輝度値ＢＴを補正する。認識された周辺の明暗が明るい側の値であるほど、各部分４１の輝度値ＢＴが高輝度側に補正される。一方、認識された周辺の明暗が暗い側の値であるほど、各部分４１の輝度値ＢＴが低輝度側に補正される。図９には、輝度値ＢＴが補正された後の枠４０Ａが示されている。図９から分かるように、背景が暗いところに重畳される部分４１、例えば、符号４１ａで示す部分４１は、補正後の輝度値ＢＴが低輝度となっている。一方、背景が明るいところに重畳される部分、例えば符号４１ｂで示す部分４１は、補正後の輝度値ＢＴが高輝度となっている。各部分４１の輝度値ＢＴが補正されることで、枠４０Ａの輝度分布が調節される。なお、補正後の輝度値ＢＴは、予め定められた複数段階の階調値の何れかの値とされてもよい。例えば、最終的な輝度値ＢＴは、複数段階の階調値のうちで代表輝度値ＢＲや周辺の明暗に応じて算出された輝度値ＢＴに最も近い値とされてもよい。ステップＳ１００が実行されると、ステップＳ１１０に進む。

ステップＳ１１０において、制御部１３は、重畳表示映像を出力させる。制御部１３は、図９に示す輝度補正後の枠４０Ａを表示装置１１によって表示させる。表示装置１１は、輝度補正後の枠４０Ａの画像を生成し、この画像をミラー１２に向けて投影する。表示装置１１から投影された枠４０Ａの画像は、ミラー１２およびウインドシールド８によって反射されて運転者Ｄによって視認される。運転者Ｄからは、図１０に示すように、枠４０Ａが対象領域６０に重畳し、かつ重畳表示対象である他車両２１を囲む虚像として視認される。ステップＳ１１０が実行されると、本制御フローは終了する。

本実施形態では、図１０に示すように、枠４０Ａにおいて、他車両２１の日陰に重畳される部分４１ａが低輝度で表示される。これにより、運転者Ｄが日陰にいる人２２を認識しやすくなっている。また、枠４０Ａにおいて、明るい背景に重畳する部分４１ｂは、高輝度で表示される。よって、運転者Ｄは明るい背景に重畳する部分４１ｂを明瞭に視認することができる。このように、本実施形態のヘッドアップディスプレイ装置１は、重畳表示対象と重畳する領域に適切な輝度の枠４０Ａ（虚像Ｓ）を表示させることができる。

また、本実施形態のヘッドアップディスプレイ装置１は、運転者Ｄの視点位置ＥＰと撮像手段２の位置との視差の大きさに応じて分割領域６１の大きさを変化させる。制御部１３は、例えば、視差が大きい場合、視差が小さい場合よりも分割領域６１を大きくする。視差が大きい場合、運転者Ｄが視認する対象位置の明るさと、前方画像２０におけるこの対象位置に対応する画素の明るさとに齟齬が生じる可能性が大きい。視差が大きい場合に分割領域６１の大きさを大きくすることで、上記のような齟齬の影響が吸収され、緩和されると考えられる。

視差が小さい場合には、分割領域６１が小さくされてもよい。視差が小さい場合には、上記のような齟齬が生じにくい。対象領域６０が小さな分割領域６１に分割されることで、よりきめ細かな輝度値ＢＴの補正が可能となる。

以上説明したように、本実施形態に係るヘッドアップディスプレイ装置１は、ウインドシールド８と、投影手段７と、撮像手段２と、を有する。ウインドシールド８は、運転者Ｄの前方に配置された反射部材である。投影手段７は、ウインドシールド８に向けて光を投影し、運転者Ｄから見て重畳表示対象と重畳する領域に虚像Ｓを表示させる。本実施形態の虚像Ｓは、枠４０Ａである。撮像手段２は、車両１００の前方を撮像し、前方画像２０を生成する。

投影手段７は、前方画像２０における対象領域６０の輝度分布に応じて、虚像Ｓの輝度分布を調節する。対象領域６０は、前方画像２０における重畳表示対象の領域である。重畳表示対象の領域は、重畳表示対象が撮像された領域であり、重畳表示対象を含むように定められる。本実施形態のヘッドアップディスプレイ装置１は、対象領域６０の輝度分布に応じて虚像Ｓの輝度分布を調節することで、虚像Ｓを適切な輝度で表示させることができる。

本実施形態の投影手段７は、対象領域６０において低輝度の部分が存在する場合、虚像Ｓにおける低輝度の部分に対応する部分４１ａの輝度を低くする。虚像Ｓの輝度分布をこのように調節した場合、運転者Ｄが暗い背景を視認しやすくなる。その結果、運転者Ｄが表示される虚像Ｓに対して煩わしさを感じにくくなる。また、運転者Ｄが車両前方の物体や路面２３等を視認する際に虚像Ｓが妨げとなりにくい。

本実施形態の投影手段７は、虚像Ｓにおいて、明るい背景に重畳させる部分の輝度を高輝度側に調節する。明るい背景に重畳する部分の虚像Ｓが高輝度で表示されることで、虚像Ｓの視認性が高くなる。よって、本実施形態に係る虚像Ｓは、重畳表示対象の存在を運転者Ｄに適切に認識させることができる。このように、本実施形態のヘッドアップディスプレイ装置１は、重畳の機能を損ねない表示を実現できる。本実施形態のヘッドアップディスプレイ装置１によれば、虚像Ｓの輝度分布が調節されることで、運転者Ｄにとって前方視界内の物体や路面２３を視認しやすくなる。

本実施形態のヘッドアップディスプレイ装置１では、対象領域６０は複数の分割領域６１に分割される。投影手段７は、分割領域６１の代表輝度値ＢＲに応じて、虚像Ｓにおける分割領域６１に重畳させる部分の輝度を調節する。従って、対象領域６０において明暗にバラツキがある場合に、虚像Ｓの輝度分布を適切に調節することが可能となる。本実施形態では、代表輝度値ＢＲとして、分割領域６１の各画素の輝度の平均値が算出される。このように平均値が用いられることで、視点位置ＥＰと撮像手段２の位置との視差が吸収される。また、車両１００の走行に伴って動的に変化する前方視界の明暗に緩やかに対応しながら虚像Ｓの輝度分布を調節することが可能となる。

また、本実施形態のヘッドアップディスプレイ装置１は、更に、運転者Ｄの視点位置ＥＰと撮像手段２の位置との視差を算出する算出手段を有する。本実施形態の制御部１３は、この算出手段として機能するプログラムを記憶している。制御部１３は、視差の大きさに応じて分割領域６１の大きさを変化させる。視差が大きくなるほど、運転者Ｄに見えている前方の景色と、撮像手段２によって生成された前方画像２０との一致度が低下しやすい。視差の大きさに応じて分割領域６１の大きさが増減されることで、虚像Ｓの輝度分布の調節が適切になされる。

本実施形態のヘッドアップディスプレイ装置１において、重畳表示対象は、検出手段５によって検出された車両前方の検出対象である。本実施形態のヘッドアップディスプレイ装置１は、検出対象に対して適切な輝度の虚像Ｓを重畳して表示させることができる。

本実施形態のヘッドアップディスプレイ装置１において、検出対象（重畳表示対象）は、車両１００の前方の移動体である。投影手段７が表示させる虚像Ｓは、移動体を囲む枠４０Ａである。表示される枠４０Ａにおいて、移動体の明るい領域に隣接する部分４１ｂが高輝度で表示され、移動体の暗い領域に隣接する部分４１ａが低輝度で表示される。よって、移動体に対して適切なコントラストで枠４０Ａが表示される。

本実施形態の表示制御方法は、取得ステップ（ステップＳ１０）と、投影ステップ（ステップＳ１１０）とを含む。取得ステップにおいて、制御部１３は、車両１００の前方の画像である前方画像を取得する。投影ステップにおいて、投影手段７は、ウインドシールド８に向けて光を投影し、運転者Ｄから見て重畳表示対象と重畳する領域に虚像Ｓを表示させる。投影手段７は、投影ステップにおいて、前方画像２０における重畳表示対象の領域（対象領域６０）の輝度分布に応じて、虚像Ｓの輝度分布を調節する。よって、本実施形態の表示制御方法は、虚像Ｓを適切な輝度で表示させることができる。

本実施形態の表示制御方法では、対象領域６０において低輝度の部分が存在する場合、投影ステップにおいて虚像Ｓにおける低輝度の部分に対応する部分の輝度を低くする。よって、表示される虚像Ｓに対して運転者Ｄが煩わしさを感じにくくなる。

本実施形態の表示制御方法では、対象領域６０は複数の分割領域６１に分割される。投影手段７は、投影ステップにおいて、分割領域６１の輝度値に応じて、虚像Ｓにおける分割領域６１に対応する部分の輝度を調節する。従って、対象領域６０において明暗にバラツキがある場合に、虚像Ｓの輝度分布を適切に調節することが可能となる。

本実施形態の表示制御方法では、運転者Ｄの視点位置ＥＰと撮像手段２の位置との視差の大きさに応じて分割領域６１の大きさが変化してもよい。また、重畳表示対象は、検出手段５によって検出された車両前方の検出対象であってもよい。

[実施形態の第１変形例]
実施形態の第１変形例について説明する。図１１は、実施形態の第１変形例に係る輝度補正前の虚像を示す図、図１２は、実施形態の第１変形例に係る対象領域を示す図、図１３は、実施形態の第１変形例に係る輝度補正後の虚像を示す図、図１４は、実施形態の第１変形例に係るフローチャートである。実施形態の第１変形例は、重畳表示対象が前方の道路である点において上記実施形態と異なる。

図１１に示すように、第１変形例では、前方の道路の路面２５が重畳表示対象である。路面２５に重畳して表示される虚像Ｓは、ナビゲーション装置４による経路案内の矢印５０である。第１変形例のヘッドアップディスプレイ装置１は、前方の路面２５に重畳させて矢印５０を表示させる。図１１の矢印５０は、前方の交差点において経路案内による進行方向が左折方向であることを示している。

制御部１３は、撮像手段２から取得した前方画像２０に対して、例えば図１２に示すように対象領域８０を定める。対象領域８０の形状は、矢印５０の表示領域を含むように定められる。対象領域８０は、例えば、ナビゲーション装置４から取得した地図情報および車両１００の現在位置の情報に基づいて定められる。なお、ナビゲーション装置４が、運転者Ｄから見た交差点の形状を示す画像データを記憶している場合には、この画像データと前方画像２０とのパターンマッチング等により対象領域８０が定められてもよい。

対象領域８０は、複数の分割領域８１に分割される。対象領域８０は、例えば、格子状に分割される。制御部１３は、各分割領域８１の代表輝度値ＢＲを算出して、輝度分布のマップを作成する。制御部１３は、輝度分布のマップに基づいて、矢印５０における各分割領域８１に対応する部分の輝度を補正する。制御部１３は、分割領域８１の代表輝度値ＢＲが高輝度である場合、矢印５０におけるこの分割領域８１に重畳する部分の輝度値ＢＴを高輝度側に補正する。代表輝度値ＢＲが高輝度であるほど輝度値ＢＴが高輝度側に補正されてもよい。一方、制御部１３は、分割領域８１の代表輝度値ＢＲが低輝度である場合、矢印５０におけるこの分割領域８１に重畳する部分の輝度値ＢＴを低輝度側に補正する。代表輝度値ＢＲが低輝度であるほど輝度値ＢＴが低輝度側に補正されてもよい。

図１１および図１２に示すように、路面２５には、他車両２６の影２７が伸びている。このため、影２７に対応する分割領域８１ａでは、代表輝度値ＢＲが低輝度となる。図１３には、輝度補正後の矢印５０Ａが示されている。矢印５０Ａは、相対的に低輝度の部分５１ａと、相対的に高輝度の部分５０ｂとを有する。低輝度の部分５１ａは、分割領域８１ａに対応する部分である。高輝度の部分５０ｂは、分割領域８１ａ以外の分割領域８１に対応する部分である。矢印５０Ａにおいて影２７に重なる部分が低輝度とされることで、矢印５０Ａの輝度が適切なものとなる。

図１４のフローチャートを参照して、第１変形例におけるヘッドアップディスプレイ装置１の動作について説明する。図１４のフローチャートは、第１変形例に係る表示制御方法を示している。第１変形例に係るフローチャートでは、上記実施形態のステップＳ２０に代えてステップＳ２５が設けられている。ステップＳ１０において前方画像が取得されると、ステップＳ２５に進む。

ステップＳ２５において、制御部１３は、認識情報を取得する。制御部１３は、ナビゲーション装置４から重畳表示対象に関する認識情報を取得する。ナビゲーション装置４から取得する情報は、例えば、重畳表示対象である路面２５についての情報や、車両１００の前方の交差点の道路形状についての情報などである。制御部１３は、更に、前方の路面２５に表示する矢印５０についての情報をナビゲーション装置４から取得してもよい。制御部１３は、検出手段５から重畳表示領域に関する認識情報を取得する。検出手段５から取得する情報は、例えば、検出された白線２４についての座標情報や、車両１００が走行している車線の道路形状についての座標情報である。制御部１３は、取得した認識情報に基づいて対象領域８０を設定する。ステップＳ２５が実行されると、ステップＳ３０に進む。

ステップＳ３０からステップＳ１１０までは、上記実施形態の表示制御方法に準じている。制御部１３は、ステップＳ３０で運転者Ｄの視点位置ＥＰを取得し、ステップＳ４０で視点位置ＥＰと撮像手段２との間の視差を算出する。制御部１３は、例えば、ステップＳ２５において取得した重畳表示領域についての認識情報およびステップＳ３０で取得した視点位置ＥＰに基づいて視差を算出する。

制御部１３は、ステップＳ５０において、対象領域８０を視差に応じた複数の分割領域８１に分割し、ステップＳ６０において分割領域８１ごとに代表輝度値ＢＲを算出する。制御部１３は、ステップＳ７０においてナビゲーション装置４から自車位置および地図情報を取得し、ステップＳ８０において前方視界の明るさを取得し、ステップＳ９０において周辺の明暗を認識する。

制御部１３は、ステップＳ１００においてブロックごとに平滑化した前方画像２０と重畳表示を合成する。制御部１３は、ステップＳ６０で算出された代表輝度値ＢＲに基づいて、矢印５０の各部分の輝度値ＢＴを調整する。また、制御部１３は、周辺の明暗についての認識結果に応じて矢印５０の全体の輝度レベルを補正する。ステップＳ１００における輝度補正によって、補正後の矢印５０Ａの輝度分布が決定される。制御部１３は、ステップＳ１１０において重畳表示映像を出力する。制御部１３は、補正後の矢印５０Ａを表示装置１１によって表示させる。

［実施形態の第２変形例］
代表輝度値ＢＲは、分割領域６１の各画素の輝度の平均値には限定されない。代表輝度値ＢＲは、各画素の輝度の中央値や最頻値であっても、その他の各画素の輝度を代表する値であってもよい。

重畳表示対象と重畳する領域に表示される虚像Ｓは、例示した枠４０Ａには限定されない。枠４０Ａは、閉じていなくてもよい。枠４０Ａとは異なる虚像Ｓが表示されてもよい。例えば、枠４０Ａに代えて括弧や円などで重畳表示対象が囲まれてもよく、重畳表示対象全体を塗りつぶすような描画も考えられる。重畳表示対象を塗りつぶす場合には、虚像Ｓの背後に重畳表示対象を視認できるような描画とされてもよい。また、重畳表示対象と重畳する領域に複数の虚像Ｓが表示されてもよい。

枠４０Ａの輝度だけでなく、枠４０Ａの太さが調節されてもよい。例えば、制御部１３は、代表輝度値ＢＲが低輝度である分割領域６１に対しては、対応する部分４１の太さを細くし、代表輝度値ＢＲが高輝度である分割領域６１に対しては、対応する部分４１の太さを太くしてもよい。

虚像Ｓを重畳表示する対象は、他車両２１には限定されない。重畳表示の対象は、人２２や高速道路を含む道路上の落下物等の障害物、その他の移動体であってもよく、路面２３や白線２４であってもよい。

投影手段７によって投影される光を運転者Ｄに向けて反射する反射部材は、ウインドシールド８には限定されない。反射部材は、コンバイナやその他の半透過性を有する部材であってもよい。

投影手段７は、表示装置１１として、液晶表示装置に代えて他の表示装置を有してもよい。例えば、複数の光源を点灯させることで、この光源の光により枠４０Ａを表示させてもよい。光源としては、ＬＥＤ（Light Emitting Diode）等が用いられる。

視差に応じた分割領域６１，８１の大きさの調節は、車両高さ方向と車幅方向とで独立になされてもよい。例えば、ステップＳ４０において、車両高さ方向における視差の大きさ、および車幅方向における視差の大きさがそれぞれ算出される。車両高さ方向における視差の大きさに応じて分割領域６１，８１の行の高さＨ１が調節され、車幅方向における視差の大きさに応じて列の幅Ｗ１が調節される。

上記の実施形態および変形例に開示された内容は、適宜組み合わせて実行することができる。

１ ヘッドアップディスプレイ装置
２ 撮像手段
３ ドライバモニタカメラ
４ ナビゲーション装置
５ 検出手段
６ 照度センサ
７ 投影手段
８ ウインドシールド
１１ 表示装置
１２ ミラー
１３ 制御部
２０ 前方画像
２１ 他車両
２２ 人
２３ 路面
２４ 白線
４０，４０Ａ 枠
４１ 部分
６０ 対象領域
６１ 分割領域
１００ 車両
１０１ ステアリングホイール
１０２ インストルメントパネル
１０３ ルーフ
１０５ ステアリングコラム
ＢＲ 代表輝度値
ＢＴ 輝度値
Ｄ 運転者
Ｈ 画像縦方向
Ｓ 虚像
Ｗ 画像横方向

Claims (11)

1. 車両を運転する運転者の前方に配置された反射部材と、
   前記反射部材に向けて光を投影し、前記運転者から見て重畳表示対象と重畳する領域に虚像を表示させる投影手段と、
   前記車両の前方を撮像し、当該前方の画像である前方画像を生成する撮像手段と、
   を備え、
   前記投影手段は、前記前方画像における前記重畳表示対象の領域の輝度分布に応じて、前記虚像の輝度分布を調節し、
   前記投影手段は、前記重畳表示対象の領域において低輝度の部分が存在する場合、前記虚像における前記低輝度の部分に対応する部分の輝度を低くする
   ことを特徴とするヘッドアップディスプレイ装置。
2. 車両を運転する運転者の前方に配置された反射部材と、
   前記反射部材に向けて光を投影し、前記運転者から見て重畳表示対象と重畳する領域に虚像を表示させる投影手段と、
   前記車両の前方を撮像し、当該前方の画像である前方画像を生成する撮像手段と、
   を備え、
   前記投影手段は、前記前方画像における前記重畳表示対象の領域の輝度分布に応じて、前記虚像の輝度分布を調節し、
   前記重畳表示対象の領域は複数の分割領域に分割され、
   前記投影手段は、前記分割領域の輝度値に応じて、前記虚像における前記分割領域に対応する部分の輝度を調節する
   ことを特徴とするヘッドアップディスプレイ装置。
3. 前記重畳表示対象の領域は複数の分割領域に分割され、
   前記投影手段は、前記分割領域の輝度値に応じて、前記虚像における前記分割領域に対応する部分の輝度を調節する
   請求項１に記載のヘッドアップディスプレイ装置。
4. 更に、前記運転者の視点位置と前記撮像手段の位置との視差を算出する算出手段を備え、
   前記視差の大きさに応じて前記分割領域の大きさを変化させる
   請求項２または３に記載のヘッドアップディスプレイ装置。
5. 前記重畳表示対象は、検出手段によって検出された車両前方の検出対象である
   請求項１から４の何れか１項に記載のヘッドアップディスプレイ装置。
6. 前記検出対象は、前記車両の前方の移動体であり、
   前記投影手段が表示させる前記虚像は、前記移動体を囲む枠である
   請求項５に記載のヘッドアップディスプレイ装置。
7. 車両の前方の画像である前方画像を取得する取得ステップと、
   前記車両を運転する運転者の前方に配置された反射部材に向けて光を投影し、前記運転者から見て重畳表示対象と重畳する領域に虚像を表示させる投影ステップと、
   を含み、
   前記投影ステップにおいて、前記前方画像における前記重畳表示対象の領域の輝度分布に応じて、前記虚像の輝度分布を調節し、
   前記前方画像において低輝度の部分が存在する場合、前記投影ステップにおいて前記虚像における前記低輝度の部分に対応する部分の輝度を低くする
   ことを特徴とする表示制御方法。
8. 車両の前方の画像である前方画像を取得する取得ステップと、
   前記車両を運転する運転者の前方に配置された反射部材に向けて光を投影し、前記運転者から見て重畳表示対象と重畳する領域に虚像を表示させる投影ステップと、
   を含み、
   前記投影ステップにおいて、前記前方画像における前記重畳表示対象の領域の輝度分布に応じて、前記虚像の輝度分布を調節し
   前記重畳表示対象の領域は複数の分割領域に分割され、
   前記投影ステップにおいて、前記分割領域の輝度値に応じて、前記虚像における前記分割領域に対応する部分の輝度を調節する
   ことを特徴とする表示制御方法。
9. 前記重畳表示対象の領域は複数の分割領域に分割され、
   前記投影ステップにおいて、前記分割領域の輝度値に応じて、前記虚像における前記分割領域に対応する部分の輝度を調節する
   請求項７に記載の表示制御方法。
10. 前記運転者の視点位置と前記前方画像を撮像する撮像手段の位置との視差の大きさに応じて前記分割領域の大きさを変化させる
    請求項８または９に記載の表示制御方法。
11. 前記重畳表示対象は、検出手段によって検出された車両前方の検出対象である
    請求項７から１０の何れか１項に記載の表示制御方法。

Images