JP6988368B2

JP6988368B2 - ヘッドアップディスプレイ装置

Info

Publication number: JP6988368B2
Application number: JP2017205732A
Authority: JP
Inventors: 雄治猪坂
Original assignee: Nippon Seiki Co Ltd
Current assignee: Nippon Seiki Co Ltd
Priority date: 2017-10-25
Filing date: 2017-10-25
Publication date: 2022-01-05
Anticipated expiration: 2037-10-25
Also published as: JP2019077340A

Description

本発明は、ヘッドアップディスプレイ装置に関する。

車両用表示装置として、車両のウインドシールド等の透光部材に表示画像を投影することによって、ウインドシールドで反射される表示画像の光を用いて運転席に座った搭乗者に、虚像を視認させる、いわゆるヘッドアップディスプレイ（HUD: Head Up Display）装置がある。例えば、特許文献１に開示される車両用画像表示システムは、自動運転中の自車輌が次に取ろうとしている走行行動を表示画像として生成し、ウインドシールドに投影していた。

特表２０１６−１８２８９１号公報

しかしながら上記特許文献１に記載の構成では、側後方状況が搭乗者に通知されないため、自動運転システムが側後方状況を認識しているかが分からず、搭乗者に不安感や不快感を与えるという問題点があった。

本発明は、自動運転時の車線変更において側後方の状況を表示することで、自動運転システムが正常に動作しているという安心感を搭乗者に与えるヘッドアップディスプレイ装置を提供することを目的とする。

本発明のヘッドアップディスプレイ装置は、
車両の自動運転を行う自動運転部と通信可能に接続されるヘッドアップディスプレイ装置であって、
前記車両の車線変更を含む自動運転関連情報を取得する自動運転情報取得部と、
前記車両の側後方情報を取得する側後方情報取得部と、
表示画像を表示する表示部と、
前記表示画像を制御する制御部と、
を備え、
前記制御部は、前記車両の前記車線変更が行われる場合に、前記側後方情報に基づいて前記表示画像に側後方画像を生成する、
ことを特徴とする。

本発明によれば、自動運転システムが正常に動作しているという安心感を搭乗者に与えることが可能となる。

本発明の第一乃至第六の実施形態のＨＵＤ装置の構成と、このＨＵＤ装置が表示する虚像を説明する図である。本発明の第一乃至第六の実施形態のＨＵＤ装置の構成を示す図である。上記第一の実施形態に係るＨＵＤ装置が表示する虚像の表示例を示す図である。上記第二の実施形態に係るＨＵＤ装置が表示する虚像の表示例を示す図である。上記第三の実施形態に係るＨＵＤ装置が表示する虚像の表示例を示す図である。上記第四の実施形態に係るＨＵＤ装置が表示する虚像の表示例を示す図である。上記第五の実施形態に係るＨＵＤ装置が表示する虚像の表示例を示す図である。本発明の第一乃至第六の実施形態のＨＵＤ装置の主要な動作手順を示すフロー図である。

以下に説明する好ましい実施形態は、本発明を容易に理解するために用いられている。従って、当業者は、本発明が、以下に説明される実施形態によって不当に限定されないことを留意すべきである。

図１は、本発明の実施形態であるヘッドアップディスプレイ装置（以下、ＨＵＤ装置ともいう）４の構成の概略図を示す。ＨＵＤ装置４は、表示部１０と、平面ミラー２１と、曲面ミラー２２と、筐体３０と、を備え、筐体３０はケース３１と透明カバー３２からなる。ＨＵＤ装置４は、表示部１０が表示した表示画像Ｍを表す表示光Ｌを、平面ミラー２１と曲面ミラー２２とで反射させ、ＨＵＤ装置４が搭載される車両１の透光部材からなるウインドシールド２に出射し、搭乗者３（通常、車両１の運転者）に、実風景に重畳するように虚像Ｖを視認させるものである。また、図１に示されている座標軸において、ｚ軸正方向は車両１の前方向を表し、ｙ軸正方向は鉛直方向上側を表し、ｘ軸正方向（図面に対して垂直上方向）は車両１の左方向を表す。

図２は、ＨＵＤ装置４のブロック図を示す。ＨＵＤ装置４は、表示部１０、制御部１００、車両情報取得部２００、自動運転情報取得部３００、側後方情報取得部４００、前方情報取得部５００を備えている。

表示部１０は、液晶パネルモジュールからなり、制御部１００が生成した表示画像Ｍを表示する。なお、他の実施例として、有機ＥＬ（Electro Luminescence）素子等の自発光表示パネルモジュールであってもよく、ＤＭＤ（Digital Micromirror Device）、ＬＣｏＳ（Liquid Crystal on Silicon）（登録商標）等の反射型表示パネルモジュールであってもよく、レーザー光を走査する走査型表示装置等であってもよい。

制御部１００は、回路で構成され、前記回路は少なくとも１つのプロセッサ（例えば、中央処理装置（CPU: Central Processing Unit））、少なくとも１つの特定用途向け集積回路（ASIC: Application Specific Integrated Circuit）、および／または、少なくとも１つのフィールドプログラマブルゲートアレイ（FPGA: Field-Programmable Gate Array）などの少なくとも１つの半導体集積回路を含む。少なくとも１つのプロセッサは、少なくとも１つのコンピュータ読み取り可能で有形な記録媒体から１つまたは複数の命令を読み取ることにより、図２に示すＨＵＤ装置４の機能の全部または一部を実行することができる。前記記録媒体は、ハードディスクのような任意のタイプの磁気媒体、ＣＤおよびＤＶＤのような任意のタイプの光学媒体、揮発性メモリのような任意のタイプの半導体メモリ、および不揮発性メモリを含む。揮発性メモリはＤＲＡＭ及びＳＲＡＭを含み、不揮発性メモリはＲＯＭ及びＮＶＲＡＭを含む。半導体メモリは、少なくとも１つのプロセッサと共に回路の一部となる半導体回路でもある。ＡＳＩＣは、図２に示すＨＵＤ装置４の機能の全部または一部を実行するようにカスタマイズされた集積回路であり、ＦＰＧＡは、製造後に、図２に示すＨＵＤ装置４の機能の全部または一部を実行できるように設計された集積回路である。制御部１００は、車両情報取得部２００、自動運転情報取得部３００、側後方情報取得部４００、前方情報取得部５００からの情報を基に画像処理を行い、表示画像Ｍを生成、及び制御する。

車両情報取得部２００は、車両１の車両情報（例えば、速度、方向指示器の点滅、走行エネルギー残量、走行距離）をＣＡＮ（Control Area Network）や車載Ｅｔｈｅｒｎｅｔ等の図示しない通信インターフェースを介して取得し、制御部１００に出力する。また、車両情報取得部２００は、車両１の前記車両情報を図示しない自動運転部にあわせて出力してもよい。

自動運転情報取得部３００は、図示しない自動運転部から、少なくとも車両１の車線変更を含む自動運転関連情報をＣＡＮや車載Ｅｔｈｅｒｎｅｔ等の図示しない通信インターフェースを介して取得し、制御部１００に出力する。

なお、車両の自動運転システムは、ＳＡＥ（Society of Automotive Engineers）Ｊ３０１６、及び官民ＩＴＳ構想・ロードマップ２０１７（高度情報通信ネットワーク社会推進戦略本部・官民データ活用推進戦略会議）において、技術的レベルに応じてレベル０からレベル５までの６段階に定義されている。上記ロードマップでは、ＳＡＥレベル３以上の自動運転システムを「高度自動運転システム」、また、ＳＡＥレベル４，５の自動運転システムを「完全自動運転システム」と呼んでいる。本明細書における「自動運転」は、上記レベル１からレベル５までの自動運転システムを含むものとする。

側後方情報取得部４００は、ステレオカメラや単眼カメラから構成され、車両１の側後方を撮影し、撮影した画像データを解析して車両１の側後方情報を取得し、制御部１００に出力する。前記側後方情報は、車両１の側後方の実風景、対象物（通常、他の車両）、前記対象物に関する対象物情報(例えば、対象物の画像、対象物の位置、対象物の速度、車両１と対象物の相対速度)等を含む。なお、他の実施例として、ＬｉＤＡＲ（Light Detection and Ranging）等のリモートセンシングや、Ｖ２Ｘ（Vehicle to X）等の車車間通信、路車間通信から車両１の側後方情報を取得し、制御部１００に出力するものであってもよい。また、側後方情報取得部４００は、車両１の前記側後方情報を図示しない自動運転部にあわせて出力してもよい。

前方情報取得部５００は、ステレオカメラや単眼カメラから構成され、車両１の前方を撮影し、撮影した画像データを解析して車両１の前方情報を制御部１００に出力する。なお、他の実施例として、ＬｉＤＡＲ（Light Detection and Ranging）等のリモートセンシングや、Ｖ２Ｘ（Vehicle to X）等の車車間通信、路車間通信から車両１の前方情報を検知し、制御部１００に出力するものであってもよい。また、前方情報取得部５００は、車両１の前記前方情報を図示しない自動運転部にあわせて出力してもよい。

次に、図３乃至図８を用いて、ＨＵＤ装置４の表示、及び動作を説明する。

図３は、ＨＵＤ装置４の第一の実施形態を示す。制御部１００は、自動運転情報取得部３００の自動運転関連情報から車両１が車線変更を行うか判定する。制御部１００は、車両１が車線変更を行う場合、側後方情報取得部４００の側後方情報を基に側後方画像１２０を生成する。制御部１００は、側後方画像１２０が表示領域１１０内に配置されるように表示画像Ｍを生成する。

図４は、ＨＵＤ装置４の第二の実施形態を示す。制御部１００は、自動運転情報取得部３００の自動運転関連情報から車両１が車線変更を行うか判定する。制御部１００は、車両１が車線変更を行う場合、側後方情報取得部４００の側後方情報を基に側後方画像１２０を生成する。制御部１００は、前記側後方情報を基に側後方に車両１の車線変更に影響する対象物が存在するか判定する。例えば、側後方情報に対象物が存在し、且つ対象物の位置が車両１に近い場合や対象物の速度が車両１より速い場合に、車両１の車線変更に影響する前記対象物が存在すると判定する。車両１の車線変更に影響する対象物１２２が存在する場合は、対象物１２２に対する注意喚起画像１３０を側後方画像１２０に生成する。注意喚起画像１３０は、例えば対象物１２２に重畳するように位置する。制御部１００は、側後方画像１２０が表示領域１１０内に配置されるように表示画像Ｍを生成する。

注意喚起画像１３０は、搭乗者３に対象物１２２に対する注意喚起を示す画像であり、その表現は標識等から適切なものを選択してもよいし、文字や画像を用いたものであってもよい。

図５は、ＨＵＤ装置４の第三の実施形態を示す。制御部１００は、自動運転情報取得部３００の自動運転関連情報から車両１が車線変更を行うか判定する。制御部１００は、車両１が車線変更を行う場合、側後方情報取得部４００の側後方情報を基に側後方画像１２０を生成する。制御部１００は、前記側後方情報を基に側後方に車両１の車線変更に影響する対象物が存在するか判定する。例えば、側後方情報に対象物が存在し、且つ対象物の位置が車両１に近い場合や対象物の速度が車両１より速い場合に、車両１の車線変更に影響する前記対象物が存在すると判定する。車両１の車線変更に影響する対象物１２２が存在する場合は、車線変更後の車両１の予測位置を示す予測位置画像１４０を側後方画像１２０に生成する。予測位置画像１４０は、例えば側後方画像１２０の対象物１２２との相対位置（対象物１２２の後方）に位置する。制御部１００は、側後方画像１２０が表示領域１１０内に配置されるように表示画像Ｍを生成する。

予測位置画像１４０は、搭乗者３に車線変更後の車両１の予測位置を示す画像であり、その表現は図形によって表してもよいし、車両１の画像を基にしたものであっても良い。

図６は、ＨＵＤ装置４の第四の実施形態を示す。制御部１００は、自動運転情報取得部３００の自動運転関連情報から車両１が車線変更を行うか判定する。制御部１００は、車両１が車線変更を行う場合、側後方情報取得部４００の側後方情報を基に側後方画像１２０を生成する。制御部１００は、前記側後方情報を基に側後方に車両１の車線変更に影響する対象物が存在するか判定する。例えば、側後方情報に対象物が存在しない場合、又は対象物の位置が車両１から遠い場合や対象物の速度が車両１より遅い場合に、車両１の車線変更に影響する前記対象物が存在しないと判定する。車両１の車線変更に影響する対象物が存在しない場合は、車線変更の方向を示す方向指示画像１５０を側後方画像１２０に生成する。制御部１００は、車両情報取得部２００から取得した方向指示器の点滅に連動して、方向指示画像１５０を点滅表示するように制御しても良い。制御部１００は、側後方画像１２０が表示領域１１０内に配置されるように表示画像Ｍを生成する。

方向指示画像１５０は、搭乗者３に車両１の車線変更の方向を示す画像であり、その表現は図形によって表してもよいし、車両１のインジケータを基にしたものであっても良い。

図７は、ＨＵＤ装置４の第五の実施形態を示す。制御部１００は、自動運転情報取得部３００の自動運転関連情報から車両１が車線変更を行うか判定する。制御部１００は、車両１が車線変更を行う場合、側後方情報取得部４００の側後方情報を基に側後方画像１２０を生成する。側後方画像１２０は、境界１２１を側後方画像１２０の外周に備える。制御部１００は、前記側後方情報を基に側後方に車両１の車線変更に影響する対象物が存在するか判定する。例えば、側後方情報に対象物が存在しない場合、又は対象物の位置が車両１から遠い場合や対象物の速度が車両１より遅い場合に、車両１の車線変更に影響する前記対象物が存在しないと判定する。車両１の車線変更に影響する対象物が存在しない場合は、境界１２１を点滅表示するように制御する。制御部１００は、車両情報取得部２００から取得した方向指示器の点滅に連動して、境界１２１を点滅表示するように制御してもよい。制御部１００は、側後方画像１２０が表示領域１１０内に配置されるように表示画像Ｍを生成する。

ＨＵＤ装置４の第六の実施形態において、制御部１００は、自動運転情報取得部３００の自動運転関連情報から、車両１が車線変更を開始した、及び完了したことを示す情報を取得する。制御部１００は、前記自動運転関連情報から、車線変更の途中であること、車線変更に要する時間、車線変更の完了までの残り時間を示す情報をさらに取得しても良い。制御部１００は、車両１の車線変更の開始から車線変更の完了までの間に側後方画像１２０の生成を中止するように制御する。

図８は、ＨＵＤ装置４の第一乃至第六の実施形態における主要な動作手順を示すフロー図である。

ステップＳ１１において、制御部１００は、自動運転情報取得部３００から車両１の車線変更を含む自動運転関連情報を取得する。

ステップＳ１２において、制御部１００は、前記自動運転関連情報から車両１が車線変更を行うか判定する。ステップＳ１２において「車両１が車線変更を行わない場合（Ｎｏの場合）」は、処理を終了し、ステップＳ１２において「車両１が車線変更を行う場合（Ｙｅｓの場合）」は、ステップＳ１３に移行する。

ステップＳ１３において、制御部１００は、側後方情報取得部４００から側後方情報を取得する。

ステップＳ１４において、制御部１００は、前記側後方情報を基に側後方画像１２０を生成する。

ステップＳ１５において、制御部１００は、前記側後方情報から車両１の側後方に車両１の車線変更に影響する対象物が存在するか判定する。「車両１の車線変更に影響する対象物が存在する場合（Ｙｅｓ）」は、ステップＳ２１に移行し、「車両１の車線変更に影響する対象物が存在しない場合（Ｎｏ）」は、ステップＳ３１に移行する。

ステップＳ２１において、制御部１００は、前記側後方情報を基に注意喚起画像１３０を側後方画像１２０に生成する。

ステップＳ２２において、制御部１００は、前記側後方情報を基に予測位置画像１４０を側後方画像１２０に生成する。

ステップＳ２３において、制御部１００は、側後方画像１２０が表示領域１１０内に配置されるように表示画像Ｍを生成する。

ステップＳ２４において、制御部１００は、表示画像Ｍを表示部１０に出力する。表示部１０は、表示画像Ｍを表示する。ステップＳ２４の後、ステップＳ１３に移行する。

ステップＳ３１において、制御部１００は、方向指示画像１５０を側後方画像１２０に生成し、車両情報取得部２００から取得した方向指示器の点滅に連動して、方向指示画像１５０を点滅表示するように制御する。

ステップＳ３２において、制御部１００は、車両情報取得部２００から取得した方向指示器の点滅に連動して、側後方画像１２０の境界１２１を点滅表示するように制御する。

ステップＳ３３において、制御部１００は、側後方画像１２０が表示領域１１０内に配置されるように表示画像Ｍを生成する。

ステップＳ３４において、制御部１００は、表示画像Ｍを表示部１０に出力する。表示部１０は、表示画像Ｍを表示する。

ステップＳ３５において、制御部１００は、前記自動運転関連情報から側後方画像１２０の生成を中止するか判定する。「側後方画像１２０の生成を中止しない場合（Ｎｏの場合）」は、ステップＳ１３に移行し、ステップＳ３５において「側後方画像１２０の生成を中止する場合（Ｙｅｓの場合）」は、ステップＳ３６に移行する。

ステップＳ３６において、制御部１００は、側後方画像１２０の生成を中止する。

以上に説明した本発明は、以下の効果を奏する。

第一の実施形態において、車両１の自動運転部が車線変更を行う際に、ＨＵＤ装置４の虚像Ｖに側後方画像１２０が表示される。搭乗者３は、側後方画像１２０を視認することで、自動運転システムが正常に稼働しているという安心感を得ることができる。

第二の実施形態において、車両１の側後方に車線変更に影響する対象物が存在する場合に、側後方画像１２０内に注意喚起画像１３０が表示される。搭乗者３は、側後方画像１２０、及び注意喚起画像１３０を視認することで、自動運転システムが正常に稼働している、且つ車線変更に影響する対象物を認識しているという安心感を得ることができる。

第三の実施形態において、側後方画像１２０内に車両１の車線変更後の位置を示す予測位置画像１４０が表示される。搭乗者３は、側後方画像１２０、及び予測位置画像１４０を視認することで、自動運転システムが正常に稼働している、且つ自車両の未来位置を知ることができるという安心感を得ることができる。

第四の実施形態において、側後方画像１２０内に方向指示画像１５０が表示され、方向指示器と連動して点滅する。搭乗者３は、側後方画像１２０、及び方向指示画像１５０を視認することで、自動運転システムが正常に稼働しているという安心感を得ることができ、且つ自然な情報提示として受け取ることができる。

第五の実施形態において、側後方画像１２０の境界１２１が方向指示器と連動して点滅する。搭乗者３は、側後方画像１２０、及び境界１２１を視認することで、自動運転システムが正常に稼働しているという安心感を得ることができ、且つ自然な情報提示として受け取ることができる。

第六の実施形態において、制御部１００は、側後方画像１２０の生成を車両１の車線変更の開始から完了までの間に中止する。搭乗者３は、車両１の車線変更に伴って側後方画像１２０が消えることで、自動運転システムが正常に稼働しているという安心感を得ることができ、且つ車両１の前方への視線復帰を早くすることができる。

なお、第一の実施形態の変形例として、制御部１００は、側後方画像１２０を車両１が車線変更する方向に生成しても良い。例えば、車両１がｘ軸正方向（左方向）に車線変更する場合は表示領域１１０の中心よりも左側に側後方画像１２０を生成し、車両１がｘ軸負方向（右方向）に車線変更する場合は表示領域１１０の中心よりも右側に側後方画像１２０を生成する。

なお、第三の実施形態の変形例として、制御部１００は、車両１の側後方に車線変更に影響する対象物が存在しない場合においても、予測位置画像１４０を生成しても良い。

なお、第六の実施形態の変形例として、制御部１００は、側後方画像１２０の生成を中止するタイミングを、車両１の車線変更の開始から車線変更の完了までの間で、適宜調整してよい。

なお、上記実施形態の変形例として、図８のフロー図において、ステップＳ２４の後、及びステップＳ３５の判定が「Ｎｏ」の場合に、ステップＳ１１に移行しても良い。

なお、上記実施形態において、制御部１００は、車両情報取得部２００の車両情報、自動運転情報取得部３００の自動運転関連情報、側後方情報取得部４００の側後方情報、及び前方情報取得部５００の前方情報から別の情報画像（例えば、車両１の速度や目的地までのナビゲーション）を生成し、側後方画像１２０と合わせて表示画像Ｍを生成しても良い。

なお、上記実施形態の構成としてウインドシールド型のＨＵＤ装置を用いたが、コンバイナ型のＨＵＤ装置にも適用可能である。

本発明は、以上の実施形態及び図面によって限定されるものではない。本発明の要旨を変更しない範囲で、適宜、変更（構成要素の削除も含む）を加えることが可能である。

本発明のヘッドアップディスプレイ装置は、車両、特に、四輪車に好適である。

１・・・車両
２・・・ウインドシールド
３・・・搭乗者
４・・・ヘッドアップディスプレイ装置（ＨＵＤ装置）
１０・・・表示部
２１・・・平面ミラー
２２・・・曲面ミラー
３０・・・筐体
１００・・・制御部
１１０・・・表示領域
１２０・・・側後方画像
１２１・・・境界
１２２・・・対象物（他の車両）
１３０・・・注意喚起画像
１４０・・・予測位置画像
１５０・・・方向指示画像
２００・・・車両情報取得部
３００・・・自動運転部
４００・・・後方情報取得部
５００・・・前方情報取得部
Ｍ・・・表示画像
Ｌ・・・表示光
Ｖ・・・虚像

Claims

車両の自動運転を行う自動運転部と通信可能に接続されるヘッドアップディスプレイ装置であって、
前記車両の車線変更を含む自動運転関連情報を取得する自動運転情報取得部と、
前記車両の側後方情報を取得する側後方情報取得部と、
表示画像を表示する表示部と、
前記表示画像を制御する制御部と、
を備え、
前記制御部は、前記車両の前記車線変更が行われる場合に、前記側後方情報に基づいて前記表示画像に側後方画像を生成し、
前記側後方画像に前記車両の前記車線変更の後の予測位置画像を生成する、
ことを特徴とするヘッドアップディスプレイ装置。
前記制御部は、
前記側後方情報から前記車両の前記車線変更に影響する対象物が存在するか判定し、存在する場合は前記側後方画像に注意喚起画像を生成する、
ことを特徴とする請求項１記載のヘッドアップディスプレイ装置。
前記制御部は、
前記側後方画像に前記車両の方向指示器と連動して点滅する方向指示画像を生成する、
ことを特徴とする請求項１乃至２の何れか１つに記載のヘッドアップディスプレイ装置。
前記制御部は、
前記側後方画像の境界を前記車両の方向指示器と連動して点滅するように制御する、
ことを特徴とする請求項１乃至３の何れか１つに記載のヘッドアップディスプレイ装置。
前記制御部は、
前記車両の前記車線変更の開始から完了までの間に、前記側後方画像の生成を中止する、
ことを特徴とする請求項１乃至４の何れか１つに記載のヘッドアップディスプレイ装置。