JPWO2018051734A1 - 投写型表示装置及びその制御方法 - Google Patents

Abstract

自動運転又はリモート運転中における必要な操作を乗員に直感的に知らせることのできる投写型表示装置及びその制御方法を提供する。
ＨＵＤ１００は、光変調部に入力する画像データを制御する画像データ制御部６３と、自動運転モードが設定されている状態で、乗り物に搭載された運転に用いる操作装置の操作が必要な状況か否かを判定する状況判定部６２とを備える。画像データ制御部６３は、操作装置の操作が必要な状況であると判定された場合には、複数の操作装置の各々に対応する画像を複数の操作装置の配置と対応した位置関係で表示し、かつ、操作が必要な操作装置に対応する画像を強調して表示するための第一の画像データを駆動部４５に入力し、第一の画像データに基づく操作支援画像７０を表示させる。

Description

本発明は、投写型表示装置及びその制御方法に関する。

自動車、電車、船舶、重機、航空機、又は、農作用機械等の乗り物のウインドシールド、又は、ウインドシールドの手前付近に配置されるコンバイナをスクリーンとして用い、これに光を投写して画像を表示させる乗り物用のＨＵＤ（Ｈｅａｄ−ｕｐ Ｄｉｓｐｌａｙ）が知られている。このＨＵＤによれば、ＨＵＤから投写された光に基づく画像を、スクリーン上で実像として、又は、スクリーン前方において虚像として、運転者に視認させることができる。

このＨＵＤを利用して運転支援を行うシステムが、特許文献１及び特許文献２に記載されている。特許文献１及び特許文献２に記載のＨＵＤは、自動車のハンドルに設けられた操作パネルを模した画像を表示することで、自動車の運転者が操作パネルを見ることなく、ＨＵＤの画像によって操作パネルのボタン配置を把握することを可能にしている。

特許文献３には、エアコン、オーディオ、及び、カーナビ等を操作するための操作スイッチの形状とこの操作スイッチの機能をセンタコンソールに表示させる自動車が記載されている。

特許文献４には、オーディオ等の操作を行うためのマルチスイッチの配置をインストルメントパネルに表示させる自動車が記載されている。

特開２００９−１８４４０６号公報 特開２００６−３１５５６２号公報 特開平１０−２１４５４３号公報 特開２０００−００６６８７号公報

近年、乗り物の自動運転又はリモート運転が実用化されようとしている。自動運転又はリモート運転といっても、運転者の意思で運転者がシステムに介入することが必要になる。例えば、緊急時等は、自動運転中又はリモート運転中であっても運転者を含む乗員に操作が委ねられる状況が考えられる。しかし、自動運転中又はリモート運転中は、基本的には自動で運転が行われているため、乗員はどういった操作が必要なのか瞬時には把握しにくい。

特許文献１−４は、運転とは直接関係のないオーディオ又はエアコンなどの機器の操作を支援するための画像を表示する技術であるため、自動運転又はリモート運転に危険な事象等が発生しそうな場合に、乗員が、どういった操作をすることで事象を回避できるのか分からず、運転に関する必要な操作を行うまでに遅延が発生してしまう可能性がある。

本発明は、上記事情に鑑みてなされたものであり、自動運転中又はリモート運転中における必要な操作を乗員に直感的に知らせることのできる投写型表示装置及びその制御方法を提供することを目的とする。

本発明の投写型表示装置は、乗り物に搭載される投写型表示装置であって、上記乗り物は、内部で生成した指令又は外部から無線で受信した指令に基づいて運転が行われる第一モードを設定可能であり、光源から出射される光を、入力された画像データに基づいて空間変調する光変調部と、上記空間変調された上記光を上記乗り物の投写面に投写して上記画像データに基づく虚像又は実像を表示させる投写光学系と、上記光変調部に入力する画像データを制御する画像データ制御部と、上記第一モードが設定されている状態で、上記乗り物に搭載された運転に用いる複数の操作装置のうちの少なくとも１つの操作が必要な状況か否かを判定する状況判定部と、を備え、 上記画像データ制御部は、上記状況判定部によって上記操作装置の操作が必要な状況であると判定された場合には、上記複数の上記操作装置の各々に対応する画像を上記複数の上記操作装置の配置と対応した位置関係で表示し、かつ、操作が必要な上記操作装置に対応する上記画像を強調して表示するための第一の画像データを上記光変調部に入力するものである。

本発明の投写型表示装置の制御方法は、光源から出射される光を、入力された画像データに基づいて空間変調する光変調部と、上記空間変調された上記光を乗り物の投写面に投写して上記画像データに基づく虚像又は実像を表示させる投写光学系と、を有し、乗り物に搭載される投写型表示装置の制御方法であって、上記乗り物は、内部で生成した指令又は外部から無線で受信した指令に基づいて運転が行われる第一モードを設定可能であり、上記光変調部に入力する画像データを制御する画像データ制御ステップと、上記第一モードが設定されている状態で、上記乗り物に搭載された運転に用いる複数の操作装置のうちの少なくとも１つの操作が必要な状況か否かを判定する状況判定ステップと、を備え、上記画像データ制御ステップでは、上記状況判定ステップによって上記操作装置の操作が必要な状況であると判定された場合には、上記複数の上記操作装置の各々に対応する画像を上記複数の上記操作装置の配置と対応した位置関係で表示し、かつ、操作が必要な上記操作装置に対応する上記画像を強調して表示するための第一の画像データを上記光変調部に入力するものである。

本発明によれば、自動運転又はリモート運転中における必要な操作を乗員に直感的に知らせることのできる投写型表示装置及びその制御方法を提供することができる。

本発明の投写型表示装置の一実施形態であるＨＵＤ１００が搭載される自動車１０の室内構成を示す模式図である。 図１に示すＨＵＤ１００の制御ユニット４の内部ハードウェア構成を示す模式図である。 図２に示すシステム制御部６０の機能ブロック図である。 図１に示すＨＵＤ１００の動作を説明するためのフローチャートである。 ＨＵＤ１００によって表示される画像の一例を示す図である。 ＨＵＤ１００によって表示される画像の別の例を示す図である。 ＨＵＤ１００によって表示される画像の更に別の例を示す図である。 図１に示すＨＵＤ１００が搭載される自動車１０の変形例を示す図である。

以下、本発明の実施形態について図面を参照して説明する。

図１は、本発明の投写型表示装置の一実施形態であるＨＵＤ１００が搭載される自動車１０の室内構成を示す模式図である。

自動車１０のフロントウインドシールド１の一部は、後述する画像光を反射させる加工がなされた領域となっており、この領域が投写面２を構成している。

ＨＵＤ１００は、自動車１０に搭載され、自動車１０のフロントウインドシールド１の一部の領域である投写面２に投写される画像光により、自動車１０の運転者によって虚像又は実像を視認可能にするものである。

ＨＵＤ１００は、自動車以外に、電車、重機、建機、航空機、船舶、又は、農作機械等の乗り物に搭載して用いることができる。

図１の例では、ＨＵＤ１００は、自動車１０のダッシュボード３に内蔵されている。ダッシュボード３は、自動車１０のスピードメータ、タコメータ、燃料計、水温計、又は、距離計等の走行に必要な情報を通知するための計器類等を含む内装部品を内蔵する部材である。

ＨＵＤ１００は、光源及びこの光源から出射される光を画像データに基づいて空間変調する光変調素子を含む制御ユニット４と、制御ユニット４の光変調素子により空間変調された画像光をフロントウインドシールド１の投写面２に投写する投写光学系を構成する拡散部材５、反射ミラー６、及び、凹面鏡７と、を備える。

拡散部材５は、制御ユニット４の光変調素子により空間変調された画像光を拡散させて面光源化する部材である。拡散部材５は、表面に微細構造を有するマイクロミラーアレイ、拡散ミラー、ＭＬＡ（Ｍｉｃｒｏｌｅｎｓ−Ａｒｒａｙ）ディフューザー、又は、反射ホログラフィクディフューザー等が用いられる。

反射ミラー６は、拡散部材５で拡散された画像光を反射する。

凹面鏡７は、反射ミラー６で反射された画像光を拡大して反射し、投写面２に投写する。フロントウインドシールド１の投写面２は、凹面鏡７から投写された画像光が運転者の目の方向に反射するような加工がなされている。

なお、ＨＵＤ１００は、例えば自動車１０の天井付近に配置され、自動車１０の天井付近に設置されたサンバイザタイプのコンバイナに対して画像光を投写する構成であってもよい。この構成では、コンバイナが投写面を構成する。

自動車の運転者は、投写面２に投写され、投写面２で反射された画像光に基づく虚像により、運転を支援するためのアイコン又は文字等の情報を視認することができる。また、投写面２は、フロントウインドシールド１の外部（外界）からの光を透過する機能を持つ。このため、運転者は、凹面鏡７から投写された画像光に基づく虚像と外界の景色とが重畳された像を視認することができる。

自動車１０は、全体を統括制御する図示省略の自動車制御部が内部で生成した指令又はこの自動車制御部が外部から無線で受信した指令に基づいて運転（方向指示器、ステアリング、アクセル、及び、ブレーキ等の操作）が行われる第一モード（自動運転モード又はリモート運転モードともいう）と、人が手動で運転を行う第二モード（手動運転モード）とを設定可能である。

自動車１０は、加速を行うためのアクセルペダル１１、減速を行うためのブレーキペダル１２、シフトチェンジを行うためのシフトレバー１４、パーキングブレーキをかけるためのパーキングブレーキレバー１５、ワイパー操作レバー（図示省略）、ハザードランプを点灯させるためのハザードボタン１３、及び、ハンドル８等の自動車に搭載される一般的な操作装置を有している。

また、自動車１０のハンドル８には、クラクションを鳴らすためのクラクションボタン１６と運転モード切替ボタン９が設けられている。運転モード切替ボタン９は、第一モードと第二モードのモード切り替えを自動車１０に対して指示するためのモード切替指示装置である。

アクセルペダル１１、ブレーキペダル１２、シフトレバー１４、パーキングブレーキレバー１５、ワイパー操作レバー、クラクションボタン１６、ハザードボタン１３、ハンドル８、及び、運転モード切替ボタン９は、自動車１０に搭載された運転に用いる操作装置を構成する。

図２は、図１に示すＨＵＤ１００の制御ユニット４の内部ハードウェア構成を示す模式図である。

制御ユニット４は、光源ユニット４０と、光変調素子４４と、光変調素子４４を駆動する駆動部４５と、ＨＵＤ１００全体を統括制御するシステム制御部６０と、を備える。

システム制御部６０は、プロセッサと、このプロセッサの実行するプログラム等が記憶されるＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）と、このプロセッサのワークメモリとして機能するＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）と、を含む。

光源ユニット４０は、光源制御部４０Ａと、赤色光を出射する赤色光源であるＲ光源４１ｒと、緑色光を出射する緑色光源であるＧ光源４１ｇと、青色光を出射する青色光源であるＢ光源４１ｂと、ダイクロイックプリズム４３と、Ｒ光源４１ｒとダイクロイックプリズム４３の間に設けられたコリメータレンズ４２ｒと、Ｇ光源４１ｇとダイクロイックプリズム４３の間に設けられたコリメータレンズ４２ｇと、Ｂ光源４１ｂとダイクロイックプリズム４３の間に設けられたコリメータレンズ４２ｂと、を備える。Ｒ光源４１ｒとＧ光源４１ｇとＢ光源４１ｂはＨＵＤ１００の光源を構成する。

ダイクロイックプリズム４３は、Ｒ光源４１ｒ、Ｇ光源４１ｇ、及び、Ｂ光源４１ｂの各々から出射される光を同一光路に導くための光学部材である。ダイクロイックプリズム４３は、コリメータレンズ４２ｒによって平行光化された赤色光を透過させて光変調素子４４に出射する。また、ダイクロイックプリズム４３は、コリメータレンズ４２ｇによって平行光化された緑色光を反射させて光変調素子４４に出射する。さらに、ダイクロイックプリズム４３は、コリメータレンズ４２ｂによって平行光化された青色光を反射させて光変調素子４４に出射する。このような機能を持つ光学部材としては、ダイクロイックプリズムに限らない。例えば、クロスダイクロイックミラーを用いてもよい。

Ｒ光源４１ｒ、Ｇ光源４１ｇ、及び、Ｂ光源４１ｂは、それぞれ、レーザ又はＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）等の発光素子が用いられる。ＨＵＤ１００の光源は、Ｒ光源４１ｒとＧ光源４１ｇとＢ光源４１ｂの３つの例に限らず、１つの光源、２つの光源、又は、４つ以上の光源によって構成されていてもよい。

光源制御部４０Ａは、Ｒ光源４１ｒ、Ｇ光源４１ｇ、及び、Ｂ光源４１ｂの各々を制御し、Ｒ光源４１ｒ、Ｇ光源４１ｇ、及び、Ｂ光源４１ｂから光を出射させる制御を行う。

光変調素子４４は、Ｒ光源４１ｒ、Ｇ光源４１ｇ、及び、Ｂ光源４１ｂから出射され、ダイクロイックプリズム４３から出射された光を、システム制御部６０により入力される画像データに基づいて空間変調する。

光変調素子４４としては、例えば、ＬＣＯＳ（Ｌｉｑｕｉｄ ｃｒｙｓｔａｌ ｏｎ ｓｉｌｉｃｏｎ）、ＤＭＤ（Ｄｉｇｉｔａｌ Ｍｉｃｒｏｍｉｒｒｏｒ Ｄｅｖｉｃｅ）、ＭＥＭＳ（Ｍｉｃｒｏ Ｅｌｅｃｔｒｏ Ｍｅｃｈａｎｉｃａｌ Ｓｙｓｔｅｍｓ）素子、又は、液晶表示素子等を用いることができる。

駆動部４５は、システム制御部６０から入力される画像データに基づいて光変調素子４４を駆動し、画像データに基づいて空間変調された画像光（赤色画像光、青色画像光、及び、緑色画像光）を、光変調素子４４から拡散部材５に出射させる。光変調素子４４と駆動部４５はＨＵＤ１００の光変調部を構成する。

図１に示した拡散部材５、反射ミラー６、及び、凹面鏡７から構成される投写光学系は、投写面２に投写された画像光に基づく画像が、フロントウインドシールド１前方の位置において虚像として運転者に視認可能となるように光学設計がなされている。この画像光に基づく画像が、フロントウインドシールド１において実像として運転者に視認可能となるように投写光学系の光学設計がなされていてもよい。

システム制御部６０は、光源制御部４０Ａ及び駆動部４５を制御して、画像データに基づく画像光を制御ユニット４から拡散部材５に出射させる。

図３は、図２に示すシステム制御部６０の機能ブロック図である。

システム制御部６０は、状況情報取得部６１と、状況判定部６２と、画像データ制御部６３と、を備える。状況情報取得部６１、状況判定部６２、及び、画像データ制御部６３は、システム制御部６０のプロセッサがＲＯＭに記憶されるプログラムを実行することによって構成される。このプログラムは制御プログラムを含む。

状況情報取得部６１は、自動車１０のシステム全体を統括制御する図示省略の自動車制御部から、上記の各操作装置の操作状態に関する情報、自動車１０に搭載された図示省略のセンサ（超音波レーダ、ミリ波レーダ、レーザレーダ、又は、ステレオカメラ等）によって検出される情報、このセンサの故障の有無を示す情報、又は、自動車１０の車体に搭載された図示省略の撮像部により撮像して得られた自動車１０の前方又は後方の撮像画像データ等の状況情報を取得する。

状況判定部６２は、自動車１０が第一モードに設定されている状態で、状況情報取得部６１で取得された状況情報に基づいて、自動車１０に搭載された運転に用いる上記の操作装置のうちの少なくとも１つの操作が必要な状況か否かを判定する。以下に、状況判定部６２による判定の例を列挙するがこれらに限定されるものではない。

（１）状況判定部６２は、自動車１０に搭載された上記センサによって測定される情報を解析し、この解析の結果、自動車１０と障害物との距離が閾値以下の場合には、ブレーキペダル１２及びハンドル８の操作が必要な状況と判定する。

（２）状況判定部６２は、上記センサによって測定される情報を解析し、この解析の結果、自動車１０の前方の遠方に人又は車両等の障害物が横切っている場合には、クラクションボタン１６の操作が必要な状況であると判定する。

（３）状況判定部６２は、パーキングブレーキがかかっている場合には、パーキングブレーキレバー１５の操作（パーキングブレーキの解除）が必要な状況であると判定する。

（４）状況判定部６２は、シフトレバー１４がニュートラルポジションにある場合には、シフトレバー１４の操作（ドライブポジションへの変更）が必要な状況であると判定する。

（５）状況判定部６２は、自動車１０の前部に搭載された撮像部から取得された撮像画像データを解析し、この解析の結果、自動車１０が渋滞の最後尾にいると判断した場合には、ハザードボタン１３の操作が必要な状況であると判定する。

（６）状況判定部６２は、自動車１０の前部に搭載された撮像部から取得された撮像画像データを解析し、この解析の結果、雪又は雨が降っていると判断した場合には、ワイパー操作レバーの操作が必要な状況であると判定する。

（７）状況判定部６２は、第一モードでの運転に必要な上記センサの故障を検知し、第一モードから第二モードへの切り替えが必要と判断した場合には、運転モード切替ボタン９の操作が必要な状況であると判定する。

（８）状況判定部６２は、上記のように、第一モードから第二モードへの切り替えが必要な場合には、第二モードでの運転に最低限必要なハンドル８、アクセルペダル１１、ブレーキペダル１２、及び、運転モード切替ボタン９の操作が必要な状況であると判定する。

なお、以上の例では、状況判定部６２が、状況情報取得部６１によって取得された情報を解析して特定の操作装置の操作の要否を判定している。しかし、自動車１０を統括制御する自動車制御部がこの解析を行ってもよい。この場合は、自動車制御部が、この解析の結果、特定の操作装置の操作が必要と判断した場合に、その操作装置の情報をＨＵＤ１００のシステム制御部６０に入力する。そして、状況情報取得部６１は、自動車制御部から入力される操作装置の情報を取得し、状況判定部６２は、この情報に基づいて、特定の操作装置の操作が必要な状況であることを判定する。

画像データ制御部６３は、駆動部４５に入力する画像データを制御する。画像データ制御部６３は、状況判定部６２によって特定の操作装置の操作が必要な状況と判定された場合には、自動車１０に搭載される複数の操作装置の各々に対応する画像をこの複数の操作装置の配置と対応した位置関係で表示し、かつ、これら画像のうちの上記の特定の操作装置に対応する画像を強調して表示するための第一の画像データを生成し、駆動部４５に入力する。

第一の画像データは、具体的には、アクセルペダル１１、ブレーキペダル１２、シフトレバー１４、パーキングブレーキレバー１５、ワイパー操作レバー、クラクションボタン１６、ハザードボタン１３、ハンドル８、及び、運転モード切替ボタン９の各々に対応する画像を、各々の配置と対応した位置関係で表示し、かつ、これらの画像のうちの操作が必要な操作装置に対応する画像を、色を変える又は点滅させる等によって強調して表示するためのデータである。

画像データ制御部６３は、状況判定部６２によって特定の操作装置の操作が必要な状況と判定されていない場合には、自動車１０の走行速度及び目的地までの経路案内情報等を表示するための第二の画像データを駆動部４５に入力する。

図４は、図１に示すＨＵＤ１００の動作を説明するためのフローチャートである。なお、図４に示す処理は、ＨＵＤ１００の電源がオンされ、自動車１０が第一モードに設定されている間、繰り返し実行される。

まず、状況情報取得部６１によって状況情報が取得される（ステップＳ１）。そして、状況情報取得部６１で取得された状況情報に基づいて、自動車１０に搭載された運転に用いる操作装置の操作が必要な状況か否かが判定される（ステップＳ２）。

操作装置の操作が必要な状況であると判定された場合（ステップＳ２：ＹＥＳ）には、画像データ制御部６３は、第一の画像データを生成して駆動部４５に入力する（ステップＳ３）。

駆動部４５は、画像データ制御部６３から入力された第一の画像データに基づいて光変調素子４４を駆動することで、第一の画像データに基づく画像光を投写面２に投写させる（ステップＳ４）。これにより、図５に示すように、投写面２には操作支援画像７０と運転支援画像７９が投写され、これらが運転者から観察される。

図５に示すように、操作支援画像７０には、ハンドル８に対応する画像７１と、運転モード切替ボタン９に対応する画像７２と、シフトレバー１４に対応する画像７３と、ハザードボタン１３に対応する画像７４と、パーキングブレーキレバー１５に対応する画像７５と、ブレーキペダル１２に対応する画像７６と、アクセルペダル１１に対応する画像７７と、クラクションボタン１６に対応する画像７８と、が含まれている。

画像７１〜７８の各々は、対応する操作装置を模した画像、対応する操作装置を輪郭のみを色付きで示した輪郭像、対応する操作装置の実写像、又は、対応する操作装置をＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）で表した画像等である。なお、操作支援画像７０において、画像７１〜７８以外の背景部分は透明となっている。

操作支援画像７０における画像７１〜７８の配置位置は、自動車１０内の運転席から前方を見た状態での各操作装置の配置位置と対応している。つまり、操作支援画像７０の外枠が運転席から前方を見たときの視界を表しており、この視界内における各操作装置の配置と同じ関係で、各操作装置に対応する画像７１〜７８が配置されている。これにより、運転者は、操作支援画像７０を見ることで、操作が必要な操作装置を直感的に把握することが可能となる。

図５は、運転モード切替ボタン９の操作が必要な状況であると判定された場合の表示例を示しており、運転モード切替ボタン９に対応する画像７２が点滅表示によって強調表示されている。

図５の例では、第一の画像データには、目的地への経路案内等を行うための運転支援画像７９を表示するためのデータが含まれている。したがって、運転者は、操作支援画像７０と併せて運転支援画像７９を視認可能である。なお、第一の画像データには、運転支援画像７９を表示するためのデータは含まれていなくてもよい。

図６は、運転モード切替ボタン９の操作が必要な状況であると判定された場合の操作支援画像７０の別の表示例を示す図である。

図６の例では、操作支援画像７０において、ハンドル８に対応する画像７１と、ブレーキペダル１２に対応する画像７６と、アクセルペダル１１に対応する画像７７と、運転モード切替ボタン９に対応する画像７２とが、他の画像と比べて輪郭が太線に変更されることで強調表示されている。

この例では、第一の画像データには、第一モードから第二モードへの切替の手順をテキストで示す画像８０を表示するためのデータが更に含まれる。したがって、運転者には、第一モードから第二モードへの切替の手順をテキストで示す画像８０が更に視認される。

操作装置の操作が必要な状況ではないと判定された場合（ステップＳ２：ＮＯ）には、画像データ制御部６３は、第二の画像データを駆動部４５に入力する。そして、駆動部４５は、画像データ制御部６３から入力された第二の画像データに基づいて光変調素子４４を駆動することで、第二の画像データに基づく画像光を投写面２に投写させる（ステップＳ６）。これにより、投写面２には、図５及び図６に例示した、運転支援画像７９のみが投写される。ステップＳ４及びステップＳ５の後はステップＳ１に処理が戻る。

なお、操作支援画像７０において任意の画像を強調する方法としては、上述した方法には限定されない。例えば、任意の画像の表示色を他の画像とは変えることで強調を行う方法、又は、任意の画像の大きさを動的に変化（縮小拡大を繰り返す）させて強調を行う方法等を採用してもよい。表示色を変えることで強調を行う場合には、任意の画像の表示色を、赤色又は黄色等の警告を行う際に利用される色以外の色とすることが好ましい。

以上のようにＨＵＤ１００によれば、自動車１０が第一モードに設定されている状態で、操作装置の操作が必要な状況であると判定された場合には、図５又は図６に示すような操作支援画像７０を運転者に提示することができる。このため、運転者は、この操作支援画像７０における強調表示された画像を確認することで、現在の状況において必要な操作とその操作対象となる操作装置の位置を直感的に理解することができる。したがって、運転者は、自動運転中又はリモート運転中であっても、状況に応じた適切な行動を瞬時にとることが可能となる。特に危険が迫っているような状況では、必要な操作を瞬時に把握できることで、危険を早期に回避することが可能となり、安全性を高めることができる。

なお、第一モードで自動車１０の運転が行われている場合には、運転席に座る人である運転者が前方を注視していない可能性がある。このため、ＨＵＤ１００のシステム制御部６０は、第一の画像データに基づく画像光を投写面２に投写する場合（操作装置の操作が必要な状況と判定された場合）には、運転者の視線を投写面２に誘導する制御を行うことが好ましい。運転者の視線を誘導する方法としては例えば以下の２つがあるがこれに限定されるものではない。

（第一の視線誘導方法）
画像データ制御部６３は、駆動部４５に入力する第一の画像データを、操作装置に対応する画像を除いた背景部分を構成する各画素データに基づいて空間変調された光と、操作装置に対応する画像を構成する各画素データに基づいて空間変調された光とのうち、背景部分を構成する各画素データに基づいて空間変調された光が少なくとも投写面２に到達する画像データとする。

図７は、第一の画像データに基づく操作支援画像７０の変形例を示す図である。

図７に示す操作支援画像７０は、画像７１〜７７が第一の色又は透明となっており、画像７１〜７７以外の背景部分８１が第一の色とは異なる第二の色となっている。このように、画像７１〜７７の背景部分８１が色付きとなる第一の画像データを生成することで、操作支援画像７０を目立たせることができ、運転者の視線をこの操作支援画像７０に誘導することができる。

この方法によれば、特別なデバイスを用いることなく低コストで視線誘導の制御を実現することができる。

（第二の視線誘導方法）
システム制御部６０が、自動車１０の車内の天井面又は壁面等に設けられるアンビエント照明を点灯させて視線誘導を行う。

図８は、図１に示すＨＵＤ１００が搭載される自動車１０の変形例を示す図である。

図８に示すように、自動車１０の車内の運転席付近のピラーには、ＬＥＤ等からなるアンビエント照明８２が設置されている。このアンビエント照明８２は、自動車１０の自動車制御部によって点灯が制御される。アンビエント照明８２以外の構成は図１と同様である。

ＨＵＤ１００のシステム制御部６０は、状況判定部６２によって操作装置の操作が必要な状況であると判定した場合に、このアンビエント照明８２を点灯させることを指示する信号を自動車制御部に出力する。自動車制御部は、この信号を受けると、アンビエント照明８２を点灯させる。

以上の構成によれば、自動運転中又はリモート運転中に操作装置の操作が必要な状況になるとアンビエント照明８２が点灯する。このため、運転席にいる運転者の視線が前方にない場合でも、投写面２にその視線を誘導することができる。この構成によれば、操作支援画像７０の背景色を色付きにする方法と比べて高い視線誘導効果を得ることができる。

図８の例では、アンビエント照明８２が運転席付近のピラーに配置されるものとしたが、アンビエント照明８２の配置は、運転者の視線を前方に誘導することができればよく、これに限定されない。例えば、自動車１のインストルメントパネル又はダッシュボード等に配置されていてもよい。

なお、第一の視線誘導方法と第二の視線誘導方法が組み合わせされて実施されてもよい。

また、操作支援画像７０に含まれる各画像に対応する操作装置にＬＥＤ等の発光素子が固定される構成とし、システム制御部６０が、操作支援画像７０を表示させる場合に、この操作支援画像７０において強調表示される画像に対応する操作装置に固定された発光素子を発光させる制御を行ってもよい。

例えば、図５に示す操作支援画像７０が表示される場合には、システム制御部６０が、運転モード切替ボタン９に固定された発光素子を点灯させる。この構成によれば、操作が必要な操作装置の位置を、発光素子の点灯によっても運転者に知らせることができる。このため、操作が必要な操作装置の位置をより確実に運転者に伝えることができ、誤操作を防ぐことができる。

以上の実施形態では、アクセルペダル１１、ブレーキペダル１２、シフトレバー１４、パーキングブレーキレバー１５、ワイパー操作レバー、クラクションボタン１６、ハザードボタン１３、ハンドル８、及び、運転モード切替ボタン９が、運転に用いる操作装置として自動車１０に搭載されるものとした。

状況判定部６２が操作の要否を判定する対象となる操作装置は、これらの操作装置のうちの２つ以上であればよく、危険回避のために必要なアクセルペダル１１、ブレーキペダル１２、ハンドル８、及び、運転モード切替ボタン９が操作の要否を判定する対象となっていることが好ましい。

以上説明してきたように、本明細書には以下の事項が開示されている。
（１） 乗り物に搭載される投写型表示装置であって、上記乗り物は、内部で生成した指令又は外部から無線で受信した指令に基づいて運転が行われる第一モードを設定可能であり、光源から出射される光を、入力された画像データに基づいて空間変調する光変調部と、上記空間変調された上記光を上記乗り物の投写面に投写して上記画像データに基づく虚像又は実像を表示させる投写光学系と、上記光変調部に入力する画像データを制御する画像データ制御部と、上記第一モードが設定されている状態で、上記乗り物に搭載された運転に用いる複数の操作装置のうちの少なくとも１つの操作が必要な状況か否かを判定する状況判定部と、を備え、 上記画像データ制御部は、上記状況判定部によって上記操作装置の操作が必要な状況であると判定された場合には、上記複数の上記操作装置の各々に対応する画像を上記複数の上記操作装置の配置と対応した位置関係で表示し、かつ、操作が必要な上記操作装置に対応する上記画像を強調して表示するための第一の画像データを上記光変調部に入力する投写型表示装置。

（２） （１）記載の投写型表示装置であって、上記状況判定部によって上記操作装置の操作が必要な状況であると判定された場合に、上記乗り物の運転席にいる人の視線を上記投写面に誘導する制御を行う投写型表示装置。

（３） （２）記載の投写型表示装置であって、上記画像データ制御部は、上記光変調部に入力する上記第一の画像データを、上記画像を除いた背景部分を構成する各画素データに基づいて空間変調された上記光と、上記画像を構成する各画素データに基づいて空間変調された上記光とのうち、上記背景部分を構成する各画素データに基づいて空間変調された上記光が少なくとも上記投写面に到達する画像データとすることで、上記人の視線を上記投写面に誘導する制御を行う投写型表示装置。

（４） （１）〜（３）のいずれか１つに記載の投写型表示装置であって、上記乗り物は、更に、人が手動で運転を行う第二モードを設定可能であり、上記複数の上記操作装置は、上記第一モードと上記第二モードの切り替えを指示するためのモード切替指示装置を含み、上記画像データ制御部は、上記状況が上記モード切替指示装置の操作が必要な状況である場合に、上記モード切替指示装置に対応する上記画像を強調して表示するための上記第一の画像データを上記光変調部に入力する投写型表示装置。

（５） （１）〜（４）のいずれか１つに記載の投写型表示装置であって、上記複数の上記操作装置の各々には発光素子が固定されており、
上記第一モードが設定されている状態では、上記強調された画像に対応する上記操作装置に固定された上記発光素子が点灯される投写型表示装置。

（６） 光源から出射される光を、入力された画像データに基づいて空間変調する光変調部と、上記空間変調された上記光を乗り物の投写面に投写して上記画像データに基づく虚像又は実像を表示させる投写光学系と、を有し、乗り物に搭載される投写型表示装置の制御方法であって、上記乗り物は、内部で生成した指令又は外部から無線で受信した指令に基づいて運転が行われる第一モードを設定可能であり、上記光変調部に入力する画像データを制御する画像データ制御ステップと、上記第一モードが設定されている状態で、上記乗り物に搭載された運転に用いる複数の操作装置のうちの少なくとも１つの操作が必要な状況か否かを判定する状況判定ステップと、を備え、上記画像データ制御ステップでは、上記状況判定ステップによって上記操作装置の操作が必要な状況であると判定された場合には、上記複数の上記操作装置の各々に対応する画像を上記複数の上記操作装置の配置と対応した位置関係で表示し、かつ、操作が必要な上記操作装置に対応する上記画像を強調して表示するための第一の画像データを上記光変調部に入力する投写型表示装置の制御方法。

（７） （６）記載の投写型表示装置の制御方法であって、上記状況判定ステップによって上記操作装置の操作が必要な状況であると判定された場合に、上記乗り物の運転席にいる人の視線を上記投写面に誘導する制御を行う投写型表示装置の制御方法。

（８） （７）記載の投写型表示装置の制御方法であって、上記画像データ制御ステップでは、上記光変調部に入力する上記第一の画像データを、上記画像を除いた背景部分を構成する各画素データに基づいて空間変調された上記光と、上記画像を構成する各画素データに基づいて空間変調された上記光とのうち、上記背景部分を構成する各画素データに基づいて空間変調された上記光が少なくとも上記投写面に到達する画像データとすることで、上記人の視線を上記投写面に誘導する投写型表示装置の制御方法。

（９） （６）〜（８）のいずれか１つに記載の投写型表示装置の制御方法であって、上記乗り物は、更に、人が手動で運転を行う第二モードを設定可能であり、上記複数の上記操作装置は、上記第一モードと上記第二モードの切り替えを指示するためのモード切替指示装置を含み、上記画像データ制御ステップでは、上記状況が上記モード切替指示装置の操作が必要な状況である場合に、上記モード切替指示装置に対応する上記画像を強調して表示するための上記第一の画像データを上記光変調部に入力する投写型表示装置の制御方法。

本発明は、特に自動車に搭載して利便性が高く、有効である。

１００ ＨＵＤ
１ フロントウインドシールド
２ 投写面
３ ダッシュボード
４ 制御ユニット
５ 拡散部材
６ 反射ミラー
７ 凹面鏡
８ ハンドル
９ 運転モード切替ボタン
１０ 自動車
１１ アクセルペダル
１２ ブレーキペダル
１３ ハザードボタン
１４ シフトレバー
１５ パーキングブレーキレバー
１６ クラクションボタン
４０ 光源ユニット
４０Ａ 光源制御部
４１ｒ Ｒ光源
４１ｇ Ｇ光源
４１ｂ Ｂ光源
４２ｒ、４２ｇ、４２ｂ コリメータレンズ
４３ ダイクロイックプリズム
４４ 光変調素子
４５ 駆動部
６０ システム制御部
６１ 状況情報取得部
６２ 状況判定部
６３ 画像データ制御部
７０ 操作支援画像
７１ ハンドルに対応する画像
７２ 運転モード切替ボタンに対応する画像
７３ シフトレバーに対応する画像
７４ ハザードボタンに対応する画像
７５ パーキングブレーキレバーに対応する画像
７６ ブレーキペダルに対応する画像
７７ アクセルペダルに対応する画像
７８ クラクションボタンに対応する画像
７９ 運転支援画像
８０ 運転モードの切替手順を示す画像
８１ 背景部分
８２ アンビエント照明

Claims (9)

1. 乗り物に搭載される投写型表示装置であって、
   前記乗り物は、内部で生成した指令又は外部から無線で受信した指令に基づいて運転が行われる第一モードを設定可能であり、
   光源から出射される光を、入力された画像データに基づいて空間変調する光変調部と、
   前記空間変調された前記光を前記乗り物の投写面に投写して前記画像データに基づく虚像又は実像を表示させる投写光学系と、
   前記光変調部に入力する画像データを制御する画像データ制御部と、
   前記第一モードが設定されている状態で、前記乗り物に搭載された運転に用いる複数の操作装置のうちの少なくとも１つの操作が必要な状況か否かを判定する状況判定部と、を備え、
   前記画像データ制御部は、前記状況判定部によって前記操作装置の操作が必要な状況であると判定された場合には、前記複数の前記操作装置の各々に対応する画像を前記複数の前記操作装置の配置と対応した位置関係で表示し、かつ、操作が必要な前記操作装置に対応する前記画像を強調して表示するための第一の画像データを前記光変調部に入力する投写型表示装置。
2. 請求項１記載の投写型表示装置であって、
   前記状況判定部によって前記操作装置の操作が必要な状況であると判定された場合に、前記乗り物の運転席にいる人の視線を前記投写面に誘導する制御を行う投写型表示装置。
3. 請求項２記載の投写型表示装置であって、
   前記画像データ制御部は、前記光変調部に入力する前記第一の画像データを、前記画像を除いた背景部分を構成する各画素データに基づいて空間変調された前記光と、前記画像を構成する各画素データに基づいて空間変調された前記光とのうち、前記背景部分を構成する各画素データに基づいて空間変調された前記光が少なくとも前記投写面に到達する画像データとすることで、前記人の視線を前記投写面に誘導する制御を行う投写型表示装置。
4. 請求項１〜３のいずれか１項記載の投写型表示装置であって、
   前記乗り物は、更に、人が手動で運転を行う第二モードを設定可能であり、
   前記複数の前記操作装置は、前記第一モードと前記第二モードの切り替えを指示するためのモード切替指示装置を含み、
   前記画像データ制御部は、前記状況が前記モード切替指示装置の操作が必要な状況である場合に、前記モード切替指示装置に対応する前記画像を強調して表示するための前記第一の画像データを前記光変調部に入力する投写型表示装置。
5. 請求項１〜４のいずれか１項記載の投写型表示装置であって、
   前記複数の前記操作装置の各々には発光素子が固定されており、
   前記第一モードが設定されている状態では、前記強調された画像に対応する前記操作装置に固定された前記発光素子が点灯される投写型表示装置。
6. 光源から出射される光を、入力された画像データに基づいて空間変調する光変調部と、前記空間変調された前記光を乗り物の投写面に投写して前記画像データに基づく虚像又は実像を表示させる投写光学系と、を有し、乗り物に搭載される投写型表示装置の制御方法であって、
   前記乗り物は、内部で生成した指令又は外部から無線で受信した指令に基づいて運転が行われる第一モードを設定可能であり、
   前記光変調部に入力する画像データを制御する画像データ制御ステップと、
   前記第一モードが設定されている状態で、前記乗り物に搭載された運転に用いる複数の操作装置のうちの少なくとも１つの操作が必要な状況か否かを判定する状況判定ステップと、を備え、
   前記画像データ制御ステップでは、前記状況判定ステップによって前記操作装置の操作が必要な状況であると判定された場合には、前記複数の前記操作装置の各々に対応する画像を前記複数の前記操作装置の配置と対応した位置関係で表示し、かつ、操作が必要な前記操作装置に対応する前記画像を強調して表示するための第一の画像データを前記光変調部に入力する投写型表示装置の制御方法。
7. 請求項６記載の投写型表示装置の制御方法であって、
   前記状況判定ステップによって前記操作装置の操作が必要な状況であると判定された場合に、前記乗り物の運転席にいる人の視線を前記投写面に誘導する制御を行う投写型表示装置の制御方法。
8. 請求項７記載の投写型表示装置の制御方法であって、
   前記画像データ制御ステップでは、前記光変調部に入力する前記第一の画像データを、前記画像を除いた背景部分を構成する各画素データに基づいて空間変調された前記光と、前記画像を構成する各画素データに基づいて空間変調された前記光とのうち、前記背景部分を構成する各画素データに基づいて空間変調された前記光が少なくとも前記投写面に到達する画像データとすることで、前記人の視線を前記投写面に誘導する投写型表示装置の制御方法。
9. 請求項６〜８のいずれか１項記載の投写型表示装置の制御方法であって、
   前記乗り物は、更に、人が手動で運転を行う第二モードを設定可能であり、
   前記複数の前記操作装置は、前記第一モードと前記第二モードの切り替えを指示するためのモード切替指示装置を含み、
   前記画像データ制御ステップでは、前記状況が前記モード切替指示装置の操作が必要な状況である場合に、前記モード切替指示装置に対応する前記画像を強調して表示するための前記第一の画像データを前記光変調部に入力する投写型表示装置の制御方法。