JPWO2017221945A1 - 表示装置、表示システム、移動体、および表示方法 - Google Patents

Abstract

表示装置１０は、画像投影部１１と、制御部１５と、を備える。画像投影部１１は、被投影面に画像を投影する画像投影光を射出する。制御部１５は、画像投影部１１が射出する画像投影光の出射方向を時分割で制御する。制御部１５は、被投影面上の画像投影光が投影される一以上の領域の面積の総和が、所定の上限を超えないように制御する。

Description

関連出願の相互参照

本出願は、２０１６年６月２０日に日本国に特許出願された特願２０１６−１２２１４１、特願２０１６−１２２１４３、および特願２０１６−１２２１４５の優先権を主張するものであり、これらの先の出願の開示全体をここに参照のために取り込む。

本開示の実施形態は、表示装置、表示システム、移動体、および表示方法に関する。

従来、車両のインストルメントパネルの下方からフロントウィンドシールドに光を射出して、反射光によって画像を表示する表示装置が知られている。例えば特許文献１には、表示装置そのものが移動可能である構成が開示されている。

特開２０１５−１６８３８２号公報

本開示の一実施形態に係る表示装置は、被投影面に画像を投影する画像投影光を射出する画像投影部を備える。前記表示装置は、前記画像投影部が射出する前記画像投影光の出射方向を時分割で制御する制御部を備える。前記制御部は、前記被投影面上の前記画像投影光が投影される一以上の領域の面積の総和が、所定の上限を超えないように制御する。

本開示の一実施形態に係る表示システムは、光を受けて該光を散乱し、または、光を受けて発光する被投影部材を備える。前記表示システムは、画像を投影する画像投影光を射出し、前記被投影部材上で前記画像の実像を形成する画像投影部を備える。前記表示システムは、前記画像投影部が射出する前記画像投影光の出射方向を時分割で制御する制御部を備える。前記制御部は、前記画像投影光が投影される前記被投影部材上の一以上の領域の面積の総和が、所定の上限を超えないように制御する。

本開示の一実施形態に係る表示システムは、光の少なくとも一部を反射する被投影部材を備える。前記表示システムは、画像を投影する画像投影光を射出し、前記被投影部材の一以上の領域に画像投影光を反射させ、前記画像の虚像を使用者の視野内に表示する画像投影部を備える。前記表示システムは、前記画像投影部が射出する前記画像投影光の出射方向を時分割で制御する制御部を備える。前記制御部は、前記画像投影光が投影される前記被投影部材上の一以上の領域の面積の総和が、所定の上限を超えないように制御する。

本開示の一実施形態に係る移動体は、表示システムを備える。前記表示システムは、光の少なくとも一部を反射する被投影部材を備える。前記表示システムは、画像を投影する画像投影光を射出し、前記被投影部材の一以上の領域に画像投影光を反射させ、前記画像の虚像を使用者の視野内に表示する画像投影部を備える。前記表示システムは、前記画像投影部が射出する前記画像投影光の出射方向を時分割で制御する制御部を備える。前記制御部は、前記画像投影光が投影される前記被投影部材上の一以上の領域の面積の総和が、所定の上限を超えないように制御する。前記被投影部材はウィンドシールドに設けられる。

本開示の一実施形態に係る移動体は、表示システムを備える。前記表示システムは、光を受けて該光を散乱し、または、光を受けて発光する被投影部材を備える。前記表示システムは、画像を投影する画像投影光を射出し、前記被投影部材上で前記画像の実像を形成する画像投影部を備える。前記表示システムは、前記画像投影部が射出する前記画像投影光の出射方向を時分割で制御する制御部を備える。前記制御部は、前記画像投影光が投影される前記被投影部材上の一以上の領域の面積の総和が、所定の上限を超えないように制御する。前記被投影部材はウィンドシールドに設けられる。

本開示の一実施形態に係る表示システムは、移動体に備えられる表示システムであって、前記移動体に関する移動体情報および前記移動体の環境に関する環境情報の少なくとも一方に基づいて制御情報を生成する表示制御装置と、前記制御情報に基づいて、前記移動体の進路を示唆する支援画像を運転者の視界内に表示させる表示装置と、を備え、前記制御情報は、前記支援画像の表示位置を変化させる情報を含む。

本開示の一実施形態に係る移動体は、前記移動体に関する移動体情報および前記移動体の環境に関する環境情報の少なくとも一方に基づいて制御情報を生成する表示制御装置と、前記制御情報に基づいて、前記移動体の進路を示唆する支援画像を運転者の視界内に表示させる表示装置と、を有する表示システムを備え、前記制御情報は、前記支援画像の表示位置を変化させる情報を含む。

本開示の一実施形態に係る表示方法は、移動体に備えられる表示システムを用いる表示方法であって、前記移動体に関する移動体情報および前記移動体の環境に関する環境情報の少なくとも一方に基づいて制御情報を生成するステップと、前記制御情報に基づいて、前記移動体の進路を示唆する支援画像を運転者の視界内に表示させるステップと、を含み、前記制御情報は、前記支援画像の表示位置を変化させる情報を含む。

本開示の一実施形態に係る表示システムは、移動体に備えられる表示システムであって、前記移動体に関する移動体情報および前記移動体の環境に関する環境情報の少なくとも一方に基づいて制御情報を生成する表示制御装置と、前記制御情報に基づいて、運転者の視界における所定の対象物の存在を示唆するマーカ画像を前記運転者の視界内に表示させる表示装置と、を備え、前記制御情報は、前記マーカ画像の表示位置を変化させる情報を含む。

本開示の一実施形態に係る移動体は、前記移動体に関する移動体情報および前記移動体の環境に関する環境情報の少なくとも一方に基づいて制御情報を生成する表示制御装置と、前記制御情報に基づいて、運転者の視界における所定の対象物の存在を示唆するマーカ画像を前記運転者の視界内に表示させる表示装置と、を有する表示システムを備え、前記制御情報は、前記マーカ画像の表示位置を変化させる情報を含む。

本開示の一実施形態に係る表示方法は、移動体に備えられる表示システムを用いる表示方法であって、前記移動体に関する移動体情報および前記移動体の環境に関する環境情報の少なくとも一方に基づいて制御情報を生成するステップと、前記制御情報に基づいて、運転者の視界における所定の対象物の存在を示唆するマーカ画像を前記運転者の視界内に表示させるステップと、を含み、前記制御情報は、前記マーカ画像の表示位置を変化させる情報を含む。

実施形態に係る表示装置の構成例を示す図である。 中間像面部をさらに備える表示装置の構成例を示す図である。 画像投影光の出射方向に応じた画像投影位置の一例を示す図である。 画像投影光の出射方向に応じた画像投影位置の一例を示す図である。 駆動部をさらに備える表示装置の構成例を示す図である。 駆動部の構成例を示す図である。 中間像面部で結像した画像から投影される画像投影光の一例を示す図である。 使用者からの見え方の一例を示す図である。 使用者からの見え方の一例を示す図である。 被投影面上の表示画像の表示例を示す図である。 被投影面上の表示画像の表示例を示す図である。 被投影面上の表示画像の表示例を示す図である。 被投影面上の表示画像の位置に応じた表示例を示す図である。 被投影面上の表示画像の位置に応じた表示例を示す図である。 表示方法の一例を示すフローチャートである。 表示システムを車両に搭載した場合の構成例を示す図である。 車両の概略構成を示すブロック図である。 被投影部材を介する運転者の視界を示す図である。 図１４より後の視界を示す図である。 図１５より後の視界を示す図である。 被投影部材を介する運転者の視界を示す図である。 図１７より後の視界を示す図である。 被投影部材を介する運転者の視界を示す図である。 図１９より後の視界を示す図である。 図２０より後の視界を示す図である。 図２１より後の視界を示す図である。 図２２より後の視界を示す図である。 被投影部材を介する運転者の視界を示す図である。 図２４より後の視界を示す図である。 図２５より後の視界を示す図である。 図２６より後の視界を示す図である。 図２７より後の視界を示す図である。 図２８より後の視界を示す図である。 被投影部材を介する運転者の視界を示す図である。 図３０より後の視界を示す図である。 図３１より後の視界を示す図である。 図３２より後の視界を示す図である。 被投影部材を介する運転者の視界を示す図である。 図３４より後の視界を示す図である。 図３５より後の視界を示す図である。 図３６より後の視界を示す図である。 図３７より後の視界を示す図である。 図３８より後の視界を示す図である。 図３９より後の視界を示す図である。 図４０より後の視界を示す図である。 被投影部材を介する運転者の視界を示す図である。 図４２より後の視界を示す図である。 図４３より後の視界を示す図である。 被投影部材を介する運転者の視界を示す図である。 図４５より後の視界を示す図である。 図４６より後の視界を示す図である。 被投影部材を介する運転者の視界を示す図である。 表示装置、表示制御装置、および情報出力部の動作を示すフローチャートである。

フロントウィンドシールド等の光学部材を介して対象者の視界に画像を表示する技術の利便性の向上が望まれている。

例えば、画像の表示領域の拡大の観点から、上述した技術の利便性の向上が望まれている。表示領域を広げるために、例えば画像の表示位置の変化に応じて表示装置を移動させることが考えられる。しかしながら、表示装置が車両に搭載される場合、表示装置が移動可能なスペースは必ずしも十分でない。例えば、表示装置が移動可能なスペースは、車両のインストルメントパネルに設置される他の機器によって制限されることがある。または、表示領域を広げるために、例えば表示装置によって画像を投影する画角を広げることが考えられる。しかしながら、画角が比較的大きいと、投影される画像の輝度が低下する場合がある。低輝度の画像の視認性は、必ずしも十分でない。

例えば、表示装置が搭載された車両の状況に応じた情報を対象者に提示する観点から、上述した技術の利便性の向上が望まれている。

本開示の一実施形態に係る表示装置、表示システム、移動体、および表示方法によれば、光学部材を介して対象者の視界に画像を表示する技術の利便性が向上する。

（実施形態）
以下、本開示に係る実施形態について、図面を参照しながら詳細に説明する。以下の説明で用いられる図は模式的なものである。図面上の寸法比率等は、現実のものとは必ずしも一致していない。

［システム構成］
本実施形態に係る表示システム１は、図１に示されるように、表示装置１０と、被投影面３２を有する被投影部材３１とを備える。後述するように、表示システム１が備える構成要素は、これらに限られない。表示装置１０は、画像投影部１１と、第１制御部１５とを備える。表示装置１０は、破線で示される画像投影光２０を射出して、被投影面３２に画像を投影する。被投影面３２に投影された画像は、表示システム１の使用者の目２２に到達する。目２２に到達する画像は、使用者の視野内に入るともいえる。

画像投影部１１は、図１に示されるように、画像生成部１６を備えてよい。この場合、画像投影部１１は、第１制御部１５からの制御情報に基づいて、画像生成部１６から画像投影光２０を射出する。画像投影部１１は、被投影面３２に画像を投影する。

画像生成部１６は、画像生成面を備える。画像生成部１６は、画像生成面において画像を生成してよい。画像生成部１６は、画像生成面から画像投影光２０を射出してよい。

画像生成部１６は、液晶デバイスを備えてよい。液晶デバイスには、例えば、ＬＣＤ（Liquid Crystal Display）等の透過型液晶デバイス、およびＬＣＯＳ（Liquid Crystal On Silicon）等の反射型液晶デバイスが含まれてよい。この場合、画像生成面は、液晶デバイスの表示面であってよい。

画像生成部１６は、ミラーデバイスを備えてよい。ミラーデバイスには、デジタルミラーデバイス（ＤＭＤ：Digital Mirror Device）およびＭＥＭＳ（Micro Electro Mechanical Systems）ミラー等が含まれてよい。この場合、画像生成面は、ミラーの配列面であってよい。画像生成部１６は、ミラーデバイスから射出される光を結像する部材をさらに備えてよい。当該部材には、スクリーンおよびレンズアレイ等が含まれてよい。この場合、画像生成面は、スクリーンであってよいし、レンズアレイの結像面であってよい。

画像生成部１６は、光源として、ランプ、ＬＥＤ（Light Emission Diode）、またはレーザ等を備えてよい。光源は、液晶デバイスのバックライトとして用いられてよい。光源は、ミラーデバイスへ光を入射するために用いられてよい。

画像生成部１６は、自発光デバイスを備えてよい。自発光デバイスには、無機ＥＬ（Electro-Luminescence）および有機ＥＬ等が含まれてよい。この場合、画像生成面は、自発光デバイスの表示面であってよい。画像生成部１６は、自発光デバイス以外の光源を備えなくてよい。

画像投影部１１は、図２に示されるように、中間像面部１４と、光源部１７と、走査部１８とを備えてよい。この場合、画像投影部１１は、第１制御部１５からの制御情報に基づいて、光源部１７と走査部１８とを制御する。画像投影部１１は、中間像面部１４の結像面に画像を結像させる。画像投影部１１は、結像面から画像投影光２０を射出する。画像投影部１１は、被投影面３２に画像を投影する。

光源部１７は、例えばレーザ等を備えてよい。光源部１７は、中間像面部１４に対して光ビームを射出する。走査部１８は、光源部１７から射出される光ビームを走査する。走査部１８は、光源部１７を駆動することによって光ビームを走査してよい。走査部１８は、光源部１７から射出される光ビームの進行方向を光学的に曲げることによって光ビームを走査してよい。

中間像面部１４は、光源部１７から射出される光ビームを結像するスクリーンを含んでよい。この場合、スクリーンが中間像面部１４の結像面となってよい。中間像面部１４は、光源部１７から射出される光ビームを結像するマイクロレンズアレイを含んでよい。この場合、マイクロレンズアレイの結像面が中間像面部１４の結像面となってよい。中間像面部１４は、結像面に結像した画像から画像投影光２０を射出する。

画像投影部１１は、図１および図２に示されるように、拡大光学系１３を備えてよい。拡大光学系１３は、画像生成部１６または中間像面部１４から射出される画像投影光２０を反射または屈折させる。拡大光学系１３は、反射または屈折させた画像投影光２０を被投影面３２上に投影する。拡大光学系１３は、凸面または凹面ミラーを備える反射光学系であってよい。拡大光学系１３は、凸面または凹面レンズを備える屈折光学系であってよい。拡大光学系１３は、ミラーまたはレンズを組み合わせた光学系であってよい。拡大光学系１３に設けられるミラーまたはレンズは、少なくとも部分的に球面形状を有してよい。拡大光学系１３に設けられるミラーまたはレンズは、少なくとも部分的に非球面形状を有してよい。拡大光学系１３に設けられるミラーまたはレンズは、少なくとも部分的に被投影面３２の形状に応じた面形状を有してよい。

第１制御部１５は、表示装置１０が表示させようとする画像に係るデータに基づいて、画像投影部１１が射出する画像投影光２０の強度等を制御する。表示装置１０が表示させようとする画像に係るデータのことを、表示画像データともいう。表示画像データは、文字もしくは記号、または写真等を含んでよい。第１制御部１５は、外部装置から取得した情報に基づいて表示画像データを生成してよい。第１制御部１５は、外部装置から表示画像データを取得してよい。第１制御部１５は、画像生成部１６に対して、例えば光源の発光強度もしくは色、液晶デバイスの液晶の配向、またはミラーデバイスのミラーの方向等を制御する制御情報を出力する。第１制御部１５は、光源部１７に対して、例えば光ビームの強度等を制御する制御情報を出力する。第１制御部１５は、走査部１８に対して、例えば光ビームの進行方向を制御する制御情報を出力する。第１制御部１５は、アプリケーションソフトウェアを実行可能なプロセッサまたはマイクロコンピュータ等を含んでよい。

第１制御部１５は、記憶デバイスを備えてよい。記憶デバイスには、各種情報、または表示装置１０の各構成部を動作させるためのプログラム等が格納されてよい。記憶デバイスは、例えば半導体メモリ等を含んでよい。記憶デバイスは、第１制御部１５のワークメモリとして機能してよい。表示装置１０は、記憶デバイスを記憶部として備えてよい。

第１制御部１５は、外部装置から各種情報または表示画像データ等を取得する。第１制御部１５は、通信デバイスを備えてよい。通信デバイスは、例えば、ＬＡＮ（Local Area Network）またはＣＡＮ（Control Area Network）等の通信インターフェースであってよい。通信デバイスは、有線または無線によって、外部装置と通信可能であってよい。表示装置１０は、通信デバイスを通信部として備えてよい。

第１制御部１５の少なくとも一部の機能は、表示装置１０から独立した別個の制御装置によって実現されてよい。

画像投影部１１から画像投影光２０が射出される方向が一定の方向である場合、被投影面３２に対する画像の投影位置は一定の位置である。画像投影光２０が射出される方向を、画像投影光２０の出射方向ともいう。表示装置１０は、画像投影部１１からの画像投影光２０の出射方向を変えてよい。表示装置１０は、被投影面３２に対して画像投影光２０が投影される位置を移動させてよい。

表示装置１０は、例えば図３Ａに示されるように、破線で示される画像投影光２０の出射方向を、一点鎖線で示される基準方向から時計回りの方向に変えてよい。基準方向は、図１に例示される画像投影光２０の出射方向に対応する。図３Ａにおいて、画像投影光２０は、図１と比較してより下方から目２２に到達する。この画像投影光２０によって、画像は、被投影面３２のより下方に投影されているように見える。表示装置１０は、例えば図３Ｂに示されるように、破線で示される画像投影光２０の出射方向を、一点鎖線で示される図１の画像投影光２０の出射方向から反時計回りの方向に変えてよい。図３Ｂにおいて、画像投影光２０は、図１と比較してより上方から目２２に到達する。この画像投影光２０によって、画像は、被投影面３２のより上方に投影されているように見える。

画像生成部１６がＭＥＭＳミラー等の自駆動機能を有するデバイスを備える場合、第１制御部１５は、画像生成部１６に対して画像投影光２０の出射方向を変える制御情報を出力してよい。

表示装置１０は、図４に示されるように、駆動部１２をさらに備えてよい。駆動部１２は、画像生成部１６を駆動してよい。駆動部１２は、画像生成部１６の画像生成面の向きを変えることができる。駆動部１２は、例えば図５に示されるように、Ｘ軸に平行な第１回転軸１２ａと、Ｙ軸に平行な第２回転軸１２ｂとを備える。駆動部１２は、画像生成部１６を駆動しない場合に、画像生成面が基準方向に向くように画像生成部１６を保持してよい。図５の例では、基準方向は、Ｚ軸方向である。基準方向は、Ｚ軸方向に限られず、他の方向であってよい。第１回転軸１２ａおよび第２回転軸１２ｂは、Ｘ軸およびＹ軸に平行でなくてよく、他の方向に沿ってよい。駆動部１２は、一つの回転軸だけを備えてよいし、三つ以上の回転軸を備えてよい。駆動部１２は、回転軸の周りの回転変位を生じるだけでなく、並進方向等の他の方向の変位を生じてよい。

画像生成面の向きは、図５の例において、駆動部１２の第１回転軸１２ａおよび第２回転軸１２ｂそれぞれの周りの回転変位に基づいて制御される。駆動部１２は、例えばモータまたは圧電素子等によって、第１回転軸１２ａおよび第２回転軸１２ｂそれぞれの周りの回転変位を制御する。駆動部１２は、他の駆動手段によって回転軸の周りの回転変位を制御してよい。第１制御部１５は、駆動部１２に対して回転軸の周りの回転変位を生じさせる制御情報を出力してよい。第１制御部１５は、画像投影光２０の出射方向を変え得る。駆動部１２は、モータ、圧電素子、または他の駆動手段によって並進方向等の他の方向の変位を制御してよい。駆動部１２は、画像生成部１６と拡大光学系１３との相対位置を変更することができる。

表示装置１０が中間像面部１４を備える場合、駆動部１２は、中間像面部１４を保持してよい。駆動部１２は、中間像面部１４を駆動してよい。駆動部１２は、中間像面部１４の結像面の向きを変えることができる。駆動部１２は、結像面が基準方向を向くように中間像面部１４を保持してよい。駆動部１２は、さらに光源部１７または走査部１８を保持してよい。駆動部１２は、中間像面部１４とあわせて光源部１７または操作部１８を駆動してよい。

図２に示されるように表示装置１０が中間像面部１４と光源部１７と走査部１８とを備え、駆動部１２を備えない場合について説明する。第１制御部１５は、走査部１８に対して、中間像面部１４の結像面における画像の結像位置を制御する制御情報を出力してよい。走査部１８は、例えば図６に示されるように、画像投影光２０を曲げてよい。走査部１８は、画像投影光２０の出射方向を、破線で示される第１光路２０ａの方向に変えてよい。第１光路２０ａを通った画像投影光２０は、図６における中間像面部１４の左側で結像する。第１光路２０ａを通った画像投影光２０は、拡大光学系１３を介して、被投影面３２の比較的上方に投影される。図６における中間像面部１４の左側は、表示装置１０の使用者にとっての手前側である。走査部１８は、画像投影光２０の出射方向を一点鎖線で示される第２光路２０ｂの方向に変えてよい。第２光路２０ｂを通った画像投影光２０は、図６における中間像面部１４の右側で結像する。第２光路２０ｂを通った画像投影光２０は、拡大光学系１３を介して、被投影面３２の比較的下方に投影される。図６における中間像面部１４の右側は、表示装置１０の使用者にとっての奥側である。中間像面部１４は、走査部１８の画像投影光２０の走査範囲がより広くなるように、より広い結像面を有してよい。

表示装置１０が中間像面部１４と光源部１７と走査部１８とを備える場合について説明する。駆動部１２は、中間像面部１４を保持しなくてよい。駆動部１２は、光源部１７と走査部１８とを保持してよい。駆動部１２は、光源部１７と走査部１８とを駆動してよい。駆動部１２は、中間像面部１４の結像面における画像の結像位置を制御してよい。

表示装置１０は、拡大光学系１３に含まれるレンズまたはミラーを変位させてよい。表示装置１０は、画像投影光２０の出射方向を変えてよい。かかる構成によれば、画像投影光２０の出射方向の変更は、より容易になされ得る。レンズまたはミラーの光軸が合わせられている場合、レンズまたはミラーを個別に変位させると、光が所望の位置に結像しなくなることがある。これに対して、表示装置１０は、拡大光学系１３に含まれるレンズまたはミラーの光軸がずれないように、レンズまたはミラーを互いに連携させつつ変位させてよい。

被投影部材３１は、光を受けて該光を反射する光学部材であってよい。光を反射する光学部材のことを、反射光学部材ともいう。この場合、図７Ａに示されるように、破線で示される画像投影光２０が被投影部材３１で反射される。このとき、使用者は、虚像２１ａを視認し得る。使用者に虚像２１ａを視認させるために、拡大光学系１３は、正の屈折力を有してよい。使用者に虚像２１ａを視認させるために、被投影部材３１は、正の屈折力を有してよい。本開示で「表示される画像」には、実像としての画像および虚像としての画像が含まれる。本開示において、虚像として画像を表示することを意味する記載を、状況に応じて「画像を視覚化する」、「虚像を運転者の網膜に結像させて、画像を視覚化する」、「虚像となる画像投影光を投影する」、「虚像となる光を投影する」、「画像の虚像を投影する」との意味で理解することができる。

反射光学部材は、波長スペクトルを有する光のうち少なくとも一部の波長の光を反射してよい。反射光学部材は、光の波長にかかわらず、光の少なくとも一部を反射してよい。反射光学部材は、ガラス、フィルム、または樹脂等であってよい。反射光学部材は、ガラス、フィルム、または樹脂等を含む基材上に形成されてよい。

反射光学部材は、光を正反射する光学部材であってよい。光を正反射する光学部材は、例えば、ガラスまたはフィルム等である。反射光学部材は、画像投影部１１からの光を正反射した際に、反射した光が使用者の目２２に集まるような形状であってよい。

反射光学部材は、光を入射角とは異なる反射角で反射する光学部材であってよい。入射角と異なる反射角で反射することを、正反射とは異なる角度で反射するともいう。光を入射角とは異なる反射角で反射する光学部材のことを、反射角度制御部材ともいう。反射角度制御部材は、入射した光を反射する際に位相差を生じさせる。反射角度制御部材は、ホログラムまたは回折格子等であってよい。被投影部材３１が反射角度制御部材である場合、表示装置１０は、被投影面３２のより広い範囲に対して射出した画像投影光２０を使用者の目２２に到達させ得る。

被投影部材３１が反射光学部材である場合、使用者の目２２に向けて反射される画像投影光２０の強度は、反射光学部材の反射率に基づいて決定される。反射光学部材の反射率は、適宜定められ得る。

被投影部材３１は、光を受けてこの光を散乱する光学部材、または、光を受けて発光する光学部材であってよい。光を散乱する光学部材のことを、散乱光学部材ともいう。光を受けて発光する光学部材のことを、自発光部材ともいう。この場合、図７Ｂに示されるように、破線で示される画像投影光２０が被投影面３２に投影される。画像投影光２０が、被投影面３２で結像する。使用者は、実像２１ｂを視認し得る。

散乱光学部材は、例えば、ジルコニア粒子等の微細粒子を分散させた透明部材であってよい。被投影部材３１が散乱光学部材である場合、使用者の目２２に到達する画像投影光２０の強度は、散乱光学部材の散乱係数に基づいて決定される。散乱光学部材の散乱係数は、適宜定められ得る。

自発光部材は、例えば、蛍光体または量子ドット等であってよい。自発光部材は、入射した光のエネルギーに応じて、光が入射した部分で発生する反応によって自ら発光する。被投影部材３１が自発光部材である場合、使用者の目２２に到達する画像投影光２０の強度は、自発光部材のエネルギー効率に基づいて決定される。自発光部材のエネルギー効率は、適宜定められ得る。

以下、本実施形態においては、特に記載のない限り、被投影部材３１は、反射光学部材であるとして説明する。虚像２１ａおよび実像２１ｂをあわせて表示画像２１ともいう。

［表示画像］
被投影部材３１に投影された画像投影光２０は、使用者の視野内で結像する。結像した画像投影光２０は、表示画像２１として認識される。画像投影部１１が一つの出射方向に画像投影光２０を射出する場合に被投影面３２に投影される表示画像２１の面積は、画像生成部１６の画像生成面または中間像面部１４の結像面の面積、または、拡大光学系１３の構成等によって定められ得る。例えば、画像生成面または結像面の面積が２倍となる場合、被投影面３２に投影される表示画像２１の面積は２倍となり得る。例えば、拡大光学系１３の構成によって定められる拡大倍率が２倍となる場合、被投影面３２に投影される表示画像２１の面積は４倍となり得る。被投影面３２に投影される表示画像２１の面積のことを、投影面積ともいう。

表示画像２１の輝度は、画像投影光２０の強度によって定められる。画像投影光２０の強度は、輝度を表す値であってよい。画像投影光２０の強度は、光束を表す値であってよい。画像投影光２０の強度は、照度を表す値であってよい。画像投影光２０の強度は、画像投影部１１の光源もしくは光源部１７から射出される光の輝度、または拡大光学系１３における損失等に基づいて定められ得る。例えば、画像生成部１６がランプ等の面光源を用いた液晶デバイスである場合、画像投影光２０の強度は、ランプ等の輝度に基づいて定められ得る。画像生成部１６がレーザ等の点光源をスキャンすることで画像を形成するミラーデバイスである場合、画像投影光２０の強度は、点光源の輝度と１画素あたりのスキャン時間とに基づいて定められ得る。

第１制御部１５は、画像投影光２０の出射方向を時分割で変えてよい。第１制御部１５は、被投影面３２の各位置に時分割で画像を投影してよい。本開示において、被投影面３２の各位置に時分割で画像を投影することは、一つの画像投影部１１から一つの位置に対して画像を投影する処理を、各位置に対して時間をずらして行うことを意味する。言い換えれば、被投影面３２の各位置に時分割で画像を投影することは、一つの画像投影部１１から各位置に対して画像を投影する時間を分割することを意味する。例えば、制御部１５は、あるタイミングで、ある位置に画像を投影した後、他のタイミングで、他の位置に画像を投影してよい。制御部１５は、任意のタイミングで任意の位置に画像を投影しているとき、他の位置に画像を投影しなくてよい。

第１制御部１５は、画像生成部１６から画像投影光２０を投影する場合、画像生成部１６または駆動部１２を制御して画像投影光２０の出射方向を変える。第１制御部１５は、中間像面部１４から画像投影光２０を投影する場合、走査部１８を制御して中間像面部１４の結像面の各位置に対して表示画像２１を結像させる。かかる構成によれば、第１制御部１５は、所定時間内に被投影面３２の各位置に対して時分割で表示画像２１を順次投影できる。所定時間は、時分割の一周期とされてよい。所定時間内に投影される表示画像２１をまとめて一フレームともいう。第１制御部１５は、所定時間ごとに各表示画像２１を投影することによって、一フレームを表示させ得る。一フレームを表示するためにかかる時間のことを、フレーム表示時間ともいう。１秒間に表示されるフレーム数をフレームレートともいう。フレームレートは、フレーム表示時間の逆数として算出される。例えば、フレーム表示時間が２０ミリ秒である場合、フレームレートは５０ｆｐｓ（frame per second：フレーム毎秒）である。

第１制御部１５は、図８Ａに示されるように、一フレームに一つの表示画像２１を表示させてよい。被投影面３２上において表示画像２１が投影されている範囲のことを、領域２４ともいう。一つの表示画像２１は、二以上のサブ画像２３−１〜ｎを含んでよい。ｎは２以上の自然数である。二以上のサブ画像２３−１〜ｎを、まとめてサブ画像２３ともいう。各サブ画像２３は、少なくとも一部が異なる画像であってよいし、同一の画像であってよい。サブ画像２３の投影面積は、画像投影部１１が１回で投影可能な面積であってよい。画像投影部１１が１回で投影可能な面積は、例えば、画像生成部１６の画像生成面全体または中間像面部１４の結像面全体に生成された画像によって投影される面積であってよい。第１制御部１５は、図８Ｂに示されるように、領域２４の中にサブ画像２３を時分割で順次投影してよい。このようにして、第１制御部１５は、画像投影部１１が１回で投影可能な面積よりも大きい面積を有する領域２４の全体に表示画像２１を表示させ得る。サブ画像２３が時分割で順次投影されることは、例えば、第１のタイミングでサブ画像２３−１が投影され、第１のタイミングと異なる第ｎのタイミングでサブ画像２３−ｎが投影されることを意味する。第１のタイミングでサブ画像２３−１が投影されるとき、サブ画像２３−２〜２３−ｎは投影されなくてよい。第２〜第ｎのタイミングそれぞれでサブ画像２３−２〜ｎが投影されるときも、他のサブ画像２３は投影されなくてよい。

第１制御部１５は、表示画像２１を被投影面３２上の二以上の領域２４に時分割で順次投影してよい。第１制御部１５は、一フレーム内に二以上の表示画像２１を表示させてよい。表示画像２１の数が二以上である場合、表示画像２１が投影される各領域２４を第１領域２４−１〜第ｍ領域２４−ｍともいう。ｍは２以上の自然数である。第１制御部１５は、例えば図９に示されるように、第１領域２４−１と、第２領域２４−２と、第３領域２４−３とにそれぞれ表示画像２１を投影してよい。被投影面３２上の領域２４の数は、図１０の例のように三つに限られず、二以下であってよいし、四以上であってよい。各領域２４は、被投影面３２上で互いに離れてよいし、隣接してよい。各領域２４に投影される表示画像２１は、二以上のサブ画像２３からなる画像であってよい。表示画像２１が時分割で投影されることは、例えば、第１領域２４−１〜第３領域２４−３それぞれに、互いに異なる第１〜第３のタイミングで、表示画像２１が投影されることを意味する。第１のタイミングで第１領域２４−１に表示画像２１が投影されるとき、他の領域２４には表示画像２１が投影されなくてよい。第２領域２４−２および第３領域２４−３それぞれに、第２および第３のタイミングで、表示画像が投影されるときも、他の領域２４には表示画像２１が投影されなくてよい。

中間像面部１４の結像面で結像された画像が被投影面３２に投影される場合、被投影面３２上の各領域２４に対応して、結像面上に領域２４が設けられてよい。第１制御部１５は、図１０に例示されるように表示画像２１を表示させるために、結像面上に第１領域２４−１〜第３領域２４−３を設けてよい。第１制御部１５は、各領域２４に表示画像２１を結像させてよい。結像面上の各領域２４は、被投影面３２上の各領域２４の位置に対応する位置に設けられる。

表示画像２１が時分割で投影される場合、人間の目には表示画像２１が明滅して見えることがある。換言すると、人間の目には表示画像２１がちらついて見えることがある。第１制御部１５は、人間の目の分解能では判別できないフレームレートで表示画像２１を時分割で投影してよい。このようにして、人間の目から見た表示画像２１のちらつきが低減可能である。一般的に、人間の目は、１秒間の光の明滅が２４回以下である場合にちらついて見える程度の分解能を有する。第１制御部１５は、表示画像２１のフレームレートを例えば３０ｆｐｓ以上としてよい。つまり第１制御部１５は、表示画像２１を各領域２４に時分割で投影する制御を毎秒３０回以上実行してよい。

＜表示画像の輝度＞
画像投影光２０が時分割で投影される場合について説明する。画像投影光２０の目２２までの光路長と、目２２に入射する光の広がり角とが等しい場合における、被投影面３２上の各領域２４に投影される表示画像２１の輝度について説明する。当該輝度は、フレーム表示時間内において画像投影光２０が投影される時間と投影されない時間との比に基づいて定められる。例えば、画像投影光２０が投影される時間と投影されない時間との比が１：１である場合、表示画像２１の輝度は、画像投影光２０がフレーム表示時間内で常に投影され続ける場合と比較して、５０％に低下する。表示画像２１が二以上の領域２４に対して時分割でフレーム表示時間内に同じ時間ずつ投影される場合、表示画像２１の輝度は、各領域２４の面積の合計に反比例する。つまり、各領域２４の面積の総和が大きくなるほど、表示画像２１の輝度は低くなる。各領域２４に対する投影時間が異なる場合、ある表示画像２１の投影時間の比率が小さいほど、この表示画像２１の輝度は低くなる。

表示画像２１の輝度が所定の輝度よりも低い場合、表示画像２１は、人間の目に見えないまたは見えにくいことがある。所定の輝度は、人間の目の感度に応じて設定され得る。所定の輝度は、表示画像２１の背景として入射する外光の強度に応じて設定されてよい。第１制御部１５は、例えば、照度センサから外光の照度を取得してよい。第１制御部１５は、取得された照度に基づいて、所定の輝度を設定してよい。第１制御部１５は、背景の明るさに基づいて、所定の輝度を設定してよい。例えば、夜間等の暗い外部環境においては、所定の輝度は低く設定されてよい。例えば、晴天時等の明るい外部環境においては、所定の輝度は高く設定されてよい。第１制御部１５は、所定の輝度と画像投影光２０の強度とに基づいて、表示画像２１の投影時間を決定してよい。第１制御部１５は、ある一つの表示画像２１の輝度が所定の輝度以上となるように、当該表示画像２１の投影時間の下限を決定してよい。

第１制御部１５は、所定の輝度と画像投影光２０の強度とに基づいて、表示画像２１を投影する各領域２４の面積を決定してよい。第１制御部１５は、二以上の領域２４に表示画像２１を投影する場合、各表示画像２１の輝度が所定の輝度以上となるように、各領域２４の面積の総和の上限を決定してよい。表示画像２１を投影する領域２４の面積の総和の上限を、投影面積上限ともいう。図８Ａに示される領域２４の面積は、投影面積上限以下であってよい。かかる構成によれば、表示画像２１の輝度は、所定の輝度以上となり得る。図９に示される第１領域２４−１、第２領域２４−２および第３領域２４−３の面積の総和は、投影面積上限以下であってよい。かかる構成によれば、第１領域２４−１、第２領域２４−２および第３領域２４−３それぞれに投影される表示画像２１の輝度は、所定の輝度以上となり得る。

一つの領域２４だけに表示画像２１が投影される場合も、当該領域２４の面積は、投影面積上限以下であってよい。つまり、一以上の領域２４の面積の総和が投影面積上限以下であってよい。例えば、一つの表示画像２１が二以上のサブ画像２３からなる場合、当該表示画像２１が投影される領域２４の面積は、各サブ画像２３の投影面積の総和である。かかる構成によれば、各サブ画像２３の輝度が所定の輝度以上となり得る。つまり、表示画像２１の全体の輝度が所定の輝度以上となり得る。

画像生成部１６または中間像面部１４から射出される画像投影光２０は、所定の角度で広がる。画像投影光２０が広がる所定の角度を発散角ともいう。画像投影光２０が被投影面３２上に投影される表示画像２１の面積は、画像投影光２０の発散角と被投影面３２までの画像投影光２０の光路の長さとに応じて変化する。画像投影部１１から被投影面３２に至る画像投影光２０の光路の長さを、投影光路長ともいう。画像投影光２０の光路の起点は、例えば、画像投影部１１が備える拡大光学系１３の最終ミラーの反射面であってよい。画像投影光２０の光路の起点は、画像生成部１６の画像生成面または中間像面部１４の結像面であってよい。画像投影光２０の光路の起点は、画像投影部１１の任意の構成部とされてよい。

例えば図１０Ａに示されるように投影光路長が比較的短い場合、第４領域２４−４の面積は比較的小さくなる。一方で図１０Ｂに示されるように投影光路長が比較的長い場合、第５領域２４−５の面積は比較的大きくなる。画像投影光２０の強度が同じ場合、領域２４への投影面積が大きくなるほど、当該領域２４に投影される表示画像２１の輝度は低くなる。

第１制御部１５は、投影光路長にかかわらず表示画像２１の輝度が略等しくなるように、画像投影光２０の強度を制御してよい。第１制御部１５は、図１０Ａに例示されるように比較的小さい面積を有する第４領域２４−４に画像投影光２０を投影する場合、画像投影光２０の強度を小さくしてよい。第１制御部１５は、図１０Ｂに例示されるように、比較的大きい面積を有する第５領域２４−５に画像投影光２０を投影する場合、画像投影光２０の強度を大きくしてよい。

第１制御部１５は、投影光路長にかかわらず表示画像２１の輝度が略等しくなるように、表示画像２１の表示時間を決定してよい。第１制御部１５は、図１０Ａに例示されるように比較的小さい面積を有する第４領域２４−４に破線で示される画像投影光２０を投影する場合、第４領域２４−４に対する投影時間を短くしてよい。第１制御部１５は、図１０Ｂに例示されるように比較的大きい面積を有する第５領域２４−５に破線で示される画像投影光２０を投影する場合、第５領域２４−５に対する投影時間を長くしてよい。第５領域２４−５に対する投影時間が長くされた場合でも、投影面積上限は変化しなくてよい。

被投影部材３１は、投影光路長にかかわらず表示画像２１の輝度が略等しくなるように、被投影面３２上の位置に応じて異なる反射率を有してよい。被投影部材３１は、図１０Ａに例示される第４領域２４−４において比較的低い反射率を有してよい。被投影部材３１は、図１０Ｂに例示される第５領域２４−５において比較的高い反射率を有してよい。

［画像表示方法］
本実施形態に係る表示装置１０が実行する画像表示方法の一例を、図１１を参照して説明する。

ステップＳ１：第１制御部１５は、カウンタとして用いる変数（ｋ）を１にする。第１制御部１５は、表示画像２１が投影される領域２４の積算面積を示す変数（Ｓ）をリセットして０にする。ｋは、自然数である。

ステップＳ２：第１制御部１５は、第ｋ領域２４−ｋに投影される表示画像２１のデータを取得する。第ｋ領域２４−ｋに投影される表示画像２１のデータを、第ｋ画像データともいう。第ｋ画像データは、画像の表示位置を示すデータを含んでよい。第ｋ画像データは、第１制御部１５の記憶デバイスから取得されてよいし、外部装置から取得されてよい。第１制御部１５は、取得した第ｋ画像データをワークメモリまたは記憶デバイスに格納してよい。

ステップＳ３：第１制御部１５は、第ｋ画像データに基づいて算出される第ｋ領域２４−ｋの面積（Ｓｋ）を、積算面積（Ｓ）に加算する。第１制御部１５は、第ｋ画像データに画像の表示位置に係るデータが含まれる場合、画像の表示位置に基づいて投影光路長を算出してよい。第１制御部１５は、投影光路長に基づいて第ｋ領域２４−ｋの面積（Ｓｋ）を算出してよい。

ステップＳ４：第１制御部１５は、積算面積（Ｓ）が、投影面積上限を超えたか判定する。積算面積（Ｓ）が投影面積上限を超えた場合（ステップＳ４：ＹＥＳ）、プロセスはステップＳ５に進む。一方、積算面積（Ｓ）が投影面積上限を超えていない場合（ステップＳ４：ＮＯ）、プロセスはステップＳ６に進む。

ステップＳ５：第１制御部１５は、第ｋ画像データをワークメモリまたは記憶デバイスから削除する。この場合、削除された第ｋ画像データに対応する表示画像２１は、この後の投影ステップにおいて投影されない。

ステップＳ６：第１制御部１５は、カウンタの変数（ｋ）に１を加算する。

ステップＳ７：第１制御部１５は、第ｋ画像データが存在するか判定する。第ｋ画像データが存在しない場合は、例えば、ｋ＞ｍとなった場合である。第ｋ画像データが存在する場合（ステップＳ７：ＹＥＳ）、プロセスはステップＳ２に戻る。一方、第ｋ画像データが存在しない場合（ステップＳ７：ＮＯ）、プロセスはステップＳ８に進む。

ステップＳ８：第１制御部１５は、ワークメモリまたは記憶デバイスに格納された画像データに基づいて、各領域２４に対して表示画像２１を時分割で順次投影する。その後、プロセスが終了する。図１１に示される処理において、プロセスは、ステップＳ５の後、ステップＳ８に進んでよい。

第ｋ領域２４−ｋは、面積に基づいてソートされてよい。例えば、面積が最大である領域２４が第１領域２４−１とされ、次に面積が大きい領域２４が第２領域２４−２とされてよい。逆に、面積が最小である領域２４が第１領域２４−１とされ、次に面積が小さい領域２４が第２領域２４−２とされてよい。

第ｋ領域２４−ｋは、投影される表示画像２１の優先度に基づいてソートされてよい。例えば、第１制御部１５が優先して表示させようとする表示画像２１が投影される領域２４が第１領域２４−１とされてよい。

第ｋ領域２４−ｋは、上述の方法に限られず、他の方法によってソートされてよい。

［車両への搭載例］
図１２に示されるように、本実施形態に係る表示システム１は、車両４に搭載可能である。車両４は、インストルメントパネル４１と、フロントウィンドシールド４２とを備える。フロントウィンドシールド４２を、単にウィンドシールドともいう。表示装置１０は、インストルメントパネル４１に設けられる。被投影部材３１は、フロントウィンドシールド４２に設けられる。表示装置１０および被投影部材３１は、図１に示されるものと類似の構成である。

画像投影部１１から射出された画像投影光２０は、図１２において破線で示される。画像投影光２０は、画像投影部１１から被投影部材３１に投影される。被投影部材３１の被投影面３２上に投影された画像投影光２０は、車両４の運転者の視野内で結像する。被投影部材３１が反射光学部材である場合、運転者は、画像投影光２０が結像した結果を虚像２１ａとして視認できる。車両４に搭載された表示装置１０は、フロントウィンドシールド４２の広範囲に画像投影光２０を投影できる。運転者は、様々な方向で画像投影光２０が結像した結果を虚像２１ａとして視認できる。

被投影部材３１の設置場所は、フロントウィンドシールド４２に限られない。被投影部材３１は、車両４が備えるコンバイナ、ドアウィンドウまたはバックドアガラス等に設けられてよい。被投影部材３１がこれらの場所に設けられる場合、被投影部材３１は、運転者から見て被投影部材３１を隔てた反対側にある実空間の背景からの光を透過させる。車両４の運転者は、被投影部材３１を透過してくる光によって実空間の背景を視認できる。車両４の運転者は、表示装置１０により表示される虚像２１ａが被投影部材３１を隔てた反対側にある実空間の背景に重畳されたように視認し得る。

被投影部材３１の設置場所は、ピラー、ルーフまたはドア等であってよい。

表示装置１０の設置場所は、インストルメントパネル４１に限られず、被投影部材３１の設置場所に応じて、車両４の種々の場所であってよい。

表示システム１は、フロントウィンドシールド４２の全体に画像を表示してよい。この場合、表示装置１０は、フロントウィンドシールド４２の中央下部に設けられてよい。かかる構成によれば、フロントウィンドシールド４２の左右どちらに画像が表示される場合にも、表示画像２１の輝度は、より容易に所定の輝度以上となり得る。

表示システム１は、サイドミラーまたはルームミラー等の機能を代替する電子ミラーの画像を表示してよい。表示システム１が電子ミラーの画像を表示する場合、表示装置１０は、被投影部材３１の近傍に設けられてよい。かかる構成によれば、表示システム１は、より高輝度で電子ミラーの画像を表示し得る。表示装置１０は、例えば、助手席側または運転席側のピラーの近傍に設けられてよい。表示装置１０が助手席側に設けられる場合、設置場所の自由度が増し得る。被投影部材３１の、少なくとも電子ミラーの画像が投影される部分における反射率が比較的高くてよい。被投影部材３１が散乱光学部材である場合、被投影部材３１の、少なくとも電子ミラーの画像が投影される部分における散乱係数が比較的高くてよい。被投影部材３１が自発光部材である場合、被投影部材３１の、少なくとも電子ミラーの画像が投影される部分におけるエネルギー効率が比較的高くてよい。

電子ミラー画像の表示専用の装置が設置される場合と、本実施形態に係る表示システム１が電子ミラーの画像を表示する機能を有する場合とを比較する。電子ミラー画像の表示専用の装置は、電子ミラー画像に要求される表示品質に応じた表示ができてよい。表示品質は、例えば表示される画像の輝度または鮮鋭度等であってよい。一方で、表示システム１は、被投影部材３１の少なくとも一部における反射率、散乱係数、またはエネルギー効率が他の部分と異なってよい。例えば、被投影部材３１の、電子ミラー画像が表示される部分における反射率、散乱係数、またはエネルギー効率が他の部分より高くてよい。かかる構成によれば、本実施形態に係る表示システム１は、電子ミラー画像の表示専用の装置等の別個の装置を用いることなく、電子ミラー画像に要求される表示品質に応じた表示ができる。電子ミラー画像を例として説明してきたが、表示システム１は、被投影面３２の少なくとも一部に、異なる表示品質が要求される画像をその表示品質に応じて表示できるように構成されてよい。

本実施形態に係る表示システム１は、移動体に搭載されてよい。本開示における「移動体」は、車両、船舶、航空機を含む。本開示における「車両」は、自動車および産業車両を含むが、これに限られず、鉄道車両および生活車両、滑走路を走行する固定翼機を含んでよい。自動車は、乗用車、トラック、バス、二輪車、およびトロリーバス等を含むがこれに限られず、道路上を走行する他の車両を含んでよい。産業車両は、農業および建設向けの産業車両を含む。産業車両には、フォークリフト、およびゴルフカートを含むがこれに限られない。農業向けの産業車両は、トラクター、耕耘機、移植機、バインダー、コンバイン、および芝刈り機を含むが、これに限られない。建設向けの産業車両は、ブルドーザー、スクレーバー、ショベルカー、クレーン車、ダンプカー、およびロードローラを含むが、これに限られない。車両は、人力で走行するものを含む。車両の分類は、上述の例に限られない。例えば、自動車は、道路を走行可能な産業車両を含んでよい。複数の分類に同じ車両が含まれてよい。本開示における「船舶」は、マリンジェット、ボート、タンカーを含む。本開示における「航空機」は、固定翼機、回転翼機を含む。

本実施形態に係る表示システム１および表示装置１０は、車両４だけでなく、種々の機器に実装され得る。表示装置１０は、例えばプロジェクタ等の画像表示装置に実装されてよい。プロジェクタは、例えば、建築物等の対象物に映像を重ねて投影するプロジェクションマッピング用のプロジェクタを含んでよい。プロジェクションマッピングをビデオマッピングともいう。表示装置１０は、プラネタリウムの投影器に実装されてよい。表示システム１は、例えばホームシアター等の画像表示システムに実装されてよい。

本実施形態に係る表示装置１０は、表示画像２１を被投影面３２上に投影するための画像投影光２０を時分割で異なる方向に射出できる。本実施形態に係る表示装置１０は、画像投影部１１が表示画像２１を投影する領域２４のみに向くように制御する。このため、表示装置１０は、視認可能な輝度を有する表示画像２１を被投影面３２上の広範囲に表示できる。本実施形態に係る表示システム１は、使用者に対して表示画像２１を虚像２１ａとして認識させることができる。このため、使用者は、表示画像２１と、被投影部材３１を隔てた反対側にある景色との両方にピントを合わせやすい。

本実施形態に係る表示システム１において、被投影部材３１の少なくとも一部に、反射光学部材、散乱光学部材および自発光部材の少なくとも一つが設けられてよい。この場合、表示システム１は、使用者の目２２に対して、虚像２１ａと実像２１ｂとを両方提示できる。かかる構成によれば、表示画像２１の表示目的に応じた適切な表示方法が選択され得る。被投影部材３１の少なくとも一部に、反射光学部材、散乱光学部材および自発光部材の少なくとも二つが重畳されて設けられてよい。

図１３を参照して、本実施形態に係る表示システム１を備える車両４について詳細に説明する。

本実施形態に係る表示システム１は、表示装置１０と、被投影部材３１と、表示制御装置５と、情報出力部６と、を備える。表示装置１０および被投影部材３１の詳細は、既に述べた通りである。複数の実施形態の１つにおいて、表示システム１には、表示制御装置５および情報出力部６のうち少なくとも１つが含まれなくてよい。かかる場合、車両４は、表示システム１と、表示制御装置５および情報出力部６のうち当該少なくとも１つと、を備える。

表示制御装置５は、通信部５１と、記憶部５２と、第２制御部５３と、を備える。複数の実施形態の１つにおいて、表示制御装置５の構成および機能の一部または全部が、表示装置１０に具備されてよい。複数の実施形態の１つにおいて、表示制御装置５の構成および機能の一部が、表示装置１０から独立した装置として実現されてよい。

通信部５１は、表示制御装置５の外部に備えられた装置と通信可能なインターフェースを含んでよい。このインターフェースとして、例えば、物理コネクタ、および無線通信機が採用できる。複数の実施形態の１つにおいて、通信部５１は、ＣＡＮ等の車両４のネットワークに接続する。物理コネクタは、電気信号による伝送に対応した電気コネクタ、光信号による伝送に対応した光コネクタ、および電磁波による伝送に対応した電磁コネクタを含む。電気コネクタは、ＩＥＣ６０６０３に準拠するコネクタ、ＵＳＢ規格に準拠するコネクタ、ＲＣＡ端子に対応するコネクタ、ＥＩＡＪ ＣＰ−１２１１Ａに規定されるＳ端子に対応するコネクタ、ＥＩＡＪ ＲＣ−５２３７に規定されるＤ端子に対応するコネクタ、ＨＤＭＩ（登録商標）規格に準拠するコネクタ、およびＢＮＣ（British Naval ConnectorまたはBaby-series N Connector等）を含む同軸ケーブルに対応するコネクタを含む。光コネクタは、ＩＥＣ ６１７５４に準拠する種々のコネクタを含む。無線通信機は、Ｂｌｕｅｔｏｏｔｈ（登録商標）、およびＩＥＥＥ８０２．１１を含む各規格に準拠する無線通信機を含む。無線通信機は、少なくとも１つのアンテナを含む。本実施形態において、通信部５１は、表示装置１０および情報出力部６とそれぞれ通信可能に接続されてよい。

記憶部５２は、一次記憶装置および二次記憶装置を含んでよい。記憶部５２は、例えば半導体メモリ、磁気メモリ、および光メモリ等を用いて構成されてよい。半導体メモリは、揮発性メモリおよび不揮発性メモリを含んでよい。磁気メモリは、例えばハードディスクおよび磁気テープ等を含んでよい。光メモリは、例えばＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）、およびＢＤ（Blu-ray（登録商標） Disc）等を含んでよい。記憶部５２は、例えば、表示装置１０の動作に必要な種々の情報およびプログラムを記憶する。

第２制御部５３は、１つ以上のプロセッサを含む。プロセッサには、特定のプログラムを読み込ませて特定の機能を実行する汎用のプロセッサ、および特定の処理に特化した専用のプロセッサが含まれる。専用のプロセッサには、特定用途向けＩＣ（ＡＳＩＣ；Application Specific Integrated Circuit）が含まれる。プロセッサには、プログラマブルロジックデバイス（ＰＬＤ；Programmable Logic Device）が含まれる。ＰＬＤには、ＦＰＧＡ（Field-Programmable Gate Array）が含まれる。第２制御部５３は、１つまたは複数のプロセッサが協働するＳｏＣ（System-on-a-Chip）、およびＳｉＰ（System In a Package）のいずれかであってよい。第２制御部５３は、表示制御装置５全体の動作を制御する。例えば、第２制御部５３は、後述するように情報出力部６から取得する情報に基づいて、表示制御情報を生成してよい。表示制御情報は、例えば、表示装置１０の動作制御に用いられる。表示制御情報は、被投影部材３１を介する運転者の視界内に表示させる文字および図形等の画像の情報を含んでよい。表示制御情報は、被投影部材３１を介する運転者の視界内に表示させる情報の表示態様を示す情報を含んでよい。表示態様は、例えば表示位置、大きさ、形状、色、輝度、および濃淡等を含んでよい。第２制御部５３は、表示制御情報を表示装置１０へ出力する。表示装置１０は、取得した表示制御情報に基づいて、被投影部材３１を介する運転者の視界内に多様な情報を表示する。複数の実施形態の１つにおいて、第２制御部５３は、情報出力部６の動作を制御してよい。第２制御部５３によって制御される表示制御装置５の動作の詳細については後述する。

情報出力部６は、車両４に備えられる多様な装置を含む。

例えば情報出力部６は、１つ以上の撮像装置を含んでよい。本実施形態において、情報出力部６は複数の撮像装置を含む。複数の撮像装置には、例えばフロントカメラ、左サイドカメラ、右サイドカメラ、リアカメラ、およびインカメラ等が含まれるが、これらに限られない。フロントカメラ、左サイドカメラ、右サイドカメラ、およびリアカメラは、それぞれ車両４の前方、左側方、右側方、および後方の外部領域を撮像可能となるように車両４に設置される。例えば、フロントカメラ、左サイドカメラ、右サイドカメラ、およびリアカメラは、それぞれ広角撮影が可能であり、車両４の全周囲の対象物を撮像可能であってよい。インカメラは、車室内の対象物を撮像可能となるように車両４に設置される。例えば、インカメラは、車両４の運転者を撮像可能である。インカメラは、撮像された運転者の画像に基づいて、運転者の目の空間位置を検出してよい。あるいは、表示制御装置５または第２制御部５３が、撮像された運転者の画像に基づいて運転者の目の空間位置を検出してよい。

フロントカメラ、左サイドカメラ、右サイドカメラ、リアカメラ、およびインカメラは、固体撮像素子を含む。固体撮像素子は、ＣＣＤイメージセンサ（Charge-Coupled Device Image Sensor）およびＣＭＯＳイメージセンサ（Complementary MOS Image Sensor）を含む。複数の実施形態の１つにおいて、フロントカメラは、車両４の前方を撮像するとともに、前方の対象物までの距離測定を可能とする「ステレオカメラ」とすることができる。「ステレオカメラ」とは、互いに視差を有し、互いに協働する複数のカメラである。ステレオカメラは、複数のカメラを含む。ステレオカメラでは、複数のカメラを協働させて、複数の方向から車両４の前方に存在する対象物を撮像することが可能である。ステレオカメラは、１つの筐体に複数のカメラが含まれる機器であってよい。または、ステレオカメラは互いに独立し、且つ互いに離れて位置する２台以上のカメラを含む機器であってよい。ステレオカメラによって撮像される画像に含まれる対象物の視差に基づいて、当該対象物までの距離が算出可能である。

例えば情報出力部６は、車両４の外部に備えられた外部装置と通信可能なインターフェースを含んでよい。外部装置は、例えばインターネット上のサーバおよび運転者の携帯電話等を含んでよい。情報出力部６は、歩車間通信、路車間通信および車車間通信のためのインターフェースを含んでよい。複数の実施形態の１つにおいて、情報出力部６は、日本において提供されるＤＳＲＣ（Dedicated Short-Range Communication:狭帯域通信システム）およびＶＩＣＳ（登録商標）（Vehicle Information and Communication System）の光ビーコンに対応した受信機を含んでよい。情報出力部６は、他の国の道路交通情報提供システムに対応した受信機を含んでよい。情報出力部６は、外部装置から有線または無線を介して、例えばリアルタイムの交通情報、走行路の制限速度の一時的な変更を示す情報、他の車両が検出した対象物に関する情報、および信号機の点灯状態等を示す情報等を取得してよい。

情報出力部６は、上述したものに限られず、例えばＥＣＵ（Electronic Control UnitまたはEngine Control unit）、速度センサ、加速度センサ、回転角センサ、ステアリング舵角センサ、エンジン回転数センサ、アクセルセンサ、ブレーキセンサ、照度センサ、雨滴センサ、走行距離センサ、ミリ波レーダ等を用いた障害物検出装置、ＥＴＣ（Electronic Toll Collection System）受信装置、ＧＰＳ（Global Positioning System）装置、およびナビゲーション装置等を含んでよい。

情報出力部６は、車両４に関する情報および車両４の外部環境に関する情報を、例えばＣＡＮまたは専用線を介して表示制御装置５へ出力する。以下、車両４に関する情報を車両情報または移動体情報ともいう。車両４の外部環境に関する情報を環境情報ともいう。車両情報および環境情報は、情報出力部６に含まれる多様な装置から取得可能である。

車両情報は、例えば車両４の速度、加速度、旋回重力、傾き、方角、旋回状況、ステアリング舵角、冷却水温度、燃料残量、バッテリ残量、バッテリ電圧、エンジン回転数、変速ギア、アクセル操作の有無、アクセル開度、ブレーキ操作の有無、ブレーキ踏度、パーキングブレーキの作動有無、前後輪もしくは４輪の回転数差、タイヤ空気圧、ダンパの伸縮量、運転手の目の空間位置、乗員の数および座席位置、シートベルトの装着情報、ドアの開閉、窓の開閉、車内温度、空調の動作有無、空調の設定温度、空調の送風量、外気循環の設定、ワイパーの作動状況、走行モード、外部機器との接続情報、現在時刻、平均燃費、瞬間燃費、各種ランプの点灯状態、ならびに車両４の位置情報等、車両４に関する任意の情報を含んでよい。各種ランプは、例えばヘッドランプ、フォグランプ、バックランプ、ポジションランプ、およびターンシグナルを含んでよい。

環境情報は、例えば車両４の周囲の明るさ、天気、気圧、外気温度、地図情報、走行路情報、車両４の目的地までの経路情報、および撮像装置の撮像画像等、車両４の外部環境に関する任意の情報を含んでよい。複数の実施形態の１つにおいて、環境情報は、後述する撮像画像上の対象物、対象物の動作、および対象物の状態を示す情報等、撮像画像に基づいて得られる情報を含んでよい。

［表示制御装置の動作］
情報出力部６から取得する情報に基づいて表示制御情報を生成し出力する表示制御装置５の動作の詳細について説明する。

表示制御装置５は、情報出力部６から車両情報および環境情報を取得する。表示制御装置５は、情報出力部６から取得した車両情報および環境情報の少なくとも一方に基づいて、車両４の動作、車両４の状態、車両４の外部環境の状態、車両４の周囲および車室内の対象物、対象物の動作、ならびに対象物の状態の少なくとも１つを検出する。本出願において、「検出する」との記載を、状況に応じて「認識する」または「推定する」との意味で理解することができる。

車両４の動作および状態には、例えば車両４の発進、加速、減速、停車、右左折、車線変更、進路、駐車、および車両４の現在位置等が含まれてよい。表示制御装置５が検出可能な車両４の動作および状態は、これらに限られない。車両４の動作および状態の検出は、車両情報および環境情報の少なくとも一方を用いた任意のアルゴリズムを用いて行われてよい。

外部環境の状態には、車両４の外部環境の明るさ、天気、雨量、および目的地までの経路等が含まれてよい。表示制御装置５が検出可能な外部環境の状態は、これらに限られない。外部環境の状態の検出には、環境情報を用いた任意のアルゴリズムが採用可能である。

車両４の周囲および車室内の対象物には、例えば走行路、車線、白線、側溝、歩道、横断歩道、道路標識、交通標識、ガードレール、信号機、歩行者、他の車両、および車両４の運転者等が含まれてよい。表示制御装置５が検出可能な対象物は、これらに限られない。対象物の検出は、任意の物体検出アルゴリズムを用いて行われてよい。例えば、対象物の検出は、環境情報に含まれる撮像画像を用いたパターンマッチングまたは特徴点抽出等を用いて行われてよい。

対象物の動作および状態には、例えば他の車両または歩行者等が車両４へ近付くこと、車両４から遠ざかること、車両４の進路に出入りすること、車両４から対象物までの距離、走行路の形状、信号機の点灯状態、運転者の姿勢、眠気、視線、視界、よそ見運転、および居眠り運転等が含まれてよい。走行路の形状は、例えば十字路、Ｔ字路、Ｙ字路、および車線数等を含んでよい。表示制御装置５が検出可能な対象物の動作および状態は、これらに限られない。対象物の動作および状態の検出は、任意のアルゴリズムを用いて行われてよい。例えば、対象物の動作および状態の検出は、環境情報に含まれる１以上のフレームの撮像画像上における対象物の位置、大きさ、向き、およびこれらの変化等に基づいて行われてよい。

このように、表示制御装置５は、情報出力部６から取得した車両情報および環境情報の少なくとも一方に基づいて、車両４の動作、車両４の状態、車両４の外部環境の状態、車両４の周囲および車室内の対象物、対象物の動作、ならびに対象物の状態の少なくとも１つを検出する。複数の実施形態の１つにおいて、表示制御装置５に替えて情報出力部６が、車両４の動作、車両４の状態、車両４の外部環境の状態、車両４の周囲および車室内の対象物、対象物の動作、ならびに対象物の状態の少なくとも１つを検出してよい。かかる場合、表示制御装置５は、車両情報および環境情報に替えて、車両４の動作、車両４の状態、車両４の外部環境の状態、車両４の周囲および車室内の対象物、対象物の動作、ならびに対象物の状態の少なくとも１つを示す情報を情報出力部６から取得してよい。

表示制御装置５は、車両情報および環境情報の少なくとも一方に基づく検出結果に基づいて、表示制御情報を生成する。検出結果は、車両４の動作、車両４の状態、車両４の外部環境の状態、車両４の周囲および車室内の対象物、対象物の動作、ならびに対象物の状態の少なくとも１つを含んでよい。表示制御装置５は、表示制御情報を表示装置１０へ出力する。

［表示装置の動作］
表示装置１０は、表示制御装置５から取得した表示制御情報に基づいて、被投影部材３１を介する運転者の視界内に多様な情報を表示する。

例えば、表示装置１０は、車両４の速度およびエンジン回転数等の計器情報、ならびに走行路に定められた制限速度等を示す画像を、被投影部材３１を介する運転者の視界における任意の位置に表示可能である。以下、この画像を第１画像ともいう。具体的には、第１画像は、例えばスピードメータを模した画像および制限速度を示す数値の画像を含んでよい。

例えば、表示装置１０は、被投影部材３１を介する運転者の視界における所定の対象物の存在を示唆するマーカ画像を、被投影部材３１を介する運転者の視界内の対象物に重畳して表示可能である。以下、当該マーカ画像を第２画像ともいう。以下の説明において、対象物に対する画像の重畳表示は、対象物の一部もしくは全部、または対象物の周囲に重畳して画像が表示されることを含んでよい。対象物に対する画像の重畳表示は、被投影部材３１を介する運転者の視界内で移動し得る当該対象物に追従して画像の表示位置が変化することを含んでよい。被投影部材３１を介する運転者の視界における対象物の位置は、例えば当該運転者の位置、姿勢、および視線等に基づいて算出可能である。所定の対象物は、例えば他の車両および歩行者等を含んでよい。表示装置１０は、表示制御情報に従って、当該対象物に重畳表示したマーカ画像の位置、大きさ、形状、色、輝度、および濃淡等の表示態様を変化させてよい。

例えば、表示装置１０は、被投影部材３１を介する運転者の視界外における所定の対象物の存在を示唆する示唆画像を、被投影部材３１を介する運転者の視界における任意の位置に表示可能である。以下、当該示唆画像を第３画像ともいう。被投影部材３１を介する運転者の視界外の領域は、例えば運転者から見てピラーの陰となる領域、および車両４の側方の領域等を含んでよい。所定の対象物は、例えば他の車両および歩行者等を含んでよい。

例えば、表示装置１０は、運転支援のための支援画像を、被投影部材３１を介する運転者の視界内に表示可能である。以下、当該支援画像を第４画像ともいう。支援画像は、例えば車両４の後方の外部領域を表示する画像、車両４の進路を示唆する画像、前方に存在する他の車両で遮られた対象物に関する情報を示す画像、内輪差による巻き込みの注意を促す画像、および外輪差による接触の注意を促す画像等を含んでよい。

車両４の後方の外部領域を表示する画像は、例えば左サイドカメラ、右サイドカメラ、リアカメラ、および電子式間接視装置（Electrical Device for In-direct Vision）からの画像を含んでよい。以下、車両４の後方の外部領域を表示する画像を、電子ミラー画像ともいう。

車両４の進路を示唆する画像は、例えば車両情報に含まれる車両４の位置情報、環境情報に含まれる目的地までの経路情報、および環境情報に含まれる撮像画像のうち少なくとも１つに基づいて決定される進路を示す画像を含んでよい。車両４の進路を示唆する画像は、例えば右左折を促す画像、目的地までの経路を示す画像、および交差点等で進入すべき車線を示す画像等を含んでよい。

前方に存在する先行車両で遮られた対象物に関する情報は、例えばこの先行車両の陰に隠れた信号機の点灯状態を示す画像を含んでよい。

表示装置１０は、支援画像を、被投影部材３１を介する運転者の視界に含まれる所定の対象物に重畳して表示可能である。所定の対象物は、例えば走行路および車線等を含んでよい。表示装置１０は、表示制御情報に従って、当該対象物に重畳表示した支援画像の位置、大きさ、形状、色、輝度、および濃淡等の表示態様を変化させてよい。

上述のように表示制御装置５からの表示制御情報に基づいて表示装置１０が被投影部材３１を介する運転者の視界内に表示する多様な情報について、複数の具体例を挙げて説明する。

図１４は、車両４が走行路上を走行している際の被投影部材３１を介する運転者の視界を示す。図１４において、例えば車両４の速度を示すスピードメータ１０１が表示されている。スピードメータ１０１に替えて、またはスピードメータ１０１とともに、例えば走行路に定められた制限速度が表示されてよい。

その後、被投影部材３１を介する運転者の視界において車両４の進行方向に歩行者１０２が検出されると、図１５に示すように、歩行者１０２に重畳してマーカ画像１０３が表示される。例えば、マーカ画像１０３は、車両４と歩行者１０２との間の距離が離れているほど小さく且つ濃く表示されてよい。このようにして、運転者は、遠方に存在する歩行者１０２に気付き易くなる。例えば、マーカ画像１０３は、運転者が歩行者１０２を視認し易いように、外周から中心に向かって薄くなるように表示されてよい。例えば、マーカ画像１０３は、運転者が歩行者１０２を意識させるために、外周から中心に向かって濃くなるように表示されてよい。マーカ画像１０３は、所定の表示態様で表示されてよい。所定の表示態様は、例えばマーカ画像１０３が拡大縮小したり明滅したりする等の表示態様を含んでよい。図１４のスピードメータ１０１が一時的に非表示となってよい。スピードメータ１０１の一時的な非表示によって、運転者の歩行者１０２に対する注意が喚起され得る。

その後、歩行者１０２が車両４へ相対的に近付くにしたがって、例えば図１６に示すように、マーカ画像１０３が歩行者１０２に追従して移動する。マーカ画像１０３の移動によって、運手者は車両４に近付いた歩行者１０２の位置を認識し易くなる。歩行者１０２が車両４へ相対的に近付くにしたがって、マーカ画像１０３が大きく且つ薄く表示される。マーカ画像１０３を大きく且つ薄くすることによって、運転者は車両４に近付いた歩行者１０２を視認し易くなる。

車両４の進路に進入し得る他の車両１０４または車両４の進路に進入した他の車両１０４が検出されると、例えば図１７に示すように、当該他の車両１０４に重畳してマーカ画像１０５が表示される。他の車両１０４に重畳して表示されるマーカ画像１０５は、歩行者１０２に重畳して表示されるマーカ画像１０３と比較して、色、形状、輝度、および濃淡等の表示態様が異なってよい。

具体的には、複数の実施形態の１つにおいて表示制御装置５は、車両４の進行方向に存在する他の車両１０４を検出すると、当該他の車両１０４の予測進路を算出する。他の車両１０４の予測進路は、任意のアルゴリズムを用いて算出されてよい。例えば、他の車両１０４の予測進路は、撮像画像上の走行路に対する当該他の車両１０４の位置、向き、操舵輪側面の楕円形状、および当該他の車両１０４の型式等に基づいて算出されてよい。表示制御装置５は、車両４の進路と、他の車両１０４の予測進路と、が重なる場合、車両４の進路に当該他の車両１０４が進入し得ると判定する。表示制御装置５は、当該他の車両１０４のうち、車両４の進路に進入し得る部分または進入した部分にのみマーカ画像１０５を重畳表示させてよい。

その後、他の車両１０４による車両４の進路への進入が解消された場合、または進入の可能性がなくなった場合、例えば図１８に示すように、マーカ画像１０５が非表示となる。マーカ画像１０５が非表示となる際、例えば危険を警告するために赤色または黄色で表示されていたマーカ画像１０５が青色に変化してから、非表示となってよい。非表示になる前にマーカ画像１０５の表示態様が変化することによって、運転者は危険が無くなったことを認識可能である。例えば、被投影部材３１を介する運転者の視界内にマーカ画像１０５が表示されていない状態になると、一時的に非表示となっていたスピードメータ１０１が再表示されてよい。

図１９は、車両４が走行路上を走行している際の被投影部材３１を介する運転者の視界を示す。被投影部材３１を介する運転者の視界内には、横断歩道および歩行者１０６が存在している。図１９では、歩行者１０６に重畳してマーカ画像１０７が表示されている。

その後、車両４が横断歩道の手前まで走行し、例えば運転者から見てピラーの陰に歩行者１０６が入り込むと、歩行者１０６が被投影部材３１を介する運転者の視界から外れる。歩行者が視界から外れると、例えば図２０に示すように、歩行者１０６に重畳されたマーカ画像１０７が非表示になる。例えば、非表示になる前のマーカ画像１０７の位置に、歩行者１０６の存在を示唆する示唆画像１０８が表示される。非表示になる前のマーカ画像１０７の位置は、非表示になる直前のマーカ画像１０７の位置を含んでよい。示唆画像１０８は、運転者によって示唆画像１０８とマーカ画像１０７とを区別可能に表示されてよい。例えば、示唆画像１０８は、マーカ画像１０７の形状とは異なる形状で表示されてよい。例えば、示唆画像１０８は、星型形状であってよい。

その後、横断歩道を進む歩行者１０６が再び被投影部材３１を介する運転者の視界に入り込むと、例えば図２１に示すように、示唆画像１０８が非表示になるとともに、当該歩行者１０６に重畳してマーカ画像１０７が再び表示される。被投影部材３１を介する運転者の視界内に表示された示唆画像１０８がマーカ画像１０７に切り替わる際に、例えば示唆画像１０８の表示態様を連続的に変化させてマーカ画像１０７としてよい。かかる構成によれば、示唆画像１０８が示唆する対象物と、マーカ画像１０７が重畳された対象物と、の同一性を運転者が一見して把握可能となる。

その後、横断歩道を進む歩行者１０６が、例えば対岸の歩道に到達し、または車両４の正面もしくは車両４の進路から外れると、例えば図２２に示すように、マーカ画像１０７が非表示となる。一方、例えば運転者から見てピラーの陰または車両４の側方に、横断歩道を進む新たな歩行者１０９が検出されると、当該歩行者１０９の存在を示唆する示唆画像１１０が表示される。

その後、横断歩道を進む当該新たな歩行者１０９が被投影部材３１を介する運転者の視界に入り込むと、例えば図２３に示すように、歩行者１０９に重畳してマーカ画像１１１が表示される。横断歩道を一方向に進む複数の歩行者１０９が被投影部材３１を介する運転者の視界内に存在する場合、複数の歩行者１０９に対して１つのマーカ画像１１１が重畳表示されてよい。複数の歩行者１０９それぞれにマーカ画像１１１が重畳表示されてよい。最後尾の歩行者１０９のみにマーカ画像１１１が重畳表示されてよい。複数の歩行者１０９のうち、最前の歩行者１０９および最後尾の歩行者１０９のみにマーカ画像１１１が重畳表示されてよい。

図２４は、赤信号の交差点で車両４が右折を待っている際の被投影部材３１を介する運転者の視界を示す。例えば右方向のターンシグナルの点灯に応じて、右折を促す支援画像１１２および車両４の右後方の領域を示す電子ミラー画像１１３が表示される。右折を促す支援画像１１２は、例えば右方向に折れ曲がる矢印の画像であってよい。右折を促す支援画像１１２は、右折して進入すべき車線に重畳して表示されてよい。右折を促す支援画像１１２に替えて、右折して進入すべき車線を示す支援画像が表示されてよい。車線を示す支援画像は、例えば被投影部材３１を介する運転者の視界において車線に重畳して表示されてよい。車線を示す支援画像は、車線の上空に浮かぶように表示されてよい。

その後、赤信号から青信号に切り替わると、例えば図２５に示すように、左折または直進する対向車両１１４に重畳してマーカ画像１１５が表示される。運転者に対して対向車両１１４への注意を促すために、図２４の右折を促す支援画像１１２が一時的に非表示となってよい。対向車両１１４が左折した後、例えば図２６に示すように、左折または直進する新たな対向車両１１６にもマーカ画像１１７が重畳表示される。

その後、例えば当該新たな対向車両１１６が左折し且つ他の対向車両が存在しなくなると、車両４が右折可能な状態になる。車両４が右折可能な状態になると、例えば図２７に示すように、右折を促す支援画像１１２が再び表示される。

その後、車両４が右折していくと、例えば図２８に示すように、被投影部材３１を介する運転者の視界内の進路に追従して、右折を促す支援画像１１２の位置、大きさ、形状、色、輝度、および濃淡等の表示態様が変化する。右折後の走行路に複数の車線が存在する場合、例えば先行車両が少ない車線または目的地までの経路に適した車線等に、支援画像１１２が重畳表示される。具体的には、例えば右折後の走行路に直進専用の車線および左折専用の車線が存在するときに、目的地までの経路が右折後に直進する経路である場合、直進専用の車線が目的地までの経路に適した車線である。一方、目的地までの経路が右折後に左折する経路である場合、左折専用の車線が目的地までの経路に適した車線である。

その後、例えば右方向のターンシグナルが消灯して車両４の右折が終了すると、例えば図２９に示すように、右折を促す支援画像１１２および電子ミラー画像１１３が非表示になる。一時的に非表示となっていたスピードメータ１０１が再表示される。

図３０は、交差点で車両４が左折する際の被投影部材３１を介する運転者の視界を示す。例えば左方向のターンシグナルの点灯に応じて、左折を促す支援画像１１８および車両４の左後方の領域を示す電子ミラー画像１１９が表示される。左折を促す支援画像１１８は、例えば左方向に折れ曲がる矢印の画像であってよい。左折を促す支援画像１１８は、被投影部材３１を介する運転者の視界における左右方向中央に表示される。

その後、車両４が左折していくと、例えば図３１に示すように、左折を促す支援画像１１８が、被投影部材３１を介する運転者の視界における左右方向中央から左方向へ移動していく。支援画像１１８は、運転者から見て進行する道路と重なって視覚化されるように移動してよい。

その後、車両４の進路を横切って設けられた横断歩道を進む歩行者１２０が検出されると、例えば図３２に示すように、歩行者１２０に重畳してマーカ画像１２１が表示される。運転者に対して歩行者１２０への注意を促すために、左折を促す支援画像１１８が一時的に非表示となってよい。

その後、例えば図３３に示すように、横断歩道を進む歩行者１２０に追従して、マーカ画像１２１の位置、大きさ、形状、色、輝度、および濃淡等の表示態様が変化する。被投影部材３１を介する運転者の視界内に横断歩道を進む新たな歩行者１２２が検出されると、当該新たな歩行者１２２に重畳してマーカ画像１２３が表示される。図３３では、被投影部材３１を介する運転者の視界内で奥から手前の方向に進む３人の歩行者のうち、先頭の歩行者１２０および最後尾の歩行者１２２にそれぞれマーカ画像１２１および１２３が重畳表示されている。例えば運転者から見てピラーの陰または車両４の左側方に、横断歩道を進む新たな歩行者が検出されると、当該歩行者の存在を示唆する示唆画像１２４が表示される。図３３では、示唆画像１２４は星型形状である。示唆画像１２４は、被投影部材３１を介する運転者の視界における左側に表示される。

図３４は、車両４の前方に存在する第１の交差点で車両４が左折する際の被投影部材３１を介する運転者の視界を示す。図３４では、例えば上述した図３０に示す例と類似して、左折を促す支援画像１２５および車両４の左後方の領域を示す電子ミラー画像１２６が表示される。

その後、車両４が左折すると、例えば図３５に示すように、左折を促す支援画像１２５が、被投影部材３１を介する運転者の視界における左右方向中央から左方向へ移動する。支援画像１２５は、運転者から見て進行する道路と重なって視覚化されるように移動してよい。

その後、第１の交差点の左折終了前に、例えば次に右折すべき第２の交差点が被投影部材３１を介する運転者の視界に入り込むと、例えば図３６に示すように、第１の交差点の左折を促す支援画像１２５が非表示となる。第２の交差点の右折を促す支援画像１２７が表示される。右折を促す支援画像１２７は、例えば第２の交差点に重畳して表示されてよい。例えば、非表示になる前の、第１の交差点の左折を示す支援画像１２５の位置の近傍に、右折を促す支援画像１２７が表示されてよい。非表示になる前の支援画像１２５の位置は、非表示になる直前の支援画像１２５の位置を含んでよい。右折を促す支援画像１２７は、被投影部材３１を介する運転者の視界における左右方向中央よりも左側に表示され、その後右方向に移動してよい。支援画像１２７は、運転者から見て進行する道路と重なるように移動してよい。かかる構成によれば、第１の交差点の左折を示す支援画像１２５を視認していた運転者の視線の近傍に、第２の交差点の右折を促す支援画像１２７が表示される。このため、第２の交差点の右折を促す支援画像１２７を運転者が視認する蓋然性が増大する。

第１の交差点の左折終了後、車両４が第２の交差点の直前まで進行すると、例えば図３７に示すように、被投影部材３１を介する運転者に視界内の進路に追従して、右折を促す支援画像１２７の位置、大きさ、形状、色、輝度、および濃淡等の表示態様が変化する。図３７では、右折を促す支援画像１２７が、第２の交差点において右折して進入すべき車線１２８に重畳して表示される。例えば右方向のターンシグナルの点灯に応じて、車両４の右後方の領域を示す電子ミラー画像１２９が表示される。

その後、運転者から見てピラーの陰または車両４の側方に、第２の交差点に横から進入する他の車両１３０が検出されると、当該他の車両１３０の存在を示唆する示唆画像１３１が表示される。例えば図３８では、被投影部材３１を介する運転者の視界における左右方向中央よりも右側に、第２の交差点に右から進入する他の車両１３０の存在を示唆する示唆画像１３１が表示されている。運転者に対して他の車両１３０への注意を促すために、右折を示す支援画像１２７が一時的に非表示となってよい。

その後、第２の交差点に進入した他の車両１３０が被投影部材３１を介する運転者の視界に入り込むと、例えば図３９に示すように、示唆画像１３１が非表示になるとともに、当該他の車両１３０に重畳してマーカ画像１３２が表示される。

その後、当該他の車両１３０が、例えば第２の交差点を通過した場合、または車両４の正面もしくは右折する車両４の進路から他の車両１３０が外れた場合、例えば図４０に示すように、マーカ画像１３２が非表示となる。一時的に非表示となっていた右折を促す支援画像１２７が再表示される。

その後、車両４が右折していくと、被投影部材３１を介する運転者の視界内の進路に追従して、右折を示す支援画像１２７の位置、大きさ、形状、色、輝度、および濃淡等の表示態様が変化する。例えば図４１では、右折を促す支援画像１２７の矢印の向きが、進路の方向に略一致するように変化している。

図４２は、車両４が片側二車線の走行路の走行中に左車線から右車線に車線変更する際の、被投影部材３１を介する運転者の視界を示す。例えば、右方向のターンシグナルの点灯に応じて、または左車線上の前方における障害物の検出に応じて、車両４の右後方の領域を示す電子ミラー画像１３３が表示されてよい。運転者から見てピラーの陰または車両４の右側方に、右車線を走行する他の車両１３４が検出されると、当該他の車両１３４の存在を示唆する示唆画像１３５が表示される。示唆画像１３５は、例えば被投影部材３１を介する運転者の視界における左右方向中央よりも右側に表示され、または被投影部材３１を介する運転者の視界内の右車線に重畳して表示される。

その後、右車線を走行する他の車両１３４が被投影部材３１を介する運転者の視界に入り込むと、例えば図４３に示すように、示唆画像１３５が非表示になるとともに、当該他の車両１３４に重畳してマーカ画像１３６が表示される。

その後、右車線を走行する当該他の車両１３４が、例えば車両４から一定距離以上前方まで到達した場合、または車線変更を行う車両４の進路から他の車両１３４が外れた場合、例えば図４４に示すように、マーカ画像１３６が非表示となる。被投影部材３１を介する運転者の視界内にマーカ画像１３６が表示されていない状態になると、例えばスピードメータ１０１が表示されてよい。

図４５は、先行車両１３７の後を車両４が走行している際の被投影部材３１を介する運転者の視界を示す。例えば先行車両１３７がトラック等の大型車両である場合等には、先行車両１３７によって被投影部材３１を介する運転者の視界の一部領域が遮蔽され得る。運転者の視界の一部領域が遮蔽された場合、当該先行車両１３７に重畳してマーカ画像１３８が表示される。先行車両１３７によって遮蔽された領域内に存在する対象物に関する情報が、被投影部材３１を介する運転者の視界内に表示され得る。この遮蔽された領域内に存在する対象物に関する情報の表示と併せて、距離が近い先行車両が減速しているときに、当該先行車両が減速していることを促す注意表示をしてよい。以下、具体的に説明する。

図４５では、被投影部材３１を介する運転者の視界内に存在し運転者が視認可能な第１の信号機１３９は、青信号である。一方、先行車両１３７の陰に隠れて運転者が視認できない第２の信号機は赤信号であり、先行車両１３７は緩やかに減速しているものとする。車両４は、例えば第２の信号機との路車間通信、または先行車両１３７との車車間通信によって、第２の信号機が赤信号であることを検出する。

運転者が視認できない第２の信号機が赤信号であることを示す支援画像１４０が、被投影部材３１を介する運転者の視界内に表示されてよい。しかしながら、例えば第１の信号機１３９が青信号であるにも関わらず、被投影部材３１を介する運転者の視界内に第２の信号機が赤信号であることを示す支援画像１４０が表示されると、運転者が混乱するおそれがある。これに対して、本実施形態では、例えば図４５に示すように、被投影部材３１を介する運転者の視界において視認可能な第１の信号機１３９が存在する限り、当該支援画像１４０の表示が停止される。かかる構成によれば、支援画像１４０の表示によって運転者が混乱する蓋然性が低減する。

その後、車両４および先行車両１３７が前進すると、第１の信号機１３９が被投影部材３１を介する運転者の視界から外れ得る。第１の信号機１３９が視界から外れると、支援画像１４０の表示停止が解除され、例えば図４６に示すように支援画像１４０が表示される。図４６では、支援画像１４０は、赤信号を模した画像である。支援画像１４０は、マーカ画像１３８の近傍に表示されている。しかしながら、支援画像１４０の外観および表示位置は任意に定められてよい。

その後、車両４および先行車両１３７が一時停止すると、例えば図４７に示すように、マーカ画像１３８および支援画像１４０が非表示となる。その後、例えば第２の信号機が青信号に変化すると、第２の信号機が青信号であることを示す支援画像が表示されてよい。あるいは、車両４および先行車両１３７が一時停止しても、支援画像１４０は表示されたままであってよい。かかる場合、第２の信号機が青信号に変化すると、赤信号を模した支援画像１４０が青信号を模した画像に変化してよい。

図４８は、駐車場に駐車していた車両４が発進しつつ右方向に曲がる際の被投影部材３１を介する運転者の視界を示す。例えば右方向のターンシグナルの点灯に応じて、車両４の右後方の領域を示す電子ミラー画像１４１が表示される。内輪差による巻き込みによって車両４と接触する可能性がある対象物の検出に応じて、車両４の右側方における巻き込みの注意を促す支援画像１４２が表示される。車両４と接触する可能性がある対象物は、例えば車両４から所定の距離範囲内に存在する歩行者、駐車中の他の車両、縁石、ガードレール、および電信柱等を含んでよい。例えば図４８では、支援画像１４２は、車両４の形状を示す画像１４３と、巻き込みが発生し得る車両４の右側面を示す画像１４４と、を含んでいる。

以上、表示装置１０が表示する多様な画像の具体例について説明したが、表示装置１０が表示する情報はこれらに限られない。

図４９を参照して、表示装置１０、表示制御装置５、および情報出力部６の動作について説明する。本動作は、例えば周期的に実行されてよく、または所定のタイミングで実行されてよい。

ステップＳ２００：情報出力部６は、車両情報および環境情報を表示制御装置５へ出力する。

ステップＳ２０１：表示制御装置５は、ステップＳ２００で送信された車両情報および環境情報を取得する。

ステップＳ２０２：表示制御装置５は、車両情報および環境情報の少なくとも一方に基づいて、車両４の動作、車両４の状態、車両４の外部環境の状態、車両４の周囲および車室内の対象物、対象物の動作、ならびに対象物の状態の少なくとも１つを検出する。表示制御装置５は、検出結果に基づいて表示制御情報を生成する。

ステップＳ２０３：表示制御装置５は、ステップＳ２０２で生成した表示制御情報を表示装置へ出力する。

ステップＳ２０４：表示装置１０は、ステップＳ２０３で送信された表示制御情報を取得する。

ステップＳ２０５：表示装置１０は、表示制御情報に基づいて、被投影部材３１を介する運転者の視界内に多様な情報を表示する。

以上述べたように、本実施形態に係る表示制御装置５は、情報出力部６から取得する車両情報および環境情報の少なくとも一方に基づいて、表示制御情報を生成する。表示制御装置５は、表示制御情報を表示装置１０へ送信することによって、被投影部材３１を介する運転者の視界内に多様な情報を表示させる。表示される情報の位置、大きさ、形状、色、輝度、および濃淡等の表示態様が、車両情報および環境情報の少なくとも１つに応じて変化する。かかる構成によれば、時々刻々と変化する車両情報および環境情報に応じた表示態様で多様な情報が運転者に対して提示される。このため、表示システム１の利便性が向上する。

本開示を諸図面や実施形態に基づき説明してきたが、当業者であれば本開示に基づき種々の変形や修正を行うことが容易であることに注意されたい。したがって、これらの変形や修正は本開示の範囲に含まれることに留意されたい。例えば、各手段、各ステップ等に含まれる機能等は論理的に矛盾しないように再配置可能であり、複数の手段やステップ等を１つに組み合わせたり、あるいは分割したりすることが可能である。

１ 表示システム
１０ 表示装置
１１ 画像投影部
１２ 駆動部
１２ａ 第１回転軸
１２ｂ 第２回転軸
１３ 拡大光学系
１４ 中間像面部
１５ 第１制御部
１６ 画像生成部
１７ 光源部
１８ 走査部
２０ 画像投影光
２０ａ 第１光路
２０ｂ 第２光路
２１ 表示画像
２１ａ 虚像
２１ｂ 実像
２２ 目
２３−１〜ｎ（２３） サブ画像
２４ 領域
２４−１〜ｍ 第１〜第ｍ領域
３１ 被投影部材
３２ 被投影面
４ 車両
４１ インストルメントパネル
４２ フロントウィンドシールド
５ 表示制御装置
５１ 通信部
５２ 記憶部
５３ 第２制御部
６ 情報出力部

Claims (31)

1. 被投影面に画像を投影する画像投影光を射出する画像投影部と、
   前記画像投影部が射出する前記画像投影光の出射方向を時分割で制御する制御部と、を備え、
   前記制御部は、前記被投影面上の前記画像投影光が投影される一以上の領域の面積の総和が、所定の上限を超えないように制御する表示装置。
2. 請求項１に記載の表示装置であって、
   前記制御部が、前記被投影面上の二以上の領域に画像投影光を投影する制御を行う場合、前記制御部は、前記画像投影光が前記領域の一つに至る光路が長いほど、前記時分割の一周期における前記画像投影光を該領域の一つに射出する時間を、他の領域に射出する時間に対し長くするように制御する表示装置。
3. 請求項１または２に記載の表示装置であって、
   前記制御部は、前記画像投影部から射出される画像投影光の強度を制御でき、前記画像投影光が前記領域の一つに至る光路が長いほど、前記画像投影光の強度を高くするように制御する表示装置。
4. 請求項１乃至３の何れか一項に記載の表示装置であって、
   前記画像投影部は、前記画像を生成する画像生成部と、前記画像を前記被投影面に投影する拡大光学系と、前記画像生成部と前記拡大光学系との相対位置を変更する駆動部とを備える表示装置。
5. 請求項１乃至３の何れか一項に記載の表示装置であって、
   前記画像投影部は、光ビームを射出する光源部と、前記光源部から射出された光ビームを走査する走査部と、前記走査部で走査された前記光ビームが前記画像を結像する中間像面部と、前記画像を前記被投影面に投影する拡大光学系とを備え、前記制御部は前記走査部を制御し、前記中間像面部の一以上の領域に前記画像を表示させる表示装置。
6. 請求項１乃至５の何れか一項に記載の表示装置であって、
   前記制御部は、前記時分割の制御を毎秒３０回以上の周期で実行する表示装置。
7. 光を受けて該光を散乱し、または、光を受けて発光する被投影部材と、
   画像を投影する画像投影光を射出し、前記被投影部材上で前記画像の実像を形成する画像投影部と、
   前記画像投影部が射出する前記画像投影光の出射方向を時分割で制御する制御部と、を備え、
   前記制御部は、前記画像投影光が投影される前記被投影部材上の一以上の領域の面積の総和が、所定の上限を超えないように制御する表示システム。
8. 光の少なくとも一部を反射する被投影部材と、
   画像を投影する画像投影光を射出し、前記被投影部材の一以上の領域に画像投影光を反射させ、前記画像の虚像を使用者の視野内に表示する画像投影部と、
   前記画像投影部が射出する前記画像投影光の出射方向を時分割で制御する制御部と、を備え、
   前記制御部は、前記画像投影光が投影される前記被投影部材上の一以上の領域の面積の総和が、所定の上限を超えないように制御する表示システム。
9. 請求項８に記載の表示システムであって、
   前記被投影部材の少なくとも一部は、前記画像投影部から投影された少なくとも一部の前記画像投影光を、使用者の視野内に向けて正反射とは異なる角度で反射する反射角度制御部材で構成される表示システム。
10. 請求項７乃至９の何れか一項に記載の表示システムであって、
    前記被投影部材は、光を少なくとも部分的に透過し、前記画像投影部は、前記画像を、前記被投影部材を透過する実空間の背景と重畳して表示する表示システム。
11. 請求項１０に記載の表示システムであって、
    前記制御部は、前記背景の明るさを取得し、該明るさに基づいて前記画像が視認可能となるように前記被投影部材の一以上の領域の面積の総和の前記所定の上限を決定する表示システム。
12. 請求項７乃至１１の何れか一項に記載の表示システムであって、
    前記画像投影部は、前記画像を生成する画像生成部と、前記画像を前記被投影部材に投影する拡大光学系と、前記画像生成部を前記拡大光学系に対して駆動する駆動部とを備える表示システム。
13. 請求項７乃至１１の何れか一項に記載の表示システムであって、
    前記画像投影部は、光ビームを射出する光源部と、前記光源部から射出された光ビームを走査する走査部と、前記走査部で走査された前記光ビームが前記画像を結像する中間像面部と、前記画像を前記被投影部材に投影する拡大光学系とを備え、前記制御部は前記走査部を制御し、前記中間像面部の一以上の領域に前記画像を表示させる表示システム。
14. 請求項７乃至１３の何れか一項に記載の表示システムであって、
    前記制御部は、前記時分割の制御を毎秒３０回以上の周期で実行する表示システム。
15. 光の少なくとも一部を反射する被投影部材と、画像を投影する画像投影光を射出し、前記被投影部材の一以上の領域に画像投影光を反射させ、前記画像の虚像を使用者の視野内に表示する画像投影部と、前記画像投影部が射出する前記画像投影光の出射方向を時分割で制御する制御部と、を備え、前記制御部は、前記画像投影光が投影される前記被投影部材上の一以上の領域の面積の総和が、所定の上限を超えないように制御する表示システムを備え、前記被投影部材はウィンドシールドに設けられる移動体。
16. 光を受けて該光を散乱し、または、光を受けて発光する被投影部材と、画像を投影する画像投影光を射出し、前記被投影部材上で前記画像の実像を形成する画像投影部と、前記画像投影部が射出する前記画像投影光の出射方向を時分割で制御する制御部と、を備え、前記制御部は、前記画像投影光が投影される前記被投影部材上の一以上の領域の面積の総和が、所定の上限を超えないように制御する表示システムを備え、前記被投影部材はウィンドシールドに設けられる移動体。
17. 移動体に備えられる表示システムであって、
    前記移動体に関する移動体情報および前記移動体の環境に関する環境情報の少なくとも一方に基づいて制御情報を生成する表示制御装置と、
    前記制御情報に基づいて、前記移動体の進路を示唆する支援画像を運転者の視界内に表示させる表示装置と、を備え、
    前記制御情報は、前記支援画像の表示位置を変化させる情報を含む、表示システム。
18. 請求項１７に記載の表示システムであって、
    前記支援画像は、前記運転者の視界における第１対象物の一部もしくは全部、または前記第１対象物の周囲に重畳して表示され、
    前記運転者の視界における前記支援画像の表示位置は、前記運転者の視界における前記第１対象物の位置に追従して変化する、表示システム。
19. 請求項１８に記載の表示システムであって、
    前記第１対象物の位置を測るセンサを備え、
    前記表示制御装置は、前記位置に基づいて前記制御情報を生成する、表示システム。
20. 請求項１７乃至１９の何れか一項に記載の表示システムであって、
    前記運転者の目を含む画像を撮像するカメラを備え、
    前記表示制御装置は、前記画像に基づいて前記制御情報を生成する、表示システム。
21. 請求項１７乃至２０の何れか一項に記載の表示システムであって、
    前記運転者の視界内に第２対象物が存在する間、前記支援画像は非表示となる、表示システム。
22. 移動体であって、
    前記移動体に関する移動体情報および前記移動体の環境に関する環境情報の少なくとも一方に基づいて制御情報を生成する表示制御装置と、前記制御情報に基づいて、前記移動体の進路を示唆する支援画像を運転者の視界内に表示させる表示装置と、を有する表示システムを備え、
    前記制御情報は、前記支援画像の表示位置を変化させる情報を含む、移動体。
23. 移動体に備えられる表示システムを用いる表示方法であって、
    前記移動体に関する移動体情報および前記移動体の環境に関する環境情報の少なくとも一方に基づいて制御情報を生成するステップと、
    前記制御情報に基づいて、前記移動体の進路を示唆する支援画像を運転者の視界内に表示させるステップと、を含み、
    前記制御情報は、前記支援画像の表示位置を変化させる情報を含む、表示方法。
24. 移動体に備えられる表示システムであって、
    前記移動体に関する移動体情報および前記移動体の環境に関する環境情報の少なくとも一方に基づいて制御情報を生成する表示制御装置と、
    前記制御情報に基づいて、運転者の視界における所定の対象物の存在を示唆するマーカ画像を前記運転者の視界内に表示させる表示装置と、を備え、
    前記制御情報は、前記マーカ画像の表示位置を変化させる情報を含む、表示システム。
25. 請求項２４に記載の表示システムであって、
    前記マーカ画像は、前記運転者の視界における前記対象物の一部もしくは全部、または前記対象物の周囲に重畳して表示され、
    前記運転者の視界における前記マーカ画像の表示位置は、前記運転者の視界における前記対象物の位置に追従して変化する、表示システム。
26. 請求項２５に記載の表示システムであって、
    前記対象物の位置を測るセンサを備え、
    前記表示制御装置は、前記位置に基づいて前記制御情報を生成する、表示システム。
27. 請求項２４乃至２６の何れか一項に記載の表示システムであって、
    前記運転者の目を含む画像を撮像するカメラを備え、
    前記表示制御装置は、前記画像に基づいて前記制御情報を生成する、表示システム。
28. 請求項２４乃至２７の何れか一項に記載の表示システムであって、
    前記マーカ画像の表示態様が、前記移動体と前記対象物との相対的位置関係に応じて変化する、表示システム。
29. 請求項２４乃至２８の何れか一項に記載の表示システムであって、
    前記表示装置は、前記対象物が前記運転者の視界から外れると、前記運転者の視界外における前記対象物の存在を示唆する示唆画像を、前記運転者の視界内に表示させる、表示システム。
30. 移動体であって、
    前記移動体に関する移動体情報および前記移動体の環境に関する環境情報の少なくとも一方に基づいて制御情報を生成する表示制御装置と、前記制御情報に基づいて、運転者の視界における所定の対象物の存在を示唆するマーカ画像を前記運転者の視界内に表示させる表示装置と、を有する表示システムを備え、
    前記制御情報は、前記マーカ画像の表示位置を変化させる情報を含む、移動体。
31. 移動体に備えられる表示システムを用いる表示方法であって、
    前記移動体に関する移動体情報および前記移動体の環境に関する環境情報の少なくとも一方に基づいて制御情報を生成するステップと、
    前記制御情報に基づいて、運転者の視界における所定の対象物の存在を示唆するマーカ画像を前記運転者の視界内に表示させるステップと、を含み、
    前記制御情報は、前記マーカ画像の表示位置を変化させる情報を含む、表示方法。

Images