JP6357601B2 - 投写型表示装置、投写制御方法、及び、投写制御プログラム - Google Patents

Description

本発明は、投写型表示装置、投写制御方法、及び、投写制御プログラムに関する。

自動車、電車、船舶、重機、建機、航空機、又は、農作用機械等の乗り物のウインドシールド又はウインドシールドの手前付近に配置されるコンバイナをスクリーンとして用い、これに光を投写して画像を表示させる乗り物用のＨＵＤ（Ｈｅａｄ−ｕｐ Ｄｉｓｐｌａｙ）が知られている（例えば特許文献１，２参照）。このＨＵＤによれば、ＨＵＤから投写された光に基づく画像を、スクリーン上で実像として又はスクリーン前方において虚像として運転者に視認させることができる。

特許文献１に記載のＨＵＤは、自動車に設置されたカメラによって運転者の眼の位置を検出し、検出した眼の位置に応じて、コンバイナの角度を制御することにより、眼の位置の変化による虚像の視認性低下を防止している。

特許文献２に記載のＨＵＤは、自動車に設置されたカメラによって運転者の眼の位置を検出し、検出した眼の位置に応じて、画像光の投写範囲を移動させることにより、眼の位置の変化による虚像の視認性低下を防止している。

ＷＯ２０１２／０３９０２１号公報 日本国特開２０１４−２２５０１７号公報

特許文献１及び特許文献２に記載のＨＵＤは、いずれも、運転者の眼の位置の変化に追従して、画像光の投写状態を制御することで、運転者から常に虚像が安定して視認されるようにするものである。

しかし、運転者の眼の位置の変化に追従させて画像光の投写状態を制御する場合、状況によっては虚像の視認性低下を招く可能性がある。

例えば、運転者の片眼だけに画像光が入射している状況又は運転者のいずれの眼にも画像光が入射していない状況では、画像光の投写位置を即座に変更して、運転者の両眼に画像光が入射されるようにするのがよいと考えられる。しかし、乗り物の走行速度が速い場合に、画像光の投写位置が変更されると、運転者にとっては虚像の瞬時の変化がちらつきとして認識される。このため、高速走行時における前方への注意が疎かになる可能性がある。

また、車庫入れ作業時等のように、乗り物を後退させている状況では、運転者の眼の位置が頻繁に移動することなる。このような状況で、画像光の投写状態が頻繁に変更されると、虚像の変化が運転者にとって煩わしいものとなる。

本発明は、上記事情に鑑みてなされたものであり、乗り物の運転者に対して負担をかけることなく必要なときには必要な情報を運転者に提示することのできる投写型表示装置、投写制御方法、及び、投写制御プログラムを提供することを目的とする。

本発明の投写型表示装置は、光源から出射される光を入力された画像データに基づいて空間変調し、上記空間変調して得られた画像光を乗り物の投写面に投写して上記画像データに基づく画像を表示させる投写表示部と、撮像部により上記乗り物の運転者を撮像して得られた撮像画像データに基づいて、上記撮像画像データにおける上記運転者の２つの眼の位置を検出する眼位置検出部と、上記撮像画像データにおける上記画像が上記運転者により視認可能となる範囲の外側に上記２つの眼の少なくとも一方が存在する状態で、上記投写面に対する上記画像光の投写角度を制御して、上記２つの眼の位置を上記範囲内に収める追従制御を行う制御部と、を備え、上記制御部は、上記範囲外に存在する眼の数と上記乗り物の走行状態とに基づいて、上記追従制御を行うか否かを決定するものである。

本発明の投写制御方法は、光源から出射される光を入力された画像データに基づいて空間変調し、上記空間変調して得られた画像光を乗り物の投写面に投写して上記画像データに基づく画像を表示させる投写制御方法であって、撮像部により上記乗り物の運転者を撮像して得られた撮像画像データに基づいて、上記撮像画像データにおける上記運転者の２つの眼の位置を検出する眼位置検出ステップと、上記撮像画像データにおける上記画像が上記運転者により視認可能となる範囲の外側に上記２つの眼の少なくとも一方が存在する状態で、上記投写面に対する上記画像光の投写角度を制御して、上記２つの眼の位置を上記範囲内に収める追従制御を行う制御ステップと、を備え、上記制御ステップは、上記範囲外に存在する眼の数と上記乗り物の走行状態とに基づいて、上記追従制御を行うか否かを決定するものである。

本発明の投写制御プログラムは、光源から出射される光を入力された画像データに基づいて空間変調し、上記空間変調して得られた画像光を乗り物の投写面に投写して上記画像データに基づく画像を表示させる投写制御プログラムであって、撮像部により上記乗り物の運転者を撮像して得られた撮像画像データに基づいて、上記撮像画像データにおける上記運転者の２つの眼の位置を検出する眼位置検出ステップと、上記撮像画像データにおける上記画像が上記運転者により視認可能となる範囲の外側に上記２つの眼の少なくとも一方が存在する状態で、上記投写面に対する上記画像光の投写角度を制御して、上記２つの眼の位置を上記範囲内に収める追従制御を行う制御ステップと、をコンピュータに実行させるためのプログラムであり、上記制御ステップでは、上記範囲外に存在する眼の数と上記乗り物の走行状態とに基づいて、上記追従制御を行うか否かを決定するものである。

本発明によれば、乗り物の運転者に対して負担をかけることなく必要なときには必要な情報を運転者に提示することのできる投写型表示装置、投写制御方法、及び、投写制御プログラムを提供することができる。

本発明の一実施形態である投写型表示装置としてのＨＵＤ１０を含む投写表示システム１００の概略構成を示す図である。 図１に示す投写表示システム１００の構成を示す模式図である。 図２に示す画像光生成部４の内部構成の一例を示す図である。 図３に示すシステム制御部６の機能ブロック図である。 図１に示す投写表示システム１００の動作を説明するためのフローチャートである。 図１に示す投写表示システム１００の動作の変形例を説明するためのフローチャートである。 図１に示す投写表示システム１００の変形例である投写表示システム１００Ａの構成を示す模式図である。

以下、本発明の実施形態について図面を参照して説明する。

図１は、本発明の一実施形態である投写型表示装置としてのＨＵＤ１０を含む投写表示システム１００の概略構成を示す図である。図２は、図１に示す投写表示システム１００の構成を示す模式図である。

投写表示システム１００は、自動車１に搭載されるものであり、フロントウインドシールド２の運転席側手前に配置されたコンバイナ９と、ＨＵＤ１０と、コンバイナ９を回転するための回転機構１１と、撮像部１２と、を備える。

自動車１は、運転者から見てフロントウインドシールド２の前方（ボンネット側）に自動車１が進行するための前進モードと、この前方の反対の方向に自動車１が進行するための後退モードの２つの運転モードを設定可能である。この運転モードは、自動車１の図示しないシフトレバー等を操作することで、運転者によって設定可能である。

図１に示す投写表示システム１００は、自動車以外に、電車、重機、建機、航空機、船舶、又は、農作機械等の乗り物に搭載して用いることができる。

ＨＵＤ１０は、コンバイナ９を投写面とし、コンバイナ９に投写される画像光により、自動車１の運転者によって虚像又は実像を視認可能にするものである。

図１の例では、ＨＵＤ１０は、自動車１のダッシュボード３に内蔵されている。ダッシュボード３は、自動車１のスピードメータ、タコメータ、燃料計、水温計、又は、距離計等の走行に必要な情報を通知するための計器類等を含む内装部品を内蔵する部材である。

ＨＵＤ１０は、自動車１の運転席上方の天井付近に設置されていてもよい。この場合には、コンバイナ９及び回転機構１１が運転席の上方の天井付近に設置される。

コンバイナ９は、透明板８と、透明板８の表面に形成された波長選択膜７と、を備える。

透明板８は、可視光を透過する板状の部材である。

波長選択膜７は、可視光を透過し、少なくとも１つの波長帯域の光に対する反射率がこの波長帯域以外の波長帯域の光に対する反射率よりも高い部材である。なお、図１において、波長選択膜７と透明板８の位置は逆であってもよい。

なお、波長選択膜７としては、ＷＯ２０１５／５０２０２号公報に記載されているように、可視光透過性を有し、複数の波長帯域の各々に反射波長域の中心波長を有する部材を採用することができる。

回転機構１１は、コンバイナ９に対するＨＵＤ１０から投写される画像光の投写角度（入射角度）を制御するための投写角度制御機構である。

具体的には、回転機構１１は、自動車１の運転席と助手席を結ぶ方向に伸びる軸を中心にしてコンバイナ９を回転させるための機構である。コンバイナ９がこの軸の周りに回転することで、コンバイナ９の画像光が投写される面（投写面）への画像光の投写角度が変化する。画像光の投写角度が変化することで、自動車１の運転者から視認される虚像又は実像の重力方向における位置が変化する。

回転機構１１は、図示しないステッピングモータ等のアクチュエータを含み、後述するシステム制御部６によってコンバイナ９の回転角度を制御する。

ＨＵＤ１０は、光源及びこの光源から出射される光を画像データに基づいて空間変調する光変調素子を含む画像光生成部４と、画像光生成部４の光変調素子により空間変調された画像光をコンバイナ９に拡大して投写する拡大投写部材としての凹面鏡５と、ＨＵＤ１０全体を統括制御するシステム制御部６と、を備える。

画像光生成部４と凹面鏡５は、画像データに基づいて空間変調して得られた画像光を自動車１のコンバイナ９に投写してこの画像データに基づく画像を表示させる投写表示部を構成する。

システム制御部６は、プロセッサを主体に構成されており、プロセッサの実行するプログラム等が記憶されるＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、及び、ワークメモリとしてのＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等を含む。このプログラムは、投写制御プログラムを含む。

撮像部１２は、ＨＵＤ１０からコンバイナ９に投写された画像光に基づく画像が、自動車１の運転者によって視認可能となる運転者の眼の位置の範囲であるアイボックスを含む撮像範囲を撮像する。このアイボックス内に運転者の２つの眼のいずれか一方が入っていれば、この眼によって画像光に基づく画像が視認可能となる。

投写表示システム１００では、コンバイナ９が回転可能であるため、コンバイナ９の回転位置毎にアイボックスが設定されている。つまり、アイボックスの位置は、コンバイナ９の回転にともなって移動する。撮像部１２は、この設定された全てのアイボックスを含む範囲を撮像する。撮像部１２は、図１の例では、自動車１のハンドル付近に設置されているが、配置位置はこれに限定されるものではない。

図３は、図２に示す画像光生成部４の内部構成の一例を示す図である。

画像光生成部４は、光源ユニット４０と、光変調素子４４と、光変調素子４４を駆動する駆動部４５と、拡散部材４６と、を備える。

光源ユニット４０は、光源制御部４０Ａと、赤色光を出射する赤色光源であるＲ光源４１ｒと、緑色光を出射する緑色光源であるＧ光源４１ｇと、青色光を出射する青色光源であるＢ光源４１ｂと、ダイクロイックプリズム４３と、Ｒ光源４１ｒとダイクロイックプリズム４３の間に設けられたコリメータレンズ４２ｒと、Ｇ光源４１ｇとダイクロイックプリズム４３の間に設けられたコリメータレンズ４２ｇと、Ｂ光源４１ｂとダイクロイックプリズム４３の間に設けられたコリメータレンズ４２ｂと、を備える。Ｒ光源４１ｒとＧ光源４１ｇとＢ光源４１ｂはＨＵＤ１０の光源を構成する。

ダイクロイックプリズム４３は、Ｒ光源４１ｒ、Ｇ光源４１ｇ、及びＢ光源４１ｂの各々から出射される光を同一光路に導くための光学部材である。ダイクロイックプリズム４３は、コリメータレンズ４２ｒによって平行光化された赤色光を透過させて光変調素子４４に出射する。また、ダイクロイックプリズム４３は、コリメータレンズ４２ｇによって平行光化された緑色光を反射させて光変調素子４４に出射する。さらに、ダイクロイックプリズム４３は、コリメータレンズ４２ｂによって平行光化された青色光を反射させて光変調素子４４に出射する。このような機能を持つ光学部材としては、ダイクロイックプリズムに限らない。例えば、クロスダイクロイックミラーを用いてもよい。

Ｒ光源４１ｒ、Ｇ光源４１ｇ、及びＢ光源４１ｂは、それぞれ、レーザ又はＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）等の発光素子が用いられる。ＨＵＤ１０の光源は、Ｒ光源４１ｒとＧ光源４１ｇとＢ光源４１ｂの３つの例に限らず、１つの光源、又は、異なる波長帯域の光を出射する２つ又は４つ以上の光源によって構成されていてもよい。

光源制御部４０Ａは、Ｒ光源４１ｒ、Ｇ光源４１ｇ、及びＢ光源４１ｂの各々を制御し、Ｒ光源４１ｒ、Ｇ光源４１ｇ、及び、Ｂ光源４１ｂから光を出射させる制御を行う。

光変調素子４４は、Ｒ光源４１ｒ、Ｇ光源４１ｇ、及び、Ｂ光源４１ｂから出射され、ダイクロイックプリズム４３から出射された光を、システム制御部６により入力される画像データに基づいて空間変調する。

光変調素子４４としては、例えば、ＬＣＯＳ（Ｌｉｑｕｉｄ ｃｒｙｓｔａｌ ｏｎ ｓｉｌｉｃｏｎ）、ＤＭＤ（Ｄｉｇｉｔａｌ Ｍｉｃｒｏｍｉｒｒｏｒ Ｄｅｖｉｃｅ）、ＭＥＭＳ（Ｍｉｃｒｏ Ｅｌｅｃｔｒｏ Ｍｅｃｈａｎｉｃａｌ Ｓｙｓｔｅｍｓ）素子、又は、液晶表示素子等を用いることができる。

駆動部４５は、システム制御部６から入力される画像データに基づいて光変調素子４４を駆動し、画像データに応じた画像光（赤色画像光、青色画像光、及び、緑色画像光）を、光変調素子４４から拡散部材４６に出射させる。

拡散部材４６は、光変調素子４４により空間変調された画像光を拡散させて面光源化する部材である。拡散部材４６は、表面に微細構造を有するマイクロミラーアレイ、拡散ミラー、又は、反射ホログラフィクディフューザー等が用いられる。

拡散部材４６及び凹面鏡５は、コンバイナ９に投写された画像光に基づく画像が、フロントウインドシールド２前方の位置において虚像として運転者に視認可能となるように光学設計がなされている。この画像光に基づく画像が、コンバイナ９において実像として運転者に視認可能となるように光学設計がなされていてもよい。

ＨＵＤ１０のシステム制御部６は、光源制御部４０Ａ及び駆動部４５を制御して、画像データに基づく画像光を画像光生成部４から凹面鏡５に出射させる。

図４は、図３に示すシステム制御部６の機能ブロック図である。

システム制御部６は、眼位置検出部６１と、追従制御部６２と、を備える。眼位置検出部６１及び追従制御部６２は、ＲＯＭに記憶されるプログラムをプロセッサが実行することによって構成される。このプログラムは、投写制御プログラムを含む。追従制御部６２は制御部を構成する。

眼位置検出部６１は、撮像部１２により運転者の顔を撮像して得られた撮像画像データを有線通信又は無線通信により取得する。そして、眼位置検出部６１は、取得した撮像画像データに基づいて、この撮像画像データにおける運転者の２つの眼の位置を検出する。

追従制御部６２は、撮像画像データにおけるアイボックスの外側に、眼位置検出部６１により検出された２つの眼の少なくとも一方が存在する状態で、回転機構１１によってコンバイナ９を回転させることでアイボックスを移動させて、この２つの眼の位置をアイボックス内に収める追従制御を行う。

追従制御部６２は、眼位置検出部６１により検出された運転者の２つの眼の位置とアイボックスの情報とから撮像画像データにおけるアイボックス外に存在する運転者の眼の数を判定し、判定した眼の数と、自動車１の走行状態とに基づいて、追従制御を行うか否かを決定する。

図５は、図１に示す投写表示システム１００の動作を説明するためのフローチャートである。

自動車１のエンジン（電気自動車の場合はモータ）を起動する操作、又は、自動車１のバッテリによって駆動される電気系統（空調機器及びライト等）を起動する操作等がなされて、自動車１が始動すると、図５に示すフローが開始される。図５に示すフローは、自動車１が停止するまで繰り返し行われる。

まず、眼位置検出部６１は、撮像部１２により撮像された撮像画像データを取得し、取得した撮像画像データから運転者の２つの眼を検出する（ステップＳ１０）。

次に、追従制御部６２は、自動車１の全体を統括制御するシステム制御部から、自動車１の運転モードの情報を取得し、運転モードが後退モードと前進モードのどちらであるかを判定する（ステップＳ１１）。

運転モードが後退モードである場合（ステップＳ１１：ＹＥＳ）には、追従制御部６２は、追従制御を非実行としてステップＳ１０に処理を戻す。

運転モードが前進モードである場合（ステップＳ１１：ＮＯ）には、追従制御部６２は、ステップＳ１０で検出された２つの眼の位置と、現時点でのコンバイナ９の回転位置に対応したアイボックスの座標情報とに基づいて、運転者の２つの眼のいずれか一方がアイボックス外にあるか否かを判定する（ステップＳ１２）。

運転者の２つの眼がいずれもアイボックス内にある場合（ステップＳ１２：ＮＯ）には、追従制御部６２は、追従制御を非実行として、ステップＳ１０に処理を戻す。

運転者の２つの眼のいずれか一方がアイボックス外にある場合（ステップＳ１２：ＹＥＳ）には、追従制御部６２は、アイボックス外にある眼の数が１つか否かを判定する（ステップＳ１３）。

アイボックス外にある眼の数が１つである場合（ステップＳ１３：ＹＥＳ）、追従制御部６２は、自動車１の全体を統括制御するシステム制御部から、自動車１の走行速度の情報を取得し、自動車１の走行速度が閾値ＴＨ１以下であるか否かを判定する（ステップＳ１４）。

自動車１の走行速度が閾値ＴＨ１を超えている場合（ステップＳ１４：ＮＯ）、追従制御部６２は、追従制御を非実行とし、ステップＳ１０に処理を戻す。

自動車１の走行速度が閾値ＴＨ１以下である場合（ステップＳ１４：ＹＥＳ）、追従制御部６２は、コンバイナ９を回転させて、回転完了後のコンバイナ９の回転位置に対応するアイボックスに、眼位置検出部６１により検出される運転者の２つの眼を収める追従制御を行う（ステップＳ１５）。ステップＳ１５の後はステップＳ１０に処理が戻る。

追従制御部６２は、ステップＳ１５の追従制御において、コンバイナ９の回転速度を基準速度に制御する。また、追従制御部６２は、ステップＳ１５の追従制御において、画像光の輝度を基準輝度に制御する。基準輝度は、コンバイナ９の回転を開始する直前の時点での画像光の輝度と同じ値である。

アイボックス外にある眼の数が２つである場合（ステップＳ１３：ＮＯ）、追従制御部６２は、自動車１の全体を統括制御するシステム制御部から自動車１の走行速度の情報を取得し、自動車１の走行速度が閾値ＴＨ１以下であるか否かを判定する（ステップＳ１６）。

自動車１の走行速度が閾値ＴＨ１以下である場合（ステップＳ１６：ＹＥＳ）、追従制御部６２は、コンバイナ９を回転させて、回転完了後のコンバイナ９の回転位置に対応するアイボックスに、眼位置検出部６１により検出される運転者の２つの眼を収める追従制御を行う（ステップＳ１７）。ステップＳ１７の後はステップＳ１０に処理が戻る。

追従制御部６２は、ステップＳ１７の追従制御において、コンバイナ９の回転速度を基準速度に制御する。また、追従制御部６２は、ステップＳ１５の追従制御において、画像光の輝度を基準輝度に制御する。

自動車１の走行速度が閾値ＴＨ１を超えている場合（ステップＳ１６：ＮＯ）、追従制御部６２は、コンバイナ９を回転させて、回転完了後のコンバイナ９の回転位置に対応するアイボックスに、眼位置検出部６１により検出される運転者の２つの眼を収める追従制御を行う（ステップＳ１８）。ステップＳ１８の後はステップＳ１０に処理が戻る。

追従制御部６２は、ステップＳ１８の追従制御において、コンバイナ９の回転速度を基準速度よりも低い速度に制御する。また、追従制御部６２は、コンバイナ９を回転させている間は、画像光の輝度を基準輝度よりも低い輝度に制御する。

画像光の輝度を制御する方法は、光源ユニット４０の各光源の出射光量を制御する方法、又は、駆動部４５に入力する画像データの輝度を制御する方法等がある。

そして、追従制御部６２は、コンバイナ９の回転が完了すると、画像光の輝度を基準輝度に戻す。追従制御部６２は、コンバイナ９の回転が完了すると、画像光の輝度を徐々に増やしていって最終的に基準輝度に戻してもよい。

ステップＳ１８では、コンバイナ９の回転速度と画像光の輝度を、自動車１の走行速度が大きいほど小さくしてもよい。また、ステップＳ１４とステップＳ１６で用いる走行速度の閾値ＴＨ１はそれぞれ同じ値としているが、ステップＳ１４で用いる閾値とステップＳ１６で用いる閾値とで値を変えてもよい。

以上のように、ＨＵＤ１０によれば、アイボックス外に存在する運転者の眼の数が１つである場合には、自動車１の走行速度が閾値ＴＨ１以下となった場合に追従制御が行われる。アイボックス外に存在する運転者の眼の数が１つである場合は、運転者の片方の眼によって画像光に基づく画像が観察可能である。

このように、片方の眼によって画像光に基づく画像が観察されている状態から、両方の眼によって画像光に基づく画像が観察されている状態への移行を、走行速度が大きい状態では行わないことで、事故リスクの高い高速走行時において運転者の集中力を維持することができ、安全運転を支援することができる。一方、事故リスクの低い低速走行時には上記の移行が行われることで、片方の眼のみで画像が視認されることに起因する疲労感を軽減することができる。

また、ＨＵＤ１０によれば、アイボックス外に存在する運転者の眼の数が２つである場合には、自動車１の走行速度に関わらずに追従制御が行われる。アイボックス外に存在する運転者の眼の数が２つである場合は、運転者から画像光に基づく画像が観察できない状態である。このため、この場合には追従制御を行うことで、運転者に必要な情報を提供することができる。

また、アイボックス外に存在する運転者の眼の数が２つである場合には、自動車１の走行速度が大きいほど、コンバイナ９の回転速度が遅くなり、画像光の輝度が低くなるため、運転者から観察される画像の変化を緩やかにすることができる。この結果、高速走行時における集中力を妨げることなく、情報の提供が可能となる。

また、ＨＵＤ１０によれば、自動車１が後退モードである場合には、追従制御は行われない。このため、車庫入れ作業等のように運転者の視線の動きが大きくなる状況において画像光に基づく画像が頻繁に変化するのを避けることができる。この結果、画像が頻繁に変化することによる煩わしさをなくすことができる。

なお、ステップＳ１８の追従制御において、追従制御部６２は、画像光の輝度を通常輝度より低く制御し、コンバイナ９の回転速度は基準速度に制御してもよい。また、ステップＳ１８の追従制御において、追従制御部６２は、コンバイナ９の回転速度を基準速度よりも低い速度に制御し、画像光の輝度は通常輝度に制御してもよい。

図６は、図１に示す投写表示システム１００の動作の変形例を説明するためのフローチャートである。図６に示すフローチャートは、ステップＳ２１とステップＳ２２が追加された点を除いては図５と同じであるため、図５と同じ処理には同一符号を付して説明を省略する。

この変形例では、前提として、自動車１の運転モードが自動運転モードと手動運転モードを更に含む。自動運転モードは、自動車のシステム制御部が運転者の操作によらずに走行制御を行うモードである。手動運転モードは、アクセル、ブレーキ、及び、ハンドル等が運転者によって操作されることで自動車が走行するモードである。

また、自動車１は、自動運転モードから手動運転モードへの切り替え指示がなされると、この切り替え指示がなされた時点から予め決められた移行期間を挟んでから手動運転モードへの切り替えを行う。

この変形例では、ステップＳ１３の判定がＹＥＳの場合に、追従制御部６２は、自動運転モードから手動運転モードへの移行期間であるか否かを判定する（ステップＳ２１）。

そして、自動運転モードから手動運転モードへの移行期間である場合（ステップＳ２１：ＹＥＳ）にはステップＳ１５の処理が行われる。一方、自動運転モードから手動運転モードへの移行期間ではない場合（ステップＳ２１：ＮＯ）にはステップＳ１４の処理が行われる。

また、ステップＳ１３の判定がＮＯの場合に、追従制御部６２は、自動運転モードから手動運転モードへの移行期間であるか否かを判定する（ステップＳ２２）。

そして、自動運転モードから手動運転モードへの移行期間である場合（ステップＳ２２：ＹＥＳ）にはステップＳ１７の処理が行われる。一方、自動運転モードから手動運転モードへの移行期間ではない場合（ステップＳ２２：ＮＯ）にはステップＳ１６の処理が行われる。

以上のように、図６に示す変形例によれば、自動車１が自動運転モードから手動運転モードへの移行期間である場合には、自動車１の走行速度に関わらずにステップＳ１５又はステップＳ１７の追従制御が行われる。この移行期間中は無条件で追従制御を行うことで、画像光に基づく画像により、運転者に対して手動運転の準備を促す情報等を提供することができる。これにより、自動運転モードから手動運転モードへの切り替えを安全に行うことができる。

図７は、図１に示す投写表示システム１００の変形例である投写表示システム１００Ａの構成を示す模式図である。投写表示システム１００Ａは、ＨＵＤ１０がＨＵＤ１０Ａに変更され、回転機構１１が削除された点を除いては、投写表示システム１００と同じ構成である。図７において、図２と同じ構成には同一符号を付して説明を省略する。

ＨＵＤ１０Ａは、回転機構１３が追加され、システム制御部６がシステム制御部６Ａに変更された点を除いては、図２に示すＨＵＤ１０と同じ構成である。投写表示システム１００Ａでは、透明板８及び波長選択膜７を備えるコンバイナ９は回転不能となっている。

回転機構１３は、コンバイナ９に対するＨＵＤ１０Ａから投写される画像光の投写角度を制御するための投写角度制御機構である。

具体的には、回転機構１３は、凹面鏡５から投写される画像光のコンバイナ９に対する投写位置が重力方向において変化するように、凹面鏡５を回転させるための機構である。回転機構１３は図示しないアクチュエータを搭載し、システム制御部６Ａによって駆動される。

回転機構１３が凹面鏡５を回転させることで、凹面鏡５から投写される画像光のコンバイナ９に対する投写角度が変化し、アイボックスの位置も変化する。投写表示システム１００Ａでは、凹面鏡５の回転位置に対応するアイボックスの座標情報がシステム制御部６ＡのＲＯＭに記憶されている。

システム制御部６Ａは、上述した眼位置検出部６１と追従制御部６２とを備える。

システム制御部６Ａの追従制御部６２は、撮像部１２から取得される撮像画像データにおけるアイボックスの外側に、眼位置検出部６１により検出された２つの眼の少なくとも一方が存在する状態で、回転機構１３によって凹面鏡５を回転させてアイボックスを移動させて、この２つの眼の位置をアイボックス内に収める追従制御を行う。

また、システム制御部６Ａの追従制御部６２は、眼位置検出部６１により検出された運転者の２つの眼の位置と、凹面鏡５の回転位置に対応するアイボックスの座標情報とから、撮像画像データにおけるアイボックス外に存在する運転者の眼の数を判定し、判定した眼の数と、自動車１の走行状態とに基づいて、追従制御を行うか否かを決定する。追従制御を行うか否かの決定方法は、図５又は図６で説明したのと同じである。

このように、コンバイナ９ではなく、凹面鏡５を回転させることでアイボックスを移動させることのできる投写表示システムにおいても、システム制御部６Ａの制御によって、運転者に負担をかけることなく、必要な情報を提供することができる。

なお、投写表示システム１００Ａが、コンバイナ９を回転させるための回転機構を更に有する構成であってもよい。この場合は、コンバイナ９の回転位置と凹面鏡５の回転位置との組み合わせでアイボックスの位置が決まる。このため、システム制御部６Ａは、図５又は図６のステップＳ１２及びステップＳ１３の判定を行う際に、コンバイナ９の回転位置と凹面鏡５の回転位置との組み合わせに対応するアイボックスの座標情報を用いればよい。

また、投写表示システム１００Ａでは、コンバイナ９を削除し、フロントウインドシールド２の一部の範囲に波長選択膜７を形成し、この範囲を投写面として画像光を投写することも可能である。

ここまでの投写表示システムでは、コンバイナ９と凹面鏡５の一方又は両方が回転することでアイボックスが重力方向に移動するものとした。この変形例として、コンバイナ９と凹面鏡５の一方又は両方が回転することでアイボックスが重力方向に垂直な水平方向（運転席と助手席の並ぶ方向）に移動可能な構成であってもよい。また、コンバイナ９と凹面鏡５の一方又は両方が回転することで、アイボックスが重力方向と水平方向のそれぞれに移動可能な構成であってもよい。

以上のように、本明細書には以下の事項が開示されている。

開示された投写型表示装置は、光源から出射される光を入力された画像データに基づいて空間変調し、上記空間変調して得られた画像光を乗り物の投写面に投写して上記画像データに基づく画像を表示させる投写表示部と、撮像部により上記乗り物の運転者を撮像して得られた撮像画像データに基づいて、上記撮像画像データにおける上記運転者の２つの眼の位置を検出する眼位置検出部と、上記撮像画像データにおける上記画像が上記運転者により視認可能となる範囲の外側に上記２つの眼の少なくとも一方が存在する状態で、上記投写面に対する上記画像光の投写角度を制御して、上記２つの眼の位置を上記範囲内に収める追従制御を行う制御部と、を備え、上記制御部は、上記範囲外に存在する眼の数と上記乗り物の走行状態とに基づいて、上記追従制御を行うか否かを決定するものである。

開示された投写型表示装置は、上記走行状態は、上記乗り物の走行速度を含むものである。

開示された投写型表示装置は、上記制御部は、上記範囲外に存在する眼の数が１つである場合には、上記乗り物の走行速度が閾値以下となった場合に上記追従制御を行うものである。

開示された投写型表示装置は、上記制御部は、上記範囲外に存在する眼の数が１つであり、かつ、上記乗り物が自動運転モードから手動運転モードへ移行している状態の場合には、上記乗り物の走行速度に関わらずに上記追従制御を実行するものである。

開示された投写型表示装置は、上記制御部は、上記範囲外に存在する眼の数が２つである場合には、上記乗り物の走行速度に関わらずに上記追従制御を行うものである。

開示された投写型表示装置は、上記制御部は、上記範囲外に存在する眼の数が２つである場合に行う上記追従制御において、上記乗り物の走行速度が速いほど、上記投写角度の制御速度と、上記投写角度を制御している期間における上記画像光の輝度との少なくとも一方を小さくするものである。

開示された投写型表示装置は、上記制御部は、上記範囲外に存在する眼の数が２つであり、かつ、上記乗り物が自動運転モードから手動運転モードへ移行している状態の場合には、上記乗り物の走行速度に関わらずに、上記追従制御時における上記投写角度の制御速度と、上記投写角度を制御している期間における上記画像光の輝度を予め決められた値に設定するものである。

開示された投写型表示装置は、上記制御部は、上記範囲外に存在する眼の数が２つである場合には、上記乗り物の走行速度に関わらずに上記追従制御を行い、上記追従制御において、上記乗り物の走行速度が速いほど、上記投写角度の制御速度と、上記投写角度を制御している期間における上記画像光の輝度との少なくとも一方を小さくするものである。

開示された投写型表示装置は、上記制御部は、上記乗り物が後退している走行状態の場合には、上記範囲外に存在する眼の数に関わらずに、上記追従制御を非実行とするものである。

開示された投写型表示装置は、上記投写表示部は、上記画像データに基づく虚像を表示させるものである。

開示された投写制御方法は、光源から出射される光を入力された画像データに基づいて空間変調し、上記空間変調して得られた画像光を乗り物の投写面に投写して上記画像データに基づく画像を表示させる投写制御方法であって、撮像部により上記乗り物の運転者を撮像して得られた撮像画像データに基づいて、上記撮像画像データにおける上記運転者の２つの眼の位置を検出する眼位置検出ステップと、上記撮像画像データにおける上記画像が上記運転者により視認可能となる範囲の外側に上記２つの眼の少なくとも一方が存在する状態で、上記投写面に対する上記画像光の投写角度を制御して、上記２つの眼の位置を上記範囲内に収める追従制御を行う制御ステップと、を備え、上記制御ステップは、上記範囲外に存在する眼の数と上記乗り物の走行状態とに基づいて、上記追従制御を行うか否かを決定するものである。

開示された投写制御方法は、上記走行状態は、上記乗り物の走行速度を含むものである。

開示された投写制御方法は、上記制御ステップは、上記範囲外に存在する眼の数が１つである場合には、上記乗り物の走行速度が閾値以下となった場合に上記追従制御を行うものである。

開示された投写制御方法は、上記制御ステップは、上記範囲外に存在する眼の数が１つであり、かつ、上記乗り物が自動運転モードから手動運転モードへ移行している状態の場合には、上記乗り物の走行速度に関わらずに上記追従制御を実行するものである。

開示された投写制御方法は、上記制御ステップは、上記範囲外に存在する眼の数が２つである場合には、上記乗り物の走行速度に関わらずに上記追従制御を行うものである。

開示された投写制御方法は、上記制御ステップは、上記範囲外に存在する眼の数が２つである場合に行う上記追従制御において、上記乗り物の走行速度が速いほど、上記投写角度の制御速度と、上記投写角度を制御している期間における上記画像光の輝度との少なくとも一方を小さくするものである。

開示された投写制御方法は、上記制御ステップは、上記範囲外に存在する眼の数が２つであり、かつ、上記乗り物が自動運転モードから手動運転モードへ移行している状態の場合には、上記乗り物の走行速度に関わらずに、上記追従制御時における上記投写角度の制御速度と、上記投写角度を制御している期間における上記画像光の輝度を予め決められた値に設定するものである。

開示された投写制御方法は、上記制御ステップは、上記範囲外に存在する眼の数が２つである場合には、上記乗り物の走行速度に関わらずに上記追従制御を行い、上記追従制御において、上記乗り物の走行速度が速いほど、上記投写角度の制御速度と、上記投写角度を制御している期間における上記画像光の輝度との少なくとも一方を小さくするものである。

開示された投写制御方法は、上記制御ステップは、上記乗り物が後退している走行状態の場合には、上記範囲外に存在する眼の数に関わらずに、上記追従制御を非実行とするものである。

開示された投写制御方法は、上記画像データに基づく画像は虚像であるものを含む。

開示された投写制御プログラムは、光源から出射される光を入力された画像データに基づいて空間変調し、上記空間変調して得られた画像光を乗り物の投写面に投写して上記画像データに基づく画像を表示させる投写制御プログラムであって、撮像部により上記乗り物の運転者を撮像して得られた撮像画像データに基づいて、上記撮像画像データにおける上記運転者の２つの眼の位置を検出する眼位置検出ステップと、上記撮像画像データにおける上記画像が上記運転者により視認可能となる範囲の外側に上記２つの眼の少なくとも一方が存在する状態で、上記投写面に対する上記画像光の投写角度を制御して、上記２つの眼の位置を上記範囲内に収める追従制御を行う制御ステップと、をコンピュータに実行させるためのプログラムであり、上記制御ステップでは、上記範囲外に存在する眼の数と上記乗り物の走行状態とに基づいて、上記追従制御を行うか否かを決定するものである。

本発明によれば、乗り物の運転者に対して負担をかけることなく必要なときには必要な情報を運転者に提示することのできる投写型表示装置、投写制御方法、及び、投写制御プログラムを提供することができる。

以上、本発明を特定の実施形態によって説明したが、本発明はこの実施形態に限定されるものではなく、開示された発明の技術思想を逸脱しない範囲で種々の変更が可能である。
本出願は、２０１６年３月２日出願の日本特許出願（特願２０１６−０４０４２２）に基づくものであり、その内容はここに取り込まれる。

１００，１００Ａ 投写表示システム
１０，１０Ａ ＨＵＤ
１ 自動車
２ フロントウインドシールド
３ ダッシュボード
４ 画像光生成部
５ 凹面鏡
６，６Ａ システム制御部
７ 波長選択膜
８ 透明板
９ コンバイナ
１１，１３ 回転機構
１２ 撮像部
４０ 光源ユニット
４０Ａ 光源制御部
４１ｒ Ｒ光源
４１ｇ Ｇ光源
４１ｂ Ｂ光源
４２ｒ，４２ｇ，４２ｂ コリメータレンズ
４３ ダイクロイックプリズム
４４ 光変調素子
４５ 駆動部
４６ 拡散部材
６１ 眼位置検出部
６２ 追従制御部

Claims (21)

1. 光源から出射される光を入力された画像データに基づいて空間変調し、前記空間変調して得られた画像光を乗り物の投写面に投写して前記画像データに基づく画像を表示させる投写表示部と、
   撮像部により前記乗り物の運転者を撮像して得られた撮像画像データに基づいて、前記撮像画像データにおける前記運転者の２つの眼の位置を検出する眼位置検出部と、
   前記撮像画像データにおける前記画像が前記運転者により視認可能となる範囲の外側に前記２つの眼の少なくとも一方が存在する状態で、前記投写面に対する前記画像光の投写角度を制御して、前記２つの眼の位置を前記範囲内に収める追従制御を行う制御部と、を備え、
   前記制御部は、前記範囲外に存在する眼の数と前記乗り物の走行状態とに基づいて、前記追従制御を行うか否かを決定する投写型表示装置。
2. 請求項１記載の投写型表示装置であって、
   前記走行状態は、前記乗り物の走行速度を含む投写型表示装置。
3. 請求項２記載の投写型表示装置であって、
   前記制御部は、前記範囲外に存在する眼の数が１つである場合には、前記乗り物の走行速度が閾値以下となった場合に前記追従制御を行う投写型表示装置。
4. 請求項３記載の投写型表示装置であって、
   前記制御部は、前記範囲外に存在する眼の数が１つであり、かつ、前記乗り物が自動運転モードから手動運転モードへ移行している状態の場合には、前記乗り物の走行速度に関わらずに前記追従制御を実行する投写型表示装置。
5. 請求項３又は４記載の投写型表示装置であって、
   前記制御部は、前記範囲外に存在する眼の数が２つである場合には、前記乗り物の走行速度に関わらずに前記追従制御を行う投写型表示装置。
6. 請求項５記載の投写型表示装置であって、
   前記制御部は、前記範囲外に存在する眼の数が２つである場合に行う前記追従制御において、前記乗り物の走行速度が速いほど、前記投写角度の制御速度と、前記投写角度を制御している期間における前記画像光の輝度との少なくとも一方を小さくする投写型表示装置。
7. 請求項６記載の投写型表示装置であって、
   前記制御部は、前記範囲外に存在する眼の数が２つであり、かつ、前記乗り物が自動運転モードから手動運転モードへ移行している状態の場合には、前記乗り物の走行速度に関わらずに、前記追従制御時における前記投写角度の制御速度と、前記投写角度を制御している期間における前記画像光の輝度を予め決められた値に設定する投写型表示装置。
8. 請求項１又は２記載の投写型表示装置であって、
   前記制御部は、前記範囲外に存在する眼の数が２つである場合には、前記乗り物の走行速度に関わらずに前記追従制御を行い、前記追従制御において、前記乗り物の走行速度が速いほど、前記投写角度の制御速度と、前記投写角度を制御している期間における前記画像光の輝度との少なくとも一方を小さくする投写型表示装置。
9. 請求項１〜８のいずれか１項記載の投写型表示装置であって、
   前記制御部は、前記乗り物が後退している走行状態の場合には、前記範囲外に存在する眼の数に関わらずに、前記追従制御を非実行とする投写型表示装置。
10. 請求項１〜９のいずれか１項記載の投写型表示装置であって、
    前記投写表示部は、前記画像データに基づく虚像を表示させる投写型表示装置。
11. 光源から出射される光を入力された画像データに基づいて空間変調し、前記空間変調して得られた画像光を乗り物の投写面に投写して前記画像データに基づく画像を表示させる投写制御方法であって、
    撮像部により前記乗り物の運転者を撮像して得られた撮像画像データに基づいて、前記撮像画像データにおける前記運転者の２つの眼の位置を検出する眼位置検出ステップと、
    前記撮像画像データにおける前記画像が前記運転者により視認可能となる範囲の外側に前記２つの眼の少なくとも一方が存在する状態で、前記投写面に対する前記画像光の投写角度を制御して、前記２つの眼の位置を前記範囲内に収める追従制御を行う制御ステップと、を備え、
    前記制御ステップは、前記範囲外に存在する眼の数と前記乗り物の走行状態とに基づいて、前記追従制御を行うか否かを決定する投写制御方法。
12. 請求項１１記載の投写制御方法であって、
    前記走行状態は、前記乗り物の走行速度を含む投写制御方法。
13. 請求項１２記載の投写制御方法であって、
    前記制御ステップは、前記範囲外に存在する眼の数が１つである場合には、前記乗り物の走行速度が閾値以下となった場合に前記追従制御を行う投写制御方法。
14. 請求項１３記載の投写制御方法であって、
    前記制御ステップは、前記範囲外に存在する眼の数が１つであり、かつ、前記乗り物が自動運転モードから手動運転モードへ移行している状態の場合には、前記乗り物の走行速度に関わらずに前記追従制御を実行する投写制御方法。
15. 請求項１３又は１４記載の投写制御方法であって、
    前記制御ステップは、前記範囲外に存在する眼の数が２つである場合には、前記乗り物の走行速度に関わらずに前記追従制御を行う投写制御方法。
16. 請求項１５記載の投写制御方法であって、
    前記制御ステップは、前記範囲外に存在する眼の数が２つである場合に行う前記追従制御において、前記乗り物の走行速度が速いほど、前記投写角度の制御速度と、前記投写角度を制御している期間における前記画像光の輝度との少なくとも一方を小さくする投写制御方法。
17. 請求項１６記載の投写制御方法であって、
    前記制御ステップは、前記範囲外に存在する眼の数が２つであり、かつ、前記乗り物が自動運転モードから手動運転モードへ移行している状態の場合には、前記乗り物の走行速度に関わらずに、前記追従制御時における前記投写角度の制御速度と、前記投写角度を制御している期間における前記画像光の輝度を予め決められた値に設定する投写制御方法。
18. 請求項１１又は１２記載の投写制御方法であって、
    前記制御ステップは、前記範囲外に存在する眼の数が２つである場合には、前記乗り物の走行速度に関わらずに前記追従制御を行い、前記追従制御において、前記乗り物の走行速度が速いほど、前記投写角度の制御速度と、前記投写角度を制御している期間における前記画像光の輝度との少なくとも一方を小さくする投写制御方法。
19. 請求項１１〜１８のいずれか１項記載の投写制御方法であって、
    前記制御ステップは、前記乗り物が後退している走行状態の場合には、前記範囲外に存在する眼の数に関わらずに、前記追従制御を非実行とする投写制御方法。
20. 請求項１１〜１９のいずれか１項記載の投写制御方法であって、
    前記画像データに基づく画像は虚像である投写制御方法。
21. 光源から出射される光を入力された画像データに基づいて空間変調し、前記空間変調して得られた画像光を乗り物の投写面に投写して前記画像データに基づく画像を表示させる投写制御プログラムであって、
    撮像部により前記乗り物の運転者を撮像して得られた撮像画像データに基づいて、前記撮像画像データにおける前記運転者の２つの眼の位置を検出する眼位置検出ステップと、
    前記撮像画像データにおける前記画像が前記運転者により視認可能となる範囲の外側に前記２つの眼の少なくとも一方が存在する状態で、前記投写面に対する前記画像光の投写角度を制御して、前記２つの眼の位置を前記範囲内に収める追従制御を行う制御ステップと、をコンピュータに実行させるためのプログラムであり、
    前記制御ステップでは、前記範囲外に存在する眼の数と前記乗り物の走行状態とに基づいて、前記追従制御を行うか否かを決定する投写制御プログラム。

Images