〔第1実施形態〕
以下、図面を参照しつつ、本発明に係る第1実施形態の表示装置としてのヘッドアップディスプレイ装置及びその表示方法について説明する。
図1A及び1Bは、実施形態の表示装置としてのヘッドアップディスプレイ装置のうち画像表示装置100を説明する概念的な側方断面図及び正面図である。この画像表示装置100は、例えば自動車の車体2内に搭載されるものであり、投影ユニット10と表示スクリーン20とを備える。画像表示装置100は、投影ユニット10中の後述する描画デバイス11に表示されている画像情報を表示スクリーン20を介してドライバーVDに向けて虚像表示するものであり、表示装置とも呼ぶこともある。
画像表示装置100のうち投影ユニット10は、車体2のダッシュボード4内であってディスプレイ50の背後に埋め込むように設置されており、運転関連情報等を含む画像に対応する映像光である表示光DLを表示スクリーン20に向けて射出する。表示スクリーン20は、コンバイナーとも呼ばれ、半透過性を有する凹面鏡又は平面鏡である。表示スクリーン20は、下端の支持によってダッシュボード4上に立設され、投影ユニット10からの表示光(映像光)DLを車体2の後方に向けて反射する。つまり、図示の場合、表示スクリーン20は、フロントウインドウ8とは別体で設置される独立型のものとなっている。表示スクリーン20で反射された表示光DLは、運転席6に座ったドライバーVDの瞳PU及びその周辺位置に対応するアイボックス(不図示)に導かれる。ドライバーVDは、表示スクリーン20で反射された表示光DL、つまり車体2の前方にある虚像としての投影像IMを観察することができる。一方、ドライバーVDは、表示スクリーン20を透過した外界光、つまり前方景色、自動車等の実像を観察することができる。結果的に、ドライバーVDは、表示スクリーン20の背後の外界像又はシースルー像に重ねて、表示スクリーン20での表示光DLの反射によって形成される運転関連情報等の関連情報を含む投影像(虚像)IMを観察することができる。
ここで、表示スクリーン20をフロントウインドウ8と別体で構成しているが、フロントウインドウ8を表示スクリーンとして用い、フロントウインドウ8内に設定した表示範囲に投影を行って、ドライバーVDが投影像IMを観察できる構成としても構わない。この際、フロントウインドウ8のガラスの一部領域の反射率をコート等によって変更することで、反射領域を確保することができる。また、フロントウインドウ8での反射角度が例えば60度程度であれば、反射率が15%程度確保され、特にコートを設けなくても透過性を有する反射面として用いることができる。これら以外に、フロントウインドウ8のガラス中にサンドイッチする構成で表示スクリーンを設けることもできる。
図2に示すように、投影ユニット10は、描画デバイス11を含む虚像型の拡大結像系である本体光学系13と、本体光学系13を動作させる表示制御部18と、本体光学系13等を収納するハウジング14とを備える。これらのうち本体光学系13と表示スクリーン20と組み合わせたものは、表示光学系30を構成する。
本体光学系13は、描画デバイス11のほかに、描画デバイス11に形成された画像を拡大した中間像TIを形成する第1投影光学系である結像光学系15と、中間像TIを虚像に変換する第2投影光学系である虚像形成光学系17と、投影用の両光学系15,17間に配置される拡散部16とを備える。
描画デバイス11は、2次元的な表示面11aを有する表示素子である。描画デバイス(表示素子)11の表示面11aに形成された像は、結像光学系(第1投影光学系)15で拡大されて拡散部16に設けた螺旋面状の中間スクリーン19に投影される。この際、2次元表示が可能な描画デバイス11を用いることで、中間スクリーン19に対する投影像の切替え、つまり表示スクリーン20越しに虚像として表示される投影像IMの切替えを比較的高速とできる。描画デバイス11は、DMDやLCOS等の反射型の素子であっても、液晶等の透過型の素子であってもよい。特に、描画デバイス11としてDMDやLCOSを用いると、明るさを維持しつつ画像を高速で切替えること(高速の間欠表示を含む)が容易になり、虚像距離又は投影距離を変化させる表示に有利である。なお、描画デバイス11は、表示距離又は投影距離を変化させる場合には、それぞれの投影距離に対して30fps以上、さらに望ましくは60fps以上のフレームレートで動作する。これにより、異なる投影距離に複数の投影像(虚像)IMをドライバーVDに対して同時に表示されているように見せることが可能になる。特に、90fps以上で表示の切替えを行う場合、DMDやLCOSが描画デバイス11の候補となる。
拡散部16は、結像光学系(第1投影光学系)15による投影位置又は結像位置(つまり中間像の結像予定位置又はその近傍)に配置され、回転体16aと中空枠体16bとを有し、回転駆動部(駆動部)64に駆動されて例えば一定速度で基準軸SXの周りに回転する。
図3Aは、拡散部16を説明する正面図であり、図3Bは、拡散部16を説明する側方断面図であり、図3Cは、拡散部16中の回転体16aを説明する斜視図である。拡散部16は、全体として円板に近い輪郭を有する螺旋状の回転体16aと、回転体16aを収納する円筒状の中空枠体16bとを有する。
回転体16aは、中央部16cと外周光学部16pとを有する。回転体16aの外周光学部16pに形成された一方の表面16fは、平滑面又は光学面に形成されており、表面16f上には、全域に亘って中間スクリーン19が形成されている。回転体16aの表面16fは、立体形状部116として機能する。中間スクリーン19は、配光角を所望の角度に制御した拡散板である。中間スクリーン19は、回転体16aに貼り付けられるシートとできるが、回転体16aの表面に形成された微細な凹凸パターンであってもよい。さらに、中間スクリーン19は、回転体16aの内部に埋め込むように形成されたものであってもよい。中間スクリーン19は、入射した表示光DLを拡散させることによって中間像TIを形成する(図2参照)。回転体16aの外周光学部16pに形成された他方の表面16sは、平滑面又は光学面に形成されている。回転体16aは、光透過性を有する螺旋状の部材であり、一対の表面16f,16sは、基準軸SXを螺旋軸とする螺旋面となっている。結果的に、一方の表面16f上に形成された中間スクリーン19も連続的な螺旋面に沿って形成されたものとなっている。中間スクリーン19は、螺旋の一周期に対応する範囲に形成されている。つまり、中間スクリーン19は、螺旋の1ピッチ分の範囲に形成されている。この結果、拡散部16の周に沿った一箇所に段差部16jが形成され、この段差部16jは、螺旋端に対応する位置で光軸AX方向又は基準軸SX方向に中間スクリーン位置の差を与えるものとなっている。つまり、立体形状部116が螺旋状の形状部を含むことにより、中間スクリーン19の回転によって後述する中間スクリーン19の機能領域FAを光軸AX方向に移動させることができる。これにより、奥行き方向を含めて表示位置が異なる投影像IMを高速で変化させながら表示することが容易になる。段差部16jの段差量は、虚像を投影する距離の近側と遠側の仕様、及び虚像形成光学系(第2投影光学系)17の倍率によって設定される。この際、段差部16jを30mm以下の距離差又はピッチを与えるものとすれば、拡散部16の光軸AX方向の厚さを比較的小さくすることができて、拡散部16の小型化と、後述する虚像形成光学系(第2投影光学系)17を構成するミラー間の間隔を狭めた設計が可能となり、装置の小型化にも効果がある。段差部16jは、螺旋端間の段差を繋ぐとともに、拡散部16を回転させる基準軸SXを含む平面に対して傾斜した接続面16kを有する。上記のように、回転体16aの一対の表面16f,16sが基準軸SXを螺旋軸とする螺旋面であることから、回転体16aは、基準軸SX又は光軸AX方向に関して略等しい厚みtを有する。
回転体16aにおいて、周方向に沿った一箇所は、本体光学系13の光軸AXが通る機能領域FAとなっており、機能領域FAにおける中間スクリーン19の部分によって中間像TIが形成される。この機能領域FAは、回転体16aの回転に伴って回転体16a上において一定速度で移動する。つまり、回転体16aを回転させつつその一部である機能領域FAに表示光(映像光)DLを入射させることで、機能領域FA又は中間像TIの位置が光軸AXに沿って往復移動する(描画デバイス11の表示が動作していなければ、必ずしも表示としての中間像は形成されないが、中間像が形成されるであろう位置も中間像の位置と呼ぶ)。図示の例では、中間スクリーン19が螺旋の一周期に対応する範囲に形成されているので、回転体16aの1回転で中間スクリーン19の機能領域FA又は中間像TIは、光軸AX方向に段差に相当する距離だけ1往復することになる。なお、結像光学系(第1投影光学系)15は、中間スクリーン19の位置によってピントぼけが生じないように、機能領域FAの移動範囲以上の所定の焦点深度を有している。または、上記の結像光学系(第1投影光学系)15にフォーカシングする機能を持たせることで、ぼけのない像を得ることも可能である。
中空枠体16bは、円柱状の外形輪郭を有し、側面部16eと一対の端面部16g,16hとで構成される。側面部16eと一対の端面部16g,16hとは、光透過性を有する同一の材料で形成されている。ただし、側面部16eは、光透過性を有していなくてもよい。一方の端面部16gの主面63a,63bは、互いに平行な平滑面又は光学面となっており、他方の端面部16hの主面64a,64bも、互いに平行な平滑面又は光学面となっている。ここで、主面63a,63b又は主面64a,64bは必ずしも平行な平面でなくてもよく、少なくとも機能領域FAに相当する範囲を自由曲面形状や非球面形状とすれば、例えば性能確保が難しい高倍率の光学系においても、光学系に要求される歪みや像面性等の像性能を確保することが可能となるので、必要に応じて望ましい面形状を選択すればよい。中空枠体16b中の回転体16aは、一対の中心軸部65を介して中空枠体16bに固定されており、中空枠体16bと回転体16aとは基準軸SXの周りに一体的に回転する。このように、中間スクリーン19を設けた回転体16aを中空枠体16b中に配置することで、回転体16aに塵等が付着することを抑制でき、回転体16aの回転に伴う音の発生を抑制することができ、回転体16aの高速での回転を安定化させることが容易になる。なお、回転体16aは、その外周部分において中空枠体16bに固定してもよい。この場合、回転体16aの厚みtを薄くすることが容易になる。
図4A及び4Bを参照して、回転体16a(又は立体形状部116)の基準軸SXの設定について説明する。回転体16aの基準軸SXは、本体光学系13の光軸AXに対して非平行な状態でわずかに傾いて配置されている。ここで、回転体16a上の中間スクリーン19は、その局所的な機能領域FAが本体光学系13の光軸AX方向に対して略直交するように配置される。つまり、図4Aに示すように、回転体16aを光軸AXから機能領域FAのある横方向に離れた視点で観察した場合、基準軸SXは、光軸AXに対して所定角度αだけ傾斜した状態となっており、図4Bに示すように、回転体16aを基準として図4Aの場合と直交する方向に離れた視点で観察した場合、基準軸SXは、光軸AXに対して所定間隔dだけ離れた状態となっている。なお、図4Aにおいて一点鎖線で示す第1位置PO1は、機能領域FA又は中間像TIが最も光路上流側に位置した場合を示し、同様に一点鎖線で示す第2位置PO2は、機能領域FA又は中間像TIが最も光路下流側に位置した場合を示している。これらの位置PO1,PO2間の距離Dは、機能領域FA又は中間像TIの光軸AX方向の変位量に相当するものである。
図2に戻って、回転駆動部64によって拡散部16を一定速度で基準軸SXの周りに回転させることで、回転体16aの中間スクリーン19(又は立体形状部116)が光軸AXと交差する位置(つまり機能領域FA)も光軸AX方向に移動する。つまり、図4Cに示すように、回転体16aの回転に伴って、中間スクリーン19上の機能領域FAは、例えば等角度でずれた位置に設定された隣接する機能領域FA’に順次シフトし、光軸AX方向に移動する。このような機能領域FAの光軸AX方向への移動により、中間像TIの位置も光軸AX方向に移動させることができる。詳細は後述するが、例えば中間像TIの位置を虚像形成光学系17側に移動させることにより、投影像IMまでの投影距離又は虚像距離を減少させることができる。また、中間像TIの位置を描画デバイス(表示素子)11側に移動させることにより、投影像IMまでの投影距離又は虚像距離を増加させることができる。
虚像形成光学系(第2投影光学系)17は、結像光学系(第1投影光学系)15によって形成された中間像TIを表示スクリーン20と協働して拡大し、ドライバーVDの前方に虚像としての投影像IMを形成する。虚像形成光学系17は、少なくとも1枚のミラーで構成されるが、図示の例では2枚のミラー17a,17bを含む。虚像形成光学系(第2投影光学系)17は、回転体16aの機能領域FAにおける中間スクリーン19の湾曲(つまり中間像TIの像面湾曲)を補正するような光学特性を有するものとできる。
図2等に示す画像表示装置100において、表示制御部18の制御下で回転駆動部64を動作させることで、拡散部16が基準軸SXの周りに回転して中間像TIの位置が光軸AX方向に繰り返し周期的に移動し、虚像形成光学系17によって表示スクリーン20の背後に形成される虚像としての投影像IMと観察者であるドライバーVDとの距離を大きく、又は小さくすることができる。このように、投影される投影像IMの位置を前後に変化させるとともに、表示制御部18の制御下で描画デバイス(表示素子)11による表示内容をその位置に応じたものとすることで、投影像IMまでの投影距離又は虚像距離を変化させつつ投影像IMの表示内容を変化させることになり、一連の投影像としての投影像IMを3次元的なものとすることができる。なお、機能領域FAが光軸AX方向に移動しても、機能領域FAにおける中間スクリーン19の湾曲状態は維持されるので、投影像IMの位置に関わらず虚像形成光学系(第2投影光学系)17による補正の効果は維持される。
拡散部16若しくは回転体16aの回転速度又は機能領域FAの移動速度は、虚像としての投影像IMが複数個所又は複数投影距離に同時に表示されているかのように見せることができる速度であることが望ましい。ここで、各距離ゾーン(後述するサブゾーン)の投影像IMを30fps以上、望ましくは60fps以上で切替えれば、表示される複数の画像が連続的な画像として認識される。例えば、拡散部16の動作に伴って投影像IMが近距離から遠距離までに5段階で順次投影されるものとして、描画デバイス11に200fpsで表示を行わせると、各距離(例えば近距離)の投影像IMは、40fpsで表示の切替えが行われることになり、各距離の投影像IMが並列的に行われかつ切替えが略連続的なものとして認識される。
図5は、拡散部16の回転に伴う中間像TIの位置の変化を具体的に例示する図である。拡散部16の機能領域FAは、光軸AX方向に沿って鋸歯状の経時パターンPAで繰り返し周期的に移動しており、中間像TIの位置も、描画デバイス(表示素子)11が連続表示を行っている場合、図示のように光軸AX方向に沿って鋸歯状の経時パターンPAで繰り返し周期的に移動する。つまり、中間像TIの位置は、段差部16jに対応する箇所で不連続的ながら、拡散部16の回転に伴って連続的かつ周期的に変化する。この結果、図示を省略するが、投影像(虚像)IMの位置も、スケールは異なるが、中間像TIの位置と同様に光軸AX方向に沿って繰り返し周期的に移動し、投影距離を連続的に変化させることができる。ここで、描画デバイス11は、連続表示を行うものでなく、表示内容を切替えつつ間欠的な表示を行うものであるから、中間像TIの表示位置も鋸歯状の経時パターン上における離散的な位置となる。経時パターンPAにおいて、最も近距離側の表示位置Pnと最も遠距離側の表示位置Pfとは、マージンを確保して、経時パターンPAの両端から離れた位置に設定される。また、経時パターンPAの途切れ目PDは、拡散部16の回転体16aに設けた段差部16jに対応する。ここで、図5に示す例では中間像TIの位置を鋸歯状に時間に対して一定の傾きで変化させているが、表示させる距離の仕様に対して拡散部16の回転も加味して、表示タイミングをコントロールできるように位置を変化させるのが望ましく、表示距離の仕様によっては一定の傾きとならない変化としても構わない。
ここで、ある距離ゾーンの画像について表示を行う場合、図5に示すように表示している時間内で中間像TIの位置が変化することで、表示している距離が変化する。この際、そのように距離が変化する表示ゾーンについて観察者(ドライバーVD)に見える表示距離は、その表示時間内で変化する距離の略平均位置となる。
図6は、中間像TIの位置と投影距離との関係又は中間像TIの位置と表示ゾーンとの関係を説明する図である。一点鎖線で示す特性C1に従って、中間像TIを光軸AX方向に等しい速度で移動させた場合、各距離ゾーンの切替時間の刻みδを一定値とすれば投影距離の刻み幅は、近距離では短く、遠距離では長くなる。中間像TIの移動の刻み幅Δは、表示する距離ゾーンの切替時間に相当するものとなっている。
図5に示す中間像TIの位置両端間を移動する時間を1周期と考えた場合、奥行きを持つ表示の単位を表示ゾーンとして、その1周期の時間が各表示ゾーンの表示時間と、表示ゾーン数nの積よりも短い時間であれば、表示ゾーンは複数の距離ゾーンに亘るものとなり、少なくとも隣り合う表示ゾーンで、投影距離範囲に重なりが生じる(図6の表示ゾーンDZ1〜DZn参照)。このように重ねた表示を行うことで、同一の投影像(虚像)IMを奥行方向に広がりを持たせて表示することができ、重なりを生じない表示に比較して各表示ゾーンの表示時間を長くすることが可能となり、投影像(虚像)IMの輝度が向上する。
図6に示すように、特性C1に沿ってn個の表示ゾーンを設定することができる。ここで、説明の便宜上、最も近距離の表示ゾーンを第1表示ゾーンDZ1と呼び、最も遠距離の表示ゾーンを第n表示ゾーンDZn(nは自然数)と呼ぶ。複数の表示ゾーンDZ1〜DZnは、近距離から遠距離になるに従って表示する距離幅が広がっている。この場合、表示対象又は複合的な投影像IMの奥行きが遠距離側で広がることを意味するが、遠距離ほど視差が小さくなるので、表示状態への影響は殆ど生じない。複数の表示ゾーンDZ1〜DZnのうち隣り合う表示ゾーンは、投影距離が部分的に重複しており、各表示ゾーンは、本来投影距離を異ならせるべきものを含む。すなわち、第k表示ゾーンDZk(kはnより小さい自然数)と第k+1表示ゾーンDZk+1とは、投影距離が部分的に重複し、例えば第2表示ゾーンDZ2と第3表示ゾーンDZ3とは、投影距離が部分的に重複している。第k表示ゾーンDZkは、そこに表示すべき表示対象の投影距離の本来の表示像に対して、その前、後、又は前後の双方で設定される表示ゾーンで表示する像も合せて表示した複合的な投影像となっている。表示ゾーンは、投影すべき距離が漸次変化するサブゾーンを含む。図示の例では、第k表示ゾーンDZkを表示している間の全体又はある一定時間内では4区間分の距離ゾーン又はサブゾーンLZk−2〜LZk+1に相当するそれぞれの像が重なった状態の表示がされている。この場合、それぞれの表示ゾーンDZ1〜DZnで表示される像の表示時間は、表示時間の刻みδのピッチで隣り合う表示ゾーンDZ1〜DZn間でズレがあるため、その分表示されている間の近側と遠側との両端の距離が変動してその平均距離も変動する。人の目又は脳は、その表示ゾーンDZ1〜DZnの平均距離で表示像を捉えるので、視覚的に同時に表示を行っている場合でも、それぞれの表示ゾーンDZ1〜DZnの表示距離を異なる位置として表示している状態にできる。
なお、第k表示ゾーンDZkを重なり合う距離ゾーンが切替わるタイミングで分割して基準サブゾーンLZkを含む投影距離が異なる一連のサブゾーンLZk−2〜LZk+1として考えた場合、描画デバイス(表示素子)11に適宜表示動作を行わせることにより同一の投影像(虚像)IMをそれぞれのサブゾーンで表示させる。つまり、距離が段階的に変化する一連の複数のサブゾーンLZk−2〜LZk+1の組合せによって表示ゾーンDZkが構成される。見方を変えれば、着目する1つの基準サブゾーンLZkに対応する距離ゾーンに投影したい局所的な像は、例えば4つの表示ゾーンに重複して繰り返し表示されるため、各距離ゾーンに投影される局所的な像は、輝度を一様に向上させたものとなる。この際、投影距離の変化を考慮して、隣り合う表示ゾーンに共通する距離ゾーン(サブゾーンLZk−2〜LZk+1に対応)に投影される共通の局所的な投影像(虚像)IMを位置及び角度サイズが一致するように重ねて表示させる。これにより、投影距離が変化する投影像(虚像)IMをズレや滲みがない状態で表示することができる。また、この時の表示距離が、基準サブゾーンLZkに相当する距離となる。なお、図6では、表示の便宜上、各表示ゾーンDZ1〜DZnが横方向に延びるように示されているが、縦軸を中間像TIの位置とした場合、各表示ゾーンDZ1〜DZnは、特性C1に沿って延びるものとなる。
第1表示ゾーンDZ1〜第n表示ゾーンDZnでの表示時間は、全て等しくなっている。複数の表示ゾーンを構成する各表示ゾーンDZ1〜DZnでの表示時間を等しくすることで、各表示ゾーンDZ1〜DZnによる複合的な投影像IMの表示輝度を一致させることができ、観察者であるドライバーVDが意図せず特定距離の像に偏って着目する傾向が生じることを防止できる。なお、用途によっては、各表示ゾーンDZ1〜DZnでの表示輝度に差を持たせることができる。例えば遠距離投影に対応する表示ゾーンについては、表示輝度を上げるといった処理が可能である。
近距離端の投影に付加している第1〜3前補間ゾーンCZ1〜CZ3は、第1距離ゾーンLZ1での表示距離を所望の距離とする観点で付加しているが、必須のものではない。同様に、遠距離端の投影に付加している第1〜3後補間ゾーンCZ4〜CZ6は、第n距離ゾーンLZnでの表示距離を所望の距離とする観点で付加しているが、必須のものではない。
画面内の特定の奥行き方向で異なる対象を表示する場合、距離の異なる表示対象が、奥行き方向以外の2次元平面内において重なる、又は略重なるような近い位置にあり、それらに対する表示間の干渉が発生してしまうことが考えられ、これを回避する必要がある。例えば表示ゾーンDZkの表示対象に対して別の表示距離DZk’に存在する表示対象が2次元平面内で近傍に位置していてそれぞれの対象に対する表示に干渉が生ずる場合には、干渉領域ではそれらを合成するような表示を行うことが考えられる。具体的には、一対の表示対象が重なる共通領域又は交わり領域では、一対の表示対象が半透過重畳表示されるような画像とし、一対の表示対象が重ならない差分領域又は独立領域では、各部分で標準的な表示を行えば足る。または、色や大きさ(線の場合は太さも含む)、明るさ、明滅といった手法で違いを出した表示とする方法も考えられ、ドライバーVDに伝わるように工夫すればよい。
図7は、ヘッドアップディスプレイ装置200の全体構造を説明する概念的ブロック図であり、ヘッドアップディスプレイ装置200は、その一部として画像表示装置100を含む。画像表示装置100は、図2に示す構造を有するものであり、ここでは説明を省略する。
ヘッドアップディスプレイ装置200は、画像表示装置100のほかに、環境監視部72と、主制御部90とを備える。
環境監視部72は、検出領域内に存在するオブジェクトを検出するオブジェクト検出部であり、前方に近接して存在する移動体や人、具体的には自動車、自転車、歩行者等をオブジェクトとして識別し、オブジェクトの3次元的な位置情報を抽出する3次元計測器を有する。環境監視部(オブジェクト検出部)72は、3次元計測器として、外部用カメラ72aと、外部用画像処理部72bと、判断部72cとを備える。外部用カメラ72aは、可視又は赤外域において外界像の撮影を可能にする。外部用カメラ72aは、車体2内外の適所に設置されており、ドライバーVD又はフロントウインドウ8の前方の検出領域VF(後述する図8参照)を外部画像として撮影する。外部用画像処理部72bは、外部用カメラ72aで撮影した外部画像に対して明るさ補正等の各種画像処理を行って判断部72cでの処理を容易にする。判断部72cは、外部用画像処理部72bを経た外部画像からオブジェクト画像の抽出又は切り出しを行うことによって自動車、自転車、歩行者等のオブジェクト(具体的には、後述する図8中のオブジェクトOB1,OB2,OB3参照)の存否を検出するとともに、外部画像に付随する奥行情報から車体2前方におけるオブジェクトの空間的な位置を算出し3次元的な位置情報として記憶部72mに保管する。判断部72cの記憶部72mには、外部画像からオブジェクト画像の抽出を可能にするソフトウエアが保管されており、外部画像からオブジェクト画像を抽出する動作時には、記憶部72mから必要となるソフトウエアやデータが読み出される。判断部72cにより、例えば得られた画像内の各オブジェクト要素の形状、大きさ、色等から、オブジェクト要素に対応する要素が何かを検出することができる。その際の判断基準は、予め登録されている情報とのパターンマッチングを行ってマッチングの度合からオブジェクトが何かを検出する方法等がある。また、処理速度を高める観点で、画像から車線を検知し、その車線内にあるターゲット又はオブジェクト要素について、上記の形状、大きさ、色等からオブジェクトの検出を行うこともできる。
外部用カメラ72aは、図示を省略しているが、例えば複眼型の3次元カメラである。つまり、外部用カメラ72aは、結像用のレンズと、CMOSその他の撮像素子とを一組とするカメラ素子をマトリックス状に配列したものであり、撮像素子用の駆動回路をそれぞれ有する。外部用カメラ72aを構成する複数のカメラ素子は、例えば相対的な視差を検出できるようになっており、カメラ素子から得た画像の状態(フォーカス状態、オブジェクトの位置等)を解析することで、検出領域に対応する画像内の各領域又はオブジェクトまでの目標距離を判定できる。
なお、上記のような複眼型の外部用カメラ72aに代えて、2次元カメラと赤外距離センサーとを組み合わせたものを用いても、撮影した画面内の各部(領域又はオブジェクト)に関して奥行方向の距離情報である目標距離を得ることができる。また、複眼型の外部用カメラ72aに代えて、2つの2次元カメラを分離配置したステレオカメラによって、撮影した画面内の各部(領域又はオブジェクト)に関して奥行方向の距離情報である目標距離を得ることができる。その他、単一の2次元カメラにおいて、焦点距離を高速で変化させながら撮像を行うことによっても、撮影した画面内の各部(領域又はオブジェクト)に関して奥行方向の距離情報である目標距離を得ることができる。
また、複眼型の外部用カメラ72aに代えて、LIDAR技術を用いても、検出領域内の各部(領域又はオブジェクト)に関して奥行方向の距離情報を得ることができる。LIDAR技術により、パルス状のレーザー照射に対する散乱光を測定し、遠距離にある対象までの距離や拡がりを計測して視野内のオブジェクトまでの距離情報やオブジェクトの拡がりに関する情報を取得することができる。さらに、例えばLIDAR技術のようなレーダーセンシング技術と画像情報からオブジェクトの距離等を検出する技術とを組み合わせるような複合的な手法、つまり複数のセンサーをフュージョンさせる手法によって、オブジェクトの検出精度を高めることができる。
オブジェクトを検出する外部用カメラ72aの動作速度は、入力の高速化の観点で、描画デバイス(表示素子)11の動作速度以上である必要があり、表示ゾーンDZ1〜DZnの表示切替え速度又は表示ゾーンDZ1〜DZnの1周期の表示期間が例えば30fps以上の場合、これより早くすることが望ましい。外部用カメラ72aは、例えば120fpsより高速、例えば480fpsや1000fpsといった高速動作によってオブジェクトの高速検出を可能にするものが望ましい。また、複数センサーをフュージョンさせる場合、その全てのセンサーが高速である必要は必ずしもなく、少なくとも複数センサーの内1つのセンサーは高速である必要があるが、それ以外は高速でなくても構わない。この場合、高速のセンサーで検出するデータを基本としながら、高速でないセンサーのデータで補完するという使い方で、センシング精度を上げるといった方法を用いてもよい。
表示制御部18は、主制御部90の制御下で表示光学系30を動作させて、表示スクリーン20の背後に虚像距離又は投影距離が変化する3次元的な投影像IMを表示させる。
主制御部90は、画像表示装置100、環境監視部72等の動作を調和させる役割を有する。主制御部90は、例えば表示制御部18を介して回転駆動部64を動作させることによって、表示光学系30による投影像IMである虚像の投影距離を周期的に変化させる。つまり、主制御部90等は、投影像IMである虚像の奥行き方向に関する投影位置を周期的に変化させる。また、主制御部90は、環境監視部72によって検出したオブジェクトの空間的な位置に対応するように、表示光学系30によって投影されるフレーム枠HW(図8参照)の空間的な配置を調整する。すなわち、主制御部90は、環境監視部72から受信した表示形状や表示距離を含む表示情報から、表示光学系30に表示させる投影像IMを生成する。投影像IMの表示内容は、回転駆動部64の動作に同期したもの、つまり中間像TIの移動に同期させたものとなっている。投影像IMは、例えば表示スクリーン20の背後に存在する自動車、自転車、歩行者その他のオブジェクトに対してその奥行き位置方向に関して周辺に位置するフレーム枠HW(図8参照)のような標識とすることができる。このフレーム枠HWは、説明の便宜上奥行きのない状態で示されているが、実際は表示ゾーンDZ1〜DZnの奥行き幅に対応して一定の奥行き幅を有するものとなっている。以上のように、主制御部90は、表示制御部18と協働して像付加部として機能し、検出されたオブジェクトまでの目標距離が投影距離と略一致するタイミングで、検出されたオブジェクトに対して表示光学系30によって虚像として関連情報像を付加する。
主制御部90は、単一の表示対象を少なくとも単一の表示ゾーンに割り当てて描画デバイス(表示素子)11に表示を行わせる。この場合、単一の表示対象を特定の投影距離を含む単一の表示ゾーンに表示することが原則となるが、単一の表示対象を複数の表示ゾーンに表示してもよい。
主制御部90は、中間スクリーン19の移動によって投影距離を変化させた複数の距離ゾーンのうち隣り合う一連の距離ゾーンに対応する像を表示ゾーンDZ1〜DZnを構成する複数のサブゾーンとし、特定の距離ゾーンに対応する複数のサブゾーンとして同一の投影像IMを繰り返して表示させる。この場合、距離ゾーンは、距離分解能の最小単位に相当するものであり、投影距離が異なる距離ゾーンにおいて同一の投影像IMを繰り返して表示させることで、距離範囲が広がるが、投影像IMの表示輝度を高めることになる。
図8は、具体的な表示状態を説明する斜視図である。観察者であるドライバーVDの前方は観察視野に相当する検出領域VFとなっている。検出領域VF内、つまり道路及びその周辺に、歩行者等である人のオブジェクトOB1,OB3や、自動車等である移動体のオブジェクトOB2が存在すると考える。この場合、主制御部90は、画像表示装置100によって3次元的な投影像(虚像)IMを投影させ、各オブジェクトOB1,OB2,OB3に対して関連情報像としてのフレーム枠HW1,HW2,HW3を付加する。この際、ドライバーVDから各オブジェクトOB1,OB2,OB3までの距離が異なるので、フレーム枠HW1,HW2,HW3を表示させる投影像IM1,IM2,IM3までの投影距離は、ドライバーVDから各オブジェクトOB1,OB2,OB3までの距離に相当するものとなっている。
なお、投影像IM1,IM2,IM3の投影距離は、図6に示す表示ゾーンDZ1〜DZnの一部に対応する表示ゾーンDZa〜DZcに形成されており、各表示ゾーンDZa〜DZcに対応する奥行き幅を有する。各投影距離の中心、つまり投影像IM1,IM2,IM3の投影距離は、離散的であり、オブジェクトOB1,OB2,OB3までの現実の距離に対して、常に正確に一致させるということはできない。ただし、投影像IM1,IM2,IM3の投影距離と、オブジェクトOB1,OB2,OB3までの現実の距離との差が大きくなければ、ドライバーVDの視点が動いても視差が生じにくく、オブジェクトOB1,OB2,OB3とフレーム枠HW1,HW2,HW3との配置関係を略維持することができる。
図9Aは、図5に対応し、図9Bは、図8中の投影像IM3又はフレーム枠HW3に対応し、図9Cは、図8中の投影像IM2又はフレーム枠HW2に対応し、図9Dは、図8中の投影像IM1又はフレーム枠HW1に対応している。図9A〜9Dより明らかなように、投影像IM1は、回転体16a(又は立体形状部116)の機能領域FA又は中間像TIが表示位置P1を中心とする所定の距離範囲にあるとき、具体的には、この距離範囲に応じて図6に示す特性C1に基づいて決定される所定の表示ゾーンの表示タイミングであるときに、描画デバイス(表示素子)11の表示面11aに形成される一連の表示像に対応する。同様に、投影像IM2は、回転体16a(又は立体形状部116)の機能領域FAが表示位置P2を中心とする距離範囲にあるときに描画デバイス11の表示面11aに形成される一連の表示像に対応し、投影像IM3は、回転体16a(又は立体形状部116)の機能領域FAが表示位置P3を中心とする所定の距離範囲にあるときに描画デバイス11の表示面11aに形成される一連の表示像に対応する。中間像TIの移動を基準とする1周期でみた場合、まず表示位置P1に対応する投影像IM1又はフレーム枠HW1が表示され、次いで表示位置P2に対応する投影像IM2又はフレーム枠HW2が表示された後、表示位置P3に対応する投影像IM3又はフレーム枠HW3が表示される。以上の1周期が視覚的に短ければ、投影像IM1,IM2,IM3の切替えが非常に速くなり、観察者であるドライバーVDは、フレーム枠HW1,HW2,HW3を奥行きがある画像として同時に観察していると認識する。本実施形態において、例えばこれら表示位置P1〜P3の内の少なくともどれか2つの表示位置が、隣り合う表示ゾーンや近い表示ゾーンとして指定される場合、例えば図9B及び9Cの投影像、図9C及び図9Dの投影像、又は図9B、9C、及び9Dの全ての投影像が表示時間内の重なり時間範囲において同時に重ねて表示される時間帯が存在する。
図10は、主制御部90の動作を説明する概念図である。まず、主制御部90は、環境監視部72を利用してオブジェクトOB1,OB2,OB3を検出した場合、オブジェクトOB1,OB2,OB3に対応するフレーム枠HW1,HW2,HW3に対応する表示データを生成し、不図示の記憶部に保管する(ステップS11)。その後、主制御部90は、ステップS11で得た表示データを、対応する表示ゾーンDZ1〜DZnに振り分けるようなデータの変換を行う(ステップS12)。具体的には、オブジェクトOB1,OB2,OB3の位置に応じて、対応するフレーム枠HW1,HW2,HW3を表示ゾーンDZ1〜DZnのいずれか1つ(図8の例では表示ゾーンDZa〜DZc)に割り当てる。次に、主制御部90は、フレーム枠HW1,HW2,HW3に対応する表示データを割り当てた表示ゾーンDZ1〜DZnに適合するように加工し、不図示の記憶部に保管する(ステップS13)。この適合化は、距離ゾーン又はサブゾーンLZk−2〜LZk+1ごとに枠画像の輪郭や配置を補正するといった画像処理を含む。その後、主制御部90は、ステップS13で適合化させた表示データを既存データと合成する(ステップS14)。表示ゾーンDZ1〜DZnによる表示は、時間差があるものの同時並行して行われ、短時間であるが残像を残すような表示が行われるので、新たなオブジェクトOB1,OB2,OB3が出現した場合、既存のオブジェクトと新たなオブジェクトとを併存させるように表示内容を組み直す必要があることを考慮したものである。最後に、主制御部90は、ステップS14で得た表示データを、回転駆動部64の動作に同期して表示制御部18に出力し、描画デバイス(表示素子)11に回転体16aの機能領域FAに応じた表示動作を行わせる(ステップS15)。
図11は、描画デバイス(表示素子)11の動作を説明する図である。この場合、縦方向に並ぶ第1表示領域〜第n表示領域は、図6等に示す第1〜第n表示ゾーンDZ1〜DZnに対応している。回転体16a(又は立体形状部116)の1回転に対応する1サイクルで、第1〜第n表示ゾーンDZ1〜DZnに対応して、描画デバイス(表示素子)11の表示面11aにおいて、第1表示領域〜第n表示領域での表示が繰り返される。各表示領域において、信号F1〜F4は、同一の表示像が4つのサブゾーンで繰り返されることを意味し、信号F1〜F4のそれぞれにカラー表示用のR,G、及びBの信号成分が含まれている。
以上で説明した第1実施形態のヘッドアップディスプレイ装置200又は画像表示装置100によれば、主制御部90及び表示制御部18が投影距離を変化させる中間スクリーン19の移動に同期させて描画デバイス(表示素子)11に表示を行わせるので、奥行き方向を含めて表示位置が異なる虚像を高速で変化させながら表示することができ、複数の距離位置に各種画像を同時に投影することができる。この際、主制御部90及び表示制御部18が投影距離を変化させる複数の表示ゾーンDZ1〜DZnのうち隣り合う表示ゾーンDZk,DZk+1において投影距離が部分的に重複するように設定するので、例えば表示距離を近側の端から遠側の端、又は遠側の端から近側の端に変えて表示する1周期内で設定した距離分割数の表示ゾーンDZ1〜DZnで表示することを考えた場合、隣り合う表示ゾーンDZk,DZk+1において投影距離の重なりがない表示に比べて、同じ分割数でも重なりを持たせることで各表示ゾーンDZ1〜DZnによる投影時間又は表示時間を長くすることができ、高輝度の画像を同時に投影することが容易になる。
〔第2実施形態〕
以下、第2実施形態に係る表示装置等について説明する。なお、第2実施形態の表示装置等は第1実施形態の表示装置等を変形したものであり、特に説明しない事項は第1実施形態と同様である。
図12に示すように、結像光学系15の投影位置又は結像位置には、光軸AX方向に移動する光学素子である中間スクリーン19が配置されている。中間スクリーン19は、配光角を所望の角度に制御した拡散板であり、例えば摺りガラス、レンズ拡散板、マイクロレンズアレイ等が用いられる。この場合、中間スクリーン19の有効領域が、中間スクリーン19の機能領域となる。
制御部としての主制御部90及び表示制御部18は、往復駆動部264を介して、中間スクリーン19の位置を周期的にシフトさせることで、中間像TIの位置を図13に示すように周期的に往復移動させて投影距離を周期的に変化させつつ、描画デバイス11に形成する画像を投影距離に応じたものとする。具体的には、往復駆動部264を構成するガイド部264aとアクチュエーター264bとによって中間スクリーン19を光軸AX方向に往復移動させることで投影距離を周期的に変化させる。
中間像TIの位置を図13に示す三角波形の経時パターンPAとする場合、又は図示していないが例えばサインカーブで周期的に往復移動させる場合、図6に示す表示ゾーンDZ1〜Znを近距離から遠距離に順次切替えるように変化させた後、表示ゾーンDZ1〜Znを遠距離から近距離に順次切替えるように変化させることを1サイクルとして、同様のサイクルを繰り返す動作を行うことになる。
〔その他〕
以上では、具体的な実施形態としてのヘッドアップディスプレイ装置200について説明したが、本発明に係る表示装置は、上記のものには限られない。例えば、第1実施形態において、画像表示装置100の配置を上下反転させて、フロントウインドウ8の上部又はサンバイザー位置に表示スクリーン20を配置することもでき、この場合、投影ユニット10の斜め下方前方に表示スクリーン20が配置される。また、表示スクリーン20は、自動車の従来のミラーに対応する位置に配置してもよい。
以上では、中間スクリーン19又は機能領域FAを本体光学系13の光軸AX方向に対して略直交するように配置するとしたが、機能領域FAを光軸AXに対して強制的に傾けることもできる。この場合、虚像形成光学系17との組み合わせによって傾きが無いか又は所定の傾きの投影像IMを投影することができる。
以上で説明した第1〜第n表示ゾーンDZ1〜DZnについては、投影距離の全範囲に亘って連続的である必要はなく、サブゾーンLZ1〜LZnの境界に対応する部分で分離した不連続なものであってもよい。また、表示ゾーンDZ1〜DZnは、同一数のサブゾーンを含むものに限らず、表示ゾーンDZ1〜DZnごとに異なるサブゾーンを含ませることができる。
第1実施形態では、拡散部16において、1つの中間スクリーン19を設けているが、2つ以上の中間スクリーン19を設けもよい。この場合、中間スクリーン19は、螺旋の1/2ピッチ、1/3ピッチ等に対応する範囲に分割されて形成されることになる。
中間スクリーン19の立体形状部116は、全周に亘って螺旋形状である必要はなく、全周の内の一部が螺旋となっている形状や、段差なく往復運動が可能となる回転体構造も考えられる。
拡散部16において、中空枠体16bは必須でなく、回転体16aのみとすることができる。この場合も、段差部16jに傾斜した接続面16kを形成しているので、回転体16aの回転に伴う音の発生を抑制することができ、回転体16aの回転を安定化させることができる。
上記実施形態において、表示スクリーン20の輪郭は、矩形に限らず、様々な形状とすることができる。
図2に示す結像光学系15や虚像形成光学系17は、単なる例示であり、これら結像光学系15及び虚像形成光学系17の光学的構成については適宜変更することができる。
以上では、環境監視部72によって車体2の前方に存在するオブジェクトOBを検出し、画像表示装置100にオブジェクトOBの配置に対応するフレーム枠HW1,HW2,HW3といった関連情報像を表示しているが、オブジェクトOBの有無に関わらず、通信ネットワークを利用して付随的な運転関連情報を取得し、このような運転関連情報を画像表示装置100に表示させることができる。例えば死角に存在する車、障害物等を警告するような表示も可能である。
本発明の表示装置は、車その他の移動体に搭載されるヘッドアップディスプレイ(HUD)装置に限らず、3次元表示を行うヘッドマウント装置、ウェアラブルディスプレイ装置等に適用することができる。