〔第1実施形態〕
以下、図面を参照しつつ、本発明の第1実施形態に係る虚像表示装置について詳細に説明する。
〔A.虚像表示装置の外観〕
図1に示す本実施形態の虚像表示装置100は、眼鏡のような外観を有するヘッドマウントディスプレイであり、この虚像表示装置100を装着した装着者である観察者に対して虚像による画像光を認識させることができるとともに、観察者に外界像をシースルーで観察させることができる。虚像表示装置100は、観察者の眼前を覆う光学パネル110と、光学パネル110等を支持するフレーム121と、フレーム121の前方のカバー部分191,192からテンプル141,142にかけての部分に付加された第1及び第2駆動部131,132と、光学パネル110等の上方側の中央部に固定的に取り付けられる光検出装置180とを備える。光学パネル110は、第1パネル部分111と第2パネル部分112とを有し、両パネル部分111,112は、中央で一体的に連結された板状の部品となっている。図面上で左側の第1パネル部分111と第1駆動部131とを組み合わせた第1表示装置100Aは、左眼用の虚像を形成する部分であり、単独でも虚像表示装置として機能する。また、図面上で右側の第2パネル部分112と第2駆動部132とを組み合わせた第2表示装置100Bは、右眼用の虚像を形成する部分であり、単独でも虚像表示装置として機能する。
〔B.光検出装置の構造〕
虚像表示装置100の光検出装置180について説明する。光検出装置180は、虚像表示を行うための画像形成において付随的な装置であるが、シースルーによる外界像の観察と画像光による虚像の観察とを両立させるための画像光の制御に際しては、重要な役割を担う部分である。光検出装置180は、光学パネル110等に対して固定的に取り付けられている。つまり、観察者が姿勢を変えることで、光学パネル110等の向きが変化すると、これに伴って光検出装置180の向きも変化するものとなっている。このため、光検出装置180は、装着時において、常に観察者の眼前の方向についての外界光の状況を検出可能なものとなっている。虚像表示装置100は、光検出装置180を有することにより、観察者の眼前側の外界光の明るさを方位に関連づけて検出でき、この検出結果に基づいて外界光の明るさに応じた画像光の光量制御ができる。なお、画像光の制御の詳細については、後述する。また、虚像表示装置100における画像形成の動作制御は、観察者からの各種指令を受付可能なコントロール装置(不図示)によってなされるものとする。
〔C.表示装置の本体の構造〕
以下、図2(A)等を参照して、画像形成において本質的な役割を担う装置である第1表示装置100Aすなわち表示装置の本体についての構造について説明する。
図2(A)及び2(B)に示すように、第1表示装置100Aは、画像形成装置10と、導光装置20とを備える。ここで、画像形成装置10は、図1における第1駆動部131に相当し、導光装置20は、図1における第1パネル部分111に相当する。なお、図1に示す第2表示装置100Bは、第1表示装置100Aと同様の構造を有し左右を反転させただけであるので、第2表示装置100Bの詳細な説明は省略する。
図示の状態において、観察者にとって真正面の方向が、虚像表示装置100を構成する光学系の射出側の光軸である第2光軸AX2に沿った方向であり、第2光軸AX2が虚像表示装置100側から観察者側に向かう方向を+X方向とし、観察者にとって眼が並ばない上下方向を±Y方向とし、眼が並ぶ左右方向を±Z方向とする。
画像形成装置10は、画像表示装置11と、投射光学系12とを有する。このうち、画像表示装置11は、2次元的な照明光SLを射出する照明装置31と、透過型の空間光変調装置である液晶表示デバイス32と、照明装置31及び液晶表示デバイス32の動作を制御する駆動制御部34とを有する。
照明装置31は、赤、緑、青の3色を含む光を発生する光源31aと、光源31aからの光を拡散させて矩形断面の光束にするバックライト導光部31bとを有する。液晶表示デバイス32は、照明装置31からの照明光SLを空間的に変調して動画像等の表示対象となるべき画像光を形成する。駆動制御部34は、光源駆動回路34aと、液晶駆動回路34bとを備える。光源駆動回路34aは、照明装置31の光源31aに電力を供給して安定した輝度の照明光SLを射出させる。また、光源駆動回路34aは、供給する電力を調整することで、照明装置31の照明光SLの光量を調整でき、延いては画像光GLの光量を調整できる。例えば、矩形形状のバックライト導光部31bからの射出領域を分割し分割された領域ごとに光量を変化させるといった制御が可能である。液晶駆動回路34bは、液晶表示デバイス32に対して画像信号又は駆動信号を出力することにより、透過率パターンとして動画や静止画の元になるカラーの画像光を形成する。
投射光学系12は、液晶表示デバイス32上の各点から射出された画像光を平行状態の光束にするコリメートレンズである。
導光装置20は、導光部材21と光透過部材23とを接合したものであり、全体としてXY面に平行に延びる平板状の光学部材を構成している。導光装置20は、導光部材21と光透過部材23とにより、外界光を透過させるとともに画像光による虚像を形成するシースルータイプの虚像形成部として機能する。
導光装置20のうち、導光部材21は、平面視において台形のプリズム状部材であり、側面として、第1反射面21aと、第2反射面21bと、第3反射面21cと、第4反射面21dとを有する。第1及び第2反射面21a,21bは、XY面に沿って延びている。また、第3反射面21cは、XY面に対して45°以下の鋭角αで傾斜しており、第4反射面21dは、XY面に対して例えば45°以下の鋭角βで傾斜している。第3反射面21cを通る光軸すなわち光学系の入射側の光軸である第1光軸AX1と、第4反射面21dを通る光軸すなわち光学系の射出側の光軸である第2光軸AX2とは、平行に配置されている。
導光部材21は、可視域で高い光透過性を示す樹脂材料で形成されている。導光部材21は、射出成型によって一体的に成型されたブロック状部材を本体部分20aとしている。このように導光部材21は、基材としての本体部分20aを一体形成品とするが、機能的に、光入射部B1と導光部B2と光射出部B3とに分けて考えることができる。
光入射部B1は、三角プリズム状の部分であり、第1反射面21aの一部である光入射面ISと、光入射面ISに対向する第3反射面21cとを有する。光入射面ISは、画像形成装置10からの画像光GLを取り込むための裏側又は観察者側の平面であり、投射光学系12に対向してその第1光軸AX1に垂直に延びている。第3反射面21cは、矩形の輪郭を有し、その矩形領域全体に、光入射面ISを通過した画像光GLを反射して導光部B2内に導くための全反射ミラーであるミラー層25を有する。このミラー層25は、導光部材21の本体部分20aの斜面RS上にアルミ等の蒸着によって成膜を施すことにより形成される。第3反射面21cは、投射光学系12の第1光軸AX1又はXY面に対して例えば鋭角α=25°〜27°で傾斜しており、光入射面ISから入射し全体として+Z方向に向かう画像光GLを、全体として−Z方向寄りの−X方向に向かわせるように折り曲げることで、画像光GLを導光部B2内に確実に結合させる。
導光部B2は、互いに対向しXY面に平行に延びる2平面として、光入射部B1で折り曲げられた画像光をそれぞれ全反射させる第1反射面21aと第2反射面21bとを有している。ここでは、第1反射面21aが画像形成装置10に近い裏側又は観察者側にあるものとし、第2反射面21bが画像形成装置10から遠い表側又は外界側にあるものとする。この場合、第1反射面21aは、上記の光入射面ISや後述する光射出面OSと共通の面部分となっている。第1及び第2反射面21a,21bは、屈折率差を利用する全反射面である。
光入射部B1の第3反射面21cで反射された画像光GLは、まず、第1反射面21aに入射し、全反射される。次に、当該画像光GLは、第2反射面21bに入射し、全反射される。以下この動作が繰り返されることで、画像光は、全体として導光装置20の奥側の主導光方向すなわち光射出部B3を設けた−X側に導かれる。なお、第1及び第2反射面21a,21bには反射コートが施されていないため、外界側から第2反射面21bに入射する外界光又は外光は、高い透過率で導光部B2を通過する。つまり、導光部B2は、外界像の透視が可能なシースルータイプになっている。
光射出部B3は、三角プリズム状の部分であり、第1反射面21aの一部である光射出面OSと、光射出面OSに対向する第4反射面21dとを有する。光射出面OSは、画像光GLを観察者の眼EYに向けて射出するための裏側の平面であり、光入射面ISと同様に第1反射面21aの一部となっており、第2光軸AX2に垂直に延びている。第4反射面21dは、矩形の平坦面であり、第1及び第2反射面21a,21bを経て入射してきた画像光GLを反射して光射出部B3外に射出させるとともに外界光OLを透過させるためのハーフミラー層28を、第4反射面21dの中央に配置された矩形の部分領域に有する。このハーフミラー層28は、光透過性を有する半透過反射膜である。ハーフミラー層28は、導光部材21のうち第4反射面21dを構成する斜面RR上に例えば銀等による金属反射膜や誘電体多層膜を成膜することにより形成される。ハーフミラー層28の画像光GLに対する反射率は、シースルーによる外界光OLの観察を容易にする観点で、想定される画像光GLの入射角範囲において10%以上50%以下とする。
第4反射面21dは、第1反射面21aに垂直な第2光軸AX2又はXY面に対して例えば鋭角α=25°〜27°で傾斜しており、上記ハーフミラー層28により、導光部B2の第1及び第2反射面21a,21bを経て入射してきた画像光GLを部分的に反射して全体として−Z方向に向かわせるように折り曲げることで、光射出面OSを通過させる。
光透過部材23は、導光部材21の本体部分20aと同一の屈折率を有する本体部分23sで構成され、第1面23aと、第2面23bと、第3面23cとを有する。第1及び第2面23a,23bは、第1及び第2反射面21a,21bと同様、XY面に沿って延びている。また、第3面23cは、XY面に対して傾斜しており、導光部材21の第4反射面21dに対向して平行に配置されている。つまり、光透過部材23は、第2面23bと第3面23cとに挟まれた楔状の部材を有するものとなっている。光透過部材23は、導光部材21と同様に、可視域で高い光透過性を示す樹脂材料で形成されている。光透過部材23は、射出成型によって一体的に成型されたブロック状部材を本体部分23sとしている。
光透過部材23において、第1面23aは、導光部材21に設けた第1反射面21aの延長平面上に配置され、観察者の眼EYに近い裏側にあり、第2面23bは、導光部材21に設けた第2反射面21bの延長平面上に配置され、観察者の眼EYから遠い表側にある。第3面23cは、接着剤によって導光部材21の第4反射面21dに接合される矩形の光透過面である。以上の第1面23aと第3面23cとなす角度は、導光部材21の第2反射面21bと第4反射面21dとのなす角度εと等しくなっており、第2面23bと第3面23cとのなす角度は、導光部材21の第1反射面21aと第3反射面21cとのなす角度βと等しくなっている。
光透過部材23と導光部材21とは、両者の接合部分及びその近傍において、透視部B4を構成している。すなわち、第1及び第2面23a,23bには、ミラー層等の反射コートが施されていないため、導光部材21の導光部B2と同様に外界光OLを高い透過率で透過させる。第3面23cも、外界光OLを高い透過率で透過可能であるが、導光部材21の第4反射面21dがハーフミラー層28を有していることから、第3面23cの中央領域を通過する外界光OLは減光される。つまり、観察者は、減光された画像光GLと外界光OLとを重畳させたものを観察することになり、導光装置20は、虚像形成部として機能する。
以下、図3を参照して、第1表示装置100Aにおける画像光の具体的な光路の一例を説明する。なお、図3では、画像光の光路決定に関係する光学系のみ示している。また、投射光学系12は、3つのレンズL1,L2,L3を有しているものとする。
図示のように、液晶表示デバイス32の右側の第1表示点P1からの画像光GL11,GL12は、第1及び第2反射面21a,21bにおいて等しい第1反射角γ1で計3回全反射され、第4反射面21dに入射する。画像光GL11,GL12は、この第4反射面21dで第3反射面21cと同一の角度で反射され、光射出面OSからこの光射出面OSに垂直な第2光軸AX2方向に対して角度θ1の傾きで平行光束として射出される。
液晶表示デバイス32の左側の第2表示点P2からの画像光GL21,GL22は、第1及び第2反射面21a,21bにおいて等しい第2反射角γ2で計5回全反射され、第4反射面21dに入射する。画像光GL21,GL22は、この第4反射面21dで第3反射面21cと同一の角度で反射され、光射出面OSからこの光射出面OSに垂直な第2光軸AX2方向に対して角度θ2の傾きで平行光束として射出される。
また、図3において、導光部材21を展開した場合で見ると、観察者は、光入射面ISに対応する2つの位置の異なる入射等価面IS',IS"の近傍に存在する投射光学系12のレンズL3を重ねて観察していることになる。
以上のようにして画像光GLから形成される虚像の観察と、シースルーによる外界光OLの観察とが両立するためには、両光束の光量について、ある程度の範囲内でバランスがとられていることが必要となる。外界光OLの影響により、観察者の瞳孔の大きさは、変化する。このため、仮に画像光GLの光量を一定に確保していても、観察者が知覚しにくいものとなる可能性がある。従って、外界光OLの状態が変化しても、画像光GLと外界光OLとが程良くバランスされた状態を維持するためには、画像光GLの状態を、外界光OLの変化に対応して制御する必要がある。本実施形態では、光検出装置180(図1参照)が、光学パネル110すなわち導光装置20に固定的に取り付けられて導光装置20と向きを一致させた状態を保つことで、常に視界の前方すなわち+Z側に関して外界光OLの光量検出を行うものとなっており、この検出結果に基づいて、照明装置31(図2(A)参照)の制御を行うことで、外界光OLの状態に応じた画像光GLの光量制御ができるものとなっている。
〔D.光検出装置による外界光の検出〕
以下、図4を参照して、外界光OLの明るさに対応させた画像光GLの明るさの制御の前提として必要となる光検出装置180による外界光OLの検出について説明する。
光検出装置180は、フォトダイオード部181と、レンズ182とを有する。図示の例では、フォトダイオード部181は、XY面に平行な面についてマトリクス状に3×3で配置される9つのフォトダイオード素子181aで構成されている。つまり、フォトダイオード部181は、9つに分割された領域で略−Z側から虚像表示装置100に向かう外界光OLの状態を検出するものとなっている。各フォトダイオード素子181aは、矩形形状であり、レンズ182によって投影されて矩形形状の領域内に入射する光の光量を測定する。なお、レンズ182は、外界像をフォトダイオード部181上に投影するものであり、フォトダイオード部181の前方(+Z側)に配置され無限遠を焦点とするレンズであり、遠方から光検出装置180に向かう外界光OLの成分をその方位に応じて複数のフォトダイオード素子181aのうちいずれかに向けて入射させる。なお、ここで、レンズ182による投影については、無限遠を焦点とすることで一定以上の距離からの外界像のピントを合わせられる投影とすることができるが、各フォトダイオード素子181a上において必ずしも外界像のピントを合わせる必要はなく、各フォトダイオード素子181aにおいて対象となる方位からの外界光成分の光量測定が可能となっていればよい。
9つのフォトダイオード素子181aには、説明のために1〜9の番号をそれぞれ付与してあり、5番が付され中央に位置するフォトダイオード素子181aが、レンズ182の光軸と一致した中心の位置に配置されているものとする。ここで、レンズ182の光軸方向は、Z方向であり、観察者にとっての正面方向に一致している。
外界光OLの成分のうち、例えばレンズ182の光軸方向にある中央側のエリアAからの外界光成分OLaは、レンズ182を経て5番のフォトダイオード素子181aに入射する。従って、外界光成分OLaの明るさは、5番のフォトダイオード素子181aの出力となる。一方、外界光OLの成分のうち、例えばエリアAよりも上方側である周辺側のエリアBからの外界光成分OLbは、レンズ182を経て8番のフォトダイオード素子181aに入射する。従って、外界光成分OLbの明るさは、8番のフォトダイオード素子181aの出力となる。以上のようにして、光検出装置180において、対象となるエリアの方位ごとに対応する外界光OLの平均化された明るさが検出され、外界光に関する情報を得ることができる。光検出装置180は、9つのフォトダイオード素子181aにおいて測定された外界光成分の光量についての情報を信号化して虚像表示装置100の動作制御を司るコントロール装置300に送信する。
〔E.光検出装置の検出結果に基づく画像光の制御〕
以下、図4等を参照して、光検出装置の検出結果に基づく画像光の制御について説明する。本実施形態では、上述の光検出装置180において検出された外界光に関する情報に基づいて、虚像表示装置100のコントロール装置300に内蔵される制御部311が駆動制御部34を介して光源を制御する(図2(A)参照)ことにより、画像光GLの光量が制御されるものとなっている。
図4に示すように、虚像表示装置100は、コントロール装置300として、制御部311と、記憶部312と、キー入力処理部313と、キー入力部314と、画像処理部315と、外界光情報検出部319とを備えている。
制御部311は、虚像表示装置100の全体的な動作を制御している。つまり、制御部311は、記憶部312、キー入力処理部313、画像処理部315、外界光情報検出部319等と通信可能に接続されており、これらの部分から情報を取り込み、或いはこれらの部分に制御信号等を送って動作状態を制御している。特に、本実施形態では、制御部311は、外界光情報検出部319を介して光検出装置180からの情報を取得してこの情報に基づいて光源を制御することにより、画像光の状態を調整している。このための機能として、制御部311は、明るさ読取部311a、調整量決定部311b等を含み、光検出装置の検出結果に基づく画像光調整のための光源制御部すなわち画像光制御部として機能する。
外界光情報検出部319は、光検出装置180において検出され、信号として送信された外界光の明るさに関する情報を受け取り、制御部311の明るさ読取部311aに送信する。
記憶部312は、ROM、RAM、不揮発性メモリー等で構成され、虚像表示装置100を動作させるために必要なプログラム、データ等を保持する。ここでは、特に、記憶部312は、明るさ読取部311aで読み取られた外界光OLに関する情報についての信号データに基づいて最適な光源制御を選択するためのプログラム及び制御用テーブルデータを保持している。
キー入力処理部313は、キー入力部314から入力された観察者の指示を処理する手段である。
画像処理部315は、入力選択部や通信部(不図示)を介して外部から入力された画像信号又は画像データに対して必要に応じて、諧調補正等を含む各種補正処理を行い、画像処理後の画像信号を、液晶パネルを駆動する液晶パネル駆動部である液晶駆動回路34bに出力する。
以下、図5(A)等により、光検出装置の検出結果に基づく画像光の制御動作の一例について概要を説明する。図5(A)は、観察者の観察領域を模式的に示す図であり、図5(B)は、バックライト光源である矩形形状のバックライト導光部31bを模式的に示す図である。図5(A)において、2点鎖線の領域IM0は、観察者が導光装置20を経た外界光OLによって認識する外界像の範囲を示し、点線の領域IM1は、観察者が画像光GLによって認識する虚像の範囲を示すものとする。さらに、領域IM0のうち、領域IM1に対応する領域を1点鎖線の領域IM2とする。つまり、領域IM1又は領域IM2は、外界光OLと画像光GLとが重畳する領域である。ここでは、図4に示す9つのフォトダイオード素子181aを有する光検出装置180によって、外界像の範囲である領域IM0のうち領域IM1に相当する領域における外界像の明るさが検出されるものとする。
ここで、領域IM1及び領域IM2において、9つに分割された分割領域1c〜9cは、図4の9つのフォトダイオード素子181aが対象とする測定領域に対応しているものとする。つまり、例えば図5(A)の領域IM1のうち中央に位置する分割領域5cは、図4のエリアAからの外界光OLによって観察される外界像の領域であり、このエリアの明るさは、5番のフォトダイオード素子181aによって検出される。同様に、図5(A)の分割領域8cは、図4のエリアBに対応し、8番のフォトダイオード素子181aによって検出される。つまり、分割領域1c〜9cは、図4においてフォトダイオード素子181aに付した1〜9の番号にそれぞれ対応したものとなっている。
さらに、本実施形態では、図5(B)に示すように、矩形断面の光束を形成するバックライト導光部31bが、虚像の領域IM2の各分割領域1c〜9cに対応する9つの分割された発光領域1a〜9aを有し、発光領域1a〜9aごとに光量の調整が可能になっているものとする。つまり、バックライト導光部31bを制御することで、画像光GLの光量が部分的(局所的)に変化し、領域IM2に形成される虚像は、分割領域1c〜9cごとに明るさを変化させることができるものとなっている。この場合、制御部311は、液晶駆動回路34bを介してバックライト光源であるバックライト導光部31bを制御するバックライト制御部として機能することになる。上記の場合、例えば8番のフォトダイオード素子181aでの測定された外界光OLの成分光量が大きいすなわち明るいと測定されれば、これに応じて、画像光GLのうち分割領域8cの虚像を形成する成分の光量を大きくし、明るい画像とすればよい。つまり、制御部311は、分割領域8cに対応する発光領域8aに供給する電力を、8番のフォトダイオード素子181aからの検出結果に応じて大きくすることで、分割領域8cで形成される虚像を適度に明るくすることができる。
以上のような構成から、光検出装置180での検出結果に応じてバックライト導光部31bすなわちバックライト光源を含む照明装置31を制御することで、画像光GLの状態を、外界光OLの方位ごとの変化に対応して制御することができる。
以下、図6のフローチャートを参照して、光検出装置の検出結果に基づく画像光の制御動作の一例について説明する。
まず、虚像表示装置100を起動させると、制御部311は、記憶部312に格納された外界光に関する情報を初期化する処理を行う(ステップS101)。次に、制御部311は、外界光情報検出部319に、光検出装置180から送信された外界光の明るさに関する情報を受け取らせるとともに(ステップS102)、明るさ読取部311aとして、外界光情報検出部319で受け取った情報を読み取って外界光OLの方位ごとの状況を確認する(ステップS103)。また、この際、制御部311は、読み取った情報を記憶部312に格納する。次に、制御部311は、ステップS103において取得した情報が、これまでの情報から変更されているかを判断する(ステップS104)。つまり、記憶部312に既に格納されている情報とステップS103において取得した情報とを比較する。なお、ステップS101において初期化された直後に情報を取得した場合については、ステップS104において、情報が変更されたものと判断する。ステップS104において、情報変更がなかったと制御部311が判断すると(ステップS104:No)、制御部311は、光源の調整量を定めた制御パターンの動作が最適であると判断し、これを変更することなく維持してステップS102〜ステップS104に示す外界光の明るさに関する情報を受け取って状況を判断する一連の動作を繰り返す。一方、ステップS104において、情報変更があったと制御部311が判断すると(ステップS104:Yes)、制御部311は、外界光OLの状態が変更され、画像光GLをこれに対応させるべく光源の調整量を定めた制御パターンの動作を再設定する必要があると判断し、調整量決定部311bとして、記憶部312から変更後の外界光に関する情報に対応する光源の調整量を定めた複数の制御パターンを示すテーブルデータから一のパターンを選択して読み出す(ステップS105)。次に、制御部311は、ステップS105において選択され読み出された新たな制御パターンに従った制御をさせるべく光源駆動回路34aに制御信号を送信する。この制御信号に従って、光源駆動回路34aが照明装置31を駆動させることで、例えば図5(A)及び5(B)によって説明したような光源制御がなされる(ステップS106)。制御部311は、上記光源制御の動作を虚像表示装置100による画像形成動作が終了するまで繰り返す(ステップS107)。つまり、観察者がキー入力部314によって、画像形成動作を終了する旨の指令を出すまで光検出装置180からの測定結果を確認し、対応する画像光の制御を行う(ステップS101〜S106)。
以上のように、本実施形態では、虚像形成部である導光装置20が画像光GLと外界光OLとを重畳させるシースルータイプとなっており、画像光制御部である制御部311が、光検出装置180によって外界光OLの明るさを方位に関連づけて検出し、検出された明るさに関する情報に基づいて、画像光GLを制御するものとなっている。これにより、観察者が向いている方位からの外界光GLの明るさに対応して、画像光GLを制御し、画像光GLによる画像の明るさと外界光OLによる外界像の明るさとのバランスを適度なものにできる。つまり、外界光OLの状態に応じて画像光GLを適切な明るさに調整できる。
なお、上記において、画像光制御部である制御部311は、外界光OLに対する画像光GLの制御として照明光SLの光量のみを制御するものとしているが、外界光OLに対する画像光GLの制御において、さらに、空間光変調装置である液晶表示デバイス32を制御するものとしてもよい。つまり、液晶表示デバイス32での階調度を調整することで画像光GLの局所的な調整を行うことも可能である。この場合、画素単位で明暗の調整が可能となる。
光検出装置180は、フォトダイオード部181と、レンズ182とで構成されているが、これに限らず、例えばフォトダイオード部181の部分に、フォトレジスターやフォトトランジスター等フォトダイオード以外の種々の光検出器を適用することも可能である。
また、上記では、分割数を3×3の9つとしているが、この分割パターンは一例であり、これ以外にも種々のものとすることができる。例えば、もっと多くのフォトダイオード素子を配置し、各フォトダイオードが検出する領域をさらに細かくしてもよい。また、上記では、外界光OLと画像光GLとが重畳する領域と、光検出装置180によって検出を行う範囲とを一致させるものとしているが、光検出装置180による検出範囲は、種々考えられ、例えば外界光として観察者に認識される範囲全体を検出するものであってもよい。
以下、図7(A)により具体的な一変形例について説明する。図7(A)に示すように、領域IM0全体を5×5の25の領域に分割し、各領域について検出を行うものとしている。この場合、光検出装置180のフォトダイオード部181は、5×5の合計25個のフォトダイオード素子181aで構成されることになる。なお、領域IM0の25の分割領域のうち、中央の3×3の9つの分割領域は、虚像の領域IM2を構成する9つの分割領域1c〜9cに対応しているものとする。この場合、虚像の領域IM2のみならず、その周辺の外界像の明るさまで加味して虚像の明るさを調整することができる。また、図7(B)に示す他の一変形例のように、外界像側の分割と虚像側の分割とが正確には一致しないものであってもよい。図示の場合、外界像の領域IM0も虚像の領域IM2も3×3の9つに領域を分割しているが、この場合、範囲の違いから各分割領域は一致しない。このような場合であっても、例えば、領域IM0の分割領域のうち中央に位置する領域AAを、領域IM2の分割領域5cに対応させ、領域IM0の分割領域のうち中央上方側に位置する領域BBを、領域IM2の分割領域8cに対応させるというように、各領域を対応付けた上で制御することで、明るさを調整することができる。
また、上記では、光検出装置180側と光源側であるバックライト導光部31bとでの分割パターンを一致させているが、分割パターンは一致していなくてもよい。また、バックライト導光部31bを分割させず、一様なものとし制御部311は、全体光量を調整するものとしてもよい。この場合、例えば画像光の光量を、光検出装置180で検出された結果のうち最も明るい外界光に対応させるものとすることが考えられる。また、領域IM2の分割領域の境界が目立ったり、分割領域での光量さに起因するムラが生じたりしないように、例えば画像処理等を適宜施すものとしてもよい。
また、上記では、ステップS105における調整量の決定を、あらかじめ用意されたテーブルデータから一のパターンを選択して読み出すものとしているが、これ以外の方法で調整量を決定するものとしてもよい。例えば、9つの領域について調整量の大きさを重みづけし、重みづけされたデータとステップS103で読み取ったデータを照合し、その都度制御パターンを算出するものとしてもよい。
また、以上では、制御パターンを制御部311により自動的に行っているが、観察者がキー入力部314から適宜指令を出して、制御部311による制御とは異なる制御パターンで調整を行うものとしてもよい。
〔第2実施形態〕
以下、第2実施形態に係る虚像表示装置について説明する。なお、本実施形態に係る虚像表示装置は、第1実施形態に係る虚像表示装置100の変形例であり、観察者の視線の方向を検知するための視線検知装置をさらに有して構成されることを除いて、外部の構造は虚像表示装置100と同様であるため、全体の図示及び説明を省略する。
図8は、第1実施形態の図3に対応する図であり、本実施形態に係る虚像表示装置において視線検知装置400を備えた状態について説明するためのものである。図示のように、視線検知装置400は、ビームスプリッター410と、近赤外光線検知センサー411とを有する。本実施形態では、照明装置側において画像光GLに重畳された状態で近赤外光線GLrが射出されるものとし、観察者の眼EYの眼球において反射された近赤外光線GLrを視線検知装置400によって検知することで、観察者の視線の方向を検知するものとなっている。本実施形態では、画像光制御部が、視線検知装置400の検知結果として得られる観察者の視線の方向における外界光の明るさに関する情報に基づいて画像光を制御するものとなっている。これにより、観察者の視線の方向における外界光の明るさに応じて、画像光の状態を制御することができるものとなっている。
以下、虚像表示装置100を構成する視線検知装置400の構造について説明する。まず、視線検知装置400のうち、ビームスプリッター410は、可視光領域の光及び特定の偏光状態(例えばP偏光とする)にある近赤外光成分を透過させ、かつ、特定の偏光状態(例えばS偏光とする)にある近赤外光成分を反射させる特性を有する。近赤外光線検知センサー411は、近赤外光線を検出する検知センサーであり、図示のように、画像光GLの光路外においてビームスプリッター410に対向するように配置され、ビームスプリッター410での反射によって分岐された近赤外光成分を検知するものとなっている。
以下、視線検知装置400を用いた視線検知の動作について説明する。ここでは、液晶表示デバイス32は、可視光領域の各色光及びP偏光の近赤外光線GLrがから射出されるものとする。つまり、ビームスプリッター410は、近赤外光線GLrを含め液晶表示デバイス32から射出される成分のいずれも透過させる。
ビームスプリッター410を透過した近赤外光線GLrは、導光装置20等を経て眼EYに示す眼球に入射する。この際、近赤外光線GLrのうち、眼EYの眼球表面にある角膜で反射される角膜反射光成分と眼EYの眼底部の網膜で反射される網膜反射光成分とが存在する。これらの反射光成分を捉えることができれば、視線の方向を検知できる。具体的には、まず、角膜反射光成分は高輝度でスポットの径は小さく、網膜反射光成分は低輝度でスポットの径は大きいので、両者を判別することは可能である。さらに、角膜反射光成分のスポットが視線の動きとともに素早く動きまわるのに対して、網膜は眼底部にあり殆ど動かない。従って、このほとんど静止した網膜の反射像の中を動く角膜の反射像を重ねることで、観察者の眼EYの動きすなわち視線の方向を検知することができる。
液晶表示デバイス32から射出された近赤外光線GLrは、P偏光であるため、ビームスプリッター410を透過するのに対し、近赤外光線GLrのうち眼EYにおいて反射され光路を逆行する成分である反射光線RLrについては、S偏光の成分を含むものとなっている。従って、反射光線RLrの一部の反射光成分は、ビームスプリッター410において反射される。従って、当該反射光成分を近赤外光線検知センサー411において検知することで、視線検知装置400は、観察者の視線の方向を検知する。
以下、図9等を参照して、光検出装置及び視線検知装置の検出結果に基づく画像光の制御について説明する。本実施形態では、光検出装置180において検出された外界光に関する情報に加え、視線検知装置400において検知された観察者の視線の方向に関する情報に基づいて、制御部311による画像光GLの光量が制御される。このため、制御部311は、明るさ読取部311a及び調整量決定部311bに加え、視線検知装置400で検知された視線の方向に関する情報を読み取る視線情報読取部311cを含んでいる。なお、視線検知装置400で検知された視線の方向に関する情報は、視線センサー410からコントロール装置300の視線情報検知部330に送信されて制御部311に伝達される。
以下、図10のフローチャートを参照して、光検出装置及び視線検知装置の検出結果に基づく画像光の制御動作の一例について説明する。
まず、虚像表示装置100を起動させると、制御部311は、外界光の明るさ及び視線の方向に関する情報を初期化する処理を行い(ステップS201)、外界光の明るさに関する情報を読み取って外界光OLの方位ごとの状況を確認する(ステップS102,S103)。さらに、制御部311は、視線情報検知部330を介して視線センサー410から送信される視線の方向に関する情報すなわち視線検知装置400の測定結果を受け付け(ステップS202)、当該情報から観察者の視線に関する状況を確認する(ステップS203)。なお、制御部311は、読み取ったこれらの情報を記憶部312にそれぞれ格納する。次に、制御部311は、ステップS103及びステップS203において取得した情報が、これまでの情報から変更されているかを判断する(ステップS204)。つまり、記憶部312に既に格納されている情報とステップS103及びステップS203において取得した情報とを比較し、双方とも情報変更がなかったと制御部311が判断すると(ステップS204:No)、光源の調整量を定めた制御パターンを変更することなく維持してステップS102〜ステップS204に示す一連の動作を繰り返す。一方、ステップS204において、ステップS103及びステップS203において取得した情報のうち少なくともいずれか一方に情報変更があったと制御部311が判断すると(ステップS204:Yes)、調整量決定部311bとして、複数の制御パターンから一の制御パターンを選択して読み出し(ステップS105)、この制御パターンに従った制御をさせるべく光源駆動回路34aに制御信号を送信し、これに応じた光源制御がなされる(ステップS106)。制御部311は、上記光源制御の動作を虚像表示装置100による画像形成動作が終了するまで繰り返す(ステップS107)。
上記の場合、調整量決定部311bによる制御パターンの選択によって、視線検知装置400の検知結果として得られる観察者の眼EYの視線の方向における外界光OLの明るさに関する情報に基づいて画像光GLを制御することができる。例えば、視線検知装置400における検知結果から、図5(A)等に示す9つの分割領域のうち、中央の分割領域5cに対応する方向に観察者の視線が向いている場合には、画像光GLによる虚像の範囲IM2のうち分割領域5cの明るさの調整を他の領域よりも優先して調整するものとしてもよい。この場合、例えば分割領域5cの明るさを5番のフォトダイオード素子181aで検出された明るさに合わせて調整するのみならず、分割領域5cの左右に隣接する分割領域も分割領域5cで設定した明るさとなるように調整してもよい。
以上のように、本実施形態では、外界光に関する情報に加え、観察者の視線の方向やその方向の変化といった視線に関する情報に基づいて画像光の光量が制御される。これにより、より観察者に対する影響度合いの大きい外界光の状態に対応して画像光の調整を図ることができる。
〔第3実施形態〕
以下、第3実施形態に係る虚像表示装置について説明する。なお、本実施形態に係る虚像表示装置は、第2実施形態に係る虚像表示装置の変形例であり、光検出装置180の構成を除いて、第2実施形態に係る虚像表示装置と同様であるため、全体の図示及び説明を省略する。
図11は、第2実施形態の図9に対応する図であり、本実施形態に係る虚像表示装置100のうち、光検出装置180について説明するための図である。図示のように、光検出装置180のうち、外界光OLによる外界像を投影するレンズ182は、制御部311に接続されたレンズ駆動回路182aにより、正面方向であるZ方向に対して垂直な面内すなわちXY面に平行な面内について並進移動可能となっている。これにより、光検出装置180は、視線検知装置400で検知された観察者の視線の方向やその方向の変化といった視線に関する情報に基づいて、光検出装置180によって明るさを検出する範囲を変化させるものとなっている。具体的には、まず、制御部311が、視線検知装置400の視線センサー410からの情報を視線情報検知部330を介して取得すると、その視線の方向に対応するようにレンズ182を移動させるべく、レンズ駆動回路182aに駆動信号を送信する。つまり、観察者の視線の方向に対応する外界光OLの成分が、光検出装置180を構成する9つのフォトダイオード素子181aの内真ん中に位置する5番のフォトダイオード素子181aにおいて検出されるようにレンズ182をシフトさせる。これにより、9つのフォトダイオード素子181aによって観察者の視線の方向及びその周辺に関する外界光OLの状態を捉えることができる。
以上のように、本実施形態では、観察者の視線に関する情報に基づいて、光検出装置180によって明るさを検出する範囲を変化させた上で、外界光の光量検出を行っている。これにより、観察者の視線をより優先して画像光の制御を行うことができる。
〔第4実施形態〕
以下、第4実施形態に係る虚像表示装置について説明する。なお、本実施形態に係る虚像表示装置は、第1実施形態に係る虚像表示装置100の変形例であるため、全体の図示及び説明を省略する。
図12(A)は、正面から見た光検出装置180の状態を模式的に示す図である。第1実施形態等では、各フォトダイオード素子181aが矩形形状であるものとしているが、フォトダイオード素子181aの形状や検知する領域については、様々な態様が考えられ、例えば図示のように円形状となっていてもよい。また、図12(B)に示すように、領域については、均等な大きさにせず、例えば中央の領域を他の領域よりも大きくし、画像光の光量調整においても、真ん中の領域の影響を優先的に取り扱うものとしてもよい。なお、図12(A)及び12(B)は、例示であり、このほかにも、種々の分割パターンの態様が考えられ、例えば中央から同心円状に区分される分割領域で構成してもよい。
〔第5実施形態〕
以下、図13により、第5実施形態に係る虚像表示装置について説明する。ここでは、本実施形態に係る虚像表示装置200のうち、第1表示装置200Aの構造の一例について説明することで、虚像表示装置200の構造の一例を説明する。第1表示装置200Aは、信号光を形成するとともに当該信号光を走査光TLとして射出するための光射出装置210と、光射出装置210からの走査光TLを受けて画像光GLを形成する被照射部材220とを備える。光射出装置210は、観察者の鼻NS周辺に配置され、信号光形成部211と、走査光学系212とを有し、被照射部材220は、光射出装置210の前方側(+Z側)において観察者の眼EYの前方を覆うように配置されている。
被照射部材220は、走査光の照射を受ける被照射膜(半透過膜)である半透過反射膜と、半透過反射膜を支持固定する支持部材とを有している。つまり、被照射部材220は、ハーフミラーである。これにより、観察者の眼EYには、虚像のみならず、外界からの光も入ることになり、虚像表示装置200は、双方を重畳して観察可能にするシースルーの構成となっている。つまり、被照射部材220は、虚像形成部である。
被照射部材220は、図示のように、観察者の眼EYの前方であって光射出装置210よりも観察者に対して遠方側(+Z側)に位置するように配置されている。つまり、観察者の眼EYと被照射部材220との間に光射出装置210が配置されている。
被照射部材220は、観察者の眼EYを前方から覆うのに十分な大きさを有しており、光射出装置210の走査光学系212から+Z方向に傾いて照射された走査光TLを受け、これを反射することで虚像を形成し、観察者に認識させるものとなっている。なお、被照射部材220の形状は、虚像表示装置100の外観すなわちフレームFLの形状に沿った形状を有している。
以下、画像形成の動作について説明する。まず、光射出装置210のうち、信号光形成部211は、信号光を形成し、射出する。射出された信号光は、スキャン部である走査光学系212に入射する。走査光学系212は、信号光を、走査光として被照射部材220に向けて射出する。被照射部材220において、信号光を走査光として走査させて入射させることで、画像光GLによって虚像が形成され、この虚像を観察者が眼EYで捉えることで、画像が認識される。
本実施形態のような構成を有する虚像表示装置200においても、光検出装置180を備えることで、第1実施形態等の場合と同様に、観察者が向いている方位からの外界光GLの明るさに対応して、画像光GLを制御し、画像光GLによる画像の明るさと外界光OLによる外界像の明るさとのバランスを適度なものにできる。つまり、外界光OLの状態に応じて画像光GLを適切な明るさに調整できる。
なお、上記では、光源として、ダイオードレーザ光源又はLED光源を用いるものとしているが、光源は、例えば有機EL等の上記以外のものであってもよい。
〔その他〕
以上実施形態に即して本発明を説明したが、本発明は、上記の実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、例えば次のような変形も可能である。
上記の説明では、光検出装置180を光学パネル110等すなわち導光装置20の上方側の中央部に固定的に取り付けられるものとしているが、必要な範囲の光検出が可能であれば、光検出装置180の固定位置は、これ以外の箇所であっても構わない。また、導光装置20の向きを把握でき、対象となる方向についての明るさを検出できるのであれば、光検出装置180は、光学パネル110等に固定的に取り付けられていなくてもよい。
また、上記第3実施形態等において、視線に関する情報として、両眼の視線についてそれぞれ取得するものとしてもよく、少なくとも一方の視線について取得するものとしてもよい。
また、上記第2実施形態等において、視線検知装置400の一部又は全部が、画像表示装置11と一体的に構成されるものとしてもよい。
上記の説明では、虚像表示装置100がヘッドマウントディスプレイであるとして具体的な説明を行ったが、虚像表示装置100は、ヘッドアップディスプレイに改変することもできる。
上記実施形態の虚像表示装置100では、右眼及び左眼の双方に対応して、一組ずつ表示装置を設ける構成としているが、右眼又は左眼のいずれか一方に対してのみ例えば画像形成装置10と導光装置20とを設け画像を片眼視する構成にしてもよい。
また、右眼及び左眼の双方に表示装置を設ける構成とする場合、3D画像の観察において、双方の眼の位置について輻輳角や両眼視差を考慮して適した状態に位置調整できる。
上記実施形態では、光入射面ISを通る第1光軸AX1と光入射面ISを通る第2光軸AX2とが平行であるとしたが、これらの光軸AX1,AX2を非平行とすることもできる。
上記実施形態では、導光部材21の第4反射面21dに設けたハーフミラー層28の反射率を50%以下としてシースルーを優先しているが、ハーフミラー層28の反射率を50%以上として画像光を優先することもできる。