JP6707823B2 - 表示装置、表示装置の制御方法、及び、プログラム - Google Patents

Description

本発明は、表示装置、表示装置の制御方法、及び、プログラムに関する。

従来、ヘッドマウント式の表示装置において、実空間の物体の画像を表示するものが知られている（例えば、特許文献１参照）。特許文献１は、表示装置が表示する画像によりユーザーが物体を知覚する位置と実空間でユーザーが物体を見たときとの位置を一致させるため、焦点調節を行う構成を開示する。

特表２０１３−５３７７８４号公報

ところで、表示装置を使用する使用者が、表示装置が表示する画像と外景とを視認する場合、使用者がどの方向、或いはどの程度の距離を注視するかによって、表示画像の見え方が変わる。しかしながら、この種の表示装置においては、表示画像の見え方を調整する例は無かった。
本発明は上記事情に鑑みてなされたものであり、表示装置を使用する使用者が、外景と表示画像とを視認できる場合に、表示画像を適切に調整できるようにすることを目的とする。

上記目的を達成するため、本発明は、外景を視認可能に、使用者の右眼と左眼のそれぞれに対応して画像を表示する表示部と、前記表示部による画像の表示態様を、前記使用者の注視距離に応じて制御する制御部と、を備えることを特徴とする。
本発明によれば、使用者が外景と画像とを視認する場合に、画像の表示態様を、使用者が注視する距離に適合させることができる。このため、表示画像を適切に調整することができ、例えば使用者の負荷を軽減し、表示画像の視認性を高めることができる。

また、本発明は、上記表示装置において、前記制御部は、前記使用者の注視距離に応じて、前記表示部による前記画像の表示位置及び／又は前記画像の表示サイズを変更すること、を特徴とする。
本発明によれば、画像の表示位置や表示サイズを、使用者が注視する距離に適合させることができる。

また、本発明は、上記表示装置において、前記制御部は、前記使用者の注視距離に対応する両眼の輻輳角に基づき、前記表示部による画像の表示態様を制御すること、を特徴とする。
本発明によれば、使用者の両眼の輻輳角に対応して画像の表示態様を制御することで、使用者が注視する距離に適合する表示態様を実現できる。

また、本発明は、上記表示装置において、前記制御部は、前記使用者の両眼の輻輳角を求め、求めた輻輳角に対応して、前記表示部が表示する画像を前記使用者が視認する位置を変化させること、を特徴とする。
本発明によれば、表示装置が使用者の両眼の輻輳角を求めて、表示画像を使用者が視認する位置を変化させるので、使用者の注視距離に適した位置に画像を表示できる。このため、表示画像の視認性を高めることができ、使用者が外景において注視する距離に適した表示画像を、使用者に視認させることができる。

また、本発明は、上記表示装置において、前記制御部は、前記使用者の両眼の輻輳角に対応して、前記表示部が前記画像を表示する表示位置を、予め設定された標準位置からシフトさせること、を特徴とする。
本発明によれば、使用者の注視距離に適した位置に画像を表示できる。

また、本発明は、上記表示装置において、前記使用者の両眼の状態を検出する状態検出部を備え、前記制御部は、前記状態検出部の検出結果に基づいて、前記使用者の注視距離を算出し、算出した注視距離に応じて前記表示部による画像の表示態様を制御すること、を特徴とする。
本発明によれば、表示装置が使用者の両眼の状態を検出して注視距離を算出するので、使用者が煩雑な操作を行わなくても、画像の表示態様を適切に調整できる。

また、本発明は、上記表示装置において、前記状態検出部は、前記使用者の右眼と左眼のそれぞれに対応して設けられる第１撮像部を備え、前記制御部は、前記第１撮像部の撮像画像に基づいて、前記使用者の両眼の瞳孔間距離、瞳孔径、或いは注視方向の注視時間の少なくともいずれかを求めることにより、前記使用者の注視距離を算出すること、を特徴とする。
本発明によれば、使用者の両眼の状態から高精度で注視距離を算出できる。

また、本発明は、上記表示装置において、前記状態検出部は、前記使用者の注視方向を撮像する第２撮像部を備え、前記制御部は、前記第２撮像部の撮像画像に基づいて、前記使用者が注視する注視対象物までの距離を求めることにより、前記使用者の注視距離を算出すること、を特徴とする。
本発明によれば、より高精度で注視距離を算出できる。

また、本発明は、上記表示装置において、前記表示部は、画像光を出射する出射部と、前記出射部が出射する画像光を前記使用者の右眼と左眼のそれぞれに導く光学系と、前記出射部または前記光学系を構成する少なくとも一部の部材を変位させ、前記光学系から前記使用者の右眼と左眼とに入射する画像光の角度を変更する変更部と、を備え、前記制御部は、前記使用者の注視距離に応じて前記変更部を動作させること、を特徴とする。
本発明によれば、部材を変位させることによって画像の表示態様を調整できる。

また、本発明は、上記表示装置において、前記制御部は、前記使用者の注視距離に応じて、前記表示部が表示する画像を前記使用者が視認する表示範囲における画像の位置を制御すること、を特徴とする。
本発明によれば、画像の表示位置を、使用者の注視距離に合わせて適切に調整できる。

また、本発明は、上記表示装置において、画像データに基づき前記表示部が表示する画像を生成する画像生成部を備え、前記制御部は、前記使用者の注視距離に応じて、前記画像生成部により前記画像データの一部を切り出して調整用の画像を生成させ、前記調整用の画像を前記表示部に表示させること、を特徴とする。
本発明によれば、画像を切り出すことによって、画像の表示位置の調整範囲を拡大することができ、また、画像の表示位置を変更する場合の違和感を解消できる。

また、本発明は、上記表示装置において、前記制御部は、前記使用者の注視距離が予め設定された基準距離より近い場合に、前記表示部によって前記使用者の右眼または左眼のいずれかに対応する画像を表示させること、を特徴とする。
本発明によれば、使用者の注視距離が近い場合であっても、使用者の負担を軽減できる。

また、上記目的を達成するため、本発明は、外景を視認可能に、使用者の右眼と左眼のそれぞれに対応して画像を表示する表示装置であって、画像光を出射する出射部と、前記出射部が出射する画像光を前記使用者の右眼と左眼のそれぞれに導く光学系と、前記出射部の出射方向または前記光学系から前記使用者の右眼と左眼とに入射する画像光の入射角度を変更する変更部と、を備える表示部と、画像データに基づき前記表示部が表示する画像を生成する画像生成部と、前記使用者の注視距離を算出し、算出した注視距離に応じて、前記変更部を動作させる処理、及び、前記使用者の注視距離に応じて、前記画像生成部により前記画像データの一部を切り出して調整用の画像を生成させ、前記調整用の画像を前記表示部に表示させる処理の少なくともいずれかを実行する制御部と、を備えることを特徴とする。
本発明によれば、使用者が外景と画像とを視認する場合に、画像の表示態様を、使用者が注視する距離に適合させることができる。このため、表示画像を適切に調整することができ、例えば使用者の負荷を軽減し、表示画像の視認性を高めることができる。

また、本発明は、上記表示装置において、外部撮像部を備え、前記制御部は、前記外部撮像部の撮像画像に基づく画像を前記表示部に表示させる処理を実行可能であること、を特徴とする。
本発明によれば、表示部の外側の景色である外景を使用者に視認させることができる。

また、本発明は、上記表示装置において、前記表示部は、前記表示部を透過する外光により前記使用者が外景を視認可能に構成され、前記外部撮像部の撮像画像に基づく画像を、前記外景と同時に視認可能に表示すること、を特徴とする。
本発明によれば、外景と表示画像とを視認可能に表示する場合に、表示画像を適切に調整することができ、例えば使用者の負荷を軽減し、表示画像の視認性を高めることができる。

また、本発明は、上記表示装置において、前記制御部は、前記撮像画像に基づく画像を前記表示部に表示させる場合に、前記表示部を透過する外光に比べ、前記撮像画像に基づく画像の視認性を高める処理を行うこと、を特徴とする。
本発明によれば、表示部が表示する画像を明瞭に視認させることができ、外光により視認する外景と、表示画像とを区別しやすくなる。

また、本発明は、上記表示装置において、前記制御部は、前記撮像画像に基づく画像を前記表示部に表示させる場合に、前記撮像画像に基づく画像の輝度または色彩を変化させ、或いは、前記撮像画像に基づく画像に対するエッジ強調処理を行うことにより、前記撮像画像に基づく画像の視認性を高める処理を行うこと、を特徴とする。
本発明によれば、表示部の表示画像の視認性を、効果的に高めることができる。

また、本発明は、上記表示装置において、前記制御部は、前記外部撮像部の撮像画像に基づく画像を、前記表示部により前記使用者の右眼と左眼のいずれか一方に対応して表示すること、を特徴とする。
本発明によれば、使用者の注視距離に影響されずに、表示部が表示する画像を使用者に視認させることができる。

また、本発明は、上記表示装置において、前記外部撮像部の撮像画像に基づく画像を、前記表示部により、左右の視差を有さない態様で前記使用者の右眼及び左眼のそれぞれに対応して表示すること、を特徴とする。
本発明によれば、使用者の注視距離の影響を受けにくく、表示画像を良好に視認できる。

また、本発明は、上記表示装置において、前記制御部は、前記外部撮像部の撮像画像を拡大して前記表示部により表示すること、を特徴とする。
本発明によれば、外景を拡大して表示できる。

また、本発明は、上記表示装置において、前記制御部は、前記使用者の操作を受け付けた場合に、前記外部撮像部の撮像画像に基づく画像を表示すること、を特徴とする。
本発明によれば、使用者の操作に応じて外景を表示できる。

また、本発明は、上記表示装置において、前記制御部は、前記使用者の注視距離を検出し、検出した注視距離が予め設定された距離より短い場合に、前記外部撮像部の撮像画像に基づく画像を表示すること、を特徴とする。
本発明によれば、使用者の注視距離に対応して外景の表示を行うことができる。

また、本発明は、上記表示装置において、前記外部撮像部は、前記表示部の装着状態において前記使用者の視線方向を含む範囲を撮像すること、を特徴とする。
本発明によれば、使用者の視線方向を含む範囲の撮像画像に基づく画像を表示できる。

また、上記目的を達成するため、本発明の表示装置の制御方法は、外景を視認可能に、使用者の右眼と左眼のそれぞれに対応して画像を表示する表示部を備える表示装置により、前記表示部による画像の表示態様を、前記使用者の注視距離に応じて制御すること、を特徴とする。
本発明によれば、使用者が外景と画像とを視認する場合に、画像の表示態様を、使用者が注視する距離に適合させることができる。このため、表示画像を適切に調整することができ、例えば使用者の負荷を軽減し、表示画像の視認性を高めることができる。

また、上記目的を達成するため、本発明は、外景を視認可能に、使用者の右眼と左眼のそれぞれに対応して画像を表示する表示部を備える表示装置を制御するコンピューターが実行可能なプログラムであって、前記コンピューターを、前記表示部による画像の表示態様を、前記使用者の注視距離に応じて制御する制御部として機能させる。
本発明のプログラムをコンピューターが実行することにより、表示装置が表示する画像と外景とを使用者が視認する場合に、画像の表示態様を、使用者が注視する距離に適合させることができる。このため、表示画像を適切に調整することができ、例えば使用者の負荷を軽減し、表示画像の視認性を高めることができる。

本発明の第１実施形態のＨＭＤの外観を説明する斜視図。 虚像表示装置から外装部材を取り除いた内部構造を示す斜視図。 （Ａ）は、虚像表示装置の外観を示す平面図であり、（Ｂ）は、正面図であり、（Ｃ）は、側面図。 虚像表示装置の外観を別の角度から示す斜視図。 虚像表示装置を構成する本体部分の平面視の断面図。 光学装置部と導光部材との配置関係を説明する断面図。 観察者の視認距離と輻輳角を示す説明図。 輻輳角と表示距離との関係について説明する図表。 ＨＭＤの各部の機能ブロック図。 画像の表示態様の調整方法を示す説明図であり、（Ａ）は使用者の注視距離と輻輳角を示す模式図であり、（Ｂ）は使用者の両眼の視野を示す模式図である。 画像の表示態様の調整方法を示す説明図であり、（Ａ）は機械的動作により表示位置を調整する動作を示し、（Ｂ）及び（Ｃ）は画像処理により表示位置を調整する動作を示す。 ＨＭＤの動作を示すフローチャート。 参照データ生成処理を示すフローチャート。 輻輳角検出処理を示すフローチャート。 画像調整処理を示すフローチャート。 第２実施形態におけるＨＭＤの動作を示すフローチャート。 マイクロスコープ表示処理を示すフローチャート。 マイクロスコープ表示処理における表示例を示す図。 テレスコープ表示処理を示すフローチャート。 第２実施形態における画像調整処理を示すフローチャート。 第３実施形態におけるＨＭＤの構成を示す図。

［第１実施形態］
以下、図１等を参照しつつ、本発明に係る虚像表示装置の一実施形態について詳細に説明する。

図１は、本発明を適用した第１実施形態に係る表示装置としてのＨＭＤ（Head Mounted Display：頭部装着型表示装置）１の外観構成を示す説明図である。ＨＭＤ１は、使用者の頭部に装着された状態で使用者に虚像を視認させる虚像表示装置１００（表示部）と、虚像表示装置１００を制御する制御装置３００と、を備えている。制御装置３００は、使用者がＨＭＤ１を操作するコントローラーとしても機能する。

本実施形態のＨＭＤ１は、使用者が、虚像表示装置１００によって虚像を視認すると同時に、虚像表示装置１００を透過して外景を視認可能な光学透過型の表示装置である。なお、本明細書では、ＨＭＤ１によって使用者が視認する虚像を便宜的に「表示画像」と呼ぶ。また、画像データに基づいて生成された画像光を虚像表示装置１００が射出することを「画像を表示する」ともいう。

虚像表示装置１００は、接続ケーブル４１で制御装置３００に接続される。接続ケーブル４１は、制御装置３００から虚像表示装置１００へ電源を供給する電源ケーブル（図示略）、及び、虚像表示装置１００と制御装置３００とが各種データを送受信するデータ通信ケーブル（図示略）を内蔵する。
また、制御装置３００には、接続ケーブル４１と分岐するオーディオケーブル４６が接続する。オーディオケーブル４６は、右イヤホン３２及び左イヤホン３４と、マイク６３とが接続される。右イヤホン３２及び左イヤホン３４は、音声処理部１９０（図９）が出力する音声信号に基づき音声を出力する。

マイク６３は、音声を集音して、音声信号を後述する音声処理部１９０（図９）に出力する。マイク６３は、例えばモノラルマイクであってもステレオマイクであってもよく、指向性を有するマイクであってもよいし、無指向性のマイクであってもよい。
ここで、虚像表示装置１００が電池等の電源を有する場合には、虚像表示装置１００と制御装置３００とを無線通信により接続することも可能である。

まず、虚像表示装置１００の構成について説明する。
図１に示すように、虚像表示装置１００は、眼鏡のような外観を有するヘッドマウントディスプレイを構成する。虚像表示装置１００は、虚像表示装置１００を装着した観察者又は使用者に対して虚像による画像光（映像光）を視認させることができるとともに、観察者に外界像（外景）をシースルーで視認又は観察させることができる。虚像表示装置１００は、観察者（使用者、ユーザー）の眼前を透視可能に覆う第１及び第２光学部材１０１ａ，１０１ｂと、両光学部材１０１ａ，１０１ｂを支持する枠部１０２と、枠部１０２の左右両端から後方のつる部分（テンプル）１０４にかけての部分に付加された第１及び第２像形成本体部１０５ａ，１０５ｂとを備える。ここで、図面上で左側の第１光学部材１０１ａと第１像形成本体部１０５ａとを組み合わせた第１表示装置１００Ａは、右眼用の虚像を形成する部分であり、単独でも虚像表示装置として機能する。また、図面上で右側の第２光学部材１０１ｂと第２像形成本体部１０５ｂとを組み合わせた第２表示装置１００Ｂは、左眼用の虚像を形成する部分であり、単独でも虚像表示装置として機能する。

図２は、虚像表示装置１００の内部構造を示しており、図２を図１と比較することで、虚像表示装置１００の外観と内部とが対比される。例えば、第１及び第２像形成本体部１０５ａ，１０５ｂは、鏡筒部３９に収納される投射レンズ３０や、映像表示素子８２を含む画像表示装置８０でそれぞれ構成される。

図１から図４までの各図に外観や内部を示すように、虚像表示装置１００に設けた枠部１０２は、上端側に配置されるフレーム１０７と、フレーム１０７に沿ってその裏側に配置される樹脂部１０８とを備える。なお、虚像表示装置１００は、下側に枠状の部分のない構成となっている。枠部１０２を構成するフレーム１０７は、Ｕ字状に折れ曲がった細長い板状の部材であり、観察者にとっての眼の並びに対応する方向である左右の横方向に延びる正面部１０７ａと、観察者にとっての前後に対応する方向である奥行き方向に延びる一対の側面部１０７ｂ，１０７ｃとを備える。両側面部１０７ｂ，１０７ｃは、厳密に平行ではなく、先端に向かって若干広がるように小角を成している。フレーム１０７、すなわち正面部１０７ａと側面部１０７ｂ，１０７ｃとは、アルミダイカストその他の各種金属材料で形成された金属製の一体部品である。樹脂部１０８は、フレーム１０７に沿って配置され、フレーム１０７と嵌合することでこれと協働して例えば画像形成のための各種ケーブル等を収納可能にしている。フレーム１０７において、正面部１０７ａ及び樹脂部１０８の奥行き方向の幅は、第１及び第２光学部材１０１ａ，１０１ｂに対応する導光装置２０の厚み又は幅と同程度となっている。フレーム１０７の左側方、具体的には正面部１０７ａにおける向かって左端部から側面部１０７ｂにかけての部分には、第１光学部材１０１ａと第１像形成本体部１０５ａとがアライメントされ例えばネジ止めによって直接固定されることにより、支持されている。また、フレーム１０７の右側方、具体的には正面部１０７ａにおける向かって右端部から側面部１０７ｃにかけての部分には、第２光学部材１０１ｂと第２像形成本体部１０５ｂとがアライメントされ例えばネジ止めにより直接固定されることによって、支持されている。なお、第１光学部材１０１ａと第１像形成本体部１０５ａとは、嵌合等によって互いにアライメントされ、第２光学部材１０１ｂと第２像形成本体部１０５ｂとは、嵌合等によって互いにアライメントされる。

枠部１０２を構成するフレーム１０７及び樹脂部１０８は、第１及び第２像形成本体部１０５ａ，１０５ｂを支持するだけでなく、これらを覆うカバー状の外装部材１０５ｄと協働して第１及び第２像形成本体部１０５ａ，１０５ｂの内部を保護する役割を有する。なお、フレーム１０７は、第１及び第２像形成本体部１０５ａ，１０５ｂに連結される第１及び第２光学部材１０１ａ，１０１ｂ又は導光装置２０の根元側を除いた上側部分と離間するか又は緩く接している。このため、中央の導光装置２０と、フレーム１０７を含む枠部１０２との間に熱膨張率の差があっても、枠部１０２内での導光装置２０の膨張が許容され、導光装置２０に歪み、変形、破損が生じることを防止できる。

枠部１０２に付随して、鼻受部４０が設けられている。鼻受部４０は、観察者の鼻に当接することによって枠部１０２を支持する役割を有する。つまり、枠部１０２は、鼻に支持される鼻受部４０と耳に支持される一対のテンプル部１０４とによって、観察者の顔前に配置されることになる。鼻受部４０は、枠部１０２を構成する一方のフレーム１０７の正面部１０７ａにおいて、ねじ止めによって固定されている。なお、以上のように図１を参照して示す外観は一例である。例えば、ねじ止めによって固定される機構など光学的機構として直接関与しない箇所等の構成は、適宜変更できる。

図２等に示すように、第１表示装置１００Ａは、投影用の光学系である投射透視装置７０（光学系）と、映像光を形成する画像表示装置８０（出射部）とを備えると見ることができる。画像表示装置８０は、投射透視装置７０に映像光を投射する投射部に相当する。また、第２表示装置１００Ｂは、第１表示装置１００Ａと左右対称に構成される。第２表示装置１００Ｂが備える部材や第２表示装置１００Ｂ内部における部材の配置は、第１表示装置１００Ａと同様である。このため、以下では第１表示装置１００Ａについて説明し、第２表示装置１００Ｂの説明に代える。

投射透視装置７０は、画像表示装置８０によって形成された画像を虚像として観察者の眼に投射する役割を有する。投射透視装置７０は、第１光学部材１０１ａ又は導光装置２０と、結像用の投射レンズ３０とを備える。第１光学部材１０１ａ又は導光装置２０は、導光及び透視用の導光部材１０と、透視用の光透過部材５０とで構成されている。なお、第１像形成本体部１０５ａは、画像表示装置８０と投射レンズ３０とで構成される。また、詳しくは後述するが、複数レンズで構成される投射レンズ３０は、鏡筒部３９に収納されて、鏡筒部３９とともに光学装置部１３０を構成する。光学装置部１３０すなわち投射レンズ３０は、鏡筒部３９の端部３９ｔにおいて、嵌合により導光装置２０に対して精度よく位置決めされた状態で固定されている。

画像表示装置８０は、透過型の空間光変調装置である映像表示素子（映像素子）８２のほか、映像表示素子８２へ照明光を射出する照明装置８１としてバックライト（図９の右バックライト２２１、左バックライト２２２）を備える。また、画像表示装置８０は、映像表示素子８２等の動作を制御する駆動制御部（図９の右駆動制御部２１１、左駆動制御部２１２）を有する。映像表示素子８２は、映像素子ケース８６に収納されており、映像素子ケース８６を介して結像用の投射レンズ３０を収納する鏡筒部３９に組付けされている。言い換えると、鏡筒部３９は、映像表示素子８２、投射レンズ３０、導光装置２０等を連結する連結部材となっている。

導光装置２０は、既述のように、導光及び透視用の導光部材１０と、透視用の光透過部材５０とで構成されているブロック状の部材である。導光部材１０は、プリズム型の導光装置２０の一部であり、一体の部材であるが、光射出側の第１導光部分１１と光入射側の第２導光部分１２とに分けて捉えることができる。光透過部材５０は、導光部材１０の透視機能を補助する部材（補助光学ブロック）であり、導光部材１０と一体的に固定され１つの導光装置２０となっている。上記のような構成を有する導光装置２０のうち、光源又は光入射側（根元側）に位置する先端部１２ｊが鏡筒部３９の端部３９ｔに嵌合することで、投射レンズ３０に精度よく位置決めされ固定されている。

ここで、例えば図３（Ａ）〜図３（Ｃ）や図４等に示すように、導光装置２０を構成する光学面のうち、表側（外側）の露出面である第１露出面２０ａや裏側（内側）の露出面である第２露出面２０ｂは、外部にさらされ、かつ、シースルーの機能に影響する部分である。なお、図示のように、第１露出面２０ａは、導光部材１０の光学面のうち第３面Ｓ１３と、光透過部材５０の光学面である第３透過面Ｓ５３とで構成され、第２露出面２０ｂは、導光部材１０の光学面のうち第３面Ｓ１１及び第４面Ｓ１４と、光透過部材５０の光学面のうち第１透過面Ｓ５１とで構成されている。

以下、図５を参照して、第１像形成本体部１０５ａ（図１参照）を構成する画像表示装置８０と投射レンズ３０とについて詳細に説明する。

画像表示装置８０は、上述した映像表示素子８２の他に、映像表示素子８２に対して照明光を射出する照明装置８１と、照明装置８１及び映像表示素子８２の動作を制御する駆動制御部８４とを有する。

画像表示装置８０の照明装置８１は、赤、緑、及び青の３色を含む光を発生する光源や、この光源からの光を拡散させて矩形断面の光束にするバックライト導光部を有する。映像表示素子（映像素子）８２は、例えば液晶表示デバイスで形成され、複数の画素で構成されており、照明装置８１からの照明光を空間的に変調して動画像等の表示対象となるべき画像光を形成する。なお、図示を省略するが、駆動制御部８４は、照明装置８１に電力を供給して安定した輝度の照明光を射出させる光源駆動回路や、映像表示素子（映像素子）８２に対して画像信号又は駆動信号を出力することにより、透過率パターンとして動画や静止画の元になるカラーの映像光又は画像光を形成する液晶駆動回路で構成される。なお、液晶駆動回路に画像処理機能を持たせることができるが、外付けの制御回路に画像処理機能を持たせることもできる。

投射レンズ３０は、構成要素として、入射側光軸に沿って３つの光学素子であるレンズ３１〜３３を備える投射光学系であり、これらのレンズ（光学素子）３１〜３３を収納する鏡筒部３９によって支持されている。レンズ３１〜３３は、非軸対称な非球面（非軸対称非球面）と軸対称な非球面（軸対称非球面）との双方を含む非球面レンズであり、リレー光学系である導光部材１０の一部と協働して導光部材１０の内部に映像表示素子８２の表示像に対応する中間像を形成する。なお、各レンズ（光学素子）３１〜３３のうち、第１レンズ３１の光の射出面であるレンズ面３１ａは、非軸対称非球面となっており、レンズ面３１ａ以外のレンズ面については、軸対称非球面となっている。

以下、導光装置２０等について詳細に説明する。上述のように、導光装置２０は、導光部材１０と光透過部材５０とで構成されている。このうち、導光部材１０は、平面視において、鼻に近い中央側（眼前側）の部分が直線状に延びている。導光部材１０のうち、鼻に近い中央側つまり光射出側に配置されている第１導光部分１１は、光学的な機能を有する面として、第１面Ｓ１１と、第２面Ｓ１２と、第３面Ｓ１３とを有し、鼻から離れた周辺側つまり光入射側に配置されている第２導光部分１２は、光学的な機能を有する面として、第４面Ｓ１４と、第５面Ｓ１５とを有する。このうち、第１面Ｓ１１と第４面Ｓ１４とが連続的に隣接し、第３面Ｓ１３と第５面Ｓ１５とが連続的に隣接する。また、第１面Ｓ１１と第３面Ｓ１３との間に第２面Ｓ１２が配置され、第４面Ｓ１４と第５面Ｓ１５とは大きな角度を成して隣接している。さらに、ここでは、対向した配置となっている第１面Ｓ１１と第３面Ｓ１３とが互いに略平行な平面となっている。一方、光学的な機能を有する他の面、すなわち第２面Ｓ１２、第４面Ｓ１４及び第５面Ｓ１５は、非軸対称な曲面（自由曲面）となっている。

ここで、導光部材１０を構成する複数の面のうち、第１面Ｓ１１から第３面Ｓ１３までの面以外の面Ｓ１４，Ｓ１５については、少なくとも１つの自由曲面について、方向によって曲率の符号が異なっている点を少なくとも１つ含むものとなっている。これにより、映像光の導光を精密に制御しつつ、導光部材１０の小型化を可能にしている。

なお、導光装置２０において、導光部材１０は、光透過部材５０と接着層ＣＣを介して接合されており、導光部材１０及び光透過部材５０の接合面と、接着層ＣＣとで構成される部分を、接合部ＣＮとする。なお、導光装置２０は、導光部材１０及び光透過部材５０となるべき基材が接合部ＣＮで接合された上で、接合された基材をディップ処理によってコーティングされることで形成されている。つまり、導光部材１０のハードコート層２７は、光透過部材５０とともに導光装置２０全体に設けられている。

導光部材１０のうち本体１０ｓは、可視域で高い光透過性を示す樹脂材料で形成されており、例えば金型内に熱可塑性樹脂を注入・固化させることにより成形する。なお、本体１０ｓの材料としては、例えばシクロオレフィンポリマー等を用いることができる。本体１０ｓは、一体形成品とされているが、導光部材１０は、既に説明したように機能的に第１導光部分１１と第２導光部分１２とに分けて考えることができる。第１導光部分１１は、映像光ＧＬの導波及び射出を可能にするとともに、外界光ＨＬの透視を可能にする。第２導光部分１２は、映像光ＧＬの入射及び導波を可能にする。

第１導光部分１１において、第１面Ｓ１１は、映像光ＧＬを第１導光部分１１外に射出させる屈折面として機能するとともに、映像光ＧＬを内面側で全反射させる全反射面として機能する光学面である。第１面Ｓ１１は、眼ＥＹの正面に配されるものであり、既述のように、平面形状を成している。なお、第１面Ｓ１１は、本体１０ｓの表面に施されたハードコート層２７によって形成される面である。

第２面Ｓ１２は、本体１０ｓの表面であり、当該表面にハーフミラー層１５が付随している光学面であって非軸対称非球面である。このハーフミラー層１５は、光透過性を有する反射膜（すなわち半透過反射膜）である。ハーフミラー層（半透過反射膜）１５は、第２面Ｓ１２の全体ではなく、第２面Ｓ１２を主にＹ軸に沿った鉛直方向に関して狭めた部分領域（図示省略）上に形成されている。ハーフミラー層１５は、本体１０ｓの下地面のうち部分領域ＰＡ上に、金属反射膜や誘電体多層膜を成膜することにより形成される。ハーフミラー層１５の映像光ＧＬに対する反射率は、シースルーによる外界光ＨＬの観察を容易にする観点で、想定される映像光ＧＬの入射角範囲において１０％以上５０％以下とする。具体的な実施例のハーフミラー層１５の映像光ＧＬに対する反射率は、例えば２０％に設定され、映像光ＧＬに対する透過率は、例えば８０％に設定される。

第３面Ｓ１３は、映像光ＧＬを内面側で全反射させる全反射面として機能する光学面である。第３面Ｓ１３は、眼ＥＹの略正面に配されるものであり、第１面Ｓ１１と同様に、平面形状を成しており、かつ、第１面Ｓ１１と第３面Ｓ１３とが互いに平行な面であることにより、第１面Ｓ１１と第３面Ｓ１３とを通過させて外界光ＨＬを見たときに、視度が０になっており、特に、変倍も生じさせないものとなっている。なお、第３面Ｓ１３は、本体１０ｓの表面に施されたハードコート層２７によって形成される面である。

第２導光部分１２において、第４面Ｓ１４は、映像光ＧＬを内面側で全反射させる全反射面として機能する光学面であって非軸対称非球面である。第４面Ｓ１４は、映像光ＧＬを第２導光部分１２内に入射させる屈折面面としても機能する。すなわち、第４面Ｓ１４は、外部から導光部材１０に映像光ＧＬを入射させる光入射面と、導光部材１０の内部において映像光ＧＬを伝搬させる反射面としての機能を兼用している。なお、第４面（光入射面）Ｓ１４は、本体１０ｓの表面に施されたハードコート層２７によって形成される面である。

第２導光部分１２において、第５面Ｓ１５は、本体１０ｓの表面上に無機材料で形成される光反射膜ＲＭを成膜することで形成される光学面である。第５面Ｓ１５は、反射面として機能する非軸対称非球面である。

光透過部材５０は、既述のように導光部材１０と一体的に固定され１つの導光装置２０となっており、導光部材１０の透視機能を補助する部材（補助光学ブロック）である。光透過部材５０は、光学的な機能を有する側面として、第１透過面Ｓ５１と、第２透過面Ｓ５２と、第３透過面Ｓ５３とを有する。ここで、第１透過面Ｓ５１と第３透過面Ｓ５３との間に第２透過面Ｓ５２が配置されている。第１透過面Ｓ５１は、導光部材１０の第１面Ｓ１１を延長した面上にあり、第２透過面Ｓ５２は、当該第２面Ｓ１２に対して接着層ＣＣによって接合され一体化されている曲面であり、第３透過面Ｓ５３は、導光部材１０の第３面Ｓ１３を延長した面上にある。このうち第２透過面Ｓ５２と導光部材１０の第２面Ｓ１２とは、薄い接着層ＣＣを介しての接合によって一体化されるため、略同じ曲率の形状を有する。

光透過部材（補助光学ブロック）５０は、可視域で高い光透過性を示し、光透過部材５０の本体部分は、導光部材１０の本体１０ｓと略同一の屈折率を有する熱可塑性樹脂材料で形成されている。なお、光透過部材５０は、導光部材１０と同様、本体部分の表面にハードコート層２７が施されたものとなっている。つまり、第１透過面Ｓ５１と第３透過面Ｓ５３とは、本体部分の表面に施されたハードコート層２７によって形成される面である。

本実施形態では、導光部材１０の内部において、映像表示素子８２からの映像光を、非軸対称非球面である第２面Ｓ１２等を含む第１面Ｓ１１から第５面Ｓ１５までにおける５回の反射によって導光している。また、全体として眼前を覆う導光装置２０が第３面Ｓ１３や第３透過面Ｓ５３を第１露出面２０ａとして含み、かつ、これらに平行な第１面Ｓ１１や第１透過面Ｓ５１を第２露出面２０ｂとして含み、第２面Ｓ１２に沿ってハーフミラー層１５を内蔵する。この結果、映像光ＧＬの表示と外界光ＨＬの視認させるシースルーとを両立させ、かつ、導光部材１０において映像光ＧＬの収差の補正を行うことが可能になる。

以下、図５を参照して、虚像表示装置１００における映像光ＧＬ等の光路について具体的に説明する。映像表示素子（映像素子）８２から射出された映像光ＧＬは、投射レンズ３０を構成する各レンズ３１〜３３を通過することによって、収束されつつ、所期の非点収差が与えられ導光部材１０に設けた正の屈折力を有する第４面Ｓ１４に入射する。なお、この非点収差は、導光部材１０の各面を経る間に相殺されるものとなっており、最終的に初期の表示に対応する状態で観察者の眼に向けて映像光が射出される。

ここで、投射レンズ３０を含む光学装置部１３０の導光部材１０に対する配置について説明する。光学装置部１３０又は投射レンズ３０側の第１基準光軸ＡＸ１は、導光部材１０の光射出側の第２基準光軸ＡＸ２に対して５〜４５°傾斜している。ここで、第２基準光軸ＡＸ２は、観察者の顔の正面方向に対応するＺ方向に延びる視線基準軸に相当するものである。見方を変えれば、図６に示すように、投射レンズ３０側の第１基準光軸ＡＸ１は、眼ＥＹの並び方向に対応するＸ方向に平行な横基準軸ＡＸ３に対して鈍角αをなしている。この場合、横基準軸ＡＸ３は、第２基準光軸（視線基準軸）ＡＸ２と直交し、第１基準光軸ＡＸ１と第４面Ｓ１４との交点を通るものとする。このような前提の下で、第１基準光軸ＡＸ１と横基準軸ＡＸ３とが成す鈍角αは、９５°〜１３５°となっている。これにより、投射レンズ３０を含む第１像形成本体部１０５ａと、導光部材１０を含む導光装置２０とを顔面から側頭部に沿って配置する際のフィット性を高めることができ、結果的に装置の薄型化や軽量化も容易になる。なお、第１基準光軸ＡＸ１と横基準軸ＡＸ３とが成す鈍角αを９５°以上とすることにより、投射レンズ３０と導光部材１０との接続部が角張って顔面から突起することを防止できる。一方、両軸ＡＸ１，ＡＸ３の成す鈍角αを１３５°以下とすることにより、投射レンズ３０の先端や映像表示素子８２に対応する部分が顔面の側方又は横方向にはみ出すことを抑制できる。なお、映像表示素子８２に対応する部分等が顔面から突起することをより確実に防止する観点からは、両軸ＡＸ１，ＡＸ３の成す鈍角αを１０５°以下とする。つまり、第１基準光軸ＡＸ１と横基準軸ＡＸ３とが成す鈍角αを９５°〜１０５°とすることがより好ましい。

なお、第１基準光軸ＡＸ１及び横基準軸ＡＸ３は、図６の紙面に対応しＸＺ平面に沿って延びる基準平面ＨＭ上にある。基準平面ＨＭは、光学設計上の基準面であるが、図３（Ｃ）に示すように、前方に向けて若干下向きとなっている。これは、観察者にとって眼ＥＹを若干下向きとすることが自然であり、下向きの視線の方が眼ＥＹへの負担が少ないことを考慮したものである。

横基準軸ＡＸ３に対して、導光部材１０は、基準平面ＨＭに垂直なＹ軸のまわりの回転角に関して若干外向きに傾いている。具体的には、導光部材１０の第１面Ｓ１１又は第３面Ｓ１３は、横基準軸ＡＸ３に対して傾斜角βを成す。この結果、図３（Ａ）等に示すように、第１及び第２光学部材１０１ａ，１０１ｂは、先端側又は両者に挟まれた中央側で外向きに若干突出したような配置となっている。これにより、第１及び第２光学部材１０１ａ，１０１ｂを顔面に沿って配置する際のフィット性を高めることができる。

図５に戻って、映像光ＧＬの光路について説明すると、導光部材１０の第４面Ｓ１４に入射してこれを通過した映像光ＧＬは、収束しつつ進み、第２導光部分１２を経由する際に、比較的弱い正の屈折力を有する第５面Ｓ１５で反射され、第４面Ｓ１４に内側から再度入射して反射される。

第２導光部分１２の第４面Ｓ１４で反射された映像光ＧＬは、第１導光部分１１において、実質的に屈折力を有しない第３面Ｓ１３に入射して全反射され、実質的に屈折力を有しない第１面Ｓ１１に入射して全反射される。映像光ＧＬは、第３面Ｓ１３を通過する前後において、リレー光学系である導光部材１０中に中間像を形成する。この中間像の像面ＩＩは、映像表示素子８２の像面ＯＩに対応するものである。

第１面Ｓ１１で全反射された映像光ＧＬは、第２面Ｓ１２に入射するが、特にハーフミラー層１５に入射した映像光ＧＬは、このハーフミラー層１５を部分的に透過しつつも部分的に反射されて第１面Ｓ１１に再度入射して通過する。なお、ハーフミラー層１５は、ここで反射される映像光ＧＬに対して比較的強い正の屈折力を有するものとして作用する。また、第１面Ｓ１１は、これを通過する映像光ＧＬに対して屈折力を有しないものとして作用する。

第１面Ｓ１１を通過した映像光ＧＬは、観察者の眼ＥＹの瞳又はその等価位置に略平行光束として入射する。つまり、観察者は、虚像としての映像光ＧＬにより、映像表示素子（映像素子）８２上に形成された画像を観察することになる。

一方、外界光ＨＬのうち、導光部材１０の第２面Ｓ１２よりも＋Ｘ側に入射するものは、第１導光部分１１の第３面Ｓ１３と第１面Ｓ１１とを通過するが、この際、第３面Ｓ１３と第１面Ｓ１１とが互いに略平行な平面（つまり、互いに略平行な平面状の光学面）となっていることで、収差等をほとんど生じない。つまり、観察者は、導光部材１０越しに歪みのない外界像を観察することになる。同様に、外界光ＨＬのうち、導光部材１０の第２面Ｓ１２よりも−Ｘ側に入射するもの、つまり、光透過部材５０に入射したものは、これに設けた第３透過面Ｓ５３と第１透過面Ｓ５１とを通過する際に、第３透過面Ｓ５３と第１透過面Ｓ５１とが互いに略平行な平面となっていることで、収差等を生じない。つまり、観察者は、光透過部材５０越しに歪みのない外界像を観察することになる。さらに、外界光ＨＬのうち、導光部材１０の第２面Ｓ１２に対応する光透過部材５０に入射するものは、第３透過面Ｓ５３と第１面Ｓ１１とを通過する際に、第３透過面Ｓ５３と第１面Ｓ１１とが互いに略平行な平面となっていることで、収差等をほとんど生じない。つまり、観察者は、光透過部材５０越しに歪みの少ない外界像を観察することになる。なお、導光部材１０の第２面Ｓ１２と光透過部材５０の第２透過面Ｓ５２とは、略同一の曲面形状をともに有し、略同一の屈折率をともに有し、両者の隙間が略同一の屈折率の接着層ＣＣで充填されている。つまり、導光部材１０の第２面Ｓ１２や光透過部材５０の第２透過面Ｓ５２は、外界光ＨＬに対して屈折面として作用しない。

ただし、ハーフミラー層１５に入射した外界光ＨＬは、このハーフミラー層１５を部分的に透過しつつも部分的に反射されるので、ハーフミラー層１５に対応する方向からの外界光ＨＬは、ハーフミラー層１５の透過率に弱められる。その一方で、ハーフミラー層１５に対応する方向からは、映像光ＧＬが入射するので、観察者は、ハーフミラー層１５の方向に映像表示素子（映像素子）８２上に形成された画像とともに外界像を観察することになる。

導光部材１０内で伝搬されて第２面Ｓ１２に入射した映像光ＧＬのうち、ハーフミラー層１５で反射されなかったものは、光透過部材５０内に入射するが、光透過部材５０に設けた不図示の反射防止部によって導光部材１０に戻ることが防止される。つまり、第２面Ｓ１２を通過した映像光ＧＬが光路上に戻されて迷光となることが防止される。また、光透過部材５０側から入射してハーフミラー層１５で反射された外界光ＨＬは、光透過部材５０に戻されるが、光透過部材５０に反射防止部を設けることによって導光部材１０に射出されることが防止される。つまり、ハーフミラー層１５で反射された外界光ＨＬが光路上に戻されて迷光となることが防止される。

また、映像表示素子８２の周囲には右光学系駆動部８５（変更部）が配置される。右光学系駆動部８５は、例えばアクチュエーター（図示略）を備え、映像表示素子８２及び投射レンズ３０を含む光学装置部１３０を揺動させる。これにより、導光部材１０に対する光学装置部１３０の角度が、図中矢印ＳＡ１、ＳＡ２方向に変化する。光学装置部１３０がＳＡ１方向に傾くと、投射レンズ３０から導光部材１０に入射する映像光ＧＬの角度が変化する。すなわち、第１基準光軸ＡＸ１がＳＡ１側に傾くことにより、導光部材１０の内部における映像光ＧＬの反射角の変化により、眼ＥＹに入射する映像光ＧＬは、図中矢印ＳＡ２方向に移動する。図５の第１表示装置１００Ａは使用者の右眼に対応し、映像光ＧＬがＳＡ２方向に移動することにより、使用者には映像光ＧＬが右側に移動して見える。

これに対し、右光学系駆動部８５がＳＢ１方向に光学装置部１３０を揺動させると、映像光ＧＬの第１基準光軸ＡＸ１の導光部材１０に対する角度がＳＢ１側に変化する。これにより、導光部材１０における映像光ＧＬの反射角が変化して、眼ＥＹに入射する映像光ＧＬの光軸（第２基準光軸ＡＸ２）は矢印ＳＢ２側に変化する。このため、使用者の右眼には、映像光ＧＬが左側に移動して見える。

このように、第１表示装置１００Ａでは、右光学系駆動部８５が光学装置部１３０を動かすことで、使用者の右側の眼ＥＹに入射する映像光ＧＬを左右方向に動かすことができる。

また、第２表示装置１００Ｂには光学装置部１３０を動かす左光学系駆動部８７（図９）が設けられる。左光学系駆動部８７（変更部）は、上述した右光学系駆動部８５と同様に、アクチュエーター（図示略）等を動力源として備え、光学装置部１３０を揺動させることにより、導光部材１０に対する映像光ＧＬの傾きを変化させる。この左光学系駆動部８７の動作により、使用者の左眼に入射する映像光ＧＬの傾きを変化させ、映像光ＧＬを左右方向に動かすことができる。

図７は、観察者の視認距離と輻輳角を示す説明図であり、図７（Ａ）と図７（Ｂ）とは異なる視認距離を対比して示す。また、図７（Ｃ）は輻輳角β、瞳孔間距離ＰＤ、及び視認距離ｄの関係を示す図である。図８は輻輳角βと表示距離との関係について説明する図表である。
図７（Ａ）と図７（Ｂ）とを比較すると、図７（Ａ）の例は相対的に両眼ＥＹａ，ＥＹｂの近く（距離ｄ１）に物体ＯＢを置いて視認させる状態を示し、図７（Ｂ）は相対的に両眼ＥＹａ，ＥＹｂから遠く（距離ｄ２；ｄ２＞ｄ１）に物体ＯＢを置いて視認させる状態を示す。図７（Ａ）のように近い位置の物体ＯＢを視認する場合、両眼ＥＹａ，ＥＹｂは内側に寄るため、左右の眼ＥＹａ，ＥＹｂの視線がなす角である輻輳角βの値は大きくなる。これに対し、図７（Ｂ）に示すように、相対的に両眼ＥＹａ，ＥＹｂから遠くに物体ＯＢを置いて視認させると、輻輳角βの値は小さくなる。

本実施形態の虚像表示装置１００のように両眼視で画像を視認させる場合、表示対象と左右の眼のなす角である輻輳角が、映像光の距離感の把握に関して、重要な役割を持つ。観察者は、表示される画像に左右の視差による影響で輻輳角βが定まり、輻輳角βが大きくなれば画像が近くにあると感じ、輻輳角βが小さくなれば画像が遠くにあると感じる。例えば、図７（Ｃ）に示すように、観察者の瞳孔間距離ＰＤ（右眼と左眼の間の距離）を６５ｍｍと想定すると、画像の中心の１点すなわち主光線の方向の先にある１点として視認される虚像の中心点ＣＥに関する輻輳角βと映像光による虚像の想定位置から眼ＥＹａ，ＥＹｂの位置（眼想定位置ＥＹ）までの距離である表示距離ｄとの関係は、図８に示すようなグラフで表される。すなわち、図８において、横軸は、表示距離ｄ（ｍ）を示し、縦軸は輻輳角β（°）を示す。この場合、例えば、輻輳角βの値が１．０°であれば、表示距離ｄは、略４ｍ（又は約４ｍ）となり、輻輳角βの値が５．０°であれば、表示距離ｄは、数十ｃｍ程度となる。

観察者の距離感を定める輻輳角βは、上記のように、透過型表示装置１００において設定される視差（輻輳角β）によって定まる。虚像表示装置１００が画像を表示する場合の主光線のなす角、この画像を視認する観察者の眼の輻輳角に相当する。つまり、画像の表示位置を調整することで、観察者が画像を視認する場合の輻輳角に影響を与えることができる。このため、観察者が実物体を見る場合の輻輳角に合わせて、画像の表示位置等を調整することにより、実物体と同じ視認距離を感じさせることができる。
例えば、輻輳角βが１．０°〜５．０°の範囲内のいずれかの値になる状態に適した表示を行えば、観察者ＰＥが近くの実物体（対象物）ＯＢを視認する場合に好適である。この例では、観察者ＰＥが手元に対象物ＯＢを手に持った状態で、透過型表示装置１００からの映像光により想定表示位置にあるものとして視認される画像である虚像ＩＭを、対象物ＯＢとほぼ同じ位置で時折見ながら作業を行える。つまり、近い位置にある対象物ＯＢと同じように見える画像を表示できる。また、観察者ＰＥから離れた位置にある対象物ＯＢ観察者が見ながら画像を視認する場合、輻輳角βの値が５．０°より大きくなるよう調整するなど、多彩な表示が可能となる。つまり、多種多様である作業現場での使用態様のうちの多くの場合において、上記範囲のいずれかに視差すなわち輻輳角βの値を使用態様に合わせて適宜設定することで、適切な距離感の拡張現実感（ＡＲ）の世界を観察者に体験させることが可能となる。

また、例えば、映画鑑賞といった比較的遠くにある画像を眺める状態の映像光を視認させることを想定した場合、表示距離を遠くにするような使用態様（例えばｄ＝２５ｍ程度）で表示することができる。この場合、輻輳角β値は、例えば０．１５°程度となる）とすることが考えられる。このような態様の場合、リラックスした状態で映像を眺めるという使用には適するといえる。
そして、本実施形態では、上記のように左右一対の表示装置１００Ａ，１００Ｂを傾けて配置した光学的構造を有することにより左右の映像光について主光線を傾けて左右の画像に視差を設けている。これにより、視差の設定角度に応じて、例えば図５（Ａ）等に示すように虚像ＩＭを観察者の手元にある実物体ＭＡとほぼ同じ位置とすることができる。さらには、同じ位置に重なるように視認させることも可能であり、拡張現実（ＡＲ）への対応ができる。また、この場合において、視差に応じて主光線ＰＲａ，ＰＲｂを傾けていることで観察者の眼の輻輳角の状態が無理なく自然に目的とする表示位置に合うものとなる。さらに、左右一対の表示装置１００Ａ，１００Ｂにおいて、焦点距離を調整し、視認される虚像ＩＭの画像表示位置を、視差を示す角θの値に対応する表示距離ｄに合わせていることで、輻輳角と調節とが合致していないいわゆる輻輳角と調節の矛盾の問題も回避又は抑制される。

また、図８に示すように、観察者の視認距離が長くなるほど輻輳角βが０に近づき、例えば視認距離が１５ｍの場合の輻輳角は０．３°である。つまり、輻輳角βが０．３°以下の場合に、視認距離は１５ｍ以上に感じられる。この場合、観察者は、それ以上の視認距離の変化を感じにくいため、輻輳角βが０．３°以下の場合は、輻輳角はほぼゼロであると見なしてよい。本実施形態では、制御部１４０は、虚像表示装置１００によって画像を左右の視差を有さない態様で観察者の右眼及び左眼のそれぞれに対応して表示することができるが、この場合の輻輳角はほぼゼロとされる。具体的には、０．３°以下であり、０．３°以下０．０°以上と言うこともできる。

図１及び図３（Ｂ）に示すように、虚像表示装置１００は、使用者（観察者）の視線方向を撮像する外カメラ３５、３６（第２撮像部、外部撮像部）を備える。外カメラ３５は、虚像表示装置１００の右側すなわち第１表示装置１００Ａ側の端部に位置する第１像形成本体部１０５ａに埋込設置され、外装部材１０５ｄにおいて露出する。また、外カメラ３６は、虚像表示装置１００の左側すなわち第２表示装置１００Ｂ側の端部に位置する第２像形成本体部１０５ｂに埋込設置され、外装部材１０５ｄにおいて露出する。

外カメラ３５、３６は虚像表示装置１００の表側（外側）の露出面に配置され、使用者の顔の略正面方向を向いており、使用者が導光部材１０を透過して視認する外景を撮像する。外カメラ３５、３６の撮像範囲すなわち画角は、虚像表示装置１００を装着した状態における使用者の視界方向の少なくとも一部の外景を撮影できればよい。また、外カメラ３５、３６の画角が、導光部材１０を透過して使用者に見える視界の全体を撮影できるように設定されていると、より好ましい。別の言い方をすれば、外カメラ３５、３６の撮像範囲すなわち画角は、使用者の視線方向を含む方向であることが好ましい。

外カメラ３５、３６は、制御装置３００が内蔵する制御部１４０（図９）に接続され、制御部１４０の制御に従って撮像を実行し、撮像画像データを出力する。外カメラ３５と外カメラ３６とは、枠部１０２において左右に離れて配置されるため、外カメラ３５の撮像画像と外カメラ３６の撮像画像との間には視差が生じる。従って、外カメラ３５、３６をステレオカメラとして使用し、外カメラ３５の撮像画像と外カメラ３６の撮像画像とに基づき、奥行き方向における情報を取得することができる。

虚像表示装置１００は、図４に示すように、使用者の眼を向く側、すなわち裏側（内側）の露出面に、４つの内カメラ、３７ａ、３７ｂ、３８ａ、３８ｂ（第１撮像部）を備える。内カメラ３７ａ、３７ｂは使用者の右眼に対応して第１表示装置１００Ａに設けられ、内カメラ３８ａ、３８ｂは使用者の左眼に対応して第２表示装置１００Ｂに設けられる。内カメラ３７ａ、３８ａは鼻受部４０の近傍に配置され、内カメラ３７ｂ、３８ｂは枠部１０２の端部に配置される。

内カメラ３７ａは使用者の右眼を左側上方から撮像し、内カメラ３７ｂは使用者の右眼を右側上方から撮像する。また、内カメラ３８ａは使用者の左眼を右側上方から撮像し、内カメラ３８ｂは使用者の左眼を左側上方から撮像する。

内カメラ３７ａ、３７ｂ、３８ａ、３８ｂは、それぞれ、後述する制御装置３００の制御部１４０（図９）に接続され、制御部１４０の制御に従って撮像を実行し、撮像画像データを出力する。内カメラ３７ａ、３７ｂ、３８ａ、３８ｂは使用者の眼球を撮像するので、この撮像画像を用いて、眼球運動の検出及び計測を行い、使用者の視線方向、及び輻輳角を求めることができる。

眼球を撮像することにより眼球運動を検出し、視線方向を計測する技術は、例えば、撮像画像から眼球に反射する反射像を検出して視線方向を計測する方法がある。また、例えば、撮像画像から眼球の瞳孔中心を検出して注視方向を求める方法がある。また、虚像表示装置１００の裏側の露出面に、眼球に対して赤外光を照射する発光素子（図示略）を設け、眼球表面における反射光を内カメラ３７ａ、３７ｂ、３８ａ、３８ｂで検出し、注視方向を求める方法もある。

本実施形態では一例として、制御部１４０が、内カメラ３７ａ、３７ｂ、３８ａ、３８ｂの撮像画像から使用者の右眼および左眼のそれぞれについて、下記（１）〜（３）の処理を実行する。
（１）瞳孔中心を検出して瞳孔間距離を求める処理。
（２）瞳孔に現れる虹彩の模様を検出して瞳孔径を求める処理。
（３）瞳孔中心を検出して注視方向を求める処理。

続いて、制御装置３００の構成について説明する。
制御装置３００は、ＨＭＤ１を制御するための装置である。制御装置３００は、図１に示すように、略箱形の筐体に、ＨＭＤ１の電源をオン／オフする電源スイッチ３０１と、使用者が操作するトラックパッド３０２及びキースイッチ部３０３とを備える。また、制御装置３００は、ＨＭＤ１の動作状態を示すＬＥＤ（Light Emitting Diode）インジケーター３０４、右イヤホン３２、左イヤホン３４から出力する音量の調整等を行うための上下キー３０５を備える。

電源スイッチ３０１はスライド式のスイッチであり、電源スイッチ３０１の操作により制御装置３００の電源だけでなく虚像表示装置１００の電源がオン／オフされる。
トラックパッド３０２は、トラックパッド３０２の操作面上での使用者の接触操作を検出して、検出した操作位置を示す操作データを出力する。トラックパッド３０２としては、静電式や圧力検出式、光学式といった種々のトラックパッドを採用できる。また、複数の点におけるタッチ操作を同時に検出可能なマルチタッチ方式を採用してもよい。

図９は、ＨＭＤ１を構成する各部の機能ブロック図である。
図９に示すように、ＨＭＤ１は、インターフェイス１１４を介して外部機器ＯＡに接続される。インターフェイス１１４は、制御装置３００に対して、コンテンツの供給元となる種々の外部機器ＯＡを接続する。インターフェイス１１４としては、例えば、ＵＳＢインターフェイス、マイクロＵＳＢインターフェイス、メモリーカード用インターフェイス等の有線接続に対応したインターフェイスを用いることができる。
外部機器ＯＡは、ＨＭＤ１に画像を供給する画像供給装置として用いられ、例えば、パーソナルコンピューター（ＰＣ）や携帯電話端末、ゲーム端末等が用いられる。

制御装置３００は、制御部１４０と、操作部１３５と、入力情報取得部１１０と、記憶部１２０と、送信部（Ｔｘ）５１及び送信部（Ｔｘ）５２とを有している。

操作部１３５は、使用者による操作を検出する。操作部１３５は、図１に示した電源スイッチ３０１、トラックパッド３０２、キースイッチ部３０３、及び上下キー３０５を含む。入力情報取得部１１０は、使用者による操作入力に対応して操作部１３５が出力する操作信号あるいは操作データを取得する。

記憶部１２０は、不揮発性の記憶装置であって、種々のコンピュータープログラムを格納している。また、記憶部１２０には、ＨＭＤ１の虚像表示装置１００に表示する画像データが格納されていても良い。また、制御部１４０が、記憶部１２０に記憶されるプログラムを実行することにより、虚像表示装置１００が表示する表示データを生成してもよい。

制御部１４０には、３軸センサー１１３、ＧＰＳ１１５、及び通信部１１７が接続される。３軸センサー１１３は３軸の加速度センサーであり、３軸センサー１１３の検出値を制御部１４０が取得可能である。ＧＰＳ１１５は、アンテナ（図示略）を備え、ＧＰＳ（Global Positioning System）信号を受信し、制御装置３００の現在位置を求める。ＧＰＳ１１５は、ＧＰＳ信号に基づいて求めた現在位置や現在時刻を制御部１４０に出力する。ＧＰＳ１１５はＧＰＳ信号に含まれる情報に基づいて現在時刻を取得し、制御装置３００の制御部１４０が計時する時刻を修正させる機能を備えてもよい。

通信部１１７は、無線ＬＡＮ（ＷｉＦｉ（登録商標））や、Ｍｉｒａｃａｓｔ（登録商標）等の無線通信の規格に準じた無線データ通信を実行する。また、通信部１１７は、Ｂｌｕｅｔｏｏｔｈ（登録商標）や、Ｂｌｕｅｔｏｏｔｈ Ｌｏｗ Ｅｎｅｒｇｙ、ＲＦＩＤ、Ｆｅｌｉｃａ（登録商標）等の近距離無線通信の規格に準じた無線データ通信を実行することも可能である。

外部機器ＯＡが、通信部１１７に無線接続された場合、制御部１４０は、コンテンツデータを通信部１１７より取得して、虚像表示装置１００に画像を表示するための制御を行う。一方、外部機器ＯＡが、インターフェイス１１４に有線接続された場合には、制御部１４０は、コンテンツデータをインターフェイス１１４より取得して、虚像表示装置１００に画像を表示するための制御を行う。よって、通信部１１７及びインターフェイス１１４を、以下総称してデータ取得部ＤＡと呼ぶ。
データ取得部ＤＡは、外部機器ＯＡからコンテンツデータを取得する。データ取得部ＤＡは、ＨＭＤ１が表示する画像のデータを、外部機器ＯＡから取得する。

制御部１４０は、ＣＰＵ、ＲＯＭ、ＲＡＭ（いずれも図示略）等を備える。制御部１４０は、記憶部１２０またはＲＯＭに記憶したプログラムを読み出して実行することにより、ＨＭＤ１の各部を制御する。また、制御部１４０は、上記プログラムを実行して、オペレーティングシステム（ＯＳ）１５０、画像処理部１６０、表示制御部１７０、撮像制御部１８１、眼画像解析部１８２、外画像解析部１８３、変更制御部１８４、駆動制御部１８５、及び音声処理部１９０として機能する。

画像処理部１６０は、コンテンツに含まれる画像信号を取得する。画像処理部１６０は、コンテンツに含まれる画像を表示するための垂直同期信号ＶＳｙｎｃ、水平同期信号ＨＳｙｎｃ等の同期信号、クロック信号ＰＣＬＫ、及びディジタル画像データ（図中、Ｄａｔａ）を送信部５１により送信する。また、画像処理部１６０は、必要に応じて、画像データに対して、解像度変換処理や、輝度、彩度の調整といった種々の色調補正処理、キーストーン補正処理等の画像処理を実行してもよい。送信部５１、５２は、制御装置３００と虚像表示装置１００との間におけるシリアル伝送のためのトランシーバーとして機能する。

表示制御部１７０は、虚像表示装置１００が備える画像表示装置８０に対して制御信号を送信する。表示制御部１７０は、画像表示装置８０が備える右バックライト２２１、左バックライト２２２の点灯を制御する右バックライト制御部２０１及び左バックライト制御部２０２に対して制御信号を送信する。また、表示制御部１７０は、映像表示素子８２を駆動する右駆動制御部２１１及び左駆動制御部２１２に対し制御信号を送信する。
右バックライト制御部２０１及び左バックライト制御部２０２は、表示制御部１７０から受信する制御信号に従って、右バックライト２２１及び左バックライト２２２のそれぞれに対し、点灯、消灯の制御および発光輝度の制御を行う。右バックライト２２１及び左バックライト２２２は、例えば、ＬＥＤやエレクトロルミネセンス（ＥＬ）等の発光体であり、レーザー光源やランプを用いて構成してもよい。

また、右駆動制御部２１１及び左駆動制御部２１２は、それぞれ、表示制御部１７０から受信する制御信号に従って、映像表示素子８２の駆動のオン／オフを切り替える。従って、表示制御部１７０の制御により、第１表示装置１００Ａ、第２表示装置１００Ｂにおけるバックライトの点灯／消灯や、映像表示素子８２による画像の表示が制御される。

音声処理部１９０は、コンテンツに含まれる音声信号を取得し、取得した音声信号を増幅して、オーディオケーブル４６により右イヤホン３２及び左イヤホン３４に出力する。
また、音声処理部１９０は、マイク６３により集音された音声をディジタルデータに変換する。音声処理部１９０は、ディジタル音声データから特徴を抽出してモデル化することにより、例えば話者認識処理や音声認識処理を実行する。話者認識処理では、マイク６３が集音する音声から人間の声を検出し、検出した人間の声を人毎に識別して、声ごとに話している人間を特定する。また、音声認識処理では、例えば、マイク６３が集音した音声をテキストに変換するテキスト変換を行う。

虚像表示装置１００は、上述したように、第１表示装置１００Ａ及び第２表示装置１００Ｂのそれぞれに、投射透視装置７０、画像表示装置８０を備え、画像表示装置８０がインターフェイス２５を介して制御部１４０に接続される。
また、虚像表示装置１００が備える外カメラ３５、３６、内カメラ３７ａ、３７ｂ、３８ａ、３８ｂ、右光学系駆動部８５、及び左光学系駆動部８７は、インターフェイス２５を介して制御部１４０に接続される。

インターフェイス２５は、接続ケーブル４１、及び、接続ケーブル４１を接続するコネクター等で構成され、接続ケーブル４１に代えて無線通信回線により構成してもよい。インターフェイス２５は、送信部５１により送信されるクロック信号ＰＣＬＫ、垂直同期信号ＶＳｙｎｃ、水平同期信号ＨＳｙｎｃ、画像データＤａｔａを、対応する受信部（Ｒｘ）５３、５４に出力する。また、インターフェイス２５は、表示制御部１７０が送信する制御信号を、受信部５３、５４、及び画像表示装置８０に出力する。
また、インターフェイス２５は、制御部１４０が外カメラ３５、３６、内カメラ３７ａ、３７ｂ、３８ａ、３８ｂを制御する制御信号、及び、これらカメラの撮像画像データを送受信する。

また、図示はしないが、虚像表示装置１００は、振動センサーや動きセンサー（モーションセンサー）を備えてもよい。振動センサー（図示略）は、例えば、加速度センサーを利用して構成され、使用者が枠部１０２を叩く操作（ノック操作）を行った場合に、この操作による振動を検出する。また、動きセンサーとしては、加速度センサー、角速度センサー、地磁気センサー等を用いることができる。例えば、加速度センサー（３軸）、角速度センサー（３軸）及び地磁気センサー（３軸）として機能する９軸センサーを実装してもよい。この場合、虚像表示装置１００の動き、すなわち虚像表示装置１００を装着した使用者の頭の動きや方向を、制御部１４０で検出できる。これら振動センサー及び動きセンサーは、インターフェイス２５を介して制御装置３００に接続される。
受信部５３、５４は、制御装置３００と虚像表示装置１００との間におけるシリアル伝送のためのレシーバーとして機能する。

ＨＭＤ１は、虚像表示装置１００を装着する使用者の視線方向（注視方向）に対応して、虚像表示装置１００で表示する画像の表示態様を調整する機能を具備する。
図１０及び図１１は画像の表示態様の調整方法を示す説明図であり、これら図１０及び図１１を参照して、画像の表示態様の調整に関して説明する。

図１０（Ａ）は使用者の注視距離と輻輳角を示す模式図である。
使用者が導光部材１０を透過して外景すなわち実空間に位置する対象物ＯＢを視認する場合、対象物ＯＢと眼ＥＹとの距離（注視距離）により、左右の眼の輻輳角ＣＡが変化する。図１０（Ａ）の左の例は対象物ＯＢが遠方にある状態を示し、同図右側の例は、対象物ＯＢがより近い位置にある状態を示す。

人間の眼球運動として、両眼で一つの対象物ＯＢを注視する場合に、視線が両眼の中央寄りに移動する、いわゆる眼球輻輳運動が知られている。図に示すように、使用者の右眼（図中、ＥＹ（Ｒ））と左眼（図中、ＥＹ（Ｌ））の視線（図中一点鎖線）が対象物ＯＢで交差すると考えると、その交差する角度ＣＡが輻輳角に相当する。輻輳角ＣＡは、注視する対象が遠いほど小さく、近いほど大きくなる。言い換えれば、対象物ＯＢが近いほど、使用者の両眼の視線は中央よりになる。

使用者の右眼ＥＹの視線が導光部材１０と交わる位置を位置１０ａとし、左眼ＥＹの視線が導光部材１０と交わる位置を位置１０ｂとする。位置１０ａ−位置１０ｂ間の距離は、上述した輻輳角ＣＡの大きさと同様、眼ＥＹから対象物ＯＢまでの距離により変化する。つまり、位置１０ａ−位置１０ｂ間の距離は輻輳角ＣＡと相関を有し、具体的には、輻輳角ＣＡが大きいほど位置１０ａ−位置１０ｂ間の距離が小さく、輻輳角ＣＡが小さいほど位置１０ａ−位置１０ｂ間の距離が大きい。

さらに、位置１０ａ−位置１０ｂ間の距離は、使用者の両眼の瞳孔間距離に影響される。瞳孔間距離は、内カメラ３７ａ、３７ｂ、３８ａ、３８ｂの撮像画像に基づいて求めることができる。

ＨＭＤ１は、使用者が導光部材１０を透過して外景を視認する場合に、外景と重なって視認される画像を表示する。この表示の一態様として、実空間である外景に関する情報を提供する、いわゆるＡＲ（Augmented Reality）効果を奏する画像（以下、ＡＲ画像という）を表示することができる。ＡＲ画像は、実空間に存在する対象物に関する情報を、対象物と重なって、或いは対象物と並ぶように表示される。ＡＲ画像を見ることで、使用者は、対象物と、対象物に関する各種の情報とを同時に見ることができる。ＡＲ画像の表示は、使用者にとって対象物が見える位置に合わせて表示することが特徴である。
ＡＲ表示を行う場合、使用者の視線は、実空間に存在する対象物ＯＢを注視する。

ＡＲ表示を行う場合、ＨＭＤ１は、ＡＲ画像を外景に調和させるために、ＡＲ画像またはＡＲ画像に含まれる表示オブジェクト（画像、図形、文字等）の表示サイズ、表示色等を調整できる。また、対象物ＯＢに重なって表示される表示オブジェクトを、対象物ＯＢの前に重なるように表示する表示態様と、対象物ＯＢの後ろに重なって視認されるように表示する表示態様とを切り替えてもよい。また、ＡＲ画像に画像処理を施して、表示オブジェクトに影が付いたように視認される表示態様で表示してもよい。

また、使用者が導光部材１０を透過して外景を視認する場合にＨＭＤ１が表示する別の態様として、使用者が注視する対象物に関する情報に限らず、様々な画像や文字等を含む画像を表示することがある。この場合、使用者にとって対象物が視認される位置に合わせる処理は行われないか、或いは、対象物の視認を妨げないように、使用者の視界の端等に画像を表示する。この種の表示は、例えば、使用者が文書の内容を見ながら、外景を視認するような場合に行われる。この表示を行う場合も、使用者の視線は、実空間に存在する対象物ＯＢを注視し、ＨＭＤ１の表示画像を見る場合に、視線が対象物ＯＢから離れて表示画像が注視される。

上記のいずれの例においても、使用者は、実空間の対象物ＯＢを見て、必要に応じてＨＭＤ１の表示画像を見る。使用者が対象物ＯＢを注視するときの視線は導光部材１０において位置１０ａ、１０ｂを通る。ＨＭＤ１が虚像表示装置１００により画像を表示する位置が、位置１０ａ、１０ｂに合わせた位置であれば、使用者は、対象物ＯＢを見るときとＨＭＤ１の表示画像を見るときとで、視線を大きく動かす必要がない。
そこで、ＨＭＤ１は、使用者が視線を大きく動かさずに表示画像を見ることができるように、使用者が注視する外景の対象物ＯＢまでの距離（注視距離）に応じて、表示態様を制御する。本実施形態では表示態様の制御の一例として、使用者が表示画像を見る（視認する）位置、すなわち表示位置を制御する場合を説明する。

図１０（Ｂ）は使用者の両眼の視野を模式的に示す図である。図の左には、左の眼ＥＹの視野ＶＲ（Ｌ）を示し、図の右には、右の眼ＥＹの視野ＶＲ（Ｒ）を示す。
使用者の視野ＶＲ（Ｌ）及び視野ＶＲ（Ｒ）には、画像表示装置８０が生成し投射透視装置７０により投射する表示画像ＰＬ、ＰＲがある。投射透視装置７０は映像光ＧＬを眼ＥＹに入射させることで虚像を使用者に知覚（視認）させるものであるから、眼ＥＹの前に表示画像ＰＬ、ＰＲを表示する物理的な表示面はない。しかしながら、使用者にとっては、映像光ＧＬにより、視野ＶＲ（Ｌ）、ＶＲ（Ｒ）の一部を占める画像を視認するので、ここでは模式的に映像光ＧＬが表示画像ＰＬ、ＰＲを形成するものとして説明する。

表示画像ＰＬ、ＰＲは虚像表示装置１００が画像を表示可能な最大の領域であって、表示可能領域ということができる。図中の画像Ｐ１は、虚像表示装置１００が表示可能範囲である表示画像ＰＬ、ＰＲに、実際に表示する画像である。図１０（Ｂ）の例では使用者の両眼に同じ画像Ｐ１を視認させる。

視野ＶＲ（Ｌ）における画像Ｐ１が位置１０ｂに近く、視野ＶＲ（Ｒ）における画像Ｐ１が位置１０ａに近いと、使用者は、対象物ＯＢと画像Ｐ１とを、視線を大きく動かすことなく視認できる。この場合、使用者の視線の奥行き方向（遠近方向）における動きが小さいため、使用者には、遠近方向の焦点調節に係る眼の負担がかかりにくい。従って、実空間の対象物ＯＢと、虚像表示装置１００の表示画像とを、例えば交互に見る場合に、使用者の視力に対する負荷を、効果的に軽減できる。

以下、ＨＭＤ１が実行する表示制御について具体的に説明する。
図１１（Ａ）は、機械的動作により表示位置を調整する動作を示し、図１１（Ｂ）、（Ｃ）は画像処理により表示位置を調整する動作を示す。

制御部１４０は、上述した右光学系駆動部８５及び左光学系駆動部８７ことにより、第１表示装置１００Ａと第２表示装置１００Ｂにおいて、導光部材１０に対する光学装置部１３０の角度を変更できる。右光学系駆動部８５の動作により、導光部材１０から右眼ＥＹに入射する映像光ＧＬの位置が変化するので、視野ＶＲ（Ｒ）における表示画像ＰＲすなわち表示可能領域が移動する。同様に、左光学系駆動部８７の動作により、導光部材１０から左眼ＥＹに入射する映像光ＧＬの位置が変化するので、視野ＶＲ（Ｌ）における表示画像ＰＬすなわち表示可能領域が移動する。表示画像ＰＬ、ＰＲが移動すると、表示画像ＰＬ、ＰＲのそれぞれにおける画像Ｐ１の位置を変化させなくても、使用者が画像Ｐ１を視認する位置を変化させることができる。また、図１１（Ａ）に示すように、位置１０ａ−位置１０ｂ間（図１０（Ａ））の距離に合わせて表示画像ＰＬ、ＰＲを調整するので、視野ＶＲ（Ｌ）における表示画像ＰＬの移動方向と、視野ＶＲ（Ｒ）における表示画像ＰＲの移動方向は逆である。従って、右光学系駆動部８５が光学装置部１３０を動かす方向と、左光学系駆動部８７が光学装置部１３０を動かす方向とは互いに逆である。

制御部１４０は、表示画像ＰＬで画像Ｐ１を表示する位置、及び、表示画像ＰＲで画像Ｐ１を表示する位置を画像処理により変更することができる。この画像処理は、右光学系駆動部８５及び左光学系駆動部８７を動かす制御とは独立して実行でき、例えばソフトウェアで実現できる。

表示画像ＰＬ、ＰＲにおける画像Ｐ１の位置を動かす場合、制御部１４０は、画像Ｐ１の表示サイズを、表示画像ＰＬ、ＰＲより小さくする。ここで、制御部１４０は、画像Ｐ１を縮小してもよいが、画像Ｐ１の一部を切り出して表示用の画像Ｐ２を生成し、画像Ｐ２の表示位置を制御してもよい。画像Ｐ２を切り出す処理は画像処理部１６０（画像生成部）が行えば良い。
例えば、図１１（Ｂ）に示すように、画像Ｐ１の中央寄りの部分を切り出して画像Ｐ２とし、図１１（Ｃ）に示すように、表示画像ＰＬ、ＰＲのそれぞれに画像Ｐ２を表示する。表示画像ＰＬ、ＰＲにおける画像Ｐ２の表示位置は、位置１０ａ−位置１０ｂ間（図１０（Ａ））の距離に合わせて調整される。従って、表示画像ＰＬにおける画像Ｐ２の移動方向と、表示画像ＰＲにおける画像Ｐ２の移動方向は逆である。

このように、制御部１４０は、右光学系駆動部８５及び左光学系駆動部８７を用いて投射透視装置７０及び画像表示装置８０の構成部品を動かす機械的な調整、及び、画像処理による表示位置の調整を、それぞれ実行できる。また、この機械的な調整と画像処理による調整とを組み合わせて実行することで、より効果的に表示位置を調整できる。

また、制御部１４０が、図１１（Ａ）〜（Ｃ）に示す表示態様（表示位置）の制御を行わない初期状態では、所定の輻輳角ＣＡの値に適するように、表示画像ＰＬ、ＰＲの位置が設定される。この初期位置（デフォルト位置）が対応する輻輳角ＣＡは、例えば、１°（度）以上かつ５°以下の範囲にあり、より具体的には、使用者の眼ＥＹから対象物ＯＢまでの距離が４ｍの場合に適した位置となっている。
別の例では、使用者の両眼の視線が真正面を向く場合（対象物ＯＢまでの距離が無限遠）に比べ、視線方向が０．２°〜２°、内側にあることが好ましい。この場合、使用者の瞳孔間距離（ＰＤ）の標準値として６５ｍｍを採用できる。

上記の調整を行うため、制御部１４０は、撮像制御部１８１、眼画像解析部１８２、外画像解析部１８３、変更制御部１８４、及び駆動制御部１８５を備える。

撮像制御部１８１は、外カメラ３５、３６、及び、内カメラ３７ａ、３７ｂ、３８ａ、３８ｂをそれぞれ制御して撮像を実行させ、撮像画像データを取得する。
眼画像解析部１８２は、内カメラ３７ａ、３７ｂの撮像画像データを解析して、虚像表示装置１００を装着した使用者の右眼ＥＹの状態に関するデータを生成する。また、眼画像解析部１８２は、内カメラ３８ａ、３８ｂの撮像画像データを解析して、使用者の左眼ＥＹの状態に関するデータを生成する。

外画像解析部１８３は、外カメラ３５、３６の撮像画像データを解析することにより、使用者が注視する方向に存在する対象物ＯＢを検出し、対象物ＯＢまでの距離を求める。外カメラ３５、３６は上述のように互いに離隔したステレオカメラとして機能する。外画像解析部１８３は、外カメラ３５の撮像画像と、外カメラ３６の撮像画像との視差を検出し、検出した視差と、予め設定された外カメラ３５、３６の間隔とをもとに、演算処理を実行し、対象物ＯＢまでの距離を求めることができる。外画像解析部１８３が求める距離は、外カメラ３５、３６から対象物ＯＢまでの距離であってもよい。また、求めた距離を既知のパラメーターを用いて、使用者の眼ＥＹから対象物ＯＢまでの距離に変換してもよい。
さらに、外画像解析部１８３は、眼画像解析部１８２が生成する使用者の両眼の状態に関するデータと、外画像解析部１８３が求めた対象物ＯＢまでの距離とに基づいて、輻輳角ＣＡを算出する。

変更制御部１８４は、外画像解析部１８３が算出した輻輳角ＣＡに応じて、第１表示装置１００Ａ及び第２表示装置１００Ｂにおける画像の表示位置を調整する。変更制御部１８４は、第１表示装置１００Ａと第２表示装置１００Ｂのそれぞれにおける調整量を求める。ここで、変更制御部１８４は、右光学系駆動部８５、左光学系駆動部８７を用いた機械的調整の調整量と、画像処理による調整量とを個別に求めることができる。また、変更制御部１８４は、機械的調整と画像処理とを組み合わせる場合の、機械的調整の調整量と画像処理の調整量とを求めることができる。
また、変更制御部１８４は、右光学系駆動部８５及び左光学系駆動部８７の動きによる調整量を求め、駆動制御部１８５に調整を実行させた後、再び輻輳角ＣＡを求めさせてもよい。この場合、変更制御部１８４は、機械的調整の後に外画像解析部１８３が求める輻輳角ＣＡに基づき、画像処理の調整量を求める。

変更制御部１８４が求める調整量は、予め設定された画像の表示位置である標準位置から、表示位置をシフトさせるシフト量とすることができる。標準位置は、例えば、瞳孔間距離が標準的なサイズの使用者が、標準的な注視距離すなわち輻輳角で外景を見る場合を想定して決定され、設定データ１２１に含めて記憶部１２０に記憶される。瞳孔間距離（眼間距離）は、６０ｍｍ〜６５ｍｍが標準的な値とされるため、例えば６５ｍｍに設定できる。標準的な注視距離は虚像表示装置１００の仕様に合わせて決定でき、例えば一般作業に用いられる仕様では４ｍ、近位置（手元など）の作業に用いられる仕様では１ｍ等に設定すれば良い。シフト量は、映像表示素子８２における画素数や、駆動制御部１８５が駆動する駆動量として決定できる。例えば、注視距離が近く輻輳角が大きい場合には、標準位置よりも表示位置を内側（鼻側）にシフトさせれば良い。

駆動制御部１８５は、変更制御部１８４が求める機械的調整の調整量に基づき、右光学系駆動部８５と左光学系駆動部８７とをそれぞれ制御して駆動させる。
右光学系駆動部８５は、光学装置部１３０を、例えば段階的に揺動させることができる。左光学系駆動部８７も同様である。この場合、駆動制御部１８５は、右光学系駆動部８５、左光学系駆動部８７を動かす段数を制御する。また、右光学系駆動部８５及び左光学系駆動部８７が無段階で光学装置部１３０を傾けることが可能な場合、変更制御部１８４は、右光学系駆動部８５及び左光学系駆動部８７の動作量を制御する。

制御部１４０の眼画像解析部１８２、外画像解析部１８３、及び変更制御部１８４が実行する演算処理に用いる演算式、関数、行列、パラメーター等は、記憶部１２０に設定データ１２１として記憶される。また、後述する処理における調整可能範囲の基準値や、目標精度の設定値は、調整基準データ１２３として記憶部１２０に記憶される。

さらに、制御部１４０による調整は、例えば、画像Ｐ１、Ｐ２の表示位置に適合する輻輳角ＣＡが、使用者の視線に基づき算出した輻輳角ＣＡに対し、±１°となることを目標に行うことが、好ましい。ここで、画像Ｐ１、Ｐ２の表示位置は、例えば、画像Ｐ１、Ｐ２の中心の位置とする。

なお、図１０（Ａ）では使用者の両眼の中央に対象物ＯＢがある場合、すなわち、使用者が両眼の中心に対象物ＯＢが位置するように、頭を向けて視認する例を示している。使用者の右眼、或いは左眼のいずれか一方が明らかに利き眼である場合には、対象物ＯＢの位置は、右眼ＥＹと左眼ＥＹの中央位置から利き眼側にずれた位置となる。
この場合、外画像解析部１８３は、利き眼の側に偏った対象物ＯＢを検出し、利き眼を基準とする対象物ＯＢまでの距離を算出し、輻輳角ＣＡを算出することが可能な構成としてもよい。また、利き眼を基準とする演算処理に適した演算式、関数、行列、パラメーター等を設定データ１２１に含めてもよい。また、使用者の操作により利き眼を指定する構成としてもよく、利き眼の入力を求める案内メッセージ等を虚像表示装置１００により表示してもよい。また、虚像表示装置１００の画像の表示と、制御装置３００における操作とによって利き眼を判定する処理を行ってもよい。

この場合、制御部１４０は、使用者の利き眼に合わせて画像の表示位置を調整することもできる。例えば、利き眼が右眼であると仮定すると、右眼ＥＹに対応する画像表示装置８０では基準の位置から２０画素シフトした位置に画像を表示し、左眼ＥＹに対応する画像表示装置８０では基準の位置から１５画素シフトした位置に画像を表示する。このように、輻輳角に対応して表示態様を制御する場合に、利き眼と、利き眼でない側の眼とのそれぞれに対して異なる表示態様で画像を表示することで、より自然な見え方で画像を表示できる。

さらに、輻輳角を検出する場合において、利き眼の影響により、図１０（Ａ）に示す位置１０ａ、１０ｂが、両眼の中央に対して対象な位置とならない場合がある。すなわち、対象物ＯＢが使用者の正面でなく利き眼側によった位置となる場合がある。この場合、制御部１４０は、輻輳角ＣＡを検出する処理において、利き眼側の位置（例えば、位置１０ａ）を基準として輻輳角を求めてもよい。具体的には、位置１０ａと、位置１０ａに対して両眼の中央を介して対象な位置１０ｂ´を想定し、これら位置１０ａ−位置１０ｂ´間の距離に基づき輻輳角を求めてもよい。また、利き眼側の位置（例えば、位置１０ｂ）について同様の処理を行って輻輳角を求めてもよい。さらに、このように求めた２つの輻輳角の平均値等を求めることにより、最終的な輻輳角を算出してもよい。
また、利き眼については上記のように検出する方法に限らず、対象物ＯＢが使用者の視界の右側に寄った位置にある場合は右眼を利き眼として輻輳角の検出及び表示態様の制御の処理を行ってもよい。対象物ＯＢが使用者の視界の左側に寄った位置にある場合は左眼を利き眼として輻輳角の検出及び表示態様の制御の処理を行ってもよい。つまり、対象物と使用者との相対位置に応じて、利き眼に関する設定を変更してもよい。また、使用者が利き眼に関する設定を行った場合、この設定を優先してもよい。

図１２は、ＨＭＤ１の動作を示すフローチャートであり、画像の表示位置の調整に係る処理を示す。
制御部１４０は、使用者の視線方向（注視方向）および注視距離を検出するための基準となる参照データを生成する（ステップＳＴ１）。ステップＳＴ１で生成される参照データは、参照データ１２２として記憶部１２０に記憶される。
制御部１４０は、画像（映像を含む）の表示を開始してから、或いは表示開始時に、使用者の両眼の輻輳角を検出する輻輳角検出処理を実行する（ステップＳＴ２）。続いて、制御部１４０は、ステップＳＴ２で検出した輻輳角に基づき、虚像表示装置１００における画像の表示位置を調整する画像調整処理を実行する（ステップＳＴ３）。その後、制御部１４０は、画像の表示を終了するか否かを判定し（ステップＳＴ４）、表示を継続する間は（ステップＳＴ４；Ｎｏ）、ステップＳＴ２に戻る。また、表示を終了する場合は（ステップＳＴ４；Ｙｅｓ）、本処理を終了する。

制御部１４０がステップＳＴ１で生成する参照データ１２２は、ＨＭＤ１の起動時、或いは、使用者が初めてＨＭＤ１を使用する際に実行すればよく、使用者が制御装置３００を操作することで、随時、実行できる構成としてもよい。
以下、図１２に示した各処理について詳細に説明する。

図１３は、図１２のステップＳＴ１に示す参照データ生成処理を示すフローチャートである。
制御部１４０は、水平方向、及び垂直方向に視線を向けるよう案内する画像を虚像表示装置１００で表示し（ステップＳＴ１１）。この案内に従って使用者に視線を移動させる（ステップＳＴ１２）。制御部１４０は、移動中或いは移動後に内カメラ３７ａ、３７ｂ、３８ａ、３８ｂに撮像を実行させた撮像画像データを取得して、取得した撮像画像データを解析することにより、眼球運動及び眼球の方向に関するデータを取得する（ステップＳＴ１３）。制御部１４０は、予め設定された全ての方向に関しステップＳＴ１１〜ＳＴ１３の処理が完了したか否かを判定し（ステップＳＴ１４）、未処理の方向がある場合は（ステップＳＴ１４；Ｎｏ）、ステップＳＴ１１に戻る。

ステップＳＴ１１では、例えば、使用者に対して上、下、右、左、右上、右下、左上、左下の８方向及び正面を含む９方向を指定して、視線を向けさせるよう案内する文字や画像を表示する。制御部１４０は、正面を除く８方向については、使用者に、最大限に視線を指定方向に向けるよう案内する。
ステップＳＴ１３で、制御部１４０は、内カメラ３７ａ、３７ｂ、３８ａ、３８ｂの撮像画像から使用者の眼球の画像を抽出し、（１）瞳孔間距離、（２）瞳孔径または瞳孔径の変化量、（３）注視方向、を検出し、検出データを生成する。瞳孔径は、眼球の虹彩の画像を検出することで求めることができる。一般に、虹彩の状態は水晶体を変化させる毛様体筋の動きを反映するので、瞳孔径の変化量または瞳孔径に関するデータは、注視距離に関するデータとして利用できる。

ステップＳＴ１１〜ＳＴ１３の動作は、使用者の眼球に相対する面内における上記９方向のそれぞれについて、実行すればよい。すなわち、ステップＳＴ１１では上記９方向のうちいずれかの方向を指定して視線を向けるよう案内する文字や画像を表示し、ステップＳＴ１３において、指定方向に関する検出データを取得する。この動作を、例えば９回実行すれば、９方向に視線を向けさせて検出データを取得できる。また、ステップＳＴ１１において視線を向ける９方向と、視線を向ける順序を指定し、その後は内カメラ３７ａ、３７ｂ、３８ａ、３８ｂにより眼球の運動を継続して撮像し、９方向の検出データをステップＳＴ１３でまとめて取得してもよい。

水平及び垂直方向の全てについて処理を行った場合（ステップＳＴ１４；Ｙｅｓ）、制御部１４０は、奥行き（遠近）方向に視線を向けるよう案内する画像を虚像表示装置１００で表示する（ステップＳＴ１５）。そして、案内に従って使用者に視線を移動させ（ステップＳＴ１６）、移動中或いは移動後に内カメラ３７ａ、３７ｂ、３８ａ、３８ｂに撮像を実行させた撮像画像データを取得して、取得した撮像画像データを解析することにより、眼球運動及び眼球の方向に関するデータを取得する（ステップＳＴ１７）。ステップＳＴ１５では、例えば、最も近い位置、及び、最も遠い位置の２方向に視線を向けるよう案内する。ステップＳＴ１５〜ＳＴ１７の処理を２回行って、最も近い位置と最も遠い位置に関する検出データを取得してもよい。

また、ステップＳＴ１５では、使用者に見える外景すなわち実空間において、予め設定された距離を見るように案内してもよく、この場合、実空間において設定された距離に位置する対象物を指定して、その対象物を注視するように案内してもよい。この場合、事前に使用者が、参照データ生成処理を行うために用いる対象物を、指定した距離に置いておけばよい。

制御部１４０は、ステップＳＴ１３、ＳＴ１７で取得した検出データをもとに、注視方向を検出するために用いる参照データ１２２を生成し、記憶部１２０に記憶する（ステップＳＴ１８）。この例で、参照データ１２２は、上記９方向及び遠近２方向の、合計１１の方向に使用者が視線を向けた場合の、眼球の運動及び／又は方向に関するデータを含む。これにより、内カメラ３７ａ、３７ｂ、３８ａ、３８ｂにより眼球を撮像し、撮像画像における眼球の画像と、上記９方向を撮像した場合の眼球の状態とを比較することで、注視方向を特定できる。また、眼球の向きから、注視距離を求めることができる。

図１４は、図１２のステップＳＴ２の輻輳角検出処理を示すフローチャートである。
制御部１４０は、内カメラ３７ａ、３７ｂ、３８ａ、３８ｂにより撮像を実行させて撮像画像データを取得し、撮像画像データを解析することにより、眼球の状態に関するデータを取得する（ステップＳＴ３１）。ステップＳＴ３１で取得するデータは、例えば、ステップＳＴ１３、ＳＴ１７と同様の処理で得られるデータであり、参照データ１２２と比較可能なデータであることが好ましい。

制御部１４０は、参照データ１２２を参照し、ステップＳＴ３１で取得したデータに基づいて使用者の注視方向、及び、注視距離を算出する（ステップＳＴ３２）。
制御部１４０は、外カメラ３５、３６により撮像を実行させて撮像画像データを取得し、撮像画像に写る対象物ＯＢを検出する（ステップＳＴ３３）。制御部１４０は、撮像画像において物体（物体の一部を含む）として識別可能なもののうち、ステップＳＴ３２で求めた注視方向及び注視距離に適合する物体を、対象物ＯＢとして検出する。

制御部１４０は、ステップＳＴ３３で検出した対象物までの距離を算出する（ステップＳＴ３４）。外カメラ３５、３６はステレオカメラを構成するので、外カメラ３５の撮像画像と外カメラ３６の撮像画像における視差に基づいて、外カメラ３５、３６から対象物までの距離を求めることができる。ここで、制御部１４０は、求めた距離を、使用者の眼から対象物までの距離に換算してもよい。

制御部１４０は、ステップＳＴ３２で算出した注視方向と、ステップＳＴ３４で算出した距離とに基づいて、輻輳角を算出する（ステップＳＴ３５）。ステップＳＴ３５では、外カメラ３５、３６の撮像画像から注視距離を求めるため、よりシンプルな演算処理によって高い精度で注視距離を得られるという利点がある。なお、ステップＳＴ３４の動作を省略し、ステップＳＴ３２で算出した注視方向及び注視距離を用いて、ステップＳＴ３５で輻輳角を算出してもよい。

なお、輻輳角を検出する具体的な手法は、図１４で説明したようにステレオカメラを用いる方法に限定されず、例えば、単眼のカメラを用いて時間差を設けて複数回の撮像を実行し、これら複数回の撮像で得られる複数の撮像画像を用いて輻輳角を検出してもよい。また、使用者の眼（片眼、或いは両眼）を撮像し、瞳孔径の変化または瞳孔径を検出することにより輻輳角を検出してもよい。一般に、外景（実空間）において注視したい対象を視認した場合に、人間の瞳孔径が短時間で拡大することが知られている。このため、瞳孔径の変化または瞳孔径を検出する機能を、使用者の注視方向を求める処理で利用してもよい。また、制御部１４０は、撮像画像から注視距離を求める処理において、例えばルックアップテーブル（Lookup table：変換テーブル）を用いてもよい。この場合、制御部１４０は、カメラまたは撮像画像から求められる検知データに基づきルックアップテーブルを参照することで、注視距離を求めることができる。また、検知データとして瞳孔間距離（眼間距離）を組み合わせてもよい。ルックアップテーブルは、例えば、予め記憶部１２０に記憶すれば良い。

図１５は、図１２のステップＳＴ３の画像調整処理を示すフローチャートである。
制御部１４０は、図１４の動作で求めた輻輳角が、調整可能範囲内であるか否かを判定する（ステップＳＴ５１）。ＨＭＤ１では、右光学系駆動部８５、左光学系駆動部８７を用いる機械的な調整、及び、画像処理部１６０が画像処理を行う調整によって調整可能な輻輳角の限界値があり、この限界値に対応する調整可能範囲が予め設定される。制御部１４０は、輻輳角の値が調整可能範囲内であると判定した場合（ステップＳＴ５１；Ｙｅｓ）、機械的調整を要するか否かを判定する（ステップＳＴ５２）。

右光学系駆動部８５及び左光学系駆動部８７は、例えば段階的に調整を行う構成を有し、光学装置部１３０を揺動させることで画像の表示位置を大きく動かすことができる。このため、輻輳角に合わせて大きく画像の表示位置を動かす場合には、機械的調整を行い、画像の表示位置の調整量が小さい場合は画像処理のみを利用すると、効率がよい。ステップＳＴ５２では、機械的調整を行うか否かについて予め設定された閾値を用いて判定する。

制御部１４０は、機械的調整を要しないと判定した場合（ステップＳＴ５２；Ｎｏ）、後述するステップＳＴ５６に移行する。
また、機械的調整を要すると判定した場合（ステップＳＴ５２；Ｙｅｓ）、制御部１４０は、右光学系駆動部８５及び左光学系駆動部８７の調整量を決定する（ステップＳＴ５３）。制御部１４０は、ステップＳＴ５３で決定した調整量に従って右光学系駆動部８５及び左光学系駆動部８７を動作させ（ステップＳＴ５４）、調整後に、目標精度を満たすか否かを判定する（ステップＳＴ５５）。

上述のように、ＨＭＤ１では、輻輳角に合わせた画像の位置調整の精度が、例えば輻輳角について±１°と設定されている。図１４の輻輳角検出処理で検出した輻輳角と、調整後の画像の表示位置に適合する輻輳角とが、設定された精度を満たす場合（ステップＳＴ５５；Ｙｅｓ）、制御部１４０は本処理を終了する。

また、調整精度を満たさない場合（ステップＳＴ５５；Ｎｏ）、制御部１４０は画質調整の調整量を決定し（ステップＳＴ５６）、調整を実行する（ステップＳＴ５７）。制御部１４０は、調整により目標精度を満たすか否かを判定する（ステップＳＴ５８）。ステップＳＴ５８で判定する目標精度は、例えばステップＳＴ５５と同様である。目標精度を満たさない場合（ステップＳＴ５８；Ｎｏ）、制御部１４０はステップＳＴ５６に戻って、画像処理を繰り返す。なお、ステップＳＴ５６〜ＳＴ５７の実行回数に上限を設けてもよく、上限に達した場合にステップＳＴ５１に戻ってもよい。
また、目標精度を満たすと判定した場合（ステップＳＴ５８；Ｙｅｓ）、制御部１４０は本処理を終了する。

なお、ステップＳＴ５５で目標精度を満たすか否かの判定をする場合、制御部１４０は、機械的調整の調整量を決定した時点で、調整が目標精度を満たすかどうかを判定できる。このため、ステップＳＴ５５の判定を、ステップＳＴ５４で実行してもよい。

また、図１４の動作で求めた輻輳角が、調整可能範囲内でないと判定した場合（ステップＳＴ５１；Ｎｏ）、制御部１４０は、調整範囲外の輻輳角に対応する表示態様（表示形態）への切り替えを行う（ステップＳＴ５９）。
ステップＳＴ５９では、例えば、制御部１４０は、第１表示装置１００Ａと第２表示装置１００Ｂのいずれか一方の表示を停止し、片方のみ表示する状態への切り替えを行う。片眼のみで一つの画像を視認する場合、輻輳角の影響を受けないため、画像の表示位置を輻輳角に適した位置に調整しなくても、使用者の視機能への負担がない。

また、ステップＳＴ５９で、制御部１４０は、ＶＲ（Virtual Reality）表示を行ってもよい。ＶＲ表示では、外カメラ３５、３６の撮像画像を第１表示装置１００Ａ、第２表示装置１００Ｂの表示可能領域に最大サイズで表示する。ここで、画像表示装置８０の輝度を大きくして、導光部材１０を透過する外光の強度を相対的に小さくして、外景の視認性を低下させてもよい。また、ＶＲ表示において、外カメラ３５、３６の撮像画像から、図１４のステップＳＴ３３で検出した対象物を含む領域を切り出して表示してもよい。この場合、使用者は表示画像を見ることで対象物を視認するので、外景と表示画像との輻輳角の差の影響を受けにくい。このため、使用者の視機能への負荷を軽減できる。

さらに、ＶＲ表示を行う場合、制御部１４０は、図１４のステップＳＴ３２またはＳＴ３４で算出した注視距離に応じて、第１表示装置１００Ａで表示する画像と第２表示装置１００Ｂで表示する画像とに視差を持たせてもよい。すなわち、外カメラ３５、３６の撮像画像から、視差を有する２つの画像を生成し、この２つの画像を第１表示装置１００Ａと第２表示装置１００Ｂとでそれぞれ表示してもよい。この２つの画像は３Ｄ（立体）画像を構成する。従って、使用者は、立体画像により対象物をＶＲで見ることができる。

図１２〜図１５に示す動作において、演算処理に使用する演算式、関数、行列、パラメーター等は、いずれも記憶部１２０に設定データ１２１として、予め記憶される。また、図１５のステップＳＴ５１で判定基準となる調整可能範囲に関する基準値や閾値、目標精度を定める基準値や閾値等は、記憶部１２０に、調整基準データ１２３として記憶される。これら設定データ１２１、調整基準データ１２３は、制御装置３００の操作により設定あるいは更新可能であってもよいし、通信部１１７を介して接続する外部の機器（図示略）から入力されてもよい。

以上説明したように、本発明を適用した実施形態に係るＨＭＤ１は、外景を視認可能に、使用者の右眼と左眼のそれぞれに対応して画像を表示する虚像表示装置１００を有する。ＨＭＤ１は、虚像表示装置１００による画像の表示態様を、使用者の注視距離に応じて制御する制御部１４０を備える。このため、使用者が外景と画像とを視認する場合に、画像の表示態様を、使用者が注視する距離に適合させることができる。このため、表示画像を適切に調整することができ、例えば使用者の負荷を軽減し、表示画像の視認性を高めることができる。

制御部１４０は、使用者の注視距離に対応する両眼の輻輳角に基づき、虚像表示装置１００による画像の表示態様を制御する。このため、使用者の両眼の輻輳角に対応して画像の表示態様を制御することで、使用者が注視する距離に適合する表示態様を実現できる。

また、制御部１４０は、使用者の両眼の輻輳角を求め、求めた輻輳角に対応して、虚像表示装置１００が表示する画像を使用者が視認する位置を変化させる。このため、使用者の注視距離に適した位置に画像を表示でき、表示画像の視認性を高めることができ、使用者が外景において注視する距離に適した表示画像を、使用者に視認させることができる。

さらに、ＨＭＤ１は、使用者の両眼の状態を検出する状態検出部としての外カメラ３５、３６及び内カメラ３７ａ、３７ｂ、３８ａ、３８ｂを備える。制御部１４０は、状態検出部の検出結果に基づいて、使用者の注視距離を算出し、算出した注視距離に応じて虚像表示装置１００による画像の表示態様を制御する。ＨＭＤ１が使用者の両眼の状態を検出して注視距離を算出するので、使用者が煩雑な操作を行わなくても、画像の表示態様を適切に調整できる。

ＨＭＤ１は、状態検出部として、使用者の右眼と左眼のそれぞれに対応して設けられる内カメラ３７ａ、３７ｂ、３８ａ、３８ｂを備える。制御部１４０は、内カメラ３７ａ、３７ｂ、３８ａ、３８ｂの撮像画像に基づいて、使用者の両眼の瞳孔間距離、瞳孔径、或いは注視方向の注視時間の少なくともいずれかを求めることにより、使用者の注視距離を算出する。これにより、使用者の両眼の状態から高精度で注視距離を算出できる。

また、ＨＭＤ１は、状態検出部として、使用者の注視方向を撮像する外カメラ３５、３６を備える。制御部１４０は、外カメラ３５、３６の撮像画像に基づいて、使用者が注視する注視対象物までの距離を求めることにより、使用者の注視距離を算出するので、より高精度で注視距離を算出できる。

また、虚像表示装置１００は、画像光を出射する画像表示装置８０と、画像表示装置８０が出射する画像光を使用者の右眼と左眼のそれぞれに導く投射透視装置７０とを備える。虚像表示装置１００は、画像表示装置８０または投射透視装置７０を構成する少なくとも一部の部材を変位させ、投射透視装置７０から使用者の右眼と左眼とに入射する画像光の角度を変更する右光学系駆動部８５及び左光学系駆動部８７を備える。制御部１４０は、使用者の注視距離に応じて右光学系駆動部８５及び左光学系駆動部８７を動作させるので、機械的な動作により、画像の表示態様を調整できる。

また、制御部１４０は、使用者の注視距離に応じて、虚像表示装置１００が表示する画像を使用者が視認する表示範囲における画像の位置を制御する。これにより、画像の表示位置を、使用者の注視距離に合わせて適切に調整できる。

また、ＨＭＤ１は、画像データに基づき虚像表示装置１００が表示する画像を生成する画像処理部１６０を備える。制御部１４０は、使用者の注視距離に応じて、画像処理部１６０により画像データの一部を切り出して調整用の画像を生成させ、調整用の画像を虚像表示装置１００に表示させる。これにより、画像を切り出すことによって、画像の表示位置の調整範囲を拡大することができ、画像の表示位置を変更する場合の違和感を解消できる。

また、制御部１４０は、使用者の注視距離が予め設定された基準距離より近く、輻輳角が調整可能範囲内でない場合に、虚像表示装置１００によって使用者の右眼または左眼のいずれかに対応する画像を表示させる。これにより、使用者の注視距離が近い場合であっても、使用者の負担を軽減できる。

［第２実施形態］
図１６は、本発明を適用した第２実施形態におけるＨＭＤ１の動作を示すフローチャートである。
第２の実施形態において、ＨＭＤ１は上記第１実施形態と共通の構成を有するので、共通の構成部に同じ符号を付して図示及び説明を省略する。

第２実施形態のＨＭＤ１は、外カメラ３５、３６の撮像画像を虚像表示装置１００により表示する、撮像画像表示モードを実行する。ＨＭＤ１は、撮像画像表示モードとして、３つの動作モードを実行可能であり、１つはマイクロスコープモード（近領域拡大モード）、１つはテレスコープモード（遠領域拡大モード）、１つは近接表示モードである。撮像画像表示モードは、一種のビデオシースルー表示ということができる。

図１６の動作は、図１２に示した動作に代えて実行される。図１６において、図１２と同様の動作（処理）については同ステップ番号を付す。
ＨＭＤ１の制御部１４０は、使用者の視線方向（注視方向）および注視距離を検出するための基準となる参照データを生成する（ステップＳＴ１）。ステップＳＴ１で生成される参照データは、参照データ１２２として記憶部１２０に記憶される。
制御部１４０は、画像（映像を含む）の表示を開始してから、或いは表示開始時に、使用者の両眼の輻輳角を検出する輻輳角検出処理を実行する（ステップＳＴ２）。

ここで、制御部１４０は、入力情報取得部１１０によって、ズーム（拡大）の指示を受け付けたか否かを判定する（ステップＳＴ１０１）。ズームの指示は、例えば、使用者がトラックパッド３０２やキースイッチ部３０３を操作して、視野を拡大して表示するように行う指示である。
ズームの指示を受け付けた場合（ステップＳＴ１０１；Ｙｅｓ）、制御部１４０は、指示されたズームの倍率（拡大率）が、予め設定された値以上であるか否かを判定する（ステップＳＴ１０２）。ズームの倍率が設定値以上である場合（ステップＳＴ１０２；Ｙｅｓ）、制御部１４０は、ＨＭＤ１の動作をマイクロスコープモードに切り替えて（ステップＳＴ１０３）、マイクロスコープ表示処理を実行する（ステップＳＴ１０４）。ＨＭＤ１がマイクロスコープモードで実行するマイクロスコープ表示処理の詳細は、後述する。

また、ズームの倍率が設定値より小さい場合（ステップＳＴ１０２；Ｎｏ）、制御部１４０は、ＨＭＤ１の動作をテレスコープモードに切り替えて（ステップＳＴ１０６）、テレスコープ表示処理を実行する（ステップＳＴ１０７）。ＨＭＤ１がテレスコープモードで実行するテレスコープ表示処理の詳細は、後述する。

また、ズームの指示を受け付けていない場合（ステップＳＴ１０１；Ｎｏ）、制御部１４０は、入力情報取得部１１０により動作モードの切り替えの指示を受け付けたか否かを判定する（ステップＳＴ１０９）。動作モードの切り替えの指示は、例えば、操作部１１１の操作によって入力され、入力情報取得部１１０が受け付ける。
ステップＳＴ１０９で、マイクロスコープモードへの切り替えの指示を受け付けた場合、制御部１４０は、ステップＳＴ１０３に移行する。また、テレスコープモードへの切り替えの指示を受け付けた場合、制御部１４０は、ステップＳＴ１０６に移行する。また、通常動作モードへの切り替えの指示を受け付けた場合、及び、テレスコープモードやマイクロスコープモードに切り替えない場合、制御部１４０は、画像調整処理を実行する（ステップＳＴ１１０）。

ステップＳＴ１０４のマイクロスコープ表示処理、ステップＳＴ１０７のテレスコープ表示処理、または、ステップＳＴ１１０の画像調整処理を実行した後、制御部１４０は、画像の表示を終了するか否かを判定する（ステップＳＴ４）。表示を継続する間は（ステップＳＴ４；Ｎｏ）、ステップＳＴ２に戻る。また、表示を終了する場合は（ステップＳＴ４；Ｙｅｓ）、本処理を終了する。

図１７は、ステップＳＴ１０４（図１６）のマイクロスコープ表示処理を詳細に示すフローチャートである。図１８は、マイクロスコープ表示処理における表示例を示す図である。図１８（Ａ）は虚像表示装置１００を透過して視認される実空間の像（実像）を模式的に示し、図１８（Ｂ）は撮像画像から表示画像を生成する処理の例を示し、図１８（Ｃ）はＡＲ表示の例を示す。

制御部１４０は、ステップＳＴ１０３でマイクロスコープモードに切り替えられたときの外カメラ３５、３５の撮像方向を、以下の動作で撮像する撮像方向として設定し（ステップＳＴ１２１）、スタビライズ処理を開始する（ステップＳＴ１２２）。制御部１４０は、外カメラ３５、３６の撮像を開始し、外カメラ３５、３６の撮像画像データを取得し、撮像画像から表示画像を生成する処理を開始する（ステップＳＴ１２３）。

ステップＳＴ１２３で、制御部１４０は、例えば撮像画像の一部をトリミング（切り出し処理）して、表示画像を生成する。マイクロスコープ表示処理では、外カメラ３５及び外カメラ３６のいずれか一方のみで撮像してもよい。この場合、外カメラ３５または外カメラ３６の撮像画像の一部をトリミングすることで表示画像を生成できる。外カメラ３５及び外カメラ３６の両方で撮像を行う場合、制御部１４０は、外カメラ３５及び外カメラ３６のそれぞれの撮像画像をトリミングして、２つの画像を取得し、これら２つの画像を組み合わせて表示画像を生成する。例えば、２つの画像から、視差を有する２つの表示画像で構成される立体表示画像を生成してもよい。また、例えば、２つの画像を合成した１つの表示画像を生成してもよい。

図１８（Ａ）に示すように、使用者が対象物ＯＢに視線を合わせた状態では、外カメラ３５、３６の撮像画像Ｐ１１は、図１８（Ｂ）に示すように対象物ＯＢを中心に撮像した画像となる。撮像画像Ｐ１１は外カメラ３５、３６のいずれかの撮像画像とする。制御部１４０は、撮像画像Ｐ１１から、視線の中心から所定範囲に相当するトリミング範囲Ａを切り出して、表示画像を生成する。撮像画像Ｐ１１におけるトリミング範囲Ａの位置、及び、範囲またはサイズは適宜設定、変更可能であるが、初期値（デフォルト）では、撮像画像Ｐ１１の中心に位置する所定サイズの範囲である。

虚像表示装置１００が動いた場合、外カメラ３５、３６の画角が動き、撮像画像の動きを生じる。ステップＳＴ１２３で、撮像画像においてトリミングする位置や範囲を固定すると、撮像画像の動きに対応して表示画像が動く。虚像表示装置１００の動きによっては、使用者に、いわゆる映像酔いを喚起する可能性がある。そこで、ＨＭＤ１は、ステップＳＴ１２２でスタビライズ処理を開始する。スタビライズ処理は、撮像画像の動きを相殺（キャンセル）するように、ステップＳＴ１２３で撮像画像をトリミングする位置及び／または範囲を移動させる処理である。例えば、図１８（Ｂ）において撮像画像Ｐ１１から切り出すトリミング範囲Ａの位置を、外カメラ３５、３６の画角が動く方向とは逆方向に変化させることで、動きをキャンセルできる。また、外カメラ３５、３６が視界の奥行き方向に動く場合には撮像される対象物と撮像画像とのサイズが変化する。この場合、制御部１４０は、トリミング範囲Ａのサイズを変化させれば、動きをキャンセルできる。

制御部１４０は、撮像画像の動きを、外カメラ３５、３６から順次入力される複数の撮像画像を比較する処理により検出し特定できる。また、虚像表示装置１００が、加速度センサーや角速度センサー等の図示しない慣性センサー（動きセンサー）を備える構成では、制御部１４０は、慣性センサーの検出値に基づいて外カメラ３５、３６の画角の動きを特定できる。制御部１４０は、外カメラ３５、３６の画角の動きに合わせて、撮像画像をトリミングする位置を変更し、必要に応じてトリミングする範囲を変化させることにより、表示画像を安定させる。

スタビライズ処理は、外カメラ３５、３６の画角の変化を全てキャンセルする処理でなくてもよい。すなわち、映像酔いを喚起しない、或いは軽減できればよいので、画角の動きのうち予め定められた速さを超える動きをキャンセルする方法を採用できる。この場合、定められた速さ以下の、低速の動きはキャンセルされず、画角の動きに対応して表示画像が変化する。これにより、例えば、使用者が意図して外カメラ３５、３６の画角を変化させた場合に、使用者の意図に沿った表示を行える。

制御部１４０は、撮像画像から生成した表示画像の表示を開始する際に、表示する範囲（表示範囲）と実空間との対応関係を示す表示を行う（ステップＳＴ１２４）。例えば、図１８（Ｃ）に示すように、制御部１４０は、使用者が外光によって視認する実空間の外景に重なって視認されるように、指標画像Ｐ１２をＡＲ表示する。指標画像Ｐ１２は制御部１４０が表示する表示画像に含まれる範囲を示し、制御部１４０が撮像画像からトリミングする範囲に対応する。図１８（Ｃ）の例の指標画像Ｐ１２はリング形状であるが、使用者に範囲を提示することができればよく、その形状や表示色は限定されない。また、指標画像Ｐ１１は、実空間の視認を妨げないことが好ましく、例えば、実空間の対象物ＯＢが視認可能な程度の輝度で表示される。この場合、指標画像Ｐ１１は透き通って視認され、指標画像Ｐ１１とともに実空間の対象物ＯＢが視認できる。
図１８（Ｃ）の例では、外光により視認される実空間の実物体（対象物）ＯＢに重なるように指標画像Ｐ１２が表示され、使用者は、指標画像Ｐ１２に重なる範囲が外カメラ３５、３６の撮像画像をもとに表示されることを把握できる。ＡＲ表示の表示位置及び表示サイズは、外カメラ３５、３６の撮像画像を外画像解析部１８３が解析することで決定できる。

制御部１４０は、指定されたズームの倍率で画像を表示する前に、初期値の倍率で撮像画像を拡大した表示画像を表示する（ステップＳＴ１２５）。初期値の倍率は、例えば、第１表示装置１００Ａ及び第２表示装置１００Ｂを透過して使用者が視認する外景と、概ね同じ大きさで視認される倍率とすることができる。この場合、使用者には、実空間の外景の対象物ＯＢと表示画像における対象物ＯＢとがほぼ同じ大きさで、拡大も縮小もしないように見えるので、この場合の倍率を１倍としてもよい。
使用者が第１表示装置１００Ａ及び第２表示装置１００Ｂを透過する外光により、視界に位置する対象物を視認する場合を想定する。この対象物を含む範囲を外カメラ３５、３６で撮像した撮像画像に基づき制御部１４０が表示させる対象物の画像と、外光により視認される対象物の像（実像）とが、使用者に、概ね同じ大きさに見える場合を、上記の１倍と呼ぶことができる。

次に、制御部１４０は、虚像表示装置１００により表示する表示画像の倍率を変更する（ステップＳＴ１２６）。制御部１４０は、ステップＳＴ１２５の初期値のズームの倍率から、目標の倍率まで変化させる。この変化は、例えば段階的な変化とすることができ、例えば、倍率の変化について予め変化率が設定され、設定された変化率を１段階として倍率を変化させることができる。目標の倍率は、ステップＳＴ１０１（図１６）で受け付けた指示に対応する倍率、ステップＳＴ１０９でマイクロスコープモードが指定された場合に指定される倍率、または、マイクロスコープモードの目標の倍率として予め設定された倍率である。
１回目にステップＳＴ１２６を実行する場合、制御部１４０は、ステップＳＴ１２５の初期値の倍率から、１段階に相当する倍率の変更を行う。

制御部１４０は、倍率の変更に対応して、視認性に係る表示パラメーターを変更する（ステップＳＴ１２７）。視認性に係る表示パラメーターは、映像表示素子８２における表示輝度を指定するパラメーター、表示色を指定するパラメーター、及び、エッジ強調処理の有無を指定するパラメーターである。映像表示素子８２における表示輝度を変化させる処理は、画像処理部１６０が表示画像の画像データの輝度を変更する処理、及び／又は、右バックライト２２１、左バックライト２２２の発光輝度を変化させる処理により実現できる。
また、表示色を変化させる場合、画像処理部１６０によって画像データを処理することにより実現できる。また、エッジ強調処理は画像処理部１６０により実行可能である。上記のパラメーターは、例えば記憶部１２０に記憶される設定データ１２１に含めることができる。上記のパラメーターは、倍率の絶対値、或いは、目標の倍率に対する現在の倍率の割合に対応して予め設定される。表示画像の輝度が高いほど、外光により視認される実空間の外景に比べ、表示画像の視認性が高くなる。また、表示画像の色調については、彩度が高いほど表示画像の視認性が高くなる。また、エッジ強調処理を実行すると、実行しない場合に比べて表示画像の視認性が高くなる。上記パラメーターは、表示画像の倍率が高いほど表示画像の視認性が高くなるように、設定される。ステップＳＴ１２７において、制御部１４０は、ステップＳＴ１２６で変更した倍率に対応して、上記パラメーターを設定あるいは変更する。

また、視認性に係る表示パラメーターは設定データ１２１に含まれる構成に限定されない。すなわち、制御部１４０が、視認性に係る表示パラメーターを設定データ１２１から取得する方法だけでなく、他の方法により表示パラメーターを取得、生成あるいは算出してもよい。

例えば、制御部１４０は、外カメラ３５、３６の撮像画像から外景の輝度、色調、撮像画像の輝度、色度分布等を検出し、検出結果に基づいて、表示パラメーターを取得してもよい。この場合、検出結果から表示パラメーターを得るためのＬＵＴ（LookUp Table：ルックアップテーブル）や演算式等を予め記憶部１２０に記憶してもよい。制御部１４０は、外景の撮像画像に基づき外景の明るさを検出してもよいし、外景の天候を判定してもよいし、外カメラ３５、３６の撮像画像から得られる輝度、色調、色度分布を予め設定された閾値と比較して比較結果を生成してもよい。また、外カメラ３５、３６の他にイメージセンサー（図示略）や赤外線センサーを虚像表示装置１００に設けて、外界、特に使用者の視線方向を含む範囲の輝度、色調等を検出してもよい。さらに、外カメラ３５、３６の撮像画像に関する検出結果と、内カメラ３７ａ、３７ｂ、３８ａ、３８ｂの検出結果とを比較することにより、外景の輝度、色調、撮像画像の輝度、色度分布等を検出してもよい。

制御部１４０は、ステップＳＴ１２６で倍率を変更した結果、目標の倍率に達したか否かを判定する（ステップＳＴ１２８）。目標の倍率に達していない場合は（ステップＳＴ１２８；Ｎｏ）、ステップＳＴ１２６に移行して、倍率を変更する。このようにしてステップＳＴ１２６〜ＳＴ１２８を繰り返し実行することで、虚像表示装置１００における表示倍率が、目標の倍率に達するまで、徐々に変化する。倍率の変化の度合いは任意に設定可能であり、例えば、０．５倍刻みなど予め設定された倍率を単位として変化させてもよいし、初期値と目標値との差に基づき倍率の１回の変化量を決めてもよい。

目標の倍率に達した場合（ステップＳＴ１２８；Ｙｅｓ）、制御部１４０は、目標倍率が変更されたか否かを判定する（ステップＳＴ１２９）。例えば、入力情報取得部１１０によって、目標倍率を変更する使用者の操作を受け付けた場合、制御部１４０は、目標倍率が変更されたと判定する（ステップＳＴ１２９；Ｙｅｓ）。この場合、制御部１４０は、変更された目標倍率に基づき、ステップＳＴ１２６に戻って表示倍率を変更する処理を開始する。
また、目標倍率が変更されない場合（ステップＳＴ１２９；Ｎｏ）、制御部１４０は、画像の表示を終了するか否かを判定する（ステップＳＴ１３０）。表示を継続する間は（ステップＳＴ１３０；Ｎｏ）、ステップＳＴ１２９に戻る。また、表示を終了する場合は（ステップＳＴ１３０；Ｙｅｓ）、本処理を終了する。

図１７のマイクロスコープ表示処理では、使用者の視野に含まれる範囲あるいは方向のうちステップＳＴ１２１で特定した方向を、あたかも顕微鏡、或いは拡大鏡のように拡大表示することができる。
マイクロスコープモードは、ステップＳＴ１０２（図１６）で設定値以上のズームの倍率が指定された場合、及び、ステップＳＴ１０９でマイクロスコープモードへの移行が指示された場合に、実行される。従って、使用者が視野の一部を大きく拡大して見たいと考えた場合、操作部１１１への操作により、容易にマイクロスコープモードに切り替えて、視野を大きく拡大して見ることができる。

マイクロスコープ表示処理において、ステップＳＴ１２５〜ＳＴ１２６で表示する画像を、視差を有する立体画像として表示することが可能である。制御部１４０は、画像処理部１６０は、使用者の右眼に対応して第１表示装置１００Ａで表示する画像と、左眼に対応して第２表示装置１００Ｂで表示する画像とに視差を生じさせる。この場合、制御部１４０は、ステップＳＴ１２７において、左右の画像の視差を指定するパラメーターを変更し、設定してもよい。この場合、外カメラ３５、３６の撮像画像に基づき生成した画像を、視差を有する画像として表示し、例えば図１８（Ｃ）の指標画像Ｐ１２のように、実空間にＡＲ表示するオブジェクトを、視差を有しない平面画像として表示してもよい。指標画像Ｐ１２に限らず、例えば、作業内容の案内、指示、その他使用者に情報伝達のために制御部１４０が表示するＡＲコンテンツ中のテキストや画像による案内用のオブジェクトを、視差を有しない画像として表示してもよい。

また、マイクロスコープモードに移行する前に視差を有する画像を表示した場合、制御部１４０は、マイクロスコープモードに移行する際に、左右の視差を有しない表示態様に切り替えてもよい。この場合、制御部１４０は、外カメラ３５、３６の撮像画像に基づいて生成した画像、及び、ＡＲコンテンツに含まれるテキストや画像等のオブジェクトを、視差を有しない画像として表示する。

制御部１４０は、ステップＳＴ１２２でスタビライズ処理を開始する。スタビライズ処理では、外カメラ３５、３６の撮像方向が変化した場合に、表示用の画像を切り出す位置を撮像画像の変化を相殺または補償する方向に移動させる。このため、外カメラ３５、３６の撮像方向が変化しても、撮像画像から生成する表示用の画像が大きく変動しない。また、外カメラ３５、３６の撮像方向の動き、すなわち撮像画像の変化が大きい場合は、撮像画像から切り出す表示画像も変化するが、この場合も表示画像の変化の速度が抑えられる。従って、外カメラ３５、３６の撮像方向の変化に追従し、かつ、表示画像の急激な変化を抑えて映像酔いを抑制できる。

また、マイクロスコープ表示処理で、制御部１４０は、外カメラ３５、３６の撮像画像から生成する表示画像を、第１表示装置１００Ａ、または第２表示装置１００Ｂのいずれか一方で表示し、他方で表示しない構成としてもよい。この表示方法を片眼表示と呼ぶ。例えば、ステップＳＴ１２６で表示倍率を変更したことにより、表示倍率が事前に設定された閾値を超えた場合に、制御部１４０は、片眼表示への切り替えを行ってもよい。また、目標の倍率が閾値を超える倍率であると判定した場合に、片眼表示への切り替えを行ってもよい。或いは、ステップＳＴ１２７で表示画像の視認性を高めるパラメーターを設定し、このパラメーターの値が事前に設定された閾値を超えた場合に、片眼表示を行ってもよい。片眼表示の実行中、使用者は、画像を表示していない側の目で実空間を視認できる。これにより、一方ｂの眼では実空間の視認性が確保されるので、他方の目に対して撮像画像に基づく表示画像の視認性を大幅に高めることができる。
また、片眼表示の実行中、第１表示装置１００Ａ及び第２表示装置１００Ｂのうち、撮像画像に基づく表示画像を表示しない側において、実空間に重ねてＡＲ表示を行ってもよい。

図１９は、ステップＳＴ１０７（図１６）のテレスコープ表示処理を詳細に示すフローチャートである。
この図１９に示すテレスコープ表示処理は、図１７に示したマイクロスコープ表示処理と同様の処理を含む。従って同じ処理については同ステップ番号を付す。

制御部１４０は、ステップＳＴ１０６でテレスコープモードに切り替えられたときの外カメラ３５、３５の撮像方向を、以下の動作で撮像する撮像方向として設定し（ステップＳＴ１２１）、スタビライズ処理を開始する（ステップＳＴ１２２）。制御部１４０は、外カメラ３５、３６の撮像を開始し、外カメラ３５、３６の撮像画像データを取得し、撮像画像から表示画像を生成する処理を開始する（ステップＳＴ１２３）。スタビライズ処理は図１７を参照して説明した処理と同様である。

制御部１４０は、ステップＳＴ１２４の表示を行わず、初期値の倍率で撮像画像を拡大した表示画像を表示し（ステップＳＴ１２５）、表示倍率を変更する（ステップＳＴ１２６）。制御部１４０は、ステップＳＴ１２５の初期値のズームの倍率から、目標の倍率まで変化させる。この変化は、例えば段階的な変化とすることができ、例えば、倍率の変化について予め変化率が設定され、設定された変化率を１段階として倍率を変化させることができる。例えば、１回目にステップＳＴ１２６を実行する場合、制御部１４０は、ステップＳＴ１２５の初期値の倍率から、１段階に相当する倍率の変更を行う。その後の倍率の変化は、図１７を参照して説明した通りである。

制御部１４０は、倍率の変更に対応して、視認性に係る表示パラメーターを変更する（ステップＳＴ１２７）。視認性に係る表示パラメーターは、ステップＳＴ１２７について上述した通りである。
テレスコープ表示処理では、使用者が、あたかも双眼鏡や望遠鏡のように、遠方を拡大して見る場合に好適である。マイクロスコープ表示処理では、虚像表示装置１００から近い位置を大きく拡大して表示することを想定するのに対し、テレスコープ表示処理では、使用者が遠方を見ることを想定することが好ましい。このため、使用者が、虚像表示装置１００を透過する外光により実空間を視認できる状態を維持することが好ましい。従って、図１９のテレスコープ表示処理におけるステップＳＴ１２７では、外カメラ３５、３６の撮像画像に基づき表示する表示画像の視認性を、実空間の視認性よりも高くする場合に、実空間の視認性を確保する程度のパラメーターが設定される。

具体的には、ステップＳＴ１２７で設定されるパラメーターについて、図１７で説明したマイクロスコープ表示処理とは異なる値が予め設定される。また、制御部１４０がステップＳＴ１２７で設定するパラメーターの上限値、または下限値が、マイクロスコープ表示処理とは異なる値に設定される。これにより、図１９のテレスコープ表示処理では、虚像表示装置１００の透過光で視認できる実空間の視界が確保される。

その後、制御部１４０は、ステップＳＴ１２６で倍率を変更した結果、目標の倍率に達したか否かを判定し（ステップＳＴ１２８）、目標の倍率に達していない場合は（ステップＳＴ１２８；Ｎｏ）、ステップＳＴ１２６に移行して、倍率を変更する。制御部１４０は、ステップＳＴ１２６〜ＳＴ１２８を繰り返し実行し、虚像表示装置１００における表示倍率を目標の倍率まで徐々に変化させる。

目標の倍率に達した場合（ステップＳＴ１２８；Ｙｅｓ）、制御部１４０は、目標倍率が変更されたか否かを判定する（ステップＳＴ１２９）。制御部１４０は、目標倍率が変更されたと判定した場合（ステップＳＴ１２９；Ｙｅｓ）、変更された目標倍率に基づき、ステップＳＴ１２６に戻って表示倍率を変更する処理を開始する。目標倍率が変更されない場合（ステップＳＴ１２９；Ｎｏ）、制御部１４０は、画像の表示を終了するか否かを判定する（ステップＳＴ１３０）。表示を継続する間は（ステップＳＴ１３０；Ｎｏ）、ステップＳＴ１２９に戻る。また、表示を終了する場合は（ステップＳＴ１３０；Ｙｅｓ）、本処理を終了する。

図１９のテレスコープ表示処理は、ステップＳＴ１０９でテレスコープモードへの移行が指示された場合に、実行される。従って、使用者が視野の一部を大きく拡大して見たいと考えた場合、操作部１１１への操作により、容易にマイクロスコープモードに切り替えて、視野を大きく拡大して見ることができる。また、テレスコープ表示処理で拡大表示される範囲はステップＳＴ１０９で移行が指示されたときの視野の中心、または、使用者の視線方向に相当する撮像画像の一部であり、ステップＳＴ１２４で初期値の表示倍率で表示を開始する。従って、テレスコープ表示処理の実行前と比べて急激な視野の変化がなく、使用者は自然に拡大画像を見ることができる。

テレスコープ表示処理で、ステップＳＴ１２５〜ＳＴ１２６で表示する画像を、視差を有する立体画像として表示することが可能である。制御部１４０は、画像処理部１６０は、使用者の右眼に対応して第１表示装置１００Ａで表示する画像と、左眼に対応して第２表示装置１００Ｂで表示する画像とに視差を生じさせる。この場合、制御部１４０は、ステップＳＴ１２７において、左右の画像の視差を指定するパラメーターを変更し、設定してもよい。また、テレスコープ表示処理で、実空間にオブジェクトをＡＲ表示してもよい。例えば、表示倍率を示すテキストや画像をＡＲ表示してもよい。ＡＲ表示は視差を有しない平面画像として表示してもよい。

また、テレスコープモードにおいて、片眼表示を行ってもよい。片眼表示を行う場合のタイミングあるいは条件は、マイクロスコープ表示処理で説明した処理と同様とすることができる。

図２０は、ステップＳＴ１１０（図１６）の画像調整処理を詳細に示すフローチャートである。
図２０の画像調整処理は、上記第１実施形態で説明した画像調整処理（図１５）と同様の処理を含むので、同じ処理については同ステップ番号を付す。

制御部１４０は、ステップＳＴ２（図１６）で求めた輻輳角が、調整可能範囲内であるか否かを判定する（ステップＳＴ５１）。輻輳角の値が調整可能範囲内であると判定した場合（ステップＳＴ５１；Ｙｅｓ）、機械的調整を要するか否かを判定する（ステップＳＴ５２）。機械的調整を要しないと判定した場合（ステップＳＴ５２；Ｎｏ）、制御部１４０は、ステップＳＴ５６に移行する。
機械的調整を要すると判定した場合（ステップＳＴ５２；Ｙｅｓ）、制御部１４０は、右光学系駆動部８５及び左光学系駆動部８７の調整量を決定する（ステップＳＴ５３）。制御部１４０は、ステップＳＴ５３で決定した調整量に従って右光学系駆動部８５及び左光学系駆動部８７を動作させ（ステップＳＴ５４）、調整後に、目標精度を満たすか否かを判定する（ステップＳＴ５５）。ステップＳＴ２の輻輳角検出処理で検出した輻輳角と、調整後の画像の表示位置に適合する輻輳角とが、設定された精度を満たす場合（ステップＳＴ５５；Ｙｅｓ）、制御部１４０は本処理を終了する。

また、調整精度を満たさない場合（ステップＳＴ５５；Ｎｏ）、制御部１４０は画質調整の調整量を決定し（ステップＳＴ５６）、調整を実行する（ステップＳＴ５７）。制御部１４０は、調整により目標精度を満たすか否かを判定する（ステップＳＴ５８）。ステップＳＴ５８で判定する目標精度は、例えばステップＳＴ５５と同様である。目標精度を満たさない場合（ステップＳＴ５８；Ｎｏ）、制御部１４０はステップＳＴ５６に戻って、画像処理を繰り返す。なお、ステップＳＴ５６〜ＳＴ５７の実行回数に上限を設けてもよく、上限に達した場合にステップＳＴ５１に戻ってもよい。
また、目標精度を満たすと判定した場合（ステップＳＴ５８；Ｙｅｓ）、制御部１４０は本処理を終了する。

一方、ステップＳＴ２（図１６）の輻輳角検出処理で求めた輻輳角が、調整可能範囲内でないと判定した場合（ステップＳＴ５１；Ｎｏ）、制御部１４０は、輻輳角が予め設定された上限の角度より大きいか否かを判定する（ステップＳＴ１６１）。上限の角度より大きい場合（ステップＳＴ１６１；Ｙｅｓ）、制御部１４０は、調整範囲外の輻輳角に対応する表示態様（表示形態）への切り替えを行う（ステップＳＴ５９）。このステップＳＴ５９では、例えば、制御部１４０は、第１表示装置１００Ａと第２表示装置１００Ｂのいずれか一方の表示を停止し、片方のみ表示する状態への切り替えを行う。片眼のみで一つの画像を視認する場合、輻輳角の影響を受けないため、画像の表示位置を輻輳角に適した位置に調整しなくても、使用者の視機能への負担がない。

また、輻輳角が上限の角度以下であると判定した場合（ステップＳＴ１６１；Ｎｏ）、制御部１４０は、動作モードを近接表示モードに切り替えて、近接表示処理を開始する（ステップＳＴ１６２）。近接表示モードでは、虚像表示装置１００に近接した位置を、外カメラ３５、３６の撮像画像を利用して見やすく表示する動作モードであり、使用者の視線が、虚像表示装置１００に近接した位置に向いている場合に実行する。

制御部１４０は、外カメラ３５、３５の撮像方向を設定し（ステップＳＴ１６３）、スタビライズ処理を開始する（ステップＳＴ１６４）。制御部１４０は、外カメラ３５、３６の撮像を開始し、外カメラ３５、３６の撮像画像データを取得し、撮像画像から表示画像を生成する処理を開始する（ステップＳＴ１６５）。

ステップＳＴ１６５で、制御部１４０は、例えば撮像画像の一部をトリミング（切り出し処理）して、表示画像を生成する。ここで、制御部１４０は、外カメラ３５及び外カメラ３６のいずれか一方のみの撮像画像を用いて表示画像を生成してもよい。この場合、外カメラ３５または外カメラ３６の撮像画像の一部をトリミングすることで表示画像を生成できる。外カメラ３５及び外カメラ３６の両方の撮像画像を使用する場合、制御部１４０は、外カメラ３５及び外カメラ３６のそれぞれの撮像画像をトリミングして、２つの画像を取得し、これら２つの画像を組み合わせて表示画像を生成する。例えば、２つの画像から、視差を有する２つの表示画像で構成される立体表示画像を生成してもよい。また、例えば、２つの画像を合成した１つの表示画像を生成してもよい。

また、スタビライズ処理は、ステップＳＴ１２２（図１７）と同様の処理である。制御部１４０は、外カメラ３５、３６の画角の動きに起因する撮像画像の動きを、相殺または補償するように、撮像画像においてトリミングする位置や範囲を変化させる。

制御部１４０は、ステップＳＴ１６５で生成した表示画像の表示を開始する（ステップＳＴ１６６）。ステップＳＴ１６６で、制御部１４０は、表示する画像の視認性に係る表示パラメーターを設定し、表示調整を行う。調整されるパラメーターは、例えば、映像表示素子８２における表示輝度を指定するパラメーター、表示色を指定するパラメーター、及び、エッジ強調処理の有無を指定するパラメーターである。映像表示素子８２における表示輝度を変化させる処理は、画像処理部１６０が表示画像の画像データの輝度を変更する処理、及び／又は、右バックライト２２１、左バックライト２２２の発光輝度を変化させる処理により実現できる。また、表示色を変化させる場合、画像処理部１６０によって画像データを処理することにより実現できる。また、エッジ強調処理は画像処理部１６０により実行可能である。上記のパラメーターは、例えば記憶部１２０に記憶される設定データ１２１に含めることができる。上記のパラメーターは、倍率の絶対値、或いは、目標の倍率に対する現在の倍率の割合に対応して予め設定される。表示画像の輝度が高いほど、外光により視認される実空間の外景に比べ、表示画像の視認性が高くなる。また、表示画像の色調については、彩度が高いほど表示画像の視認性が高くなる。また、エッジ強調処理を実行すると、実行しない場合に比べて表示画像の視認性が高くなる。上記パラメーターは、表示画像の倍率が高いほど表示画像の視認性が高くなるように、設定される。ステップＳＴ１６６で、制御部１４０は、輻輳角に対応して、上記パラメーターを設定あるいは変更する。

制御部１４０が撮像画像をトリミングする位置及び範囲は、ステップＳＴ２（図１６）で検出した輻輳角に対応して決定される。使用者は、肉眼で見ることが容易でないほど近い位置を、外カメラ３５、３６を利用して見ることができる。また、使用者の輻輳角に応じて、制御部１４０は、外カメラ３５、３６の撮像画像から切り出した画像を拡大して表示してもよい。この場合の倍率は、例えば輻輳角に対応して決定してもよい。

このように、本発明を適用した第２実施形態に係るＨＭＤ１は、虚像表示装置１００の外側を撮像する外カメラ３５、３６を備え、制御部１４０は、外カメラ３５、３６の撮像画像に基づく画像を虚像表示装置１００に表示させる撮像画像表示モードを実行可能である。これにより、表示部の外側の景色である外景を使用者に視認させることができる。撮像画像表示モードは、上述したマイクロスコープモード（近領域拡大モード）、テレスコープモード（遠領域拡大モード）、及び近接表示モードが該当する。

制御部１４０は、撮像画像表示モードの実行中に、虚像表示装置１００を透過する外光により視認される実空間に比べて、撮像画像に基づき表示する表示画像の視認性を高める処理を行う。これにより、表示画像により使用者が視認する外景を、虚像表示装置１００の透過光により視認する実空間よりも高い視認性で、明瞭に視認できる。また、使用者は、透過光により視認する実空間と、撮像画像に基づき表示される外景とを区別しやすいので、使用者の利便性の向上を図ることができる。

制御部１４０は、撮像画像表示モードの実行中に、外カメラ３５、３６の撮像画像に基づく表示画像の輝度または色彩を変化させ、或いは、外カメラ３５、３６の撮像画像に基づく画像に対するエッジ強調処理を行う。これらの処理により、制御部１４０は、透過光に比べ表示画像の視認性を高める処理を行うので、表示画像の外景の視認性を、効果的に高めることができる。

制御部１４０は、撮像画像表示モードで、外カメラ３５、３６の撮像画像に基づく画像を、第１表示装置１００Ａと第２表示装置１００Ｂにより、使用者の右眼と左眼のいずれか一方に対応して表示してもよい。この場合、使用者の注視距離に影響されずに、表示画像を使用者に視認させることができる。
また、制御部１４０は、撮像画像表示モードにおいて、外カメラ３５、３６の撮像画像に基づく画像を、左右の視差を有さない態様で使用者の右眼及び左眼のそれぞれに対応して表示してもよい。この場合、表示画像を、使用者が立体視をせずに視認できる。このため、使用者の注視距離の影響を受けにくく、表示画像の視認性を高めることができる。

制御部１４０は、撮像画像表示モードにおいて外カメラ３５、３６の撮像画像に基づき生成する表示画像を拡大して表示してもよい。また、制御部１４０は、使用者の操作を入力情報取得部１１０で受け付けた場合に、撮像画像表示モードを実行してもよい。
また、制御部１４０は、使用者の注視距離を検出し、検出した注視距離が予め設定された距離より短い場合（例えば、輻輳角が設定された値より大きい場合）に、撮像画像表示モードを実行してもよい。

［第３実施形態］
図２１は、第３実施形態におけるＨＭＤの構成を示す図である。
第３実施形態では、図２１のように、視差を設定する視差設定部（例えば図１の枠部１０２参照）において、角度可変部を有する構成となっている。この構成により、導光装置２０である第１光学部材１０１ａの組み付け基準方向ＡＳａと、第２光学部材１０１ｂの組み付け基準方向ＡＳｂとの交差角度が調整可能である。すなわち、第１光学部材１０１ａに対する第２光学部材１０１ｂの角度を変更できる。これにより、図示のように、左右の視差を定める主光線ＰＲａ，ＰＲｂのなす角θの値を変更できる。

なお、角度変更においては、各光学部材１０１ａ，１０１ｂ（導光装置２０）のみならず、第１及び第２表示装置１００Ａ，１００Ｂを一体的に動かすものとする。この角度可変部については、種々の構成が考えられるが、例えば、左右一対の構成で、左右対称に第１及び第２表示装置１００Ａ，１００Ｂの姿勢を変化させるピエゾ素子やマイクロアジャスター等を適用して精密に動作させることが考えられる。また、視差設定部である枠部１０２（図１参照）の中央部分ＣＰに連続的、あるいは段階的に角度を変更でき、かつ所望の角度で固定できるストッパー付の蝶番（例えば図１１に示す蝶番ＨＮと同様の位置に配置）のようなものを精密に動作させる角度調整部材として設けることも考えられる。第１及び第２表示装置１００Ａ，１００Ｂの姿勢を所望な状態に変化させるに際しては、典型的には、上記のピエゾ素子や蝶番といった変形可能な可動素子を角度可変部に利用することが考えられる。その他、変形可能な可動素子で、かつ、精密に制御できるものであれば、上記以外のものを角度可変部として適用してもよい。

以上に加え、本第３実施形態では、左右一対の投射レンズ３０をそれぞれ構成する光学レンズ（図示略）がフォーカスレンズ群を構成するものとし、これを左右一対のアクチュエータＡＣａ，ＡＣｂで光軸方向について動かすものとする、すなわち投射レンズ３０がフォーカス機構を有するものとなっている。つまり、フォーカス機構が焦点距離を調整する焦点距離調整部として機能する。投射レンズ３０において、焦点距離を調整することが可能となることで、上述した視差設定部の角度可変部によって角θの値すなわち視差が変更された場合に、これに対応して各表示装置１００Ａ，１００Ｂにおける焦点距離延いては映像光ＧＬにより視認される画像の想定表示位置（虚像ＩＭの想定位置）を変更することが可能となる。

図２１の構成において、第１光学部材１０１ａに対する第２光学部材１０１ｂの角度を変更する動作は、変更制御部１８４の制御により右光学系駆動部８５及び左光学系駆動部８７を用いた機械的調整と合わせて、機械的調整の一部として実行できる。つまり、変更制御部１８４は、第１光学部材１０１ａに対する第２光学部材１０１ｂの角度を変更する動作による調整可能量を、右光学系駆動部８５及び左光学系駆動部８７を用いた機械的調整の調整可能量に加えて、機械的調整可能な範囲とすることができる。この調整可能な範囲に基づき、変更制御部１８４は、機械的調整と画像処理とを組み合わせる場合の、機械的調整の調整量と画像処理の調整量とを求めることができる。
また、変更制御部１８４は、光学系駆動部８５及び左光学系駆動部８７を用いた機械的調整の調整量と、第１光学部材１０１ａに対する第２光学部材１０１ｂの角度を変更する動作による調整量と、画像処理による調整量とを個別に求めることができる。

変更制御部１８４は、図１５及び図２０のステップＳＴ５３において、機械的調整の調整量を求める処理で、光学系駆動部８５及び左光学系駆動部８７を用いた機械的調整の調整量と、第１光学部材１０１ａに対する第２光学部材１０１ｂの角度を変更する動作による調整量とをそれぞれ求める。そして、ステップＳＴ５４において、求めた調整量に従って、光学系駆動部８５及び左光学系駆動部８７を用いた機械的調整と、第１光学部材１０１ａに対する第２光学部材１０１ｂの角度を変更する動作とを行うことができる。

このように、虚像表示装置１００における画像の表示態様を調整することにより、視認距離を調整する処理は、上述した構成に限定されず、種々の態様とすることができる。

なお、この発明は上記各実施形態の構成に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能である。
例えば、上記実施形態では、使用者の注視距離に応じて表示態様を制御する一例として、使用者が表示画像を見る（視認する）表示位置を制御する場合を例に挙げて説明したが、本発明はこれに限定されない。例えば、ＡＲ表示を行う場合に、注視距離に応じて、ＡＲ画像またはＡＲ画像に含まれる表示オブジェクト（画像、図形、文字等）の表示サイズ、表示色等を変更してもよい。また、対象物ＯＢに重なって表示される表示オブジェクトを、対象物ＯＢの前に重なるように表示する表示態様と、対象物ＯＢの後ろに重なって視認されるように表示する表示態様とを、注視距離に応じて切り替えてもよい。また、ＡＲ画像に画像処理を施して、表示オブジェクトに影が付いたように視認される表示態様のオン／オフを、注視距離に応じて切り替えてもよい。

また、使用者の注視距離に応じて表示態様を制御する別の例として、使用者が導光部材１０を透過して視認する実空間の対象物ＯＢに画像を重ねて表示する表示態様を制御してもよい。例えば、対象物ＯＢに画像が重なるように表示して、対象物ＯＢの視認性を低下させるマスク表示や、対象物ＯＢの色が異なる色に視認されるようにする表示を、注視距離に応じて切り替え、或いは調整してもよい。この場合、制御部１４０は、対象物ＯＢに重ねて視認される画像に対し、輝度調整、配色、ドット抜き、シャープネス或いはエッジ強調、階調調整、フォーカス調整（ぼかし処理）等の画像処理を行ってもよい。また、当該画像の表示位置の調整を、上記画像処理に組み合わせて行ってもよい。

また、例えば、上記実施形態において、制御部１４０は、図１４の輻輳角検出処理で算出した輻輳角に基づき、第１表示装置１００Ａと第２表示装置１００Ｂの両方において同様の調整を行う例を説明した。すなわち、図１５のステップＳＴ５３、ＳＴ５６で、機械的調整の調整量及び／又は画像処理による調整量を、左右で同量とした。本発明はこれに限定されず、利き眼側と、利き眼でない側とで、異なる調整量を決定してもよい。この場合の調整量の差は、予め設定されたパラメーター等に従ってもよいし、図１３のステップＳＴ１３で算出した検出データから求めてもよい。

また、例えば、虚像表示装置１００は、テンプル部１０４と鼻受部４０により眼鏡と同様に使用者の頭部に保持される構成に限定されない。例えば、帽子のように装着する方式を採用してもよく、使用者の左眼に対応して画像を表示する表示部と、使用者の右眼に対応して画像を表示する表示部とを分離し、それぞれを使用者の頭部に装着してもよい。また、眼鏡、帽子、ヘルメット等を介して間接的に使用者の身体に装着されてもよい。また、例えば、自動車や飛行機等の車両に搭載されるヘッドマウントディスプレイとして構成されてもよい。また、例えば、ヘルメット等の身体防護具に内蔵されたヘッドマウントディスプレイとして構成されてもよいし、自動車のフロントガラスに用いられるヘッドアップディスプレイ（Head-up Display；ＨＵＤ）であってもよい。

さらに、上記実施形態では、虚像表示装置１００と制御装置３００とが分離され、接続ケーブル４１を介して接続された構成を例に挙げて説明したが、制御装置３００と虚像表示装置１００とが一体に構成され、使用者の頭部に装着される構成とすることも可能である。また、制御装置３００と虚像表示装置１００とをより長いケーブルにより接続した場合に、制御装置３００として、ノート型コンピューター、タブレット型コンピューター又はデスクトップ型コンピューターを用いてもよい。また、制御装置３００として、ゲーム機や携帯型電話機やスマートフォンや携帯型メディアプレーヤーを含む携帯型電子機器、その他の専用機器等を用いてもよい。ここで、制御装置３００が表示画面を有する場合、バッテリー交換モードにおいて、制御装置３００が備える表示画面を停止させてもよい。

また、例えば、虚像表示装置１００において画像光を生成する構成として、有機ＥＬ（有機エレクトロルミネッセンス、Organic Electro-Luminescence）のディスプレイと、有機ＥＬ制御部とを備える構成としてもよい。また、画像光を生成する構成として、ＬＣＯＳ（Liquid crystal on silicon, LCoSは登録商標）を用いる構成とすることができる。また、無機ＥＬ（Electro-Luminescence）ディスプレイ、ＬＥＤアレイ、デジタル・マイクロミラー・デバイス（ＤＭＤ）等を用いて、画像光を生成する構成とすることもできる。
また、例えば、レーザー網膜投影型のヘッドマウントディスプレイに対して本発明を適用することも可能である。すなわち、画像生成部が、レーザー光源と、レーザー光源を使用者の眼に導く光学系とを備え、レーザー光を使用者の眼に入射させて網膜上を走査し、網膜に結像させることにより、使用者に画像を視認させる構成を採用してもよい。レーザー網膜投影型のヘッドマウントディスプレイを採用する場合、「画像光生成部における画像光の射出可能領域」とは、使用者の眼に認識される画像領域として定義することができる。

画像光を使用者の眼に導く光学系としては、外部から装置に向けて入射する外光を透過する光学部材を備え、画像光とともに使用者の眼に入射させる構成を採用できる。また、使用者の眼の前方に位置して使用者の視界の一部または全部に重なる光学部材を用いてもよい。さらに、レーザー光等を走査させて画像光とする走査方式の光学系を採用してもよい。また、光学部材の内部で画像光を導光させるものに限らず、使用者の眼に向けて画像光を屈折及び／または反射させて導く機能のみを有するものであってもよい。

また、本発明を、ＭＥＭＳミラーを用いた走査光学系を採用し、ＭＥＭＳディスプレイ技術を利用した表示装置に適用することも可能である。すなわち、画像表示素子として、信号光形成部と、信号光形成部が射出する光を走査するＭＥＭＳミラーを有する走査光学系と、走査光学系により走査される光によって虚像が形成される光学部材とを備えてもよい。この構成では、信号光形成部が射出した光がＭＥＭＳミラーにより反射され、光学部材に入射し、光学部材の中を導かれて、虚像形成面に達する。ＭＥＭＳミラーが光を走査することにより、虚像形成面に虚像が形成され、この虚像を使用者が眼で捉えることで、画像が認識される。この場合の光学部品は、例えば上記実施形態の右導光板２６１及び左導光板２６２のように、複数回の反射を経て光を導くものであってもよく、ハーフミラー面を利用してもよい。また、ＭＥＭＳを利用して光を使用者の眼に入射させて網膜上を走査し、網膜に結像させることにより使用者に画像を視認させる、上述のレーザー網膜投影型のヘッドマウントディスプレイを構成してもよい。

また、図９に示した各機能ブロックのうち少なくとも一部は、ハードウェアで実現してもよいし、ハードウェアとソフトウェアの協働により実現される構成としてもよく、図９に示した通りに独立したハードウェア資源を配置する構成に限定されない。また、制御部１４０が実行するプログラムは、記憶部１２０又は制御装置３００内の記憶装置に記憶されてもよいし、外部の装置に記憶されたプログラムを通信部１１７又はインターフェイス１１４を介して取得して実行する構成としてもよい。また、制御装置３００に形成された構成のうち、操作部１３５のみが単独の使用者インターフェイス（ＵＩ）として形成されてもよい。また、制御装置３００に形成された構成が重複して虚像表示装置１００に形成されていてもよい。例えば、図９に示す制御部１４０が制御装置３００と虚像表示装置１００との両方に形成されていてもよいし、制御装置３００に形成された制御部１４０と虚像表示装置１００に形成されたＣＰＵとが行う機能が別々に分けられている構成としてもよい。

１…ＨＭＤ（表示装置）、１０…導光部材、１０ａ、１０ｂ…位置、３５、３６…外カメラ（第２撮像部、外部撮像部）、３７ａ、３７ｂ、３８ａ、３８ｂ…内カメラ（第１撮像部）、４１…接続ケーブル、５０…光透過部材、７０…投射透視装置（光学系）、８０…画像表示装置（出射部）、８４…駆動制御部、８５…右光学系駆動部（変更部）、８６…映像素子ケース、８７…左光学系駆動部（変更部）、１００…虚像表示装置（表示部）、１００Ａ…第１表示装置、１００Ｂ…第２表示装置、１０１ａ…第１光学部材、１０１ｂ…第２光学部材、１０２…枠部、１０４…テンプル部、１０５ａ…第１像形成本体部、１０５ｂ…第２像形成本体部、１０５ｄ…外装部材、１０７…フレーム、１０７ａ…正面部、１０７ｂ…側面部、１０７ｃ…側面部、１０８…樹脂部、１１０…入力情報取得部、１１４…インターフェイス、１１７…通信部、１２０…記憶部、１２１…設定データ、１３０…光学装置部、１３５…操作部、１４０…制御部、１６０…画像処理部（画像生成部）、１７０…表示制御部、１８１…撮像制御部、１８２…眼画像解析部、１８３…外画像解析部、１８４…変更制御部、１８５…駆動制御部、１９０…音声処理部、２０１…右バックライト制御部、２０２…左バックライト制御部、２１１…右駆動制御部、２１２…左駆動制御部、２２１…右バックライト、２２２…左バックライト、２６１…右導光板、２６２…左導光板、３００…制御装置、３０２…トラックパッド。

Claims (18)

1. 外景を視認可能に、使用者の右眼と左眼のそれぞれに対応して画像を表示する表示部と、
   前記表示部による前記画像の表示を、前記使用者の注視距離に応じて制御する制御部と、
   前記表示部の装着状態において前記使用者の視線方向を含む範囲を撮像する外部撮像部と、
   前記使用者による指示を受け付ける入力情報取得部と、を備え、
   前記表示部は、前記表示部を透過する外光により前記使用者が前記外景を視認可能であり、前記外景と同時に視認可能に前記画像を表示するよう構成され、
   前記制御部は、
   前記表示部を透過する外光に比べ前記表示部に表示される前記画像の視認性を調整可能であり、
   前記使用者の注視距離が設定された距離より短い場合に、前記外部撮像部の撮像画像に基づく前記画像を前記表示部に表示させる撮像画像表示モードを実行し、
   前記撮像画像表示モードにおいて、前記入力情報取得部によって拡大の指示を受け付けた場合であって、設定値以上の拡大倍率が指定された場合に第１表示モードの表示を行い、設定値より小さい拡大倍率が指定された場合に第２表示モードの表示を行い、
   前記表示部を透過して視認される前記外景の視認性が前記第１表示モードと前記第２表示モードとで異なり、前記拡大倍率が高いほど前記表示部に表示される前記画像の視認性が高くなるように、前記表示部に表示される前記画像の視認性を調整することを特徴とする表示装置。
2. 前記制御部は、前記撮像画像表示モードを実行しない場合に、前記使用者の注視距離に応じて、前記表示部による前記画像の表示位置及び／又は前記画像の表示サイズを変更すること、
   を特徴とする請求項１記載の表示装置。
3. 前記制御部は、前記撮像画像表示モードを実行しない場合に、前記使用者の注視距離に対応する両眼の輻輳角に基づき、前記表示部による前記画像の表示を制御すること、
   を特徴とする請求項１または２記載の表示装置。
4. 前記制御部は、前記撮像画像表示モードを実行しない場合に、前記使用者の両眼の輻輳角を求め、求めた輻輳角に対応して、前記表示部が表示する前記画像を前記使用者が視認する位置を変化させること、
   を特徴とする請求項３記載の表示装置。
5. 前記制御部は、前記撮像画像表示モードを実行しない場合に、前記使用者の両眼の輻輳角に対応して、前記表示部が前記画像を表示する表示位置を、予め設定された標準位置からシフトさせること、
   を特徴とする請求項４記載の表示装置。
6. 前記使用者の両眼の状態を検出する状態検出部を備え、
   前記制御部は、前記状態検出部の検出結果に基づいて、前記使用者の注視距離を算出すること、
   を特徴とする請求項１から５のいずれかに記載の表示装置。
7. 前記状態検出部は、前記使用者の右眼と左眼のそれぞれに対応して設けられる第１撮像部を備え、
   前記制御部は、前記第１撮像部の撮像画像に基づいて、前記使用者の両眼の瞳孔間距離、瞳孔径、或いは注視方向の注視時間の少なくともいずれかを求めることにより、前記使用者の注視距離を算出すること、
   を特徴とする請求項６記載の表示装置。
8. 前記状態検出部は、前記使用者の注視方向を撮像する第２撮像部を備え、
   前記制御部は、前記第２撮像部の撮像画像に基づいて、前記使用者が注視する注視対象物までの距離を求めることにより、前記使用者の注視距離を算出すること、
   を特徴とする請求項６または７記載の表示装置。
9. 前記表示部は、画像光を出射する出射部と、
   前記出射部が出射する画像光を前記使用者の右眼と左眼のそれぞれに導く光学系と、
   前記出射部または前記光学系を構成する少なくとも一部の部材を変位させ、前記光学系から前記使用者の右眼と左眼とに入射する画像光の角度を変更する変更部と、を備え、
   前記制御部は、前記使用者の注視距離に応じて前記変更部を動作させること、
   を特徴とする請求項２から８のいずれかに記載の表示装置。
10. 前記制御部は、前記使用者の注視距離に応じて、前記表示部が表示する前記画像を前記使用者が視認する表示範囲における、前記画像の位置を制御すること、
    を特徴とする請求項２から９のいずれかに記載の表示装置。
11. 画像データに基づき前記表示部が表示する前記画像を生成する画像生成部を備え、
    前記制御部は、前記使用者の注視距離に応じて、前記画像生成部により前記画像データの一部を切り出して調整用の画像を生成させ、前記調整用の画像を前記表示部に表示させること、
    を特徴とする請求項１０記載の表示装置。
12. 前記制御部は、前記第１表示モードの表示を行う場合に、前記表示部によって前記使用者の右眼または左眼のいずれかに対応する前記画像を表示させること、
    を特徴とする請求項１から１１のいずれかに記載の表示装置。
13. 外景を視認可能に、使用者の右眼と左眼のそれぞれに対応して画像を表示する表示装置であって、
    画像光を出射する出射部と、
    前記出射部が出射する画像光を前記使用者の右眼と左眼のそれぞれに導く光学系と、
    前記出射部の出射方向または前記光学系から前記使用者の右眼と左眼とに入射する画像光の入射角度を変更する変更部と、を備える表示部であって、前記表示部を透過する外光により前記使用者が前記外景を視認可能であり、前記外景と同時に視認可能に前記画像を表示する表示部と、
    画像データに基づき前記表示部が表示する前記画像を生成する画像生成部と、
    前記使用者の注視距離を算出し、算出した注視距離に応じて、前記変更部を動作させる処理、及び、前記使用者の注視距離に応じて、前記画像生成部により前記画像データの一部を切り出して調整用の画像を生成させ、前記調整用の画像を前記表示部に表示させる処理の少なくともいずれかを実行する制御部と、
    前記表示部の装着状態において前記使用者の視線方向を含む範囲を撮像する外部撮像部と、
    前記使用者による指示を受け付ける入力情報取得部と、を備え、
    前記制御部は、
    前記表示部を透過する外光に比べ前記表示部に表示される前記画像の視認性を調整可能であり、
    前記使用者の注視距離が設定された距離より短い場合に、前記外部撮像部の撮像画像に基づく前記画像を前記表示部に表示させる撮像画像表示モードを実行し、
    前記撮像画像表示モードにおいて、前記入力情報取得部によって拡大の指示を受け付けた場合であって、設定値以上の拡大倍率が指定された場合に第１表示モードの表示を行い、設定値より小さい拡大倍率が指定された場合に第２表示モードの表示を行い、
    前記表示部を透過して視認される前記外景の視認性が前記第１表示モードと前記第２表示モードとで異なり、前記拡大倍率が高いほど前記表示部に表示される前記画像の視認性が高くなるように、前記表示部に表示される前記画像の視認性を調整することを特徴とする表示装置。
14. 前記制御部は、前記表示部に表示される前記画像の表示輝度、表示色、及び、前記表示部におけるエッジ強調処理の有無の少なくともいずれかを調整することにより、前記表示部に表示される前記画像の視認性を調整すること、
    を特徴とする請求項１３に記載の表示装置。
15. 前記制御部は、前記撮像画像表示モードにおいて、入力情報取得部によって拡大の指示を受け付けた場合であって、前記設定値より大きい閾値を超える拡大倍率が指定された場合に、前記外部撮像部の撮像画像に基づく前記画像を前記第１表示モードで表示させ、さらに、前記外部撮像部の撮像画像に基づく前記画像を、前記表示部により前記使用者の右眼と左眼のいずれか一方に対応して表示する片眼表示を行うこと、
    を特徴とする請求項１３または１４に記載の表示装置。
16. 前記制御部は、前記外部撮像部の撮像画像に基づく前記画像を、前記表示部により、左右の視差を有さない態様で前記使用者の右眼及び左眼のそれぞれに対応して表示すること、
    を特徴とする請求項１３または１４に記載の表示装置。
17. 外景を視認可能に、使用者の右眼と左眼のそれぞれに対応して画像を表示する表示部と、前記表示部の装着状態において前記使用者の視線方向を含む範囲を撮像する外部撮像部と、前記使用者による指示を受け付ける入力情報取得部と、を備え、前記表示部は、前記表示部を透過する外光により前記使用者が前記外景を視認可能であり、前記外景と同時に視認可能に前記画像を表示するよう構成され、前記表示部を透過する外光に比べ前記表示部に表示される前記画像の視認性を調整可能な表示装置の制御方法であって、
    前記表示部による前記画像の表示を、前記使用者の注視距離に応じて制御し、
    前記使用者の注視距離が設定された距離より短い場合に、前記外部撮像部の撮像画像に基づく前記画像を前記表示部に表示させる撮像画像表示モードを実行し、
    前記撮像画像表示モードにおいて、前記入力情報取得部によって拡大の指示を受け付けた場合であって、設定値以上の拡大倍率が指定された場合に第１表示モードの表示を行い、設定値より小さい拡大倍率が指定された場合に第２表示モードの表示を行い、
    前記表示部を透過して視認される前記外景の視認性が前記第１表示モードと前記第２表示モードとで異なり、前記拡大倍率が高いほど前記表示部に表示される前記画像の視認性が高くなるように、前記表示部に表示される前記画像の視認性を調整すること、
    を特徴とする表示装置の制御方法。
18. 外景を視認可能に、使用者の右眼と左眼のそれぞれに対応して画像を表示する表示部と、前記表示部の装着状態において前記使用者の視線方向を含む範囲を撮像する外部撮像部と、前記使用者による指示を受け付ける入力情報取得部と、を備え、前記表示部は、前記表示部を透過する外光により前記使用者が前記外景を視認可能であり、前記外景と同時に視認可能に前記画像を表示するよう構成され、前記表示部を透過する外光に比べ前記表示部に表示される前記画像の視認性を調整可能な表示装置を制御するコンピューターが実行可能なプログラムであって、
    前記コンピューターを、前記表示部による前記画像の表示を、前記使用者の注視距離に応じて制御する制御部として機能させ、
    前記制御部は、前記使用者の注視距離が設定された距離より短い場合に、前記外部撮像部の撮像画像に基づく前記画像を前記表示部に表示させる撮像画像表示モードを実行し、
    前記撮像画像表示モードにおいて、前記入力情報取得部によって拡大の指示を受け付けた場合であって、設定値以上の拡大倍率が指定された場合に第１表示モードの表示を行い、設定値より小さい拡大倍率が指定された場合に第２表示モードの表示を行い、
    前記表示部を透過して視認される前記外景の視認性が前記第１表示モードと前記第２表示モードとで異なり、前記拡大倍率が高いほど前記表示部に表示される前記画像の視認性が高くなるように、前記表示部に表示される前記画像の視認性を調整する、ことを特徴とするプログラム。

Images