JP6492531B2 - 表示装置、及び、表示装置の制御方法 - Google Patents

Description

本発明は、表示装置、及び、表示装置の制御方法に関する。

従来、使用者が頭部に装着して使用する、ヘッドマウントディスプレイ（Head Mounted Display：ＨＭＤ）と呼ばれる表示装置が知られている。この種の表示装置は、装着位置が標準的な位置からずれると、表示される画像を視認しにくいという問題がある。そこで、従来、使用者の目頭と眼球をカメラで撮像して、ディスプレイに対する目頭や目じりの位置を計測することにより、ディスプレイの位置ずれを検出する方法が提案された（例えば、特許文献１参照）。また、ＨＭＤにマーカーを貼り付けて、使用者が鏡に正対してＨＭＤが鏡像を撮影し、撮影画像内のマーカーに基づき、画像の表示位置を調整する手法が提案された（例えば、特許文献２参照）。

特許第５４１４９４６号公報 国際公開ＷＯ２０１３／１４５１４７号

上記従来の手法では、使用者の目頭と眼球を撮像するカメラ、或いは、ＨＭＤに貼付するマーカーなど、位置の検出を行うための装備を設ける必要があった。このため、装置構成の複雑化を招き、位置の検出を行うための使用者の作業の負荷が高いという問題があった。
本発明は上記事情に鑑みてなされたものであり、使用者が表示装置を装着して画像を見る場合に、使用者の負担を増やさずに、使用者が好ましい状態で画像を見ることができるようにすることを目的とする。

上記目的を達成するために、本発明の表示装置は、使用者に装着されるように構成された装着部と、前記装着部に設けられ、画像を表す画像光を、前記使用者に前記装着部が装着された場合に前記使用者の眼に入射させる光学素子を有する表示部と、前記装着部に設けられる撮像部と、前記使用者に前記装着部が装着されている場合に前記撮像部の撮像画像に基づいて前記使用者の眼と前記光学素子との対応状態を検出する処理部と、前記処理部が検出した対応状態に基づいて、前記表示部または前記光学素子を調整する調整制御部と、を備えたことを特徴とする。
本発明によれば、使用者が表示装置を装着した場合に、使用者の眼と光学素子との対応状態を検出して調整するので、使用者は好ましい状態で画像を視認できる。

また、本発明は、上記表示装置において、前記処理部は、前記撮像部の撮像画像に基づいて、前記光学素子と前記眼との相対位置を検出し、前記調整制御部は、前記処理部が検出した前記光学素子と前記眼との相対位置に基づいて、前記画像の位置を前記眼に対応した位置にするため前記表示部または前記光学素子を調整すること、を特徴とする。
本発明によれば、使用者の眼と光学素子との相対位置に基づいて調整を行うので、表示装置の装着位置や角度が最適でなくても、使用者が好ましい状態で画像を視認できる。

また、本発明は、上記表示装置において、前記表示部は、画像光を前記光学素子に射出する光射出部を備え、前記光学素子は前記光射出部から入射する画像光を前記使用者の眼に向けて反射する反射面を有し、前記処理部は、前記使用者の眼の位置と前記反射面の位置との対応状態を検出すること、を特徴とする。
本発明によれば、光学素子が有する反射面と使用者の眼の位置との対応状態を検出するので、使用者の眼に入射する画像光の位置を適切な位置に調整できる。

また、本発明は、上記表示装置において、前記撮像部は、前記使用者に前記装着部が装着されている場合に前記使用者の視線方向を撮像し、前記処理部は、前記撮像部の撮像画像から、前記使用者の視線方向に位置する光反射体に映る前記使用者の像、及び、前記表示部または前記光学素子の像を検出することにより、前記使用者の眼と前記光学素子との対応状態を検出すること、を特徴とする。
本発明によれば、調整以外の目的で使用可能な撮像部を利用するので、調整を目的とした装置構成の複雑化を避けることができる。

また、本発明は、上記表示装置において、前記処理部は、前記光反射体に映る前記使用者の像から前記使用者の眼の像及び前記光学素子の像を検出し、前記使用者の眼の位置と前記光学素子の位置との対応状態を検出すること、を特徴とする。
本発明によれば、光反射体に映る像を利用して、より適切に調整を行うことができる。

また、上記目的を達成するために、本発明の表示装置の制御方法は、使用者に装着されるように構成された装着部に、画像を表す画像光を、前記使用者に前記装着部が装着された場合に前記使用者の眼に入射させる光学素子を有する表示部と、撮像部と、を設けた表示装置を制御して、前記使用者に前記装着部が装着されている場合に前記撮像部の撮像画像に基づいて前記使用者の眼と前記光学素子との対応状態を検出し、検出した対応状態に基づいて、前記表示部または前記光学素子を調整すること、を特徴とする。
本発明によれば、使用者が表示装置を装着した場合に、使用者の眼と光学素子との対応状態を検出して調整するので、使用者は好ましい状態で画像を視認できる。

頭部装着型表示装置の外観構成を示す説明図。 画像表示部の光学系の構成を示す図。 頭部装着型表示装置を構成する各部の機能ブロック図。 使用者の眼と表示画像との相対位置を平面視で示す図。 使用者の眼と対象物との相対位置を側面視で示す図。 調整処理における頭部装着型表示装置の動作を示すフローチャート。 調整処理における使用者の状態の一例を示す図。 使用者の眼とハーフミラーとの相対位置の例を正面視で示す図。

図１は、本発明を適用した実施形態に係る頭部装着型表示装置１００（表示装置）の外観構成を示す説明図である。
頭部装着型表示装置１００は、使用者の頭部に装着された状態で使用者に虚像を視認させる画像表示部２０と、画像表示部２０を制御する制御装置１０と、を備えている。制御装置１０は、使用者が頭部装着型表示装置１００を操作するコントローラーとしても機能する。

画像表示部２０は、使用者の頭部に装着される装着体であり、本実施形態では眼鏡形状を有する。画像表示部２０は、右保持部２１と、右表示駆動部２２（光射出部）と、左保持部２３と、左表示駆動部２４（光射出部）と、右光学像表示部２６と、左光学像表示部２８と、カメラ６１（撮像部）と、マイク６３とを備える。右光学像表示部２６及び左光学像表示部２８は、それぞれ、使用者が画像表示部２０を装着した際に使用者の右及び左の眼前に位置するように配置されている。右光学像表示部２６の一端と左光学像表示部２８の一端とは、使用者が画像表示部２０を装着した際の使用者の眉間に対応する位置で、互いに連結されている。

右保持部２１は、右光学像表示部２６の他端である端部ＥＲから、使用者が画像表示部２０を装着した際の使用者の側頭部に対応する位置にかけて、延伸して設けられた部材である。同様に、左保持部２３は、左光学像表示部２８の他端である端部ＥＬから、使用者が画像表示部２０を装着した際の使用者の側頭部に対応する位置にかけて、延伸して設けられた部材である。右保持部２１及び左保持部２３は、眼鏡のテンプル（つる）のようにして、使用者の頭部に画像表示部２０を保持する。

右表示駆動部２２と左表示駆動部２４とは、使用者が画像表示部２０を装着した際の使用者の頭部に対向する側に配置されている。なお、右表示駆動部２２及び左表示駆動部２４を総称して単に「表示駆動部」とも呼び、右光学像表示部２６及び左光学像表示部２８を総称して単に「光学像表示部」とも呼ぶ。

表示駆動部２２，２４は、液晶ディスプレイ２４１，２４２（Liquid Crystal Display、以下「ＬＣＤ２４１，２４２」と呼ぶ）、図３を参照して後述する投写光学系２５１，２５２等を含む。
右光学像表示部２６及び左光学像表示部２８は、導光板２６１，２６２（図２）と、調光板２０Ａとを備える。導光板２６１，２６２は、光透過性の樹脂等によって形成され、表示駆動部２２，２４が出力する画像光を、使用者の眼に導く。調光板２０Ａは、薄板状の光学素子であり、使用者の眼の側とは反対の側である画像表示部２０の表側を覆うように配置される。調光板２０Ａは、光透過性がほぼ無いもの、透明に近いもの、光量を減衰させて光を透過するもの、特定の波長の光を減衰又は反射するもの等、種々のものを用いることができる。調光板２０Ａの光学特性（光透過率など）を適宜選択することにより、外部から右光学像表示部２６及び左光学像表示部２８に入射する外光量を調整して、虚像の視認のしやすさを調整できる。本実施形態では、少なくとも、頭部装着型表示装置１００を装着した使用者が外の景色を視認できる程度の光透過性を有する調光板２０Ａを用いる場合について説明する。調光板２０Ａは、右導光板２６１及び左導光板２６２を保護し、右導光板２６１及び左導光板２６２の損傷や汚れの付着等を抑制する。
調光板２０Ａは、右光学像表示部２６及び左光学像表示部２８に対し着脱可能としてもよく、複数種類の調光板２０Ａを交換して装着可能としてもよいし、省略してもよい。

カメラ６１は、右光学像表示部２６と左光学像表示部２８との境目部分に配置される。使用者が画像表示部２０を装着した状態で、カメラ６１の位置は、水平方向においては使用者の両眼のほぼ中間であり、鉛直方向においては使用者の両眼より上である。カメラ６１は、ＣＣＤやＣＭＯＳ等の撮像素子及び撮像レンズ等を備えるデジタルカメラであり、単眼カメラであってもステレオカメラであってもよい。
カメラ６１は、頭部装着型表示装置１００の表側方向、換言すれば、頭部装着型表示装置１００を装着した状態における使用者の視界方向の少なくとも一部の外景を撮像する。カメラ６１の画角の広さは適宜設定可能であるが、カメラ６１の撮像範囲が、使用者が右光学像表示部２６、左光学像表示部２８を通して視認する外界を含む範囲であることが好ましい。さらに、調光板２０Ａを通した使用者の視界の全体を撮像できるようにカメラ６１の撮像範囲が設定されているとより好ましい。
カメラ６１は、制御部１４０が備える撮像処理部１６１（図３）の制御に従って撮像を実行し、撮像画像データを撮像処理部１６１に出力する。

図２は、画像表示部２０が備える光学系の構成を示す要部平面図である。図２には説明のため使用者の左眼ＬＥ及び右眼ＲＥを図示する。
左表示駆動部２４は、ＬＥＤ等の光源と拡散板とを有する左バックライト２２２、左バックライト２２２の拡散板から発せられる光の光路上に配置される透過型の左ＬＣＤ２４２、および、左ＬＣＤ２４２を透過した画像光Ｌを導くレンズ群等を備えた左投写光学系２５２を備える。左ＬＣＤ２４２は、複数の画素をマトリクス状に配置した透過型液晶パネルである。

左投写光学系２５２は、左ＬＣＤ２４２から射出された画像光Ｌを平行状態の光束にするコリメートレンズを有する。コリメートレンズにより平行状態の光束にされた画像光Ｌは、左導光板２６２（光学素子）に入射される。左導光板２６２は、画像光Ｌを反射する複数の反射面が形成されたプリズムであり、画像光Ｌは、左導光板２６２の内部において複数回の反射を経て左眼ＬＥ側に導かれる。左導光板２６２には、左眼ＬＥの眼前に位置するハーフミラー２６２Ａ（反射面）が形成される。
ハーフミラー２６２Ａで反射した画像光Ｌは左眼ＬＥに向けて左光学像表示部２８から射出され、この画像光Ｌが左眼ＬＥの網膜に像を結び、使用者に画像を視認させる。

右表示駆動部２２は、左表示駆動部２４と左右対称に構成される。右表示駆動部２２は、ＬＥＤ等の光源と拡散板とを有する右バックライト２２１、右バックライト２２１の拡散板から発せられる光の光路上に配置される透過型の右ＬＣＤ２４１、および、右ＬＣＤ２４１を透過した画像光Ｌを導くレンズ群等を備えた右投写光学系２５１を備える。右ＬＣＤ２４１は、複数の画素をマトリクス状に配置した透過型液晶パネルである。

右投写光学系２５１は、右ＬＣＤ２４１から射出された画像光Ｌを平行状態の光束にするコリメートレンズを有する。コリメートレンズにより平行状態の光束にされた画像光Ｌは、右導光板２６１（光学素子）に入射される。右導光板２６１は、画像光Ｌを反射する複数の反射面が形成されたプリズムであり、画像光Ｌは、右導光板２６１の内部において複数回の反射を経て右眼ＲＥ側に導かれる。右導光板２６１には、右眼ＲＥの眼前に位置するハーフミラー２６１Ａ（反射面）が形成される。
ハーフミラー２６１Ａで反射した画像光Ｌは右眼ＲＥに向けて右光学像表示部２６から射出され、この画像光Ｌが右眼ＲＥの網膜に像を結び、使用者に画像を視認させる。

使用者の右眼ＲＥには、ハーフミラー２６１Ａで反射した画像光Ｌと、調光板２０Ａを透過した外光ＯＬとが入射する。左眼ＬＥには、ハーフミラー２６２Ａで反射した画像光Ｌと、調光板２０Ａを透過した外光ＯＬとが入射する。このように、頭部装着型表示装置１００は、内部で処理した画像の画像光Ｌと外光ＯＬとを重ねて使用者の眼に入射させ、使用者にとっては、調光板２０Ａを透かして外景が見え、この外景に重ねて、画像光Ｌによる画像が視認される。このように、頭部装着型表示装置１００は、シースルー型の表示装置として機能する。

なお、左投写光学系２５２と左導光板２６２とを総称して「左導光部」とも呼び、右投写光学系２５１と右導光板２６１とを総称して「右導光部」と呼ぶ。右導光部及び左導光部の構成は上記の例に限定されず、画像光を用いて使用者の眼前に虚像を形成する限りにおいて任意の方式を用いることができ、例えば、回折格子を用いても良いし、半透過反射膜を用いても良い。

画像表示部２０は、制御装置１０に接続部４０を介して接続する。接続部４０は、制御装置１０に接続される本体コード４８、右コード４２、左コード４４、及び、連結部材４６を備える。右コード４２及び左コード４４は、本体コード４８が２本に分岐したコードである。右コード４２は、右保持部２１の延伸方向の先端部ＡＰから右保持部２１の筐体内に挿入され、右表示駆動部２２に接続される。同様に、左コード４４は、左保持部２３の延伸方向の先端部ＡＰから左保持部２３の筐体内に挿入され、左表示駆動部２４に接続される。

連結部材４６は、本体コード４８と、右コード４２及び左コード４４との分岐点に設けられ、イヤホンプラグ３０を接続するためのジャックを有する。イヤホンプラグ３０からは、右イヤホン３２及び左イヤホン３４が延伸する。イヤホンプラグ３０の近傍にはマイク６３が設けられる。イヤホンプラグ３０からマイク６３までは一本のコードにまとめられ、マイク６３からコードが分岐して、右イヤホン３２と左イヤホン３４のそれぞれに繋がる。

マイク６３は、例えば図１に示すように、マイク６３の集音部が使用者の視線方向を向くように配置され、音声を集音して、音声信号を音声処理部１８７（図３）に出力する。マイク６３は、例えばモノラルマイクであってもステレオマイクであってもよく、指向性を有するマイクであってもよいし、無指向性のマイクであってもよい。

右コード４２、左コード４４、及び、本体コード４８は、デジタルデータを伝送可能なものであればよく、例えば金属ケーブルや光ファイバーで構成できる。また、右コード４２と左コード４４とを一本のコードにまとめた構成としてもよい。

画像表示部２０と制御装置１０とは、接続部４０を介して各種信号を伝送する。本体コード４８の連結部材４６とは反対側の端部、及び、制御装置１０には、互いに嵌合するコネクター（図示略）が設けられる。本体コード４８のコネクターと制御装置１０のコネクターとを嵌合し、或いは、この嵌合を外すことで、制御装置１０と画像表示部２０とを接離できる。

制御装置１０は、頭部装着型表示装置１００を制御する。制御装置１０は、決定キー１１、点灯部１２、表示切替キー１３、輝度切替キー１５、方向キー１６、メニューキー１７、及び電源スイッチ１８を含むスイッチ類を備える。また、制御装置１０は、使用者が手指で操作するトラックパッド１４を備える。

決定キー１１は、押下操作を検出して、制御装置１０で操作された内容を決定する信号を出力する。点灯部１２は、ＬＥＤ（Light Emitting Diode）等の光源を備え、光源の点灯状態により、頭部装着型表示装置１００の動作状態（例えば、電源のＯＮ／ＯＦＦ）を通知する。表示切替キー１３は、押下操作に応じて、例えば、画像の表示モードの切り替えを指示する信号を出力する。

トラックパッド１４は、接触操作を検出する操作面を有し、操作面に対する操作に応じて操作信号を出力する。操作面における検出方式は限定されず、静電式、圧力検出式、光学式等を採用できる。輝度切替キー１５は、押下操作に応じて画像表示部２０の輝度の増減を指示する信号を出力する。方向キー１６は、上下左右方向に対応するキーへの押下操作に応じて操作信号を出力する。電源スイッチ１８は、頭部装着型表示装置１００の電源オン／オフを切り替えるスイッチである。

図３は、頭部装着型表示装置１００を構成する各部の機能ブロック図である。
頭部装着型表示装置１００は、コンテンツの供給元となる種々の外部機器ＯＡを接続するインターフェイス１２５を備える。インターフェイス１２５は、例えば、ＵＳＢインターフェイス、マイクロＵＳＢインターフェイス、メモリーカード用インターフェイス等の有線接続に対応したインターフェイスを用いることができ、無線通信インターフェイスで構成してもよい。外部機器ＯＡは、頭部装着型表示装置１００に画像を供給する画像供給装置であり、パーソナルコンピューター（ＰＣ）、携帯電話端末、携帯型ゲーム機等が用いられる。

制御装置１０は、制御部１４０、入力情報取得部１１０、記憶部１２０、送信部（Ｔｘ）５１及び送信部（Ｔｘ）５２を有する。
入力情報取得部１１０は、操作部１１１に接続される。操作部１１１は、上記のトラックパッド１４、方向キー１６、電源スイッチ１８等を含み、入力情報取得部１１０は、操作部１１１から入力される信号に基づき、入力内容を取得する。また、制御装置１０は、電源部（図示略）を備え、制御装置１０及び画像表示部２０の各部に電源を供給する。

記憶部１２０は、不揮発性の記憶装置であって、種々のコンピュータープログラム、および、これらのプログラムに係るデータを記憶する。また、記憶部１２０は、画像表示部２０に表示する静止画像や動画像のデータを記憶しても良い。
記憶部１２０は、設定データ１２１を記憶する。設定データ１２１は、後述する画像解析部１６２及び表示調整部１６３が使用する各種の設定値を含む。設定データ１２１が含む設定値は、予め操作部１１１の操作で入力された値であってもよいし、通信部１１７またはインターフェイス１２５を介して外部機器ＯＡまたは他の装置（図示略）から設定値を受信して記憶してもよい。

制御部１４０には、３軸センサー１１３、ＧＰＳ１１５、通信部１１７及び音声認識部１１４が接続される。３軸センサー１１３は３軸の加速度センサーであり、制御部１４０は３軸センサー１１３の検出値を取得する。ＧＰＳ１１５は、アンテナ（図示略）を備え、ＧＰＳ（Global Positioning System）信号を受信し、制御装置１０の現在位置を算出する。ＧＰＳ１１５は、ＧＰＳ信号に基づいて求めた現在位置や現在時刻を制御部１４０に出力する。また、ＧＰＳ１１５はＧＰＳ信号に含まれる情報に基づいて現在時刻を取得し、制御部１４０が計時する時刻を修正させる機能を備えていてもよい。

通信部１１７は、無線ＬＡＮ（ＷｉＦｉ（登録商標））、Ｍｉｒａｃａｓｔ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の規格に準じた無線データ通信を実行する。
外部機器ＯＡが、通信部１１７に無線接続された場合、制御部１４０は、コンテンツデータを通信部１１７より取得して、画像表示部２０に画像を表示させる。一方、外部機器ＯＡが、インターフェイス１２５に有線接続された場合、制御部１４０は、コンテンツデータをインターフェイス１２５より取得して、画像表示部２０に画像を表示させる。通信部１１７及びインターフェイス１２５は、外部機器ＯＡからコンテンツデータを取得するデータ取得部ＤＡとして機能する。

制御部１４０は、プログラムを実行するＣＰＵ（図示略）、ＣＰＵが実行するプログラムやデータを一時的に格納するＲＡＭ（図示略）、及び、ＣＰＵが実行する基本制御プログラムやデータを不揮発的に記憶するＲＯＭ（図示略）を備える。制御部１４０は、記憶部１２０が記憶するコンピュータープログラムを読み出して実行し、オペレーティングシステム（ＯＳ）１５０、画像処理部１６０、表示制御部１７０、撮像処理部１８１、画像解析部１８２（処理部）、調整制御部１８３、及び、音声処理部１８７として機能する。

画像処理部１６０は、コンテンツに含まれる画像信号を取得する。画像処理部１６０は、取得した画像信号から、垂直同期信号ＶＳｙｎｃや水平同期信号ＨＳｙｎｃ等の同期信号を分離する。また、画像処理部１６０は、分離した垂直同期信号ＶＳｙｎｃや水平同期信号ＨＳｙｎｃの周期に応じて、ＰＬＬ（Phase Locked Loop）回路等（図示略）を利用してクロック信号ＰＣＬＫを生成する。画像処理部１６０は、同期信号が分離されたアナログ画像信号を、Ａ／Ｄ変換回路等（図示略）を用いてディジタル画像信号に変換する。画像処理部１６０は、変換後のディジタル画像信号を、対象画像の画像データ（図中、Ｄａｔａ）として、１フレームごとに、制御部１４０のＲＡＭに格納する。この画像データは、例えばＲＧＢデータである。
なお、画像処理部１６０は、必要に応じて、画像データの解像度を右表示駆動部２２及び左表示駆動部２４に適した解像度に変換する解像度変換処理を行ってもよい。また、画像処理部１６０は、画像データの輝度や彩度を調整する画像調整処理、３Ｄ画像データから２Ｄ画像データを作成し、或いは２Ｄ画像データから３Ｄ画像データを生成する２Ｄ／３Ｄ変換処理等を実行してもよい。

画像処理部１６０は、クロック信号ＰＣＬＫ、垂直同期信号ＶＳｙｎｃ、水平同期信号ＨＳｙｎｃ、ＲＡＭに格納された画像データＤａｔａのそれぞれを送信部５１、５２を介して送信する。送信部５１、５２は、トランシーバーとして機能し、制御装置１０と画像表示部２０との間におけるシリアル伝送を実行する。なお、送信部５１を介して送信される画像データＤａｔａを「右眼用画像データ」と呼び、送信部５２を介して送信される画像データＤａｔａを「左眼用画像データ」と呼ぶ。

表示制御部１７０は、右表示駆動部２２及び左表示駆動部２４を制御する制御信号を生成し、この制御信号により、右表示駆動部２２及び左表示駆動部２４のそれぞれによる画像光の生成及び射出を制御する。具体的には、右ＬＣＤ制御部２１１による右ＬＣＤ２４１の駆動ＯＮ／ＯＦＦ、右バックライト制御部２０１による右バックライト２２１の駆動ＯＮ／ＯＦＦを制御する。また、表示制御部１７０は、左ＬＣＤ制御部２１２による左ＬＣＤ２４２の駆動ＯＮ／ＯＦＦ、左バックライト制御部２０２による左バックライト２２２の駆動ＯＮ／ＯＦＦを制御する。

画像処理部１６０及び表示制御部１７０は、後述する調整制御部１８３の制御に従って、右ＬＣＤ２４１及び左ＬＣＤ２４２における画像の表示位置を変更する機能を有する。具体的には、調整制御部１８３が、表示位置をシフトさせるシフト量及びシフト方向を示す制御データを生成した場合、この制御データに従って、画像処理部１６０が画像データをシフトさせる。また、表示制御部１７０は、調整制御部１８３が生成する制御データに従って、右ＬＣＤ制御部２１１及び左ＬＣＤ制御部２１２を制御し、右ＬＣＤ２４１及び左ＬＣＤ２４２における画像の表示位置をシフトさせる。

さらに、画像処理部１６０及び表示制御部１７０は、後述する調整制御部１８３の制御に従って、右ＬＣＤ２４１及び左ＬＣＤ２４２における画像の表示サイズを変更する機能を有する。具体的には、調整制御部１８３が、表示サイズを指定する制御データを生成した場合、この制御データに従って、画像処理部１６０が画像データを拡大または縮小させる。また、表示制御部１７０は、調整制御部１８３が生成する制御データに従って、右ＬＣＤ制御部２１１及び左ＬＣＤ制御部２１２を制御し、右ＬＣＤ２４１及び左ＬＣＤ２４２における画像の表示サイズを拡大または縮小させる。

画像処理部１６０及び表示制御部１７０のいずれか一方が上記処理を行って表示位置を変更してもよい。また、両方で上記処理を行ってもよく、この場合、調整制御部１８３は画像処理部１６０と表示制御部１７０のそれぞれに対応する制御データを生成してもよい。

音声処理部１８７は、コンテンツに含まれる音声信号を取得し、取得した音声信号を増幅して、右イヤホン３２および左イヤホン３４に出力する。また、音声処理部１８７は、マイク６３により集音される音声を取得してディジタル音声データに変換する。音声処理部１８７は、ディジタル音声データに対して予め設定された処理を行ってもよい。

画像表示部２０は、インターフェイス２５と、右表示駆動部２２と、左表示駆動部２４と、右光学像表示部２６としての右導光板２６１と、左光学像表示部２８としての左導光板２６２と、カメラ６１と、振動センサー６５と、９軸センサー６６とを備えている。

振動センサー６５は、加速度センサーを利用して構成され、例えば図１に示すように、右保持部２１において右光学像表示部２６の端部ＥＲの近傍に内蔵される。振動センサー６５は、使用者が端部ＥＲを叩く操作（ノック操作）を行った場合に、この操作による振動を検出して、検出結果を制御部１４０に出力する。この振動センサー６５の検出結果により、制御部１４０は、使用者によるノック操作を検出する。

９軸センサー６６は、加速度（３軸）、角速度（３軸）、地磁気（３軸）を検出するモーションセンサーである。制御部１４０は、画像表示部２０が使用者の頭部に装着されているとき、９軸センサー６６の検出値に基づいて使用者の頭部の動きを検出できる。例えば、制御部１４０は、９軸センサー６６の検出値に基づき、画像表示部２０の傾きの大きさと傾きの向きを推定できる。

インターフェイス２５は、右コード４２と左コード４４とが接続されるコネクターを備える。インターフェイス２５は、送信部５１から送信されるクロック信号ＰＣＬＫ、垂直同期信号ＶＳｙｎｃ、水平同期信号ＨＳｙｎｃ、画像データＤａｔａを、対応する受信部（Ｒｘ）５３、５４に出力する。また、インターフェイス２５は、表示制御部１７０から送信される制御信号を、対応する受信部５３、５４、右バックライト制御部２０１又は左バックライト制御部２０２に出力する。
また、インターフェイス２５は、カメラ６１、振動センサー６５及び９軸センサー６６を接続するインターフェイスである。振動センサー６５による振動の検出結果や、９軸センサー６６による加速度（３軸）、角速度（３軸）、地磁気（３軸）の検出結果は、インターフェイス２５を介して制御部１４０に送られる。

右表示駆動部２２は、上述した右バックライト２２１、右ＬＣＤ２４１、及び右投写光学系２５１を備える。また、右表示駆動部２２は、受信部５３、右バックライト（ＢＬ）２２１を制御する右バックライト（ＢＬ）制御部２０１、及び、右ＬＣＤ２４１を駆動する右ＬＣＤ制御部２１１を備える。

受信部５３は、送信部５１に対応するレシーバーとして動作し、制御装置１０と画像表示部２０との間におけるシリアル伝送を実行する。右バックライト制御部２０１は、入力された制御信号に基づいて、右バックライト２２１を駆動する。右ＬＣＤ制御部２１１は、受信部５３を介して入力されたクロック信号ＰＣＬＫと、垂直同期信号ＶＳｙｎｃと、水平同期信号ＨＳｙｎｃと、右眼用画像データＤａｔａと、に基づいて、右ＬＣＤ２４１を駆動する。

左表示駆動部２４は、右表示駆動部２２と同様の構成を有する。左表示駆動部２４は、上述した左バックライト２２２、左ＬＣＤ２４２、及び左投写光学系２５２を備える。また、左表示駆動部２４は、受信部５４、左バックライト２２２を駆動する左バックライト制御部２０２、及び、左ＬＣＤ２４２を駆動する左ＬＣＤ制御部２１２を備える。

受信部５４は、送信部５２に対応するレシーバーとして動作し、制御装置１０と画像表示部２０との間におけるシリアル伝送を実行する。左バックライト制御部２０２は、入力された制御信号に基づいて、左バックライト２２２を駆動する。左ＬＣＤ制御部２１２は、受信部５４を介して入力されたクロック信号ＰＣＬＫと、垂直同期信号ＶＳｙｎｃと、水平同期信号ＨＳｙｎｃと、右眼用画像データＤａｔａと、に基づいて、左ＬＣＤ２４２を駆動する。
なお、右バックライト制御部２０１と、右ＬＣＤ制御部２１１と、右バックライト２２１と、右ＬＣＤ２４１とを総称して、右の「画像光生成部」とも呼ぶ。同様に、左バックライト制御部２０２と、左ＬＣＤ制御部２１２と、左バックライト２２２と、左ＬＣＤ２４２とを総称して、左の「画像光生成部」とも呼ぶ。

ところで、使用者が頭部装着型表示装置１００を装着して画像を見る場合に、使用者の眼の位置と、右導光板２６１及び左導光板２６２が使用者の眼に入射させる画像光Ｌの位置とが対応していないと、使用者にとっての画像の見え方に影響が生じる。
図４（Ａ）及び（Ｂ）は、使用者の眼と画像表示部２０との相対位置を平面視で示す説明図である。図４は、特に、使用者の両眼の左右方向における位置の影響を示す。
図４（Ａ）及び（Ｂ）には、使用者が画像表示部２０を頭部に装着して、使用者の前方に位置する対象物Ｏを視認する例を示す。画像表示部２０は、ＡＲ（Augmented Reality）効果を奏する画像（以下、ＡＲ画像という）を、使用者に視認させる。使用者は、実際に使用者の前方にある対象物Ｏを、右導光板２６１、左導光板２６２及び調光板２０Ａ越しに視認し、ＡＲ画像を視認する。そして、対象物ＯにＡＲ画像が重なって見えることで、ＡＲの効果が得られる。

画像表示部２０は、右導光板２６１、左導光板２６２により、画像光Ｌを使用者の眼に入射させることでＡＲ画像を視認させる。このとき使用者が視認するＡＲ画像は、右導光板２６１上に形成される実像でなく、画像光Ｌが眼内に形成する虚像である。図４（Ａ）及び（Ｂ）には、画像表示部２０が生成する虚像を実像と見なした場合の表示位置を、符号Ｐで示す。言い換えれば、画像表示位置Ｐに画像（実像）を表示すると、この画像は画像表示部２０が生成する虚像と等価とみなすことができる。
画像表示位置Ｐは、使用者の両眼と対象物Ｏとを結ぶ仮想軸線上の位置であり、ハーフミラー２６１Ａ、２６２Ａの位置により決まるので、図４（Ａ）及び（Ｂ）における画像表示位置Ｐは共通とする。

図４（Ａ）に示すように、使用者が対象物Ｏを視認する場合、対象物Ｏから右眼ＲＥと左眼ＬＥのそれぞれに、外光ＯＬが入射する。このとき、右眼ＲＥには、画像表示位置Ｐに表示される画像のうち位置ＲＰにあるＡＲ画像が、対象物Ｏに重なって視認される。また、左眼ＬＥには、画像表示位置Ｐに表示される画像のうち位置ＬＰにあるＡＲ画像が、対象物Ｏに重なって視認される。
従って、頭部装着型表示装置１００は、位置ＲＰ、ＬＰにＡＲ画像を表示すると、ＡＲ画像と対象物Ｏとが重なり、ＡＲの効果を十分に得ることができる。

図４（Ａ）の例に比べて、使用者の右眼ＲＥと左眼ＬＥとの間の間隔が大きい例を、図４（Ｂ）に示す。使用者の右眼ＲＥと左眼ＬＥとの間隔は、使用者の骨格等により個人差がある。右眼ＲＥと左眼ＬＥとの間隔が大きい人が頭部装着型表示装置１００を使用する場合、図４（Ｂ）に例示する状態になる。図４（Ｂ）の例では、使用者にＡＲ画像と対象物Ｏとが重なって視認されるように表示する場合、画像の表示位置は位置ＬＰ´、ＲＰ´となる。

このように、使用者の両眼が並ぶ方向における位置については次の知見が得られる。すなわち、対象物Ｏに重なるようにＡＲ画像を視認させるためには、対象物Ｏ、使用者及び使用者が装着する画像表示部２０の位置が同一であっても、右眼ＲＥ及び左眼ＬＥの位置が変化した場合、ＡＲ画像の表示位置を変化させる必要がある。別の表現をすれば、使用者の両眼に対し左右方向におけるＡＲ画像の表示位置は、右眼ＲＥ及び左眼ＬＥに対応する位置にすることが望ましい。

図５（Ａ）及び（Ｂ）は、使用者の眼と対象物Ｏとの相対位置を側面視で示す説明図である。図５は、特に、対象物Ｏと右眼ＲＥ及び左眼ＬＥとの間の距離の影響を示す。図５（Ａ）及び（Ｂ）では、図４（Ａ）及び（Ｂ）と同様に、使用者の前方に位置する対象物Ｏに重なるように、ＡＲ画像を視認させる例を示す。また、画像表示部２０が実際に形成する虚像に代えて、この虚像を等価な実像に置き換えた場合の画像表示位置を、符号Ｐで示す。なお、図５（Ａ）及び（Ｂ）は側面視を示しているので、使用者の左眼ＬＥを図示するが、使用者の右眼ＲＥにおける見え方も同じように考えることができる。

これらの例で、使用者はＡＲ画像を対象物Ｏに重ねて視認する。つまり、ＡＲ画像は、奥行き方向においては対象物Ｏと同じ位置にあるように知覚される。そこで、画像表示部２０が表示するＡＲ画像に対応する、対象物Ｏの位置におけるサイズを比較すると、図５（Ａ）の例における画像のサイズＳは、図５（Ｂ）の例における画像のサイズＳ´よりも小さい。
対象物Ｏの位置における画像のサイズＳ、Ｓ´の相違は、左眼ＬＥと画像表示位置Ｐとの距離Ｄ１、及び、画像表示位置Ｐと対象物Ｏとの距離Ｄ２の比に影響される。例えば、図５（Ａ）及び（Ｂ）に示すように、距離Ｄ１の大きさ（長さ）が異なる場合、対象物ＯにおけるＡＲ画像のサイズが異なる。

ＡＲ画像は対象物Ｏに重なって見える場合に、実際の景色にない情報を使用者に提供したり、実際の景色と異なる見え方で対象物Ｏを視認させたりする効果がある。このため、ＡＲ画像が視認されるサイズと対象物Ｏの実際の大きさとを対応させることが望ましい。従って、頭部装着型表示装置１００は、左眼ＬＥと画像表示位置Ｐとの距離Ｄ１、及び、画像表示位置Ｐと対象物Ｏとの距離Ｄ２に合わせて、ＡＲ画像の表示サイズを調整することが望ましい。ここで、画像表示位置Ｐと左眼ＬＥとの距離Ｄ１は、画像表示部２０の形状、仕様から概ね一定である。このため、少なくとも、画像表示位置Ｐと対象物Ｏとの距離Ｄ２に合わせて調整を行うことで、ＡＲ画像を適正な状態で使用者に視認させる効果が期待できる。

そこで、頭部装着型表示装置１００は、使用者が頭部装着型表示装置１００を装着し、ＡＲ画像を表示する場合に、使用者の右眼ＲＥ及び左眼ＬＥと、画像表示部２０との相対位置を求め、ＡＲ画像の表示位置を調整する。この機能は、制御部１４０が実行する調整処理により実現される。

図６は、調整処理における頭部装着型表示装置の動作を示すフローチャートである。
使用者が頭部装着型表示装置１００を装着し（ステップＳ１１）、操作部１１１を操作する。制御部１４０は、操作部１１１の操作により調整処理の開始が指示されることに対応して、記憶部１２０に記憶された調整アプリケーションプログラムを読み出して起動する（ステップＳ１２）。この調整アプリケーションプログラムの機能により、撮像処理部１８１、画像解析部１８２、及び調整制御部１８３が調整処理を開始する。

調整制御部１８３は、表示制御部１７０に対して案内用の画像データを出力し、使用者に対して調整を行うための立ち位置を案内する画像を、画像表示部２０に表示させる（ステップＳ１３）。
図７は、調整処理における使用者の状態の一例を示す図である。この図７に示すように、頭部装着型表示装置１００の調整処理では、使用者は鏡Ｍの前に立つ。好ましくは、カメラ６１が、鏡Ｍに映る使用者の鏡像を撮像できるように、使用者は鏡Ｍの正面に立つ。
制御部１４０は、後述するように、カメラ６１の撮像画像から、使用者の右眼ＲＥ及び左眼ＬＥの位置を検出する。このため、使用者の目線が鏡Ｍを正面から注視することが好ましい。使用者を支援するため、鏡Ｍには、使用者が注視する位置を示す目印Ｍ１を付してもよい。鏡Ｍには、使用者の右眼ＲＥ及び左眼ＬＥの高さ位置に対応するように、複数の高さ位置に目印Ｍ１が付されていてもよい。

調整制御部１８３は、表示制御部１７０に対して案内用の画像データを出力し、使用者に対して、鏡Ｍにおいて注視する位置を案内する画像を、画像表示部２０に表示させる（ステップＳ１４）。例えば、調整制御部１８３は、図７の目印Ｍ１を注視位置として指定する画像を表示させる。また、操作部１１１により使用者の身長が入力された場合、調整制御部１８３は、入力された身長から調整に適合する注視点の高さを算出し、算出した高さに対応する目印Ｍ１を指定する画像を表示させてもよい。ここで、注視点の高さは、使用者の右眼ＲＥ及び左眼ＬＥの高さであることが好ましいが、カメラ６１の高さであってもよい。

続いて、撮像処理部１８１は、カメラ６１を制御して撮像を実行させ、撮像画像データを生成する（ステップＳ１５）。画像解析部１８２は、撮像処理部１８１が生成する撮像画像データを解析して、撮像画像データから、使用者及び頭部装着型表示装置１００の鏡像を抽出する（ステップＳ１６）。

画像解析部１８２は、抽出した画像に基づき、頭部装着型表示装置１００の装着状態に関するデータを取得する（ステップＳ１７）。すなわち、画像解析部１８２は、抽出した画像データから、画像表示部２０の右保持部２１（図１）と左保持部２３（図１）とを結ぶ直線と、使用者の頭部の左右方向を示す直線とを算出し、算出した２つの直線がなす角度のデータを取得する。
調整制御部１８３は、画像解析部１８２が取得したデータが、予め設定された適正範囲内の値であるか否かを判定する（ステップＳ１８）。適正範囲を示すデータは、設定データ１２１として予め記憶部１２０に記憶される。

装着状態に関するデータが適正範囲内でない場合（ステップＳ１８；ＮＯ）、使用者の頭部の傾きと画像表示部２０の傾きとが適合していない、すなわち、画像表示部２０の装着状態が適正な状態でないと見なすことができる。
この場合、調整制御部１８３は、表示制御部１７０に対して案内用の画像データを出力し、使用者に対して、頭部装着型表示装置１００の装着状態を正すよう案内する画像を、画像表示部２０に表示させる（ステップＳ１９）。その後、制御部１４０はステップＳ１５に戻って撮像を行う。

装着状態に関するデータが適正範囲内である場合（ステップＳ１８；ＹＥＳ）、調整制御部１８３は、画像表示部２０が備えるセンサーの検出値を取得し（ステップＳ２０）、取得した検出値に基づき使用者の姿勢に関するデータを算出し、或いは取得する（ステップＳ２１）。調整制御部１８３は、例えば、９軸センサー６６が検出する加速度の検出値に基づき、鉛直方向に対する使用者の頭部の傾きを示すデータを算出する。
調整制御部１８３は、画像解析部１８２が取得したデータが、予め設定された適正範囲内の値であるか否かを判定する（ステップＳ２２）。適正範囲を示すデータは、設定データ１２１として予め記憶部１２０に記憶される。

装着状態に関するデータが適正範囲内でない場合（ステップＳ２２；ＮＯ）、画像表示部２０の傾き、すなわち使用者の姿勢が適正な状態でないと見なすことができる。
この場合、調整制御部１８３は、表示制御部１７０に対して案内用の画像データを出力し、使用者に対して、姿勢を正すよう案内する画像を、画像表示部２０に表示させる（ステップＳ２３）。その後、制御部１４０はステップＳ２０に戻って姿勢の検出を行う。

なお、ステップＳ２０及びＳ２１で、調整制御部１８３は、カメラ６１の撮像画像データに基づいて、姿勢を検出し、姿勢に関するデータを取得してもよい。この場合、画像解析部１８２が撮像画像データを解析して、使用者の頭部の傾き、或いは画像表示部２０の傾きを検出する。例えば、撮像画像データから使用者の頭部または画像表示部２０の鏡像を抽出して傾きを算出してもよいし、撮像画像データから鏡Ｍの縁を検出し、鏡Ｍの高さ方向に対するカメラ６１の傾きを算出してもよい。
この方法を用いる場合、制御部１４０は、ステップＳ２３の後、ステップＳ１５に戻って再びカメラ６１による撮像を実行する。

装着状態に関するデータが適正範囲内である場合（ステップＳ２２；ＹＥＳ）、調整制御部１８３は、画像の表示位置、及び／又はサイズの調整を実行する。
画像解析部１８２は、撮像画像データから抽出した画像表示部２０の鏡像を解析して、ハーフミラー２６１Ａ、２６２Ａと使用者の右眼ＲＥ、左眼ＬＥの相対位置を解析する（ステップＳ２４）。

図８は、使用者の眼とハーフミラー２６１Ａ、２６２Ａとの相対位置の例を正面視で示す図である。
画像解析部１８２は、撮像画像データから抽出した画像表示部２０の鏡像から、ハーフミラー２６１Ａ、２６２Ａの中心位置を、それぞれ特定する。続いて、画像解析部１８２は、同じ撮像画像データから抽出した像から、右眼ＲＥの中心位置と、左眼ＬＥの中心位置とを特定する。ここで、画像解析部１８２は、特定した位置を、撮像画像データにおける座標で算出してもよい。
画像解析部１８２は、特定した位置に基づき、ハーフミラー２６１Ａと右眼ＲＥとの相対位置、及び、ハーフミラー２６２Ａと左眼ＬＥとの相対位置を解析する。

ここで、画像解析部１８２は、撮像画像データから、画像表示部２０の鏡像を抽出し、この画像表示部２０の鏡像の縁からハーフミラー２６１Ａ、２６２Ａの中心位置を推定し、算出してもよい。右導光板２６１、左導光板２６２は、画像表示部２０の右保持部２１や左保持部２３に固定的に設けられ、位置決めされている。このため、画像表示部２０の仕様に基づき、画像表示部２０の外縁とハーフミラー２６１Ａ、２６２Ａの中心位置との位置関係が既知である。従って、撮像画像データからハーフミラー２６１Ａ、２６２Ａの鏡像そのものを抽出する必要はない。これにより、右導光板２６１、左導光板２６２、及びハーフミラー２６１Ａ、２６２Ａの光学特性の影響を受けることなく、ハーフミラー２６１Ａ、２６２Ａの位置を求めることができる。

また、使用者がまばたきをした場合、及び、使用者の眼がサッカード（サッケード、または、マイクロサッカード）と呼ばれる眼球運動をした場合の影響を回避するため、撮像処理部１８１が、カメラ６１によりタイミングを異ならせて複数回の撮像を行ってもよい。この場合、画像解析部１８２は、撮像処理部１８１が生成する複数の撮像画像データのそれぞれに基づき右眼ＲＥの位置及び左眼ＬＥの位置を求め、各撮像画像データから求めた位置の平均値を、右眼ＲＥの位置及び左眼ＬＥの位置としてもよい。

次に、画像解析部１８２は、撮像画像データから抽出した画像表示部２０の鏡像のサイズに基づき、画像表示部２０と鏡Ｍとの間の距離を算出する（ステップＳ２５）。画像表示部２０が鏡Ｍから遠いほど、撮像画像データにおける画像表示部２０の像が小さくなることを利用して、距離を算出できる。また、画像表示部２０が、カメラ６１の撮像方向とほぼ同じ向きの深度（Depth）センサーや距離計を備えてもよい。この場合、画像解析部１８２は、深度センサーや距離計の検出値に基づいて、鏡Ｍまでの距離を算出してもよい。深度センサーや距離計としては、例えば、可視光、赤外光、レーザー光等の光を用いる方式、超音波等を用いる方式のものを採用できる。

ここで、記憶部１２０は、成人の平均的な眼（瞳）の幅（または直径）を表すデータを、例えば記憶部１２０に設定値として予め記憶している。画像解析部１８２は、撮像画像データから抽出した使用者の瞳の幅と、記憶部１２０に記憶された当該データが表す幅と、に基づき、使用者の瞳と鏡Ｍとの間の距離を算出する。この使用者の瞳と鏡Ｍとの間の距離は、当該距離の推定値を求めるために予め設定された演算式を用いて演算を行うことで、導出できる。そして、画像解析部１８２は、使用者の瞳と鏡Ｍとの距離と、ステップＳ２５で算出した距離と、の差を求める。当該差は、図５（Ａ）および（Ｂ）の距離Ｄ１に対応する。
また、記憶部１２０に、成人の眼の平均的な幅を表すデータに代えて、使用者ごとに測定された瞳の幅を表すデータを記憶していてもよい。また、瞳の幅に代えて記憶部１２０が平均的な顔の大きさ（縦の長さ、横の幅）に関するデータを記憶し、当該平均的な顔の大きさのデータと、撮像画像データから抽出された使用者の顔の大きさに関するデータと、に基づいて、距離Ｄ１を求めることもできる。

画像解析部１８２は、上述した処理で算出したデータに基づき、右表示駆動部２２及び左表示駆動部２４が表示する画像の位置、またはサイズに関するデータを生成する（ステップＳ２６）。調整制御部１８３は、画像解析部１８２が生成したデータに基づき、表示位置及び／またはサイズを決定し（ステップＳ２７）、表示位置及び／またはサイズを調整する制御データを生成して、画像処理部１６０及び／または表示制御部１７０に出力する（ステップＳ２８）。これにより、右ＬＣＤ２４１、左ＬＣＤ２４２における画像の表示位置、表示サイズが調整される。また、調整制御部１８３は、表示制御部１７０に対して案内用の画像データを出力し、画像の表示位置や表示サイズの調整を行ったことを通知してもよい。この場合、使用者が、調整後の画像の表示位置や表示サイズを認容するか否かを、操作部１１１で入力できるようにしてもよく、調整の終了の指示や、調整のやり直しの指示を、入力できるようにしてもよい。その後、制御部１４０は、調整アプリケーションプログラムを終了する（ステップＳ２９）。

上記の通り、本実施形態では、調整制御部１８３が、瞳と画像表示部２０との間の距離Ｄ１と、画像表示部２０と鏡Ｍとの間の距離と、に基づいて画像のサイズを調整する。このような構成に代えて、距離Ｄ１を推定（導出）する処理を省略してもよい。この場合、調整制御部１８３は、画像表示部２０と鏡Ｍとの間の距離のみに基づいて、画像の表示位置及び／またはサイズを調整することが可能である。この場合、必要があれば、画像のサイズは、使用者によって、例えば操作部１１１の操作により手動でさらに調整されることも可能である。なお、距離Ｄ１の推定の省略に加え、画像表示部２０と鏡Ｍとの間の距離の推定が省略されてもよい。これらの推定が省略された場合でも、右眼ＲＥの位置及び左眼ＬＥの位置に対して、右表示駆動部２２及び左表示駆動部２４が表示する画像の位置の相対位置を適切に調整することが可能である。

以上説明したように、本発明を適用した実施形態の頭部装着型表示装置１００は、使用者に装着されるように構成された装着部と、装着部に設けられ、画像を表す画像光Ｌを、使用者に装着部が装着された場合に使用者の眼に入射させる右導光板２６１、左導光板２６２を有する画像表示部２０と、カメラ６１と、使用者に装着部が装着されている場合にカメラ６１の撮像画像に基づいて使用者の眼と右導光板２６１、左導光板２６２との対応状態を検出する画像解析部１８２と、画像解析部１８２が検出した対応状態に基づいて、画像表示部２０または右導光板２６１、左導光板２６２を調整する調整制御部１８３と、を備える。

ここで、装着部は、使用者に装着される部分であればよく、例えば使用者の身体に直接接触する右保持部２１及び左保持部２３が挙げられるが、右保持部２１、及び／又は左保持部２３に固定的に設けられた他の構成部を装着部に含めてもよい。また、装着されるという点で使用者の身体に接触しない構成部も装着部に相当し、例えば右導光板２６１、左導光板２６２は間接的に使用者の身体に固定または保持されるので装着部に相当する。従って、制御系（受信部５３、５４、右バックライト制御部２０１、左バックライト制御部２０２、右ＬＣＤ制御部２１１、及び左ＬＣＤ制御部２１２）を除く全ての構成部分が独立して、或いは他の構成部分とともに、装着部に相当する。狭義の装着部としては、使用者の身体に接触する構造物または構造物の一部が装着部に相当する。

この構成によれば、使用者が頭部装着型表示装置１００を装着した場合に、使用者の眼と右導光板２６１、左導光板２６２との対応状態を検出して調整するので、使用者は好ましい状態で画像を視認できる。

また、画像解析部１８２は、カメラ６１の撮像画像に基づいて、右導光板２６１、左導光板２６２と使用者の眼との相対位置を検出し、調整制御部１８３は、画像解析部１８２が検出した右導光板２６１、左導光板２６２と眼との相対位置に基づいて、画像の位置を眼に対応した位置にするため画像表示部２０または右導光板２６１、左導光板２６２を調整する。これにより、頭部装着型表示装置１００の装着位置や角度が最適でなくても、使用者が好ましい状態で画像を視認できる。
また、画像表示部２０は、画像光Ｌを右導光板２６１、左導光板２６２に射出する右表示駆動部２２、左表示駆動部２４を備え、右導光板２６１、左導光板２６２は右表示駆動部２２、左表示駆動部２４から入射する画像光Ｌを使用者の眼に向けて反射するハーフミラー２６１Ａ、２６２Ａを有し、画像解析部１８２は、使用者の眼の位置とハーフミラー２６１Ａ、２６２Ａの位置との対応状態を検出するので、使用者の眼に入射する画像光Ｌの位置を適切な位置に調整できる。

また、カメラ６１は、使用者に装着部が装着されている場合に使用者の視線方向を撮像し、画像解析部１８２は、カメラ６１の撮像画像から、使用者の視線方向に位置する光反射体（例えば、鏡Ｍ）に映る使用者の像、及び、画像表示部２０または右導光板２６１、左導光板２６２の像を検出することにより、使用者の眼と右導光板２６１、左導光板２６２との対応状態を検出する。例えば、カメラ６１は、使用者の視線方向に位置する対象物Ｏを検出し、認識する目的で使用でき、この対象物Ｏに対応するＡＲ画像を表示する場合に使用される。このため、調整以外の目的で使用可能なカメラ６１を利用するので、調整を目的とした装置構成の複雑化を避けることができる。
また、画像解析部１８２は、光反射体に映る使用者の像から使用者の眼の像及び右導光板２６１、左導光板２６２の像を検出し、使用者の眼の位置と右導光板２６１、左導光板２６２の位置との対応状態を検出するので、光反射体に映る像を利用して、より適切に調整を行うことができる。

なお、この発明は上記実施形態の構成に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能である。
また、例えば、画像表示部２０に代えて、例えば帽子のように装着する画像表示部等の他の方式の画像表示部を採用してもよく、使用者の左眼に対応して画像を表示する表示部と、使用者の右眼に対応して画像を表示する表示部とを備えていればよい。また、本発明の表示装置は、例えば、自動車や飛行機等の車両に搭載されるヘッドマウントディスプレイとして構成されてもよい。また、例えば、ヘルメット等の身体防護具に内蔵されたヘッドマウントディスプレイとして構成されてもよい。この場合、使用者の身体に対する位置を位置決めする部分、及び、当該部分に対し位置決めされる部分を装着部とすることができる。

さらに、上記実施形態では、画像表示部２０と制御装置１０とが分離され、接続部４０を介して接続された構成を例に挙げて説明したが、制御装置１０と画像表示部２０とが一体に構成され、使用者の頭部に装着される構成とすることも可能である。
また、制御装置１０として、ノート型コンピューター、タブレット型コンピューター又はデスクトップ型コンピューターを用いてもよい。また、制御装置１０として、ゲーム機や携帯型電話機やスマートフォンや携帯型メディアプレーヤーを含む携帯型電子機器、その他の専用機器等を用いてもよい。また、制御装置１０が画像表示部２０と分離して構成され、制御装置１０と画像表示部２０との間で無線通信により各種信号を送受信する構成としてもよい。

また、例えば、画像表示部２０において画像光を生成する構成として、有機ＥＬ（有機エレクトロルミネッセンス、Organic Electro-Luminescence）のディスプレイと、有機ＥＬ制御部とを備える構成としてもよい。また、画像光を生成する構成として、ＬＣＯＳ（Liquid crystal on silicon, LCoSは登録商標）や、デジタル・マイクロミラー・デバイス等を用いることもできる。

また、画像光を使用者の眼に導く光学系としては、外部から装置に向けて入射する外光を透過する光学部材を備え、画像光とともに使用者の眼に入射させる構成を採用できる。また、使用者の眼の前方に位置して使用者の視界の一部または全部に重なる光学部材を用いてもよい。さらに、レーザー光等を走査させて画像光とする走査方式の光学系を採用してもよい。また、光学部材の内部で画像光を導光させるものに限らず、使用者の眼に向けて画像光を屈折及び／または反射させて導く機能のみを有するものであってもよい。
例えば、レーザー網膜投影型のヘッドマウントディスプレイに対して本発明を適用することも可能である。すなわち、光射出部が、レーザー光源と、レーザー光源を使用者の眼に導く光学系とを備え、レーザー光を使用者の眼に入射させて網膜上を走査し、網膜に結像させることにより、使用者に画像を視認させる構成を採用してもよい。
また、本発明を、ＭＥＭＳミラーを用いた走査光学系を採用し、ＭＥＭＳディスプレイ技術を利用した表示装置に適用することも可能である。すなわち、信号光形成部と、信号光形成部が射出する光を走査するＭＥＭＳミラーを有する走査光学系と、走査光学系により走査される光によって虚像が形成される光学部材とを光射出部として備えてもよい。この構成では、信号光形成部が射出した光がＭＥＭＳミラーにより反射され、光学部材に入射し、光学部材の中を導かれて、虚像形成面に達する。ＭＥＭＳミラーが光を走査することにより、虚像形成面に虚像が形成され、この虚像を使用者が眼で捉えることで、画像が認識される。この場合の光学部品は、例えば上記実施形態の右導光板２６１及び左導光板２６２のように、複数回の反射を経て光を導くものであってもよく、ハーフミラー面を利用してもよい。

さらに、本発明の光学素子は、ハーフミラー２６１Ａ、２６２Ａを有する右導光板２６１、左導光板２６２に限定されず、画像光を使用者の眼に入射させる光学部品であればよく、具体的には、回折格子、プリズム、ホログラフィー表示部を用いてもよい。

また、図３に示した各機能ブロックのうち少なくとも一部は、ハードウェアで実現してもよいし、ハードウェアとソフトウェアの協働により実現される構成としてもよく、図３に示した通りに独立したハードウェア資源を配置する構成に限定されない。また、制御部１４０が実行するプログラムは、記憶部１２０または制御装置１０内の記憶装置に記憶されてもよいし、外部の装置に記憶されたプログラムを通信部１１７又はインターフェイス１２５を介して取得して実行する構成としてもよい。また、制御装置１０に形成された構成のうち、操作部１１１のみが単独の使用者インターフェイス（ＵＩ）として形成されてもよい。また、制御装置１０に形成された構成が重複して画像表示部２０に形成されていてもよい。例えば、図３に示す制御部１４０が制御装置１０と画像表示部２０との両方に形成されていてもよいし、制御装置１０に形成された制御部１４０と画像表示部２０に形成されたＣＰＵとが行う機能が別々に分けられている構成としてもよい。

１０…制御装置、２０…画像表示部（表示部）、２１…右保持部、２２…右表示駆動部（光射出部）、２３…左保持部、２４…左表示駆動部（光射出部）、２５…インターフェイス、２６…右光学像表示部、２８…左光学像表示部、６１…カメラ（撮像部）、６３…マイク、１００…頭部装着型表示装置（表示装置）、１１７…通信部、１２０…記憶部、１２５…インターフェイス、１４０…制御部、１５０…オペレーティングシステム、１６０…画像処理部、１７０…表示制御部、１８１…撮像処理部、１８２…画像解析部（処理部）、１８３…調整制御部、１８７…音声処理部、２０１…右バックライト制御部、２０２…左バックライト制御部、２１１…右ＬＣＤ制御部、２１２…左ＬＣＤ制御部、２２１…右バックライト、２２２…左バックライト、２４１…右ＬＣＤ、２４２…左ＬＣＤ、２５１…右投写光学系、２５２…左投写光学系、２６１…右導光板（光学素子）、２６２…左導光板（光学素子）、２６１Ａ、２６２Ａ…ハーフミラー（反射面）。

Claims (8)

1. 使用者に装着されるように構成された装着部と、
   前記装着部に設けられ、画像を表す画像光を、前記使用者に前記装着部が装着された場合に前記使用者の眼に入射させる光学素子を有する表示部と、
   前記装着部に設けられ、前記使用者に前記装着部が装着されている場合に前記使用者の前方を撮像する撮像部と、
   前記使用者に前記装着部が装着されている場合に前記撮像部によって前記使用者の前方に位置する光反射体に映る像を撮像した撮像画像に基づいて、前記使用者の眼と前記光学素子との対応状態を検出する処理部と、
   前記処理部が検出した対応状態に基づいて、前記表示部または前記光学素子を調整する調整制御部と、
   を備え、
   前記処理部は、前記表示部における右部分と左部分とを結ぶ直線と、前記使用者の頭部の左右方向を示す直線とがなす角度のデータを取得し、
   前記調整制御部は、前記データが予め設定された適正範囲内の値であるか否かを判定し、前記データが適正範囲内の値である場合に前記表示部または前記光学素子を調整することを特徴とする表示装置。
2. 前記使用者の右眼に画像を視認させる右表示部、前記使用者の左眼に画像を視認させる左表示部、及び、前記右表示部の側と前記左表示部の側とで前記表示部を保持する左右一対の保持部を備え、
   前記処理部は、前記表示部における左右一対の前記保持部を結ぶ直線と、前記使用者の頭部の左右方向を示す直線とがなす角度のデータを取得すること、
   を特徴とする請求項１記載の表示装置。
3. 前記表示部は、前記表示部の傾きを検出するセンサーを備え、
   前記調整制御部は、前記データが適正範囲内の値である場合に、前記センサーの検出値に基づき前記使用者の姿勢が適正範囲内であるか否かを判定し、適正範囲内であると判定した場合に前記表示部または前記光学素子を調整すること、 を特徴とする請求項１または２記載の表示装置。
4. 前記処理部は、前記撮像部の撮像画像に基づいて、前記光学素子と前記眼との相対位置を検出し、
   前記調整制御部は、前記処理部が検出した前記光学素子と前記眼との相対位置に基づいて、前記画像の位置を前記眼に対応した位置にするため前記表示部または前記光学素子を調整すること、
   を特徴とする請求項１から３のいずれかに記載の表示装置。
5. 前記表示部は、画像光を前記光学素子に射出する光射出部を備え、
   前記光学素子は前記光射出部から入射する画像光を前記使用者の眼に向けて反射する反射面を有し、
   前記処理部は、前記使用者の眼の位置と前記反射面の位置との対応状態を検出すること、
   を特徴とする請求項４記載の表示装置。
6. 前記処理部は、前記撮像部の撮像画像から、前記光反射体に映る前記使用者の像、及び、前記表示部または前記光学素子の像を検出することにより、前記使用者の眼と前記光学素子との対応状態を検出すること、
   を特徴とする請求項１から５のいずれかに記載の表示装置。
7. 前記処理部は、前記光反射体に映る前記使用者の像から前記使用者の眼の像及び前記光学素子の像を検出し、前記使用者の眼の位置と前記光学素子の位置との対応状態を検出すること、
   を特徴とする請求項６記載の表示装置。
8. 使用者に装着されるように構成された装着部に、画像を表す画像光を、前記使用者に前記装着部が装着された場合に前記使用者の眼に入射させる光学素子を有する表示部と、前記使用者に前記装着部が装着されている場合に前記使用者の前方を撮像する撮像部と、を設けた表示装置を制御して、
   前記使用者に前記装着部が装着されている場合に前記撮像部によって前記使用者の前方に位置する光反射体に映る像を撮像した撮像画像に基づいて、前記表示部における右部分と左部分とを結ぶ直線と、前記使用者の頭部の左右方向を示す直線とがなす角度のデータを取得し、
   前記データが予め設定された適正範囲内の値であるか否かを判定し、
   前記データが適正範囲内の値である場合に、前記撮像画像に基づいて前記使用者の眼と前記光学素子との対応状態を検出し、
   検出した対応状態に基づいて、前記表示部または前記光学素子を調整すること、
   を特徴とする表示装置の制御方法。

Images