JP6609920B2 - 表示装置、及び、表示装置の制御方法 - Google Patents

Description

本発明は、表示装置、及び、表示装置の制御方法に関する。

従来、現実空間に関連する画像を表示する表示装置が知られている（例えば、特許文献１参照）。特許文献１記載の装置では、現実世界又はその映像に位置合わせされたＣＧ画像を表示し、任意の現実物体にＣＧ画像を重畳した状態としない状態とを観察できる。

特開２００６−１２０４２号公報

特許文献１に記載された装置は、使用者が望むようにＣＧ画像を表示するか否かを切り替える。現実の外景に関連する表示を行う装置を、使用者が逐一指示しなくても表示を変化させて、使用者に情報を伝える目的で活用することが望まれていた。
本発明は上記事情に鑑みてなされたものであり、実際の外景に関連する表示を行うことにより、使用者に情報を伝える目的で使用できる表示装置、及び、表示装置の制御方法を提供することを目的とする。

上記目的を達成するために、本発明の表示装置は、外景を透過し、前記外景とともに視認できるように画像を表示する表示部と、前記表示部を透過して視認可能な方向に関する距離情報を取得し、取得した前記距離情報に基づいて、前記表示部を透過して視認される外景の視認性が変化するように前記表示部を制御する制御部と、を備えることを特徴とする。
本発明によれば、使用者が、表示部を透過する外景の見え方をもとに、距離に関する情報を得ることができる。このため、使用者に対して距離に関する情報を効率よく提供できる。また、距離情報に基づいて表示部の制御を行うので、例えば使用者の操作の回数を減らすことができ、利便性の向上を図ることができる。

また、本発明は、上記表示装置において、前記表示部は複数の表示領域で構成される表示範囲に画像を表示し、前記距離情報は、前記表示範囲の表示領域のそれぞれに対応する情報を含み、前記制御部は、前記距離情報と前記表示領域との対応付けに基づき、それぞれの前記表示領域の表示態様を制御することにより、前記外景の視認性を変化させること、を特徴とする。
本発明によれば、それぞれの表示領域を単位として、外景の視認性を変化させることで、距離に関する情報を提供できる。また、距離を基準として外景の視認性を部分的に変更できる。

また、本発明は、上記表示装置において、複数の撮像部を備え、前記制御部は、複数の前記撮像部の撮像画像に基づく前記距離情報を取得し、取得した前記距離情報と前記表示領域との対応付けを行うこと、を特徴とする。
本発明によれば、距離情報と表示領域との対応付けを速やかに行うことができ、外景の視認性を変化させる処理を容易に、速やかに実行できる。

また、本発明は、上記表示装置において、前記表示部を透過して視認可能な方向に位置する対象物体までの距離を検出して前記距離情報を出力する距離検出部を備え、前記制御部は前記距離検出部が出力する前記距離情報を取得すること、を特徴とする。
本発明によれば、外景として見える物体までの距離を検出して、この距離に対応して外景の視認性を変化させることができる。

また、本発明は、上記表示装置において、前記距離検出部は、複数の撮像部と、複数の前記撮像部の撮像画像データをもとに前記距離情報を生成して出力する距離情報生成部とを備えること、を特徴とする。
本発明によれば、撮像画像を利用して距離情報を速やかに生成できる。

また、本発明は、上記表示装置において、前記制御部は、前記表示部で前記距離情報を取得した方向に対応する位置の表示の輝度を変更することにより、前記外景の視認性を低下させること、を特徴とする。
本発明によれば、外景の視認性を容易に変更できる。

また、本発明は、上記表示装置において、前記制御部は、前記表示部を透過して視認可能な前記外景の一部の視認性を他の部分より低くするマスク処理を行うこと、を特徴とする。
本発明によれば、距離情報に基づき外景の一部の視認性を低下させることで、特定の距離にある物体を見えにくくしたり、目立つようにしたりすることができる。

また、本発明は、上記表示装置において、前記制御部は、前記マスク処理において前記表示部の表示領域で表示色または表示階調を変更すること、を特徴とする。
本発明によれば、外景の視認性を容易に、きめ細かく調整できる。

また、本発明は、上記表示装置において、前記制御部は、前記距離情報に基づき、前記外景において予め設定された距離に該当する部分の視認性を変化させること、を特徴とする。
本発明によれば、外景において特定の距離にある物体の視認性を変化させ、この物体、或いはこの物体以外に注目させることができる。

また、本発明は、上記表示装置において、前記制御部は、前記外景において前記距離情報で特定される距離が変化した部分の視認性を変化させること、を特徴とする。
本発明によれば、外景において距離が変化した物体の視認性を変化させて、目立つようにしたりして、距離の変化に関する情報を使用者に提供できる。

また、本発明は、上記表示装置において、使用者の頭部に装着される頭部装着型の本体を有し、前記本体に前記表示部を設けたこと、を特徴とする。
本発明によれば、使用者の頭部に装着されて画像を表示する表示装置が、距離情報に基づき、外景の視認性を変化させ、使用者に対して距離に関する情報を効率よく提供できる。

また、上記目的を達成するために、本発明の表示装置は、外景を透過し、前記外景とともに視認できるように表示範囲に画像を表示する表示部と、前記表示部の表示を制御する制御部と、を備え、前記制御部は、前記表示部を透過して視認可能な方向に関する距離情報と、前記表示範囲に含まれる複数の表示領域と前記距離情報とを対応付ける対応情報と、を取得し、前記対応情報に基づいて、前記距離情報に対応する表示色を前記表示領域に表示させること、を特徴とする。
本発明によれば、表示部における表示領域の表示色を、距離情報に対応させて制御するので、表示を見る使用者に対し、距離に関する情報を効率よく提供できる。

また、上記目的を達成するために、本発明の表示装置の制御方法は、外景を透過し、前記外景とともに視認できるように画像を表示する表示部を備える表示装置を制御して、前記表示部を透過して視認可能な方向に関する距離情報を取得し、取得した前記距離情報に基づいて、前記表示部を透過して視認される外景の視認性が変化するように前記表示部を制御すること、を特徴とする。
本発明によれば、使用者が、表示部を透過する外景の見え方をもとに、距離に関する情報を得ることができる。このため、使用者に対して距離に関する情報を効率よく提供できる。また、距離情報に基づいて表示部の制御を行うので、例えば使用者の操作の回数を減らすことができ、利便性の向上を図ることができる。

頭部装着型表示装置の外観構成を示す説明図。 画像表示部の光学系の構成を示す図。 頭部装着型表示装置を構成する各部の機能ブロック図。 頭部装着型表示装置における表示例を示す図。 頭部装着型表示装置の動作を示すフローチャート。 頭部装着型表示装置の動作を示すフローチャート。 変形例としての頭部装着型表示装置の外観構成を示す図。

図１は、本発明を適用した実施形態に係る頭部装着型表示装置１００（表示装置）の外観構成を示す説明図である。
頭部装着型表示装置１００は、使用者の頭部に装着された状態で使用者に虚像を視認させる画像表示部２０（表示部）と、画像表示部２０を制御する制御装置１０と、を備えている。制御装置１０は、使用者が頭部装着型表示装置１００を操作するコントローラーとしても機能する。

画像表示部２０は、使用者の頭部に装着される装着体であり、本実施形態では眼鏡形状のフレーム２（本体）を有する。
フレーム２は、右保持部２１及び左保持部２３を有する。右保持部２１は、右光学像表示部２６の他端である端部ＥＲから、使用者が画像表示部２０を装着した際の使用者の側頭部に対応する位置にかけて、延伸して設けられた部材である。同様に、左保持部２３は、左光学像表示部２８の他端である端部ＥＬから、使用者が画像表示部２０を装着した際の使用者の側頭部に対応する位置にかけて、延伸して設けられた部材である。右保持部２１は使用者の頭部において右耳またはその近傍に当接し、左保持部２３は使用者の左耳またはその近傍に当接して、使用者の頭部に画像表示部２０を保持する。右保持部２１及び左保持部２３は、眼鏡のテンプル（つる）のようにして、使用者の頭部に画像表示部２０を保持する。

本実施形態では本体の一例として、眼鏡型のフレーム２を例示する。本体の形状は眼鏡型に限定されず、使用者の頭部に装着され固定されるものであればよく、使用者の左右の眼の前に跨がって装着される形状であれば、より好ましい。例えば、ここで説明する眼鏡型の他に、使用者の顔の上部を覆うスノーゴーグル様の形状であってもよいし、双眼鏡のように使用者の左右の眼のそれぞれの前方に配置される形状であってもよい。

フレーム２には、右表示駆動部２２と、左表示駆動部２４と、右光学像表示部２６と、左光学像表示部２８と、マイク６３とが設けられる。右表示駆動部２２と左表示駆動部２４とは、使用者が画像表示部２０を装着した際の使用者の頭部に対向する側に配置されている。右光学像表示部２６及び左光学像表示部２８は、それぞれ、使用者が画像表示部２０を装着した際に使用者の右及び左の眼前に位置する。右光学像表示部２６の一端と左光学像表示部２８の一端とは、使用者が画像表示部２０を装着した際の使用者の眉間に対応する位置で、互いに連結されている。なお、右表示駆動部２２及び左表示駆動部２４を総称して単に「表示駆動部」とも呼び、右光学像表示部２６及び左光学像表示部２８を総称して単に「光学像表示部」とも呼ぶ。

表示駆動部２２，２４は、図２を参照して後述する液晶ディスプレイ２４１，２４２（Liquid Crystal Display、以下「ＬＣＤ２４１，２４２」と呼ぶ）、投写光学系２５１，２５２等を含む。
右光学像表示部２６及び左光学像表示部２８は、導光板２６１，２６２（図２）と、調光板２０Ａとを備える。導光板２６１，２６２は、光透過性の樹脂等によって形成され、表示駆動部２２，２４が出力する画像光を、使用者の眼に導く。調光板２０Ａは、薄板状の光学素子であり、使用者の眼の側とは反対の側である画像表示部２０の表側を覆うように配置される。調光板２０Ａは、光透過性がほぼ無いもの、透明に近いもの、光量を減衰させて光を透過するもの、特定の波長の光を減衰又は反射するもの等、種々のものを用いることができる。調光板２０Ａの光学特性（光透過率など）を適宜選択することにより、外部から右光学像表示部２６及び左光学像表示部２８に入射する外光量を調整して、虚像の視認のしやすさを調整できる。本実施形態では、少なくとも、頭部装着型表示装置１００を装着した使用者が外の景色を視認できる程度の光透過性を有する調光板２０Ａを用いる場合について説明する。調光板２０Ａは、右導光板２６１及び左導光板２６２を保護し、右導光板２６１及び左導光板２６２の損傷や汚れの付着等を抑制する。
調光板２０Ａは、右光学像表示部２６及び左光学像表示部２８に対し着脱可能としてもよく、複数種類の調光板２０Ａを交換して装着可能としてもよいし、省略してもよい。

また、フレーム２にはデプスセンサーユニット（Depth Sensor Unit）６６が設けられる。デプスセンサーユニット６６（距離検出部）は、２つのカメラ６６Ａ、６６Ｂ（撮像部）を備える。カメラ６６Ａ、６６Ｂは、右光学像表示部２６と左光学像表示部２８との境目部分に配置される。使用者が画像表示部２０を装着した状態で、カメラ６６Ａ、６６Ｂの位置は、水平方向においては使用者の両眼のほぼ中間であり、鉛直方向においては使用者の両眼より上である。カメラ６６Ａ、６６Ｂは、ＣＣＤやＣＭＯＳ等の撮像素子及び撮像レンズ等を備えるデジタルカメラであり、単眼カメラであってもステレオカメラであってもよい。

カメラ６６Ａ、６６Ｂは、それぞれ、頭部装着型表示装置１００の表側方向、換言すれば、頭部装着型表示装置１００を装着した状態における使用者の視界方向の少なくとも一部の外景を撮像する。カメラ６６Ａ、６６Ｂの画角の広さは適宜設定可能であるが、カメラ６６Ａ、６６Ｂの画角に、使用者が右光学像表示部２６、左光学像表示部２８を通して視認する外界が含まれることが好ましい。さらに、調光板２０Ａを通した使用者の視界の全体を撮像できるように、カメラ６６Ａ、６６Ｂの撮像範囲が設定されているとより好ましい。また、カメラ６６Ａ、６６Ｂの画角は、重なるように設定されてもよいし、カメラ６６Ａ、６６Ｂの画角が互いに一部重複するように設定されてもよい使用者の視線方向における一部の範囲をカメラ６６Ａ、６６Ｂの両方で撮像できればよい。カメラ６６Ａ、６６Ｂの画角の調整は、撮像レンズ（図示略）の光軸の調整、レンズの画角の選択等により適宜設定できる。
また、フレーム２の内部には、カメラ基板６５が内蔵される。カメラ基板６５は、カメラ６６Ａ、６６Ｂが実装された基板であり、右光学像表示部２６と左光学像表示部２８との境目部分において、フレーム２の内部に固定される。

また、フレーム２には照度センサー１６４（図３）が配置される。照度センサー１６４は、外光の光量を検出して、検出値を出力する環境光センサー（Ambient Light Sensor）である。照度センサー１６４は、例えばカメラ６６Ａ、６６Ｂの近傍に配置され、外光を受光して光量を検出する。

図２は、画像表示部２０が備える光学系の構成を示す要部平面図である。図２には説明のため使用者の左眼ＬＥ及び右眼ＲＥを図示する。
左表示駆動部２４は、ＬＥＤ等の光源と拡散板とを有する左バックライト２２２を備える。また、左表示駆動部２４は、左バックライト２２２の拡散板で拡散された光の光路上に配置される透過型の左ＬＣＤ２４２、および、左ＬＣＤ２４２を透過した画像光Ｌを導くレンズ群等を備えた左投写光学系２５２を備える。左ＬＣＤ２４２は、複数の画素をマトリクス状に配置した透過型液晶パネルである。

左投写光学系２５２は、左ＬＣＤ２４２から射出された画像光Ｌを平行状態の光束にするコリメートレンズを有する。コリメートレンズにより平行状態の光束にされた画像光Ｌは、左導光板２６２（光学素子）に入射される。左導光板２６２は、画像光Ｌを反射する複数の反射面が形成されたプリズムであり、画像光Ｌは、左導光板２６２の内部において複数回の反射を経て左眼ＬＥ側に導かれる。左導光板２６２には、左眼ＬＥの眼前に位置するハーフミラー２６２Ａ（反射面）が形成される。
ハーフミラー２６２Ａで反射した画像光Ｌは左眼ＬＥに向けて左光学像表示部２８から射出され、この画像光Ｌが左眼ＬＥの網膜に像を結び、使用者に画像を視認させる。

右表示駆動部２２は、左表示駆動部２４と左右対称に構成される。右表示駆動部２２は、ＬＥＤ等の光源と拡散板とを有する右バックライト２２１を備える。また、右表示駆動部２２は、右バックライト２２１の拡散板で拡散された光の光路上に配置される透過型の右ＬＣＤ２４１、および、右ＬＣＤ２４１を透過した画像光Ｌを導くレンズ群等を備えた右投写光学系２５１を備える。右ＬＣＤ２４１は、複数の画素をマトリクス状に配置した透過型液晶パネルである。

右投写光学系２５１は、右ＬＣＤ２４１から射出された画像光Ｌを平行状態の光束にするコリメートレンズを有する。コリメートレンズにより平行状態の光束にされた画像光Ｌは、右導光板２６１（光学素子）に入射される。右導光板２６１は、画像光Ｌを反射する複数の反射面が形成されたプリズムであり、画像光Ｌは、右導光板２６１の内部において複数回の反射を経て右眼ＲＥ側に導かれる。右導光板２６１には、右眼ＲＥの眼前に位置するハーフミラー２６１Ａ（反射面）が形成される。
ハーフミラー２６１Ａで反射した画像光Ｌは右眼ＲＥに向けて右光学像表示部２６から射出され、この画像光Ｌが右眼ＲＥの網膜に像を結び、使用者に画像を視認させる。

使用者の右眼ＲＥには、ハーフミラー２６１Ａで反射した画像光Ｌと、調光板２０Ａを透過した外光ＯＬとが入射する。左眼ＬＥには、ハーフミラー２６２Ａで反射した画像光Ｌと、調光板２０Ａを透過した外光ＯＬとが入射する。このように、頭部装着型表示装置１００は、内部で処理した画像の画像光Ｌと外光ＯＬとを重ねて使用者の眼に入射させ、使用者にとっては、調光板２０Ａを透かして外景が見え、この外景に重ねて、画像光Ｌによる画像が視認される。このように、頭部装着型表示装置１００は、シースルー型の表示装置として機能する。

なお、左投写光学系２５２と左導光板２６２とを総称して「左導光部」とも呼び、右投写光学系２５１と右導光板２６１とを総称して「右導光部」と呼ぶ。右導光部及び左導光部の構成は上記の例に限定されず、画像光を用いて使用者の眼前に虚像を形成する限りにおいて任意の方式を用いることができ、例えば、回折格子を用いても良いし、半透過反射膜を用いても良い。

画像表示部２０（図１）は、制御装置１０に接続部４０を介して接続する。接続部４０は、制御装置１０に接続される本体コード４８、右コード４２、左コード４４、及び、連結部材４６を備えるハーネスである。右コード４２及び左コード４４は、本体コード４８が２本に分岐し、右コード４２は右保持部２１の延伸方向の先端部ＡＰから右保持部２１の筐体内に挿入され、右表示駆動部２２に接続される。同様に、左コード４４は、左保持部２３の延伸方向の先端部ＡＰから左保持部２３の筐体内に挿入され、左表示駆動部２４に接続される。右コード４２、左コード４４、及び、本体コード４８は、デジタルデータを伝送可能なものであればよく、例えば金属ケーブルや光ファイバーで構成できる。また、右コード４２と左コード４４とを一本のコードにまとめた構成としてもよい。

連結部材４６は、本体コード４８と、右コード４２及び左コード４４との分岐点に設けられ、イヤホンプラグ３０を接続するためのジャックを有する。イヤホンプラグ３０からは、右イヤホン３２及び左イヤホン３４が延伸する。イヤホンプラグ３０の近傍にはマイク６３が設けられる。イヤホンプラグ３０からマイク６３までは一本のコードにまとめられ、マイク６３からコードが分岐して、右イヤホン３２と左イヤホン３４のそれぞれに繋がる。

マイク６３は、例えば図１に示すように、マイク６３の集音部が使用者の視線方向を向くように配置され、音声を集音して、音声信号を出力する。マイク６３は、例えばモノラルマイクであってもステレオマイクであってもよく、指向性を有するマイクであってもよいし、無指向性のマイクであってもよい。

画像表示部２０と制御装置１０とは、接続部４０を介して各種信号を伝送する。本体コード４８の連結部材４６とは反対側の端部、及び、制御装置１０には、互いに嵌合するコネクター（図示略）が設けられる。本体コード４８のコネクターと制御装置１０のコネクターとを嵌合し、或いは、この嵌合を外すことで、制御装置１０と画像表示部２０とを接離できる。

制御装置１０は、画像表示部２０の本体とは別体となる箱形の本体を有し、頭部装着型表示装置１００を制御する。制御装置１０は、決定キー１１、点灯部１２、表示切替キー１３、輝度切替キー１５、方向キー１６、メニューキー１７、及び電源スイッチ１８を含むスイッチ類を備える。また、制御装置１０は、使用者が手指で操作するトラックパッド１４を備える。

決定キー１１は、押下操作を検出して、制御装置１０で操作された内容を決定する信号を出力する。点灯部１２は、ＬＥＤ（Light Emitting Diode）等の光源を備え、光源の点灯状態により、頭部装着型表示装置１００の動作状態（例えば、電源のＯＮ／ＯＦＦ）を通知する。表示切替キー１３は、押下操作に応じて、例えば、画像の表示モードの切り替えを指示する信号を出力する。

トラックパッド１４は、接触操作を検出する操作面を有し、操作面に対する操作に応じて操作信号を出力する。操作面における検出方式は限定されず、静電式、圧力検出式、光学式等を採用できる。輝度切替キー１５は、押下操作に応じて画像表示部２０の輝度の増減を指示する信号を出力する。方向キー１６は、上下左右方向に対応するキーへの押下操作に応じて操作信号を出力する。電源スイッチ１８は、頭部装着型表示装置１００の電源オン／オフを切り替えるスイッチである。

図３は、頭部装着型表示装置１００を構成する各部の機能ブロック図である。
制御装置１０は、制御装置１０及び画像表示部２０を制御する制御部１１０（第２制御部）を備える。制御部１１０は、例えばマイクロプロセッサーで構成され、制御部１１０が処理するデータ等を一時的に記憶するメモリー１２１、及び、制御部１１０が処理するデータ等を不揮発的に記憶するフラッシュメモリー１２２に接続される。メモリー１２１及びフラッシュメモリー１２２はいずれも半導体素子により構成され、データバスを介して制御部１１０に接続する。

制御部１１０には、電源制御部１２３、ＵＩ（ユーザーインターフェイス）制御部１２４、無線Ｉ／Ｆ（インターフェイス）制御部１２５、音声制御部１２６、センサーＩＣ１２７、及び、外部Ｉ／Ｆ（インターフェイス）部１２８が接続される。
頭部装着型表示装置１００は、電源として一次電池または二次電池を備え、電源制御部１２３は、これら電池に接続されるＩＣで構成される。電源制御部１２３は、制御部１１０の制御に従って電池の残容量の検出を行い、検出値のデータ、または残容量が設定値以下となったことを示すデータを制御部１１０に出力する。

ＵＩ制御部１２４は、図１に示した決定キー１１、表示切替キー１３、トラックパッド１４、輝度切替キー１５、方向キー１６、及びメニューキー１７の各操作部、点灯部１２、及び、トラックパッド１４が接続されるＩＣである。上記各操作部は入力部として機能し、点灯部１２及びトラックパッド１４は出力部として機能し、頭部装着型表示装置１００のユーザーインターフェイスを構成する。ＵＩ制御部１２４は、上記操作部における操作を検出して、操作に対応する操作データを制御部１１０に出力する。また、ＵＩ制御部１２４は、制御部１１０の制御に従って、点灯部１２の点灯／消灯、及びトラックパッド１４における表示を行う。

無線Ｉ／Ｆ制御部１２５は、無線通信インターフェイス（図示略）に接続される制御ＩＣであり、制御部１１０の制御に従って、上記無線通信インターフェイスによる通信を実行する。制御装置１０が備える無線通信インターフェイスは、例えば、無線ＬＡＮ（ＷｉＦｉ（登録商標））、Ｍｉｒａｃａｓｔ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の規格に準じた無線データ通信を実行する。
音声制御部１２６は、右イヤホン３２、左イヤホン３４、及びマイク６３に接続され、Ａ／Ｄ（アナログ／ディジタル）コンバーターやアンプ等を備えるＩＣである。音声制御部１２６は、制御部１１０から入力される音声データに基づき右イヤホン３２及び左イヤホン３４から音声を出力させる。また、音声制御部１２６は、マイク６３が集音する音声に基づき音声データを生成して制御部１１０に出力する。

センサーＩＣ１２７は、例えば、３軸加速度センサー、３軸ジャイロセンサー、及び３軸地磁気センサーを備え、例えば上記センサーを具備する１つのＩＣで構成される。センサーＩＣ１２７は、制御部１１０の制御に従って検出を実行し、各センサーの検出値を示すデータを制御部１１０に出力する。センサーＩＣ１２７が備えるセンサーの数や種類は制限されず、照度センサー、温度センサー、圧力センサー等を備えてもよい。

外部Ｉ／Ｆ部１２８は、頭部装着型表示装置１００を外部機器に接続するインターフェイスである。例えば、ＵＳＢインターフェイス、マイクロＵＳＢインターフェイス、メモリーカード用インターフェイス等の有線接続に対応したインターフェイスを用いることができ、無線通信インターフェイスで構成してもよい。外部Ｉ／Ｆ部１２８には、頭部装着型表示装置１００に対してコンテンツを供給する種々の外部機器を接続できる。これらの外部機器は、頭部装着型表示装置１００に画像を供給する画像供給装置ということもでき、例えば、パーソナルコンピューター（ＰＣ）、携帯電話端末、携帯型ゲーム機等が用いられる。また、外部Ｉ／Ｆ部１２８は、右イヤホン３２、左イヤホン３４及びマイク６３に繋がる端子を設けてもよく、この場合、音声制御部１２６が処理するアナログ音声信号は外部Ｉ／Ｆ部１２８を介して入出力される。

制御部１１０には、Ｉ／Ｆ（インターフェイス）部１１５が接続される。Ｉ／Ｆ部１１５は接続部４０に一端に接続するコネクター等を備えたインターフェイスであり、接続部４０の他端は画像表示部２０のＩ／Ｆ部１５５に接続される。
制御部１１０は、接続部４０を介して、画像表示部２０が備えるサブ制御部１５０とデータ通信を実行する。

制御部１１０は、内蔵するＲＯＭに記憶するプログラムを実行して、頭部装着型表示装置１００の各部を制御する。制御部１１０は、センサーＩＣ１２７から入力されるデータに基づきセンサーの検出値を取得して、メモリー１２１に記憶する。このとき、制御部１１０は、センサーの検出値に対応付けて、検出値を取得した時刻を示すタイムスタンプ情報を付加して記憶する。

また、制御部１１０は、接続部４０を介して、画像表示部２０が備えるセンサー（デプスセンサーユニット６６、９軸センサー１６１、ＧＰＳ１６３、及び、照度センサー１６４）の検出値を示すデータを受信する。制御部１１０は、受信したデータをメモリー１２１に記憶する。制御部１１０が受信するデータは、サブ制御部１５０が付加したタイムスタンプ情報を含む。制御部１１０は、上記のようにセンサーＩＣ１２７の検出値に付加するタイムスタンプ情報を、サブ制御部１５０が付加したタイムスタンプ情報と区別できる態様で付加し、メモリー１２１に記憶する。メモリー１２１には、センサーの検出値が、データの属性の１つとしてタイムスタンプ情報が付加されたデータ形式で記憶される。ここで、制御部１１０は、センサーの検出値のデータを、フラッシュメモリー１２２に記憶してもよい。

制御部１１０は、外部Ｉ／Ｆ部１２８または無線Ｉ／Ｆ制御部１２５により接続する外部機器から、コンテンツのデータを受信して、フラッシュメモリー１２２に記憶する。コンテンツのデータは、画像表示部２０で表示するテキストや画像等のデータであり、右イヤホン３２及び左イヤホン３４で出力する音声のデータを含んでもよい。制御部１１０は、頭部装着型表示装置１００を制御してコンテンツを再生する。具体的には、制御部１１０は、コンテンツの表示用のデータをサブ制御部１５０に送信して表示を実行させ、コンテンツの音声データを音声制御部１２６に出力して音声を出力させる。また、外部機器から受信するコンテンツのデータが、再生に関する条件を示すデータを含む場合、制御部１１０は、この条件に従ってコンテンツを再生する。例えば、画像表示部２０において検出される位置や傾き等のセンサーの検出値が、条件に該当する場合に、検出値に対応するテキストや画像を表示させる。

画像表示部２０は、制御部１１０と通信を実行し、画像表示部２０の各部を制御するサブ制御部１５０を備える。サブ制御部１５０は、例えばマイクロプロセッサーで構成され、Ｉ／Ｆ部１５５により接続部４０に接続され、接続部４０を介して制御部１１０との間でデータ通信を実行する。
サブ制御部１５０には、デプスセンサーユニット６６、９軸センサー１６１、ＧＰＳ１６３、及び、照度センサー１６４のセンサー類が接続される。
デプスセンサーユニット６６は、上記のように使用者の視界方向を撮像して撮像結果の信号を出力するカメラ６６Ａ、６６Ｂと、カメラ６６Ａ、６６Ｂの出力信号に基づき撮像画像データを生成出力する出力部６７（デプスデータ生成部）と、を備える。出力部６７は、カメラ６６Ａ、６６Ｂとともにカメラ基板６５に実装される。

出力部６７は、例えばＡＳＩＣ（Application Specific Integrated Circuit）として構成され、カメラ６６Ａ、６６Ｂが出力する信号に対しハードウェア処理を実行する。
出力部６７は、カメラ６６Ａ、６６Ｂが撮像した画像に基づき、複数種類のデータを出力可能である。
出力部６７は、複数の動作モードで動作することができ、サブ制御部１５０が出力部６７を制御して動作モードの切り替えを実行させることができる。出力部６７が出力するデータの種類は、出力部６７の動作モードに対応する。
出力部６７の動作モードは、画像出力モードと、デプスデータ出力モードとがある。画像出力モードでは、出力部６７はカメラ６６Ａ、６６Ｂの撮像画像データを出力する。画像出力モードでは、カメラ６６Ａ、６６Ｂのいずれか一方の撮像画像データを出力する動作が可能であり、カメラ６６Ａ、６６Ｂの両方の撮像画像から一つの撮像画像データを生成して出力する動作を行ってもよい。また、画像出力モードで、出力部６７は３Ｄ画像データを出力してもよい。この場合、出力部６７は、カメラ６６Ａの撮像画像データとカメラ６６Ｂの撮像画像データとを、例えばサイドバイサイドの画像フォーマットで出力する。画像出力モードにおける出力部６７の動作、及び、出力部６７が出力する画像データの仕様は、サブ制御部１５０が適宜設定し、制御できる構成とすればよい。例えば、画像データの解像度、カラー（モノクロ２値、８ｂｉｔグレースケール、２４ｂｉｔフルカラーなど）、フォーマット（ＪＰＥＧ、ＲＡＷなど）を設定可能な構成としてもよい。

出力部６７は、デプスデータ出力モードで、カメラ６６Ａ、６６Ｂの撮像画像からデプスデータを生成して出力する。デプスデータ（距離情報）は、距離検出対象範囲内の複数の位置ごとに、距離を示す距離データを含む。例えば、デプスデータは、距離検出対象範囲を撮像した撮像画像データと同様に、複数の領域（画素に相当）と、領域毎の距離データとを含む。距離検出対象範囲は、カメラ６６Ａの撮像範囲とカメラ６６Ｂの撮像範囲とが重なる重複範囲の、少なくとも一部である。複数の領域は、距離検出対象範囲を、例えばマトリクス状に分割した領域である。領域の数は、カメラ６６Ａ、６６Ｂの撮像の解像度或いは画素数に対応していてもよいし、より少数であってもよい。例えば、カメラ６６Ａ、６６Ｂが撮像した撮像画像データが2560×1920ピクセルで得られ、カメラ６６Ａ、６６Ｂの画角全体が距離検出対象範囲である場合、デプスデータは2560×1920の領域の距離データを含んでもよい。また、より少ない数の領域の距離データを含んでもよく、例えば、領域の数を、1280×960や640×480としてもよい。

また、距離データは、カメラ６６Ａ、６６Ｂの撮像面を基準として、基準からの距離を示すデータであり、例えば８ビットのデジタルデータである。距離データはｍ（メートル）等のＳＩ単位に準拠した絶対的な距離を示すデータであってもよいし、ＳＩ単位とは別の基準に基づく絶対的な距離のデータであってもよい。或いは、距離データは、距離検出対象範囲内における複数の位置の相対的な距離を示すデータであってもよい。本実施形態ではＳＩ単位に準拠しない絶対的な距離を示す８ビットのデジタルデータとする。
この場合、デプスデータは、マトリクス状の1280×960或いは640×480等の領域のそれぞれに対応する８ビットのデータを含み、画像データと同様のファイル形式のデータとすることができる。

また、出力部６７は、画像出力モードにおいては撮像画像データを周期的に出力することができ、所定のフレームレート（フレーム周波数）の動画像データを出力してもよい。また、出力部６７は、デプスデータ出力モードで、デプスデータを周期的に出力できる。デプスデータは上記のように画像データと同様のファイル形式のデータとすることができるので、所定のフレームレートの動画像データとして出力しても良い。また、出力部６７は、デプスデータと同じフレームレートで撮像画像データを出力してもよいし、異なるフレームレートで撮像画像データを出力してもよい。

本実施形態では、デプスデータ出力モードにおいて、出力部６７は、640×480ドットの領域について、８ビットの距離データを有するデプスデータを、１５ｆｐｓ（フレーム／秒）の周期で出力する。
出力部６７は、サブ制御部１５０が設定する動作モードに対応するデータを、サブ制御部１５０に出力する。出力部６７が出力するデータは、サブ制御部１５０が、必要に応じて制御部１１０に送信する。また、出力部６７は、動作モードを設定するデータ等の制御データをサブ制御部１５０との間で送受信し、画像データやデプスデータを、接続部４０を介して直接、制御部１１０に出力してもよい。

９軸センサー１６１は、３軸加速度センサー、３軸ジャイロセンサー、及び、３軸地磁気センサーを備えるＩＣである。９軸センサー１６１は、サブ制御部１５０の制御により駆動され、内蔵する各センサーの検出値を示すデータを、サブ制御部１５０に出力する。照度センサー１６４は、上述したように環境光センサー（ＡＬＳ）のＩＣ、又は、環境光センサーを含む複数のセンサーやセンサーの周辺回路をユニット化したＩＣである。照度センサー１６４は、サブ制御部１５０の制御により駆動され、光量の検出値をサブ制御部１５０に出力する。

ＧＰＳ１６３は、ＧＰＳ衛星や屋内に設置される疑似ＧＰＳ送信機（図示略）が送信する位置検出用の信号を受信して、画像表示部２０の現在位置を算出し、算出したデータをサブ制御部１５０に出力する。ＧＰＳ１６３は、位置検出用の信号を受信する受信機としての機能のみ有する構成としてもよく、この場合、ＧＰＳ１６３が出力するデータに基づきサブ制御部１５０が現在位置を算出する処理を行えば良い。

ＥＥＰＲＯＭ１６５は、サブ制御部１５０が実行する処理に関するデータ等を不揮発的に記憶する。

サブ制御部１５０には、右ＬＣＤ２４１を駆動して描画を行うＬＣＤ駆動部１６７、及び、左ＬＣＤ２４２を駆動して描画を行うＬＣＤ駆動部１６８が接続される。サブ制御部１５０は、制御部１１０からコンテンツのデータを受信し、受信したデータに含まれるテキストや画像を表示する表示データを生成してＬＣＤ駆動部１６７、１６８に出力し、表示を実行させる。

また、サブ制御部１５０は、右バックライト２２１を駆動するバックライト駆動部１６９、及び、左バックライト２２２を駆動するバックライト駆動部１７０に接続される。サブ制御部１５０は、バックライト駆動部１６９、１７０に対し、ＰＷＭ制御用のタイミングデータを含む制御データを出力する。バックライト駆動部１６９、１７０は、サブ制御部１５０から入力される制御データに基づき、右バックライト２２１、左バックライト２２２に駆動電圧とパルスを供給して、右バックライト２２１、左バックライト２２２を点灯させる。

また、サブ制御部１５０は、バックライト駆動部１６９に出力するデータにより、バックライト駆動部１６９が右バックライト２２１に出力するパルスのパルス幅、或いは、デューティーを指定する。デューティーは、パルスのオン期間とオフ期間の長さの比を指す。同様に、サブ制御部１５０は、バックライト駆動部１７０に出力するデータにより、バックライト駆動部１７０が左バックライト２２２に出力するパルスのパルス幅、或いは、デューティーを指定する。右バックライト２２１及び左バックライト２２２はＬＥＤ等の個体光源であり、発光する明るさ、すなわち輝度をＰＷＭ制御により調整できる。従って、サブ制御部１５０の制御により、使用者の眼に入射する画像光Ｌ（図２）の光量を調整できる。

サブ制御部１５０はバックライト駆動部１６９とバックライト駆動部１７０のそれぞれに、異なるデータを出力し、右バックライト２２１の輝度と左バックライト２２２の輝度とを個別に調整できる。サブ制御部１５０は、バックライト駆動部１６９、１７０に対し、右バックライト２２１及び左バックライト２２２のそれぞれの輝度を指定するデータを出力する。バックライト駆動部１６９、１７０は、サブ制御部１５０から入力するデータで指定された輝度値に対応するパルスを生成して、右バックライト２２１と左バックライト２２２のそれぞれに出力する。

制御部１１０とサブ制御部１５０とを接続する接続部４０は、制御データバス４１Ａ、画像データバス４１Ｂ、表示データバス４１Ｃ、４１Ｄを含む複数のデータバスを有する。これらのデータバスは、互いに独立してデータを伝送可能であるが、各データバスを構成する信号線が物理的に区分された構成であってもよいし、各データバスが共通の信号線を用いて仮想的あるいは論理的に構成されてもよい。
制御データバス４１Ａは、制御部１１０からサブ制御部１５０に対して送信される制御データ、サブ制御部１５０が制御部１１０に送信するセンサーの検出値のデータ等を伝送する。画像データバス４１Ｂは、サブ制御部１５０から制御部１１０に、デプスセンサーユニット６６の撮像画像データやデプスデータを伝送する。表示データバス４１Ｃは、右表示駆動部２２で表示するデータを伝送し、表示データバス４１Ｄは左表示駆動部２４で表示するデータを伝送する。

画像表示部２０が備える、デプスセンサーユニット６６、９軸センサー１６１、ＧＰＳ１６３、及び照度センサー１６４を含む複数のセンサーのサンプリング周期は、大きく異なることもある。例えば、９軸センサー１６１の加速度センサーのサンプリング周期（サンプリング頻度）は２００回／秒以上となることが考えられる。これに対し、照度センサー１６４のサンプリング周期はより遅く、１〜１０回／秒（１０００〜１００ｍｓ周期）程度でも十分に役立つことが考えられる。これらのセンサーは、サブ制御部１５０がサンプリング周期の設定を行い、設定したサンプリング周期に従ってサブ制御部１５０が検出値を取得する。サブ制御部１５０は、各センサーからサンプリングした検出値のデータを、制御データバス４１Ａにおいて時分割で制御部１１０に送信する。

このため、サンプリング周期の遅い（サンプリング頻度が低い、或いは、サンプリング間隔が長いと言い換えられる）センサーを制御するために制御データバス４１Ａが長時間占有されることがない。これにより、制御データバス４１Ａのオーバーヘッドを低減し、制御データバス４１Ａで多数のセンサーの検出値を効率よく伝送できる。また、サブ制御部１５０は、ＲＡＭ（図示略）を内蔵し、センサーの検出値を取得した場合はＲＡＭに一時的に記憶する。サブ制御部１５０は、ＲＡＭに記憶したデータの送信タイミングを調整して、データを制御データバス４１Ａに送出する。従って、サブ制御部１５０の動作も、各センサーのサンプリング周期の制約を受けにくく、センサーの制御のためにサブ制御部１５０の処理が占有される事態を防止できる。

図４は、頭部装着型表示装置１００が表示する画像の表示例を示す図である。図４（Ａ）は頭部装着型表示装置１００を装着した使用者の視野ＶＲを示し、図４（Ｂ）はデプスデータに基づくマスク処理の例を示す。図４（Ｃ）は使用者の視野ＶＲの別の例を示し、図４（Ｄ）はデプスデータに基づくマスク処理の別の例を示す。

頭部装着型表示装置１００は、出力部６７が出力するデプスデータに基づき、右光学像表示部２６、左光学像表示部２８（図１）を透過して視認される外景の視認性を変化させる、マスク処理を行う。マスク処理では、外景として見える物体や景色に重なる位置における表示色や表示の輝度を調整する。これにより、外景として見える物体や景色の一部の視認性を低下させることができ、結果的に他の部分の視認性を高めることができる。

図４（Ａ）の視野ＶＲには建物が外景ＯＬＰとして見えている。頭部装着型表示装置１００が、画像表示部２０から所定距離以内の外景が視認されるように、マスク処理を行う例を図４（Ｂ）に示す。図４（Ｂ）では、画像表示部２０からの距離が、所定距離を超える部分の視認性が低くなるように、マスク表示Ｍが表示される。マスク表示Ｍは、右ＬＣＤ２４１、左ＬＣＤ２４２の特定の画素に、外景の視認性を低くする表示色（階調）で表示される。

マスク表示Ｍを表示する画素は、出力部６７が出力するデプスデータにより決定されるが、マスク表示Ｍを表示する画素は視野ＶＲに見える外景ＯＬＰに対応する必要がある。従って、頭部装着型表示装置１００は、カメラ６６Ａ、６６Ｂの撮像画像データにおける位置（座標）と、使用者の視野ＶＲとの位置を対応付ける位置対応データを利用する。この位置対応データは、フラッシュメモリー１２２またはＥＥＰＲＯＭ１６５に記憶される。位置対応データは、使用者が頭部装着型表示装置１００を装着した後でキャリブレーションを実行し、このキャリブレーションの結果に基づき生成されてもよい。

なお、出力部６７が２つのカメラ６６Ａ、６６Ｂの撮像結果に基づくデプスデータを出力する場合は、このデプスデータを位置対応データにより画像表示部２０の表示画素に対応付けることが可能である。
このほか、デプスセンサーユニット６６のようなユニット化がされていない、２つのデジタルカメラがそれぞれ撮像画像データを出力する構成とすることもできる。この場合、２つのデジタルカメラが個別に出力する撮像画像データを、サブ制御部１５０または制御部１１０が取得し、デプスデータ、及び、このデプスデータと画像表示部２０の表示画素との対応付けを行ってもよい。例えば、制御部１１０またはサブ制御部１５０が、デプスデータを求めるための演算式、或いはＬＵＴ（Look Up Table）を用いて、２つのデジタルカメラの撮像画像データからデプスデータを生成してもよい。また、例えば、制御部１１０またはサブ制御部１５０が、デプス予め頭部装着型表示装置１００が記憶するＬＵＴを参照して、デプスデータと、画像表示部２０の表示画素とを対応付けてもよい。

頭部装着型表示装置１００は、右ＬＣＤ２４１における位置（座標）及び左ＬＣＤ２４２における位置（座標）と、使用者の視野ＶＲとの位置を対応付ける表示位置対応データを有していてもよい。また、頭部装着型表示装置１００は、カメラ６６Ａ、６６Ｂの撮像画像データにおける位置（座標）と、右ＬＣＤ２４１における位置（座標）及び左ＬＣＤ２４２における位置（座標）とを対応付ける撮像位置対応データを有してもよい。これら表示位置対応データ及び撮像位置対応データは、例えば、頭部装着型表示装置１００のハードウェア構成に基づき生成され、フラッシュメモリー１２２に記憶されてもよいし、キャリブレーションにより生成されてもよい。そして、制御部１１０は、表示位置対応データ及び撮像位置対応データから、上記の位置対応データを求めてもよい。また、制御部１１０は、その他のデータを用いた演算処理により、位置対応データを算出してもよい。

制御部１１０は、出力部６７が出力するデプスデータにより、カメラ６６Ａ、６６Ｂの撮像範囲における位置ごとの距離を特定できる。そして、所定距離以内の位置を特定し、この位置に対応する右ＬＣＤ２４１、左ＬＣＤ２４２の画素に、マスク表示Ｍを表示する。この処理により、図４（Ｂ）に示すように、使用者は、視野ＶＲで、使用者に近い外景のみを視認する。図４（Ｂ）の例とは反対に、使用者から近い位置の外景ＯＬＰの視認性をマスク表示Ｍで低下させてもよい。また、使用者からの距離が設定された範囲の外となる外景ＯＬＰの視認性をマスク表示Ｍで低下させてもよい。

図４（Ｃ）及び（Ｄ）は、頭部装着型表示装置１００が、出力部６７が出力するデプスデータにより距離の変化を検出した場合のマスク処理を示す。
図４（Ｃ）の例では、制御部１１０が、出力部６７が異なるタイミングで出力するデプスデータを複数取得し、外景ＯＬＰの視認性として視野ＶＲに見える範囲で距離の変化を検出する。例えば、制御部１１０は、出力部６７から取得したデプスデータを、取得順にメモリー１２１に記憶して、デプスデータのドット毎の距離データを比較することで、距離の変化を検出できる。

制御部１１０は、距離の変化を検出した範囲（図４（Ｃ）のオブジェクトＯＢに相当）を特定し、図４（Ｄ）に示すように、特定した範囲を除く部分にマスク表示Ｍを行う。この例では、視野ＶＲに見える外景ＯＬＰにおいて距離の変化があるオブジェクトＯＢを除く範囲がマスク表示Ｍで覆われて、視認性が低下する。これにより、オブジェクトＯＢが際だって見える。

図４（Ｂ）、（Ｄ）に示すようにマスク表示Ｍを行うことで、使用者に、視野ＶＲの特定の部分を注視させることができ、注意喚起や、不要な情報の遮断を行うことができる。なお、図４（Ｂ）、（Ｄ）にはマスク表示Ｍにより視認性が著しく低下する例を示したが、マスク表示Ｍの態様は、このような例に限定されない。例えば、視認性を少し低下させるために、マスク表示Ｍをする画素において右ＬＣＤ２４１、左ＬＣＤ２４２の輝度を、他の画素より１段階、或いは複数段階高めることで、マスク表示Ｍとしてもよい。また、マスク表示Ｍする画素において、マスク表示Ｍに割り当てられる特定の色を表示してもよい。マスク表示Ｍに割り当てられる色は有彩色であってもよいし、黒、白或いはグレーを含む無彩色であってもよい。
さらに、マスク表示Ｍをする画素を含む複数の画素からなる領域において、表示を消すドット抜きを行う方法、この領域を単一色で塗りつぶすように表示する方法が挙げられる。或いは、画像データ処理により表示する画像をぼかす方法、表示する画像に対しシャープネス処理をする方法、エッジ強調処理をする方法、画像データの階調を調整する方法等が挙げられる。

図５は、頭部装着型表示装置１００の動作を示すフローチャートである。図５にはマスク処理の例を示す。
制御部１１０は、制御装置１０に対する操作等に従って、マスク処理を開始し（ステップＳ１１）、出力部６７に制御データを送信して、デプスセンサーユニット６６の動作モードを設定する（ステップＳ１２）。ステップＳ１２で、制御部１１０は、出力部６７がデプスデータを出力するデプスデータ出力モードを設定する。

制御部１１０は、出力部６７が出力するデプスデータを取得し（ステップＳ１３）、取得したデプスデータが含むドット毎の距離データを、より粗い段階に区分する（ステップＳ１４）。本実施形態では出力部６７は８ビットの距離データを含むデプスデータを出力する。これに対し、制御部１１０は、マスク処理で距離を２段階、或いはより多い段階に区分する。そこで、制御部１１０は、デプスデータが含む距離データを、予めメモリー１２１またはフラッシュメモリー１２２に記憶されたしきい値と比較することで、２段階、或いはより多い段階に区分する。

制御部１１０は、ステップＳ１４で区分した距離データの段階ごとの表示形態を設定する設定データを、フラッシュメモリー１２２から取得する（ステップＳ１５）。本実施形態では図４（Ｂ）に示したように、距離データが所定距離より大きい領域にマスク表示Ｍを表示する。
次いで、制御部１１０は、デプスデータに含まれるドットと、右ＬＣＤ２４１及び左ＬＣＤ２４２の画素との対応を、例えば上記位置対応データに基づき特定する（ステップＳ１６）。

制御部１１０は、ステップＳ１４における区分の結果と、ステップＳ１５で決定した表示態様と、ステップＳ１６で求めた表示画素の対応関係とに基づき、右ＬＣＤ２４１及び左ＬＣＤ２４２の画素毎の表示態様を決定する（ステップＳ１７）。例えば、図４（Ｂ）においてマスク表示Ｍを表示する画素を決定し、この画素における表示色、或いは階調を決定する。
制御部１１０は、サブ制御部１５０を介してＬＣＤ駆動部１６７、１６８に表示データを送信することで、右ＬＣＤ２４１、及び左ＬＣＤ２４２における表示を更新させる（ステップＳ１８）。

制御部１１０は、マスク処理を終了するか否かを判定し（ステップＳ１９）、マスク処理を終了しない場合は（ステップＳ１９；ＮＯ）、ステップＳ１３に戻る。また、制御装置１０の操作によりマスク処理の終了が指示された場合や、制御装置１０の電源スイッチ１８により頭部装着型表示装置１００がオフにされた場合、制御部１１０はマスク処理を終了する（ステップＳ１９；ＹＥＳ）。

図６は、頭部装着型表示装置１００の動作を示すフローチャートである。図６には、距離の変化に基づくマスク処理の例を示す。
制御部１１０は、制御装置１０に対する操作等に従って、マスク処理を開始し（ステップＳ３１）、出力部６７に制御データを送信して、デプスセンサーユニット６６の動作モードを、デプスデータ出力モードに設定する（ステップＳ３２）。

制御部１１０は、出力部６７が出力するデプスデータを取得して、メモリー１２１に一時的に記憶する（ステップＳ３３）。制御部１１０は、既に出力部６７から取得してメモリー１２１に記憶した古いデプスデータと、新しく出力部６７から取得したデプスデータとを比較し（ステップＳ３４）、デプスデータのドット毎に距離データの変化量を算出する（ステップＳ３５）。制御部１１０は、距離データの変化量が、予め設定されたしきい値以上となったドットを特定する（ステップＳ３６）。

次いで、制御部１１０は、デプスデータに含まれるドットと、右ＬＣＤ２４１及び左ＬＣＤ２４２の画素との対応を、例えば上記位置対応データに基づき特定する（ステップＳ３７）。制御部１１０は、ステップＳ３６で特定した、距離データの変化量がしきい値以上となったドットと、右ＬＣＤ２４１及び左ＬＣＤ２４２における画素との対応を特定する（ステップＳ３８）。

制御部１１０は、ステップＳ３８で特定した画素の表示態様を決定する（ステップＳ３９）。例えば、図４（Ｄ）においてマスク表示Ｍを表示する画素を決定し、この画素における表示色、或いは階調を決定する。制御部１１０は、サブ制御部１５０を介してＬＣＤ駆動部１６７、１６８に表示データを送信することで、右ＬＣＤ２４１、及び左ＬＣＤ２４２における表示を更新させる（ステップＳ４０）。

制御部１１０は、マスク処理を終了するか否かを判定し（ステップＳ４１）、マスク処理を終了しない場合は（ステップＳ４１；ＮＯ）、ステップＳ１３に戻る。また、制御装置１０の操作によりマスク処理の終了が指示された場合や、制御装置１０の電源スイッチ１８により頭部装着型表示装置１００がオフにされた場合、制御部１１０はマスク処理を終了する（ステップＳ４１；ＹＥＳ）。

図４及び図５においては制御部１１０がマスク処理を実行する例を説明したが、サブ制御部１５０が、マスク処理を行ってもよい。すなわち、制御部１１０がサブ制御部１５０に対し、マスク処理の実行を指示するコマンド、或いは制御データを送信し、サブ制御部１５０が、図４及び図５に示す処理を制御してもよい。また、図４及び図５に示す動作の一部の処理を制御部１１０が行い、他の処理をサブ制御部１５０が行ってもよい。

サブ制御部１５０は、デプスセンサーユニット６６、９軸センサー１６１、ＧＰＳ１６３、及び、照度センサー１６４等のセンサーを制御して検出値を取得し、制御部１１０に送信する。このため、制御部１１０が各センサーを制御する場合に比べて、制御部１１０の処理負荷、制御部１１０の処理の占有時間を大幅に軽減できる。また、制御部１１０に各センサーを接続した場合、サンプリング周期が異なるセンサーの検出値を同じ信号線で伝送することは困難であるから、接続部４０に設ける信号線の数がセンサーの数に対応して多くなる。このため、接続部４０のハーネスが太くなり取り回しが低下する、センサーの数が制限される等の好ましくない事態が懸念される。本実施形態のように、サブ制御部１５０が各センサーの検出値を取得し、制御データバス４１Ａを介した送信タイミングの調整を行い、複数のセンサーの検出値を送信することで、上記の事態を全て防止でき、効率のよい処理を実現できる。例えば、サブ制御部１５０は、サンプリング周期が短いセンサーの検出値を送信する動作を、予め設定したタイミングで優先的に行い、この動作の空き時間に、サンプリング周期の長いセンサーの検出値を送信してもよい。

以上説明したように、本発明を適用した実施形態の頭部装着型表示装置１００は、外景を透過し、外景とともに視認できるように画像を表示する画像表示部２０を有する。制御部１１０は、画像表示部２０を透過して視認可能な方向に関するデプスデータを取得し、取得したデプスデータに基づいて画像表示部２０を制御する。これにより、制御部１１０は、画像表示部２０を透過して視認される外景の視認性を変化させる。このため、頭部装着型表示装置１００を装着する使用者が、画像表示部２０を透過する外景の見え方をもとに、距離に関する情報を得ることができる。従って、使用者に対して距離に関する情報を効率よく提供できる。また、デプスデータに基づいて画像表示部２０の制御を行うので、例えば使用者の操作の回数を減らすことができ、利便性の向上を図ることができる。

また、画像表示部２０は複数の表示領域で構成される表示範囲に画像を表示し、デプスデータは、表示範囲の表示領域のそれぞれに対応する距離データを含む。制御部１１０は、デプスデータと表示領域との対応付けに基づき、それぞれの表示領域の表示態様を制御することにより、外景の視認性を変化させる。このため、右ＬＣＤ２４１、左ＬＣＤ２４２の表示領域を構成する画素を単位として、外景の視認性を変化させることで、距離に関する情報を提供できる。また、距離を基準として外景の視認性を部分的に変更できる。

また、制御部１１０は、複数の撮像部であるカメラ６６Ａ、６６Ｂの撮像画像に基づくデプスデータを取得し、取得したデプスデータと画像表示部２０の表示画素との対応付けを行う。このため、デプスデータと表示する画素との対応付けを速やかに行うことができ、マスク処理等を容易に、速やかに実行できる。また、マスク処理の精度の向上を図ることもできる。

また、画像表示部２０を透過して視認可能な方向に位置する対象物体までの距離を検出してデプスデータを出力するデプスセンサーユニット６６を備え、制御部１１０はデプスセンサーユニット６６が出力するデプスデータを取得する。このため、外景として見える物体までの距離を検出して、この距離に対応して外景の視認性を変化させることができる。

また、デプスセンサーユニット６６は、複数のカメラ６６Ａ、６６Ｂと、カメラ６６Ａ、６６Ｂの撮像画像データをもとにデプスデータを生成して出力する出力部６７とを備えるので、撮像画像を利用してデプスデータを速やかに生成できる。
ここで、制御部１１０は、画像表示部２０において、距離情報を取得した方向に対応する位置の表示の輝度を変更することにより、外景の視認性を容易に変更できる。

また、制御部１１０は、画像表示部２０を透過して視認可能な外景の一部の視認性を他の部分より低くするマスク処理を行い、デプスデータに基づき外景の一部の視認性を低下させる。また、制御部１１０は、デプスデータに基づき、外景において予め設定された距離に該当する部分の視認性を変化させてもよい。また、制御部１１０は、外景においてデプスデータで特定される距離が変化した部分の視認性を変化させてもよい。制御部１１０は、例えば、マスク処理において画像表示部２０の表示領域で表示色または表示階調を変更し、外景の視認性を容易に、きめ細かく調整できる。

頭部装着型表示装置１００は、使用者の頭部に装着される頭部装着型のフレーム２を有し、このフレーム２に画像表示部２０を設け、デプスデータに基づき、外景の視認性を変化させ、使用者に対して距離に関する情報を効率よく提供できる。

また、制御部１１０は、画像表示部２０を透過して視認可能な方向に関するデプスデータと、表示範囲に含まれる複数の表示領域とデプスデータとを対応付ける対応情報と、を取得し、対応情報に基づいて、デプスデータに対応する表示色を表示領域に表示させる。制御部１１０は、画像表示部２０における表示領域の表示色を、デプスデータに対応させて制御することにより、表示を見る使用者に対し、距離に関する情報を効率よく提供できる。この色は、上記のように有彩色であっても無彩色であってもよい。

また、本実施形態では、フレーム２にデプスセンサーユニット６６のカメラ６６Ａ、６６Ｂが固定的に設けられる構成を例に挙げて説明したが、カメラ６６Ａ、６６Ｂが変位可能な構成であってもよい。この例を変形例として示す。

［変形例］
図７は、本実施形態の変形例としての頭部装着型表示装置１００Ｂの外観構成を示す図である。
変形例における頭部装着型表示装置１００Ｂは、上記実施形態の制御装置１０に、画像表示部２０Ｂを接続した構成を有する。なお、画像表示部２０Ｂにおいて、画像表示部２０と同様に構成される各部には、同じ符号を付して説明を省略する。

画像表示部２０Ｂは、画像表示部２０（図１）と同様、制御装置１０に接続部４０を介して接続する。画像表示部２０Ｂと制御装置１０とは、接続部４０を介して各種信号を伝送する。

画像表示部２０Ｂは、使用者の頭部に装着される装着体であり、本実施形態では眼鏡形状のフレーム６（本体）を有する。フレーム６は、使用者の右眼の前に位置する右部６Ａ、及び、左眼の前に位置する左部６Ｂを有し、右部６Ａと左部６Ｂとがブリッジ部６Ｃ（連結部）で連結された形状である。ブリッジ部６Ｃは、使用者が画像表示部２０Ｂを装着した際の使用者の眉間に対応する位置で、右部６Ａと左部６Ｂとを互いに連結する。
右部６Ａ及び左部６Ｂは、それぞれテンプル部６Ｄ、６Ｅに連結される。テンプル部６Ｄ、６Ｅは眼鏡のテンプルのようにして、フレーム６を使用者の頭部に支持する。右光学像表示部２６は右部６Ａに配置され、左光学像表示部２８は左部６Ｂに配置される、それぞれ、使用者が画像表示部２０Ｂを装着した際に使用者の右及び左の眼前に位置する。

テンプル部６Ｄは、右光学像表示部２６の他端である端部ＥＲから、使用者が画像表示部２０Ｂを装着した際の使用者の側頭部に対応する位置にかけて、延伸して設けられる。同様に、テンプル部６Ｅは、左光学像表示部２８の他端である端部ＥＬから、使用者が画像表示部２０Ｂを装着した際の使用者の側頭部に対応する位置にかけて、延伸して設けられる。テンプル部６Ｄは使用者の頭部において右耳またはその近傍に当接し、テンプル部６Ｅは使用者の左耳またはその近傍に当接して、使用者の頭部に画像表示部２０Ｂを保持する。

フレーム６には、カメラユニット３が設けられる。カメラユニット３は、デプスセンサーユニット６６が配置されるカメラ台座部３Ｃと、カメラ台座部３Ｃを支持するアーム部３Ａ、３Ｂとを有する。アーム部３Ａは、テンプル部６Ｄの先端部ＡＰに設けられたヒンジ６０Ａにより、回動可能にテンプル部６Ｄに連結される。アーム部３Ｂは、テンプル部６Ｅの先端部ＡＰに設けられたヒンジ６０Ｂにより、回動可能にテンプル部６Ｅに連結される。このため、カメラユニット３は全体として、図中矢印Ｋで示す方向、すなわち装着状態において上下に回動可能である。カメラユニット３は、回動範囲の下端でフレーム６に接する。また、カメラユニット３の回動範囲の上端はヒンジ６０Ａ、６０Ｂの仕様等で決定される。

カメラ台座部３Ｃは、右部６Ａ、左部６Ｂ及びブリッジ部６Ｃの上部に跨がって位置する板状または棒状部材であり、ブリッジ部６Ｃの上に相当する位置に、デプスセンサーユニット６６が埋込設置される。カメラ台座部３Ｃにはカメラ基板６５が埋設設置され、このカメラ基板６５に実装されたカメラ６６Ａ、６６Ｂが、カメラ台座部３Ｃにおいて露出する。

このように、カメラユニット３がフレーム６に対し変位可能に設けられた構成において、カメラユニット３にデプスセンサーユニット６６を搭載した構成においても、本発明を適用できる。図７の構成では、カメラユニット３がフレーム６に対して移動可能である。このため、カメラ６６Ａ、６６Ｂと画像表示部２０との相対位置が変化し、カメラ６６Ａ、６６Ｂの撮像画像データにおける位置（座標）と、使用者の視野ＶＲとの位置の対応が変化する。また、カメラ６６Ａ、６６Ｂの撮像画像データにおける位置（座標）と、右ＬＣＤ２４１における位置（座標）及び左ＬＣＤ２４２における位置（座標）との対応が変化する。従って、制御部１１０は、フレーム６に対するカメラユニット３の相対位置に対応して、カメラ６６Ａ、６６Ｂの撮像画像データにおける位置（座標）と、使用者の視野ＶＲにおける位置とを対応付ける処理を行う。例えば、制御部１１０は、フレーム６に対するカメラユニット３の位置が変化した場合に、キャリブレーションを行ってもよい。また、フレーム６に対するカメラユニット３の位置変化について、位置変化の方向と変化量とを検出してもよい。例えば、ヒンジ６０Ａ、６０Ｂにおける回動量を検出するセンサーを利用できる。この場合、制御部１１０は、検出した変位の方向と変化量に基づき、カメラ６６Ａ、６６Ｂの撮像画像データにおける位置（座標）と、使用者の視野ＶＲにおける位置との対応付けをするデータを補正すればよい。

また、図７に示した構成とは別に、デプスセンサーユニット６６が、使用者の頭部に固定的に装着される本体に固定され、右光学像表示部２６、左光学像表示部２８を含む表示部が、本体に対し可動であってもよい。この場合も、上述したように、カメラ６６Ａ、６６Ｂの撮像画像データにおける位置（座標）と、使用者の視野ＶＲにおける位置とを対応付ける処理を行うことで、マスク表示Ｍを適正な位置に表示することができる。

なお、この発明は上記実施形態及び変形例の構成に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能である。
また、例えば、画像表示部２０、２０Ｂに代えて、例えば帽子のように装着する画像表示部等の他の方式の画像表示部を採用してもよく、使用者の左眼に対応して画像を表示する表示部と、使用者の右眼に対応して画像を表示する表示部とを備えていればよい。また、本発明の表示装置は、例えば、自動車や飛行機等の車両に搭載されるヘッドマウントディスプレイとして構成されてもよい。また、例えば、ヘルメット等の身体防護具に内蔵されたヘッドマウントディスプレイとして構成されてもよい。この場合、使用者の身体に対する位置を位置決めする部分、及び、当該部分に対し位置決めされる部分を装着部とすることができる。

また、制御装置１０として、ノート型コンピューター、タブレット型コンピューター又はデスクトップ型コンピューターを用いてもよい。或いは、制御装置１０として、ゲーム機や携帯型電話機やスマートフォンや携帯型メディアプレーヤーを含む携帯型電子機器、その他の専用機器等を用いてもよい。
また、例えば、画像表示部２０、２０Ｂにおいて画像光を生成する構成として、有機ＥＬ（有機エレクトロルミネッセンス、Organic Electro-Luminescence）のディスプレイと、有機ＥＬ制御部とを備える構成としてもよい。また、画像光を生成する構成として、ＬＣＯＳ（Liquid crystal on silicon, LCoSは登録商標）や、デジタル・マイクロミラー・デバイス等を用いることもできる。

また、画像光を使用者の眼に導く光学系としては、外部から装置に向けて入射する外光を透過する光学部材を備え、画像光とともに使用者の眼に入射させる構成を採用できる。また、使用者の眼の前方に位置して使用者の視界の一部または全部に重なる光学部材を用いてもよい。さらに、レーザー光等を走査させて画像光とする走査方式の光学系を採用してもよい。また、光学部材の内部で画像光を導光させるものに限らず、使用者の眼に向けて画像光を屈折及び／または反射させて導く機能のみを有するものであってもよい。
例えば、レーザー網膜投影型のヘッドマウントディスプレイに対して本発明を適用することも可能である。すなわち、光射出部が、レーザー光源と、レーザー光源を使用者の眼に導く光学系とを備え、レーザー光を使用者の眼に入射させて網膜上を走査し、網膜に結像させることにより、使用者に画像を視認させる構成を採用してもよい。
また、本発明を、ＭＥＭＳミラーを用いた走査光学系を採用し、ＭＥＭＳディスプレイ技術を利用した表示装置に適用することも可能である。すなわち、信号光形成部と、信号光形成部が射出する光を走査するＭＥＭＳミラーを有する走査光学系と、走査光学系により走査される光によって虚像が形成される光学部材とを光射出部として備えてもよい。この構成では、信号光形成部が射出した光がＭＥＭＳミラーにより反射され、光学部材に入射し、光学部材の中を導かれて、虚像形成面に達する。ＭＥＭＳミラーが光を走査することにより、虚像形成面に虚像が形成され、この虚像を使用者が眼で捉えることで、画像が認識される。この場合の光学部品は、例えば上記実施形態の右導光板２６１及び左導光板２６２のように、複数回の反射を経て光を導くものであってもよく、ハーフミラー面を利用してもよい。

また、図３に示した各機能ブロックのうち少なくとも一部は、ハードウェアで実現してもよいし、ハードウェアとソフトウェアの協働により実現される構成としてもよく、図３に示した通りに独立したハードウェア資源を配置する構成に限定されない。また、図３に示した各機能部は、マイクロプロセッサーとＩＣで構成する例に制限されず、より大規模の集積回路に複数の機能部を実装する構成としてもよいし、ＳｏＣ（System-on-a-chip）等の形態としても良い。また、制御装置１０に形成された構成が重複して画像表示部２０に形成されていてもよい。

２、６…フレーム、１０…制御装置、２０、２０Ｂ…画像表示部（表示部）、２２…右表示駆動部、２４…左表示駆動部、４０…接続部、４１Ａ…制御データバス、４１Ｂ…画像データバス、４１Ｃ、４１Ｄ…表示データバス、６３…マイク、６５…カメラ基板、６６…デプスセンサーユニット（距離検出部）、６６Ａ、６６Ｂ…カメラ（撮像部）、６７…出力部（デプスデータ生成部）、１００、１００Ｂ…頭部装着型表示装置（表示装置）、１１０…制御部（第２制御部）、１２１…メモリー、１２２…フラッシュメモリー、１５０…サブ制御部、１５５…Ｉ／Ｆ部、１６１…９軸センサー、１６３…ＧＰＳ、１６４…照度センサー、１６５…ＥＥＰＲＯＭ、１６７、１６８…ＬＣＤ駆動部、１６９、１７０…バックライト駆動部、２２１…右バックライト、２２２…左バックライト、２４１…右液晶ディスプレイ、２４２…左液晶ディスプレイ、２５１…右投写光学系、２５２…左投写光学系。

Claims (9)

1. 外景を透過し、前記外景とともに視認できるように画像を表示する表示部と、
   前記表示部を透過して視認可能な方向に位置する対象物体までの距離を検出して、前記対象物体までの距離に関する距離情報を出力する距離検出部と、
   前記距離情報を記憶するメモリーと、
   前記距離検出部から前記距離情報を取得し、取得した前記距離情報に基づいて、前記表示部を透過して視認される外景の視認性が変化するように前記表示部を制御する制御部と、
   を備え、
   前記距離情報は、距離検出対象範囲内の複数の領域毎に距離を示す距離データを含み、
   前記表示部は、複数の表示領域で構成される表示範囲に画像を表示し、
   前記制御部は、前記距離検出部が出力して前記メモリーに記憶した前記距離情報と新しく前記距離検出部が出力した前記距離情報とを比較して、前記距離情報の領域毎に距離データの変化量を算出し、距離データの変化量がしきい値以上となった領域に対応する前記表示部の表示領域を特定し、特定した表示領域における前記外景の視認性を変化させる制御をすることを特徴とする表示装置。
2. 前記表示部の表示範囲は前記表示領域としての複数の表示画素を有し、
   前記距離情報は、複数の画素を有し、画素毎に所定ビット数の距離データを含み、前記表示部の表示画素に予め対応付けられること、
   を特徴とする請求項１記載の表示装置。
3. 前記距離検出部は、複数の撮像部と、複数の前記撮像部の撮像画像データをもとに前記距離情報を生成して出力する距離情報生成部とを備えること、
   を特徴とする請求項１または２に記載の表示装置。
4. 前記制御部は、前記表示部の表示の輝度を変更することにより、前記外景の視認性を低下させること、
   を特徴とする請求項１から３のいずれかに記載の表示装置。
5. 前記制御部は、前記表示部を透過して視認可能な前記外景の一部の視認性を他の部分より低くするマスク処理を行うこと、
   を特徴とする請求項１から３のいずれかに記載の表示装置。
6. 前記制御部は、前記マスク処理において前記表示部の表示領域で表示色または表示階調を変更すること、
   を特徴とする請求項５記載の表示装置。
7. 使用者の頭部に装着される頭部装着型の本体を有し、前記本体に前記表示部を設けたこと、
   を特徴とする請求項１から６のいずれかに記載の表示装置。
8. 外景を透過し、前記外景とともに視認できるように表示範囲に画像を表示する表示部と、
   前記表示部を透過して視認可能な方向に位置する対象物体までの距離を検出して、前記対象物体までの距離に関する距離情報を出力する距離検出部と、
   前記距離情報を記憶するメモリーと、
   前記距離検出部から前記距離情報を取得し、取得した前記距離情報に基づいて、前記表示部を透過して視認される外景の視認性が変化するように前記表示部の表示を制御する制御部と、を備え、
   前記距離情報は、距離検出対象範囲内の複数の領域毎に距離を示す距離データを含み、
   前記表示部は、複数の表示領域で構成される表示範囲に画像を表示し、
   前記制御部は、前記距離検出部が出力して前記メモリーに記憶した前記距離情報と新しく前記距離検出部が出力した前記距離情報とを比較して、前記距離情報の領域毎に距離データの変化量を算出し、距離データの変化量がしきい値以上となった領域に対応する前記表示部の表示領域を特定し、特定した表示領域における前記外景の視認性を変化させる制御をすること、
   を特徴とする表示装置。
9. 外景を透過し、前記外景とともに視認できるように、複数の表示領域で構成される表示範囲に画像を表示する表示部と、前記表示部を透過して視認可能な方向に位置する対象物体までの距離を検出して、前記対象物体までの距離に関する距離情報を出力する距離検出部と、前記距離情報を記憶するメモリーと、を備える表示装置を制御して、
   前記距離検出部から、距離検出対象範囲内の複数の領域毎に距離を示す距離データを含む前記距離情報を取得し、取得した前記距離情報に基づいて、前記表示部を透過して視認される外景の視認性が変化するように前記表示部を制御し、
   前記表示部の制御において、前記距離検出部が出力して前記メモリーに記憶した前記距離情報と新しく前記距離検出部が出力した前記距離情報とを比較して、前記距離情報の領域毎に距離データの変化量を算出し、距離データの変化量がしきい値以上となった領域に対応する前記表示部の表示領域を特定し、特定した表示領域における前記外景の視認性を変化させる制御をすること、
   を特徴とする表示装置の制御方法。
   

Images