JP6149403B2 - 表示装置、および、表示装置の制御方法 - Google Patents

Description

本発明は、表示装置、および、表示装置の制御方法に関する。

従来、ユーザーが装着する表示装置に対する入力操作の方法として、使用者の手指によるジェスチャを検出する手法が知られている（例えば、特許文献１参照）。

特開２００８−１７５０１号公報

上記従来の手法は、複雑な装置を必要としないため手軽に使用できるという利点がある一方で、ユーザー以外の人には意味の無い動作を行わなくてはならない。このため、周囲に奇異な印象を与えるとの心配から、ユーザーの心理的抵抗を軽減することが望まれていた。
また、ユーザーが装着する表示装置に限らず、表示される画像以外の景色等を視認できるように画像を表示する表示装置では、表示画像以外の景色等の視認性を損なわないように入力操作を行うことが望まれていた。
本発明は、上述した事情に鑑みてなされたものであり、表示装置において、手軽に利用可能な操作方法の使用を可能とし、操作性の向上を図ることを目的とする。

上記目的を達成するために、本発明は、表示装置であって、画像光を出力することにより前記画像光以外の光により視認される景色と前記画像光による画像とを視認させる表示手段と、前記画像に対応する範囲において予め設定された光を検出した場合に、入力操作を検出する操作検出手段と、を備えることを特徴とする。
本発明によれば、ユーザーが視認している画像に対応する範囲に、予め設定した所定の光を検出させると、表示装置が入力操作を検出するので、ユーザーは所定の光を発する何らかの装置を発光させるだけで入力操作を検出させることができる。予め設定された光が検出されるように、例えば発光デバイス等により光を発することで入力操作が可能となるため、ユーザーが視認している光景に与える影響が小さく、例えばユーザーが視認している景色の視認性を損なわないように、入力操作を行うことが可能となる。

また、上記目的を達成するために、本発明は、頭部装着型の表示装置であって、外光に重ねて画像光を出力し、画像を視認させる表示手段と、前記画像に対応する範囲において予め設定された光を検出した場合に、入力操作を検出する操作検出手段と、を備えることを特徴とする。
本発明によれば、ユーザーが視認している画像に対応する範囲に、予め設定した所定の光を検出させると、頭部装着型の表示装置が入力操作を検出するので、ユーザーは所定の光を発する何らかの装置を発光させるだけで入力操作を検出させることができる。この操作はユーザーの周囲の人に奇異な印象を与える心配がないので、ユーザーが周囲を気遣うことなく手軽に実行できる。また、ユーザーが使用する装置は、表示装置に電気的に接続されていなくてもよく、予め設定された光を発することが可能であれば制限なく使用できる。例えば他の用途に使用される装置を流用することもできる。このため、専用の装置を必要としないことから、より手軽に操作を行うことができる。さらに、予め設定された光により入力操作を検出する位置が、ユーザーが視認している画像に対応する範囲となっているため、無関係な環境光により入力操作を検出してしまうことがなく、正確な入力操作が可能となる。従って、頭部装着型の表示装置の操作性の向上を図ることができる。

また、本発明は、上記表示装置であって、前記表示装置のユーザーの視野に対応する外光を検出する外光検出手段を備え、前記操作検出手段は、前記外光検出手段により検出された外光から前記予め設定された光を検出することを特徴とする。
本発明によれば、単純な機構によってユーザーの操作により発光した光を速やかに検出できるので、より一層の操作性の向上を図ることができる。

また、本発明は、上記表示装置であって、前記操作検出手段は、仮想的に設定された入力検出領域に対応する位置で前記予め設定された光を検出した場合に、入力操作を検出することを特徴とする。
本発明によれば、入力操作を検出する場合が、予め設定された光が入力検出領域に対応する位置で検出された場合となっているので、無関係な環境光により入力操作を検出してしまうことがなく、より正確な入力操作が可能となる。

また、本発明は、上記表示装置であって、前記入力検出領域には複数の操作対象が配置され、前記操作検出手段は、前記予め設定された光を検出した位置に対応する前記操作対象が操作されたと判定することを特徴とする。
本発明によれば、予め設定された光により入力操作を検出する複数の操作対象が配置されているため、ユーザーは、この光を発光させる位置により複数種類の入力操作を行うことができ、より一層の操作性の向上を図ることができる。

また、本発明は、上記表示装置であって、前記予め設定された光は可視光であることを特徴とする。
本発明によれば、入力操作を行うために発光させる光をユーザー自身が視認できるので、より手軽に、正確な操作を行うことができる。

また、本発明は、上記表示装置であって、前記予め設定された光は複数の波長域の光を含むことを特徴とする。
本発明によれば、複数の波長域の光により入力操作を検出するので、無関係な環境光により入力操作を検出してしまう可能性が低くなり、より正確な入力操作が可能となる。

また、本発明は、上記表示装置であって、前記画像に、前記操作検出手段により検出された入力操作を示す表示を行う表示制御手段を備えたことを特徴とする。
本発明によれば、入力操作が検出されたことをユーザーが視認できるので、より手軽に、正確な操作を行うことができる。

また、本発明は、上記表示装置であって、使用者に画像を視認させる頭部装着型表示装置であり、前記表示手段は、表示用画像データを用いて画像を表す画像光を生成し射出させる画像光生成部と、射出された前記画像光を前記使用者の眼に導く光学部材と、を含み、前記外光は前記光学部材を透過して前記画像光とともに前記使用者の眼に入射することを特徴とする。
本発明によれば、光学部材により使用者の眼に画像光を導くとともに、この光学部材を透過して外光を使用者の眼に導く頭部装着型の表示装置によって、外光に予め設定された光を検出した場合に、入力操作を検出する。このため、ユーザーに外光が見える範囲において予め設定した光を検出させると、頭部装着型の表示装置が入力操作を検出するので、ユーザーは所定の光を発する何らかの装置を発光させるだけで入力操作を検出させることができる。そして、シースルー型の表示装置により表示を行うことにより、高い操作性を実現できる。

また、上記目的を達成するために、本発明は、表示装置の制御方法であって、画像光を出力することにより前記画像光以外の光により視認される景色と前記画像光による画像とを視認させ、前記画像に対応する範囲において予め設定された光を検出した場合に、入力操作を検出すること、を特徴とする。
本発明によれば、ユーザーが視認している画像に対応する範囲に、予め設定した所定の光を検出させると、表示装置が入力操作を検出するので、ユーザーは所定の光を発する何らかの装置を発光させるだけで入力操作を検出させることができる。予め設定された光が検出されるように、例えば発光デバイス等により光を発することで入力操作が可能となるため、ユーザーが視認している光景に与える影響が小さく、例えばユーザーが視認している景色の視認性を損なわないように、入力操作を行うことが可能となる。

また、上記目的を達成するために、本発明は、外光に重ねて画像光を出力し、画像を視認させる表示手段を備え、頭部に装着される表示装置の制御方法であって、前記画像に対応する範囲において予め設定された光を検出した場合に、入力操作を検出すること、を特徴とする。
本発明によれば、ユーザーが視認している画像に対応する範囲に予め設定された所定の光を検出させると、頭部装着型の表示装置が入力操作を検出するので、ユーザーは所定の光を発する何らかの装置を発光させるだけで入力操作を検出させることができる。この操作はユーザーの周囲の人に奇異な印象を与える心配がないので、ユーザーが周囲を気遣うことなく手軽に実行できる。また、ユーザーが使用する装置は、表示装置に電気的に接続されていなくてもよく、予め設定された光を発することが可能であれば制限なく使用できる。例えば他の用途に使用される装置を流用することもできる。このため、専用の装置を必要としないことから、より手軽に操作を行うことができる。さらに、予め設定された光により入力操作を検出する位置が、ユーザーが視認している画像に対応する範囲となっているため、無関係な環境光により入力操作を検出してしまうことがなく、正確な入力操作が可能となる。従って、頭部装着型の表示装置の操作性の向上を図ることができる。

ここで、予め設定された光とは、例えば、予め設定された１または複数の波長の光が挙げられる。また、予め設定された周期またはパターンで周期的に発光する光、すなわちパルス状の光であってもよいし、予め設定された周期またはパターンで周期的に光量が変化する光であってもよい。また、光の波長が周期的にまたは予め設定されたパターンで変化する態様、例えば、異なる色の光が順に発光する態様を含んでもよい。また、これらの態様の光が組み合わされた態様を含んでもよい。また、画像光以外の光による景色とは、表示装置が発する画像光以外の外光や他の装置が発する光等の光によってユーザーが視認するものであればよく、周囲の光景や画像に限定されない。

本発明によれば、ユーザーが手軽に実行できる操作方法により、表示装置に対する入力操作が可能となる。

本発明の実施形態に係る頭部装着型表示装置の外観図である。 頭部装着型表示装置の光学系の概略構成を示す図である。 頭部装着型表示装置の制御系の機能ブロック図である。 頭部装着型表示装置により表示される入力補助画像および入力操作の例を示す説明図であり、（Ａ）は仮想キーボードを利用する例を示し、（Ｂ）は入力補助線を含む仮想入力ボードを利用する例を示す。 発光デバイスを利用した操作の説明図であり、（Ａ）は発光デバイスによる操作の例を示し、（Ｂ）は発光デバイスの操作を検出する検出領域を変更した例を示す。 頭部装着型表示装置の動作を示すフローチャートである。 発光デバイスを利用した操作の説明図であり、（Ａ）は発光デバイスによる操作の例を示し、（Ｂ）は発光デバイスの操作を検出する検出領域を変更した例を示す。 頭部装着型表示装置の動作を示すフローチャートである。

以下、図面を参照して本発明の実施形態について説明する。
図１は、本発明の実施形態に係る頭部装着型表示装置の外観図である。
頭部装着型表示装置ＨＭは、ユーザーの頭部に装着される頭部装着型表示装置であり、ヘッドマウントディスプレイ（ＨＭＤ：Head Mounted Display）と呼ばれる。本実施形態の頭部装着型表示装置ＨＭは、ユーザーが、虚像を視認すると同時に外景も直接視認可能な光学透過型の頭部装着型表示装置である。

図１に示すように、頭部装着型表示装置ＨＭは、ユーザーの頭部に装着される画像表示部２０と、画像表示部２０を制御する制御装置１０とを備えている。画像表示部２０は、右保持部２１、右表示駆動部２２、左保持部２３、左表示駆動部２４および右光学像表示部２６を備えている。
右光学像表示部２６および左光学像表示部２８は、それぞれユーザーの右眼および左眼の眼前に位置し、ユーザーの眉間に対応する位置で相互に接続されて一体となっている。右光学像表示部２６の端部ＥＲからは右保持部２１が延伸し、左光学像表示部２８の端部ＥＬからは左保持部２３が延伸している。

右保持部２１は、ユーザーの右側頭部の側方に位置し、その先端はユーザーの右耳に係合する。また、左保持部２３はユーザー左側頭部の側方に位置し、その先端はユーザーの左耳に係合する。これら右保持部２１および左保持部２３の先端と、右光学像表示部２６および左光学像表示部２８の接合部の下端に設けられた鼻当て部とによって頭部装着型表示装置ＨＭが支持される。
右保持部２１の基端部には右表示駆動部２２が内蔵され、左保持部２３の基端部には左表示駆動部２４が内蔵される。これら右表示駆動部２２および左表示駆動部２４により、頭部装着型表示装置ＨＭはユーザーの右眼と左眼の各々に画像を視認させる。

右光学像表示部２６および左光学像表示部２８の前面側すなわち表面側には、調光板２０Ａが設けられている。調光板２０Ａは右光学像表示部２６および左光学像表示部２８に対し着脱可能であり、複数種類の調光板２０Ａを交換して装着できる。調光板２０Ａは薄板状の光学素子であり、光透過性がほぼゼロのもの、透明に近いもの、光量を減衰させて光を透過するもの、特定の波長の光を減衰または反射するもの等、種々のものを用いることができ、調光板２０Ａの光学特性を適宜選択することにより、外部から右光学像表示部２６および左光学像表示部２８に入射する外光の光量を調整できる。本実施形態では、少なくとも、頭部装着型表示装置ＨＭを装着したユーザーが外の景色を視認できる程度の光透過性を有する調光板２０Ａを用いる場合について説明する。調光板２０Ａは、後述する右導光板２６１、左導光板２６２を損傷や、汚れの付着等から保護する機能も有する。
また、頭部装着型表示装置ＨＭの前面において右光学像表示部２６と左光学像表示部２８の境目部分には、カメラ６１（撮影手段）が配置されている。カメラ６１の位置は頭部装着型表示装置ＨＭの前面のほぼ中央であり、ユーザーの左右の眼の中間位置となっている。

カメラ６１の撮影方向すなわち画角は、頭部装着型表示装置ＨＭの表側方向、換言すれば、頭部装着型表示装置ＨＭを装着した状態におけるユーザーの視界方向の少なくとも一部の外景を撮像する方向となっている。好ましくは面２６２Ａを通してユーザーが視認する範囲の外景を撮影する方向である。また、より好ましくは、面２６２Ａを通してユーザーに視認される範囲を含み、この範囲より広い範囲を撮影する。すなわち、調光板２０Ａを通したユーザーの視界の全体を撮影できることが望ましい。
カメラ６１は、静止画像の間欠撮影または動画像を撮影して撮影画像データを出力する。なお、本実施形態においてカメラ６１は、１つのデジタルカメラとして例示するが、複数のデジタルカメラからなるステレオビデオカメラを採用してもよい。

図２は、画像表示部２０における光学系の概略構成を示す図である。この図２には、ユーザーの左眼ＬＥに虚像を視認させる左表示駆動部２４および左導光板２６２の構成を平面図により示す。ユーザーの左眼と右眼に虚像を視認させる各構成は左右対称であるため、ここでは左表示駆動部２４および左導光板２６２についてのみ説明する。
画像表示部２０の左表示駆動部２４は、ＬＥＤ等の光源と拡散板とを有する左バックライト２２２、左バックライト２２２の拡散板から発せられる光の光路上に配置される透過型の左ＬＣＤ（Liquid Crystal Display：液晶ディスプレイ）２４２、および、左ＬＣＤ２４２を透過した画像光Ｌを導くレンズ群等を備えた左投写光学系２５２を備えている。
左投写光学系２５２は、左ＬＣＤ２４２から射出された画像光Ｌを並行状態の光束にするコリメートレンズによって構成される。左投写光学系２５２を経た画像光Ｌは左導光板２６２に入射する。左導光板２６２は画像光Ｌを反射する複数の反射面が形成されたプリズムであり、画像光Ｌは左導光板２６２の内部において複数回の反射を経て左眼ＬＥ側に導かれる。そして、左眼ＬＥの眼前に位置する面２６２Ａで反射した画像光Ｌは左眼ＬＥに向けて右光学像表示部２６から射出され、この画像光Ｌが左眼ＬＥの網膜に像を結び、ユーザーに画像を視認させる。
なお、左投写光学系２５２と左導光板２６２とを総称して「導光部」とも呼ぶ。この導光部は、画像光を用いてユーザーの眼前に虚像を形成する限りにおいて任意の方式を用いることができ、例えば、回折格子を用いても良いし、半透過反射膜を用いても良い。

面２６２Ａはハーフミラーで構成される。このため、ユーザーの左眼ＬＥには、面２６２Ａで反射した画像光Ｌだけでなく、調光板２０Ａを透過した外光ＯＬが入射する。つまり、頭部装着型表示装置ＨＭは、内部で処理した画像の画像光Ｌと外光ＯＬとを重ねてユーザーの眼に入射させ、ユーザーにとっては、頭部装着型表示装置ＨＭの調光板２０Ａを透かして外景が見え、この外景に重ねて、画像光Ｌによる画像が視認される。このため、頭部装着型表示装置ＨＭは、シースルー型の表示装置であるということができる。

頭部装着型表示装置ＨＭのユーザーの両眼に導かれた画像光Ｌがユーザーの網膜に結像することにより、ユーザーは虚像を視認する。ここで、ユーザーにとっての外景と虚像の視認性は外光ＯＬと画像光Ｌの光量のバランスに影響され、外光ＯＬの光量が画像光Ｌよりも大きい場合には外景がよく見える一方で頭部装着型表示装置ＨＭが処理（表示）する虚像の視認性は低い。反対に、画像光Ｌの光量が外光ＯＬに比べて大きい場合は、頭部装着型表示装置ＨＭが処理（表示）する虚像の視認性が高いのに対し、外景の視認性は低い。

図１に戻り、頭部装着型表示装置ＨＭは、画像表示部２０を制御装置１０に接続する接続部４０を有している。接続部４０は、制御装置１０に接続される本体コード４８と、本体コード４８から連結部材４６を介して分岐する２本の右コード４２および左コード４４とを有する。右コード４２は、右保持部２１の筐体内に挿入され、右表示駆動部２２に接続される。左コード４４は、左保持部２３の筐体内に挿入され、左表示駆動部２４に接続される。
画像表示部２０と制御装置１０とは、接続部４０を介して各種信号の伝送を行う。右コード４２、左コード４４、および本体コード４８には、例えば、金属ケーブルや、光ファイバーを採用することができる。

制御装置１０は、頭部装着型表示装置ＨＭを操作するための装置である。制御装置１０は、点灯部１２と、タッチパッド１４と、十字キー１６と、電源スイッチ１８とを含んでいる。
点灯部１２は、ＬＥＤ等からなるインジケーターを備え、頭部装着型表示装置ＨＭの動作状態（例えば、電源のＯＮ／ＯＦＦ等）を、その発光状態によって通知する。タッチパッド１４は、ユーザーの指による接触操作を検出して、検出内容に応じた信号を出力する。十字キー１６は、上下左右方向に対応するキーであり、押下操作に応じた信号を出力する。電源スイッチ１８は、頭部装着型表示装置ＨＭの電源状態を切り替えるスイッチである。

図３は、頭部装着型表示装置ＨＭの制御系の構成を示す機能ブロック図である。
制御装置１０は、入力情報取得部１１０と、記憶部１２０と、電源１３０と、制御部１４０と、通信インターフェイス１８５と、送信部（Ｔｘ）５１、５２と、を備える。前述の各部はバス（図示省略）により相互に接続されている。

入力情報取得部１１０は、例えば、タッチパッド１４、十字キー１６、電源スイッチ１８等による入力に応じた信号を取得する。記憶部１２０は、半導体メモリー素子や磁気的記憶装置等によりプログラムやデータを記憶する。電源１３０は、例えば２次電池を備え、頭部装着型表示装置ＨＭの各部に電力を供給する。

制御部１４０は、ＣＰＵ、ＲＯＭ、ＲＡＭ等を備え、ＲＯＭまたは記憶部１２０に記憶されたプログラムを実行することにより、頭部装着型表示装置ＨＭの各部を制御する。制御部１４０は、上記プログラムを実行することにより、画像処理部１６０、入力検出部１６５（操作検出手段）、補助画像処理部１６９、音声処理部１７０、及び表示制御部１９０としても機能する。

画像処理部１６０は、通信インターフェイス１８５を介して入力されるコンテンツ等に基づいて画像表示部２０に供給する信号を生成し、画像表示部２０へ送信する。画像処理部１６０は、通信インターフェイス１８５を介してアナログ信号が入力された場合には、Ａ／Ｄ変換処理を行ってデジタル画像データ（Ｄａｔａ）を生成し、クロック信号（ＰＣＬＫ）と、垂直同期信号（ＶＳｙｎｃ）と、水平同期信号（ＨＳｙｎｃ）とともに出力する。また、画像処理部１６０は、デジタル画像データが通信インターフェイス１８５に入力された場合、フレームレートの変換や解像度変換等の各種処理を行って、処理後のデジタル画像データをクロック信号、垂直同期信号および水平同期信号を出力する。

画像処理部１６０が出力する信号は送信部５１を介して画像表示部２０の右表示駆動部２２に入力され、送信部５２を介して左表示駆動部２４に入力される。
表示制御部１９０は、右表示駆動部２２および左表示駆動部２４を制御する制御信号を生成する。具体的には、表示制御部１９０は、制御信号により、右ＬＣＤ制御部２１１による右ＬＣＤ２４１の駆動ＯＮ／ＯＦＦや、右バックライト制御部２０１による右バックライト２２１の駆動ＯＮ／ＯＦＦ、左ＬＣＤ制御部２１２による左ＬＣＤ２４２の駆動ＯＮ／ＯＦＦや、左バックライト制御部２０２による左バックライト２２２の駆動ＯＮ／ＯＦＦ、などを個別に制御することにより、右表示駆動部２２および左表示駆動部２４のそれぞれによる画像光の生成および射出を制御する。例えば、表示制御部１９０は、右表示駆動部２２および左表示駆動部２４の両方に画像光を生成させたり、一方のみに画像光を生成させたり、両方共に画像光を生成させなかったりする。
表示制御部１９０は、右ＬＣＤ制御部２１１と左ＬＣＤ制御部２１２とに対する制御信号を、送信部５１および５２を介してそれぞれ送信する。また、表示制御部１９０は、右バックライト制御部２０１と左バックライト制御部２０２とに対する制御信号を、それぞれ送信する。

音声処理部１７０は、コンテンツに含まれる音声信号を取得し、取得した音声信号を増幅して、画像表示部２０の右イヤホン３２および左イヤホン３４に対し、接続部４０を介して供給する。
通信インターフェイス１８５は、外部の通信回線５に接続され、この通信回線５を介して外部のサーバー６との間で通信を実行する。通信インターフェイス１８５は、制御部１４０の制御に従ってサーバー６との間で各種データを送受信する。通信インターフェイス１８５と通信回線５との間、および通信回線５を構成する具体的な通信回線は、有線であっても無線であってもよい。
また、通信インターフェイス１８５は、パーソナルコンピューター、携帯電話端末、ゲーム機、ＤＶＤプレイヤー等の映像再生機器などの外部の機器に接続され、これらの各機器から入力される各種コンテンツのアナログ映像信号または画像データを、表示制御部１９０に出力する。通信インターフェイス１８５は上記機器と有線接続されるコネクターやインターフェイス回路、或いは、無線ＬＡＮやＢｌｕｅｔｏｏｔｈ（登録商標）等の近距離無線通信インターフェイスを備えていてもよい。

画像表示部２０は、右表示駆動部２２と、左表示駆動部２４と、右光学像表示部２６としての右導光板２６１と、左光学像表示部２８としての左導光板２６２と、カメラ６１と、右イヤホン３２と、左イヤホン３４とを備えている。
右表示駆動部２２は、受信部（Ｒｘ）５３と、右バックライト（ＢＬ）制御部２０１および右バックライト（ＢＬ）２２１と、表示素子として機能する右ＬＣＤ制御部２１１および右ＬＣＤ２４１と、右投写光学系２５１とを備える。
受信部５３は、送信部５１から入力される信号を受信する。右バックライト制御部２０１は、受信部５３に入力された制御信号に基づいて、右バックライト２２１を駆動する。右ＬＣＤ制御部２１１は、受信部５３に入力されたクロック信号と、垂直同期信号と、水平同期信号と、右眼用の画像データとに基づいて、右ＬＣＤ２４１を駆動する。右ＬＣＤ２４１は、複数の画素をマトリクス状に配置した透過型液晶パネルであり、右ＬＣＤ制御部２１１により駆動されて各種画像を描画する。

同様に、左表示駆動部２４は、受信部（Ｒｘ）５４と、左バックライト（ＢＬ）制御部２０２および左バックライト（ＢＬ）２２２と、表示素子として機能する左ＬＣＤ２４２および左ＬＣＤ２４２と、左投写光学系２５２とを備える。
なお、右バックライト制御部２０１、右ＬＣＤ制御部２１１、右バックライト２２１、および右ＬＣＤ２４１を総称して右側の「画像光生成部」と呼び、左バックライト制御部２０２、左ＬＣＤ制御部２１２、左バックライト２２２、および左ＬＣＤ２４２を総称して、左側の「画像光生成部」と呼ぶ。また、右保持部２１および左保持部２３を総称して単に「保持部」と、右表示駆動部２２および左表示駆動部２４を総称して単に「表示駆動部」と、右光学像表示部２６および左光学像表示部２８を総称して単に「光学像表示部」とも呼ぶ。
そして、これら表示駆動部と、画像光生成部とによって本発明の表示手段が構成される。表示手段には、光学像表示部を含んでもよいし、導光部を含んでもよい。

受信部５４は、送信部５２から入力される信号を受信する。左バックライト制御部２０２は、受信部５４に入力された制御信号に基づいて、左バックライト２２２を駆動する。左ＬＣＤ制御部２１２は、受信部５４に入力されたクロック信号と、垂直同期信号と、水平同期信号と、左眼用の画像データとに基づいて、左ＬＣＤ２４２を駆動する。左ＬＣＤ２４２は、複数の画素をマトリクス状に配置した透過型液晶パネルであり、左ＬＣＤ制御部２１２により駆動されて各種画像を描画する。
以下の説明では、頭部装着型表示装置ＨＭによりユーザーが視認する虚像を「画像」と呼ぶ。この画像は、右ＬＣＤ２４１、左ＬＣＤ２４２に形成される画像がユーザーの網膜に結像して認識されるものである。また、頭部装着型表示装置ＨＭがユーザーに虚像を視認させることを「表示」と呼ぶ。

制御部１４０は、通信インターフェイス１８５から入力される各種コンテンツの画像を画像表示部２０によって表示し、音声を含むコンテンツの画像を表示する場合は画像の表示とともに右イヤホン３２、３４から音声を出力する。これにより、ユーザーは各種映像コンテンツを視聴できる。

頭部装着型表示装置ＨＭにおいては、右表示駆動部２２および左表示駆動部２４により操作用の入力補助画像を表示して、カメラ６１の撮影範囲において入力補助画像に基づく操作を行うことにより、文字や図形を入力することができる。
この操作は、カメラ６１の撮影範囲内において、ユーザーの手指、ペン型や棒形状の操作デバイス、或いはレーザーポインターやＬＥＤ等の光源等の指示体を動かすことにより行われる。
入力補助画像は、指示体により文字や図形を入力するために画像表示部２０が表示する画像であり、例えば文字が配列された仮想キーボードや手書き文字入力を行うための罫線等である。入力補助画像については後述する。

制御部１４０は、入力検出部１６５を備えている。入力検出部１６５は、さらに、カメラ６１の撮影画像データを取得し、この撮影画像データを解析して指示体を検出する画像解析部１６６と、画像解析部１６６により検出された指示体の位置、および／又は動きを検出する位置検出部１６７と、位置検出部１６７が検出した指示体の位置、および／又は動きに基づいて入力された入力内容を特定する操作内容判定部１６８とを備えている。
記憶部１２０には、指示体の形状や色の特徴を含む操作検出用データ１２２が記憶されている。画像解析部１６６は、操作検出用データ１２２に基づいて撮影画像データから指示体の画像を抽出し、この抽出された画像に基づいて位置検出部１６７が指示体の指示位置を検出する。指示体の指示位置は、例えば、ユーザーの指の先端、操作デバイスの先端、光源の発光位置等である。さらに、位置検出部１６７は、連続して撮影された複数の静止画像の撮影画像データ、または、動画像データを構成する複数のフレームから指示体の指示位置を検出し、これら複数の指示位置を比較することによって、指示位置の計時的変化、換言すれば指示位置の動きまたは軌跡を検出する。そして、これらの指示位置の動きまたは軌跡に基づき、操作内容判定部１６８が、入力された内容、すなわち図形や文字を特定する。
操作検出用データ１２２には、指示位置の動きまたは軌跡の条件を示すデータが含まれている。このデータは、例えば、指示位置の動きの方向、動きの大きさ、動きの速度、一続きの動きの時間、軌跡の形状を示すデータ等である。操作内容判定部１６８は、位置検出部１６７が検出した指示位置の動きまたは軌跡が操作検出用データ１２２に含まれる条件に該当する場合に、この条件に対応する内容が入力されたものとして検出する。操作内容判定部１６８は、操作検出用データ１２２に含まれる複数の異なる条件を用いて、複数種類の入力内容を判別し、特定するものであってもよい。

さらに、制御部１４０は、補助画像処理部１６９を備えている。補助画像処理部１６９は、上記指示体による入力操作を行う場合に、入力補助画像を表示するためのデータを生成して表示制御部１９０に出力し、右表示駆動部２２および左表示駆動部２４によって表示させる。
記憶部１２０には、例えば上記の仮想キーボードや罫線を表示するための画像データやベクトルデータを含む入力補助画像データ１２４が記憶されている。入力補助画像データ１２４には、複数種類の入力補助画像を表示するためのデータが含まれていてもよく、この場合、補助画像処理部１６９は入力補助画像データ１２４からデータを選択して使用する。

図４は、頭部装着型表示装置ＨＭにより表示される入力補助画像および入力操作の例を示す説明図である。図４（Ａ）は仮想キーボードを利用した例を示し、（Ｂ）は入力補助線を利用した例を示す。これら図４（Ａ）、（Ｂ）はユーザーが視認する像として示したものである。
図４（Ａ）に示す例では、補助画像処理部１６９の制御により仮想キーボード３３０が表示されている。仮想キーボード３３０は、文字を選択するためのキー配列部３３１と、選択された文字が表示される入力文字表示部３３２とを有する入力補助画像である。キー配列部３３１には、一般的なＱＷＥＲＴＹキーボードと同様に文字が配列され、各文字を選択するための枠が表示されている。図に示すように仮想キーボード３３０は線や文字で構成され、その背景色は外光ＯＬの透過性を損なわない色となっている。このため、ユーザーには、仮想キーボード３３０と外景とが重ねて視認される。
ユーザーは、例えば手指を指示体として用いる場合、自分の手指がキー配列部３３１上の所望の文字に重なるように操作を行う。すなわち、指示体とキー配列部３３１とが重なるように操作する。入力検出部１６５は、画像解析部１６６によりユーザーの指示体を検出し、位置検出部１６７により指示体による指示位置を検出する。そして、操作内容判定部１６８が、ユーザーの視界における仮想キーボード３３０の表示位置（ユーザーが視認する位置）と、位置検出部１６７により検出された指示位置とを比較対照することにより、ユーザーの操作により選択された文字を特定する。
そして、制御部１４０は、操作内容判定部１６８により特定された文字を、入力された文字として入力文字表示部３３２に表示する。
図４（Ａ）の例では、ユーザーの手指等の指示体により選択指定された文字「Ｗ」、「Ｏ」、「Ｏ」、「Ｄ」の４つの文字が入力文字表示部３３２に表示されている。

図４（Ｂ）に示す例では、補助画像処理部１６９の制御により、縦方向および横方向にそれぞれ等間隔に罫線が配置された仮想入力ボード３３５が表示されている。仮想入力ボード３３５は、文字や図形を描く操作を検出する操作領域としての入力エリア３３６と、入力エリア３３６における操作により入力された内容を表示する入力内容表示部３３７とを有する入力補助画像であり、指示体の動きにより文字や図形を描いて入力する場合に利用される。仮想入力ボード３３５は、仮想キーボード３３０と同様に文字や線で構成され、その背景色は外光ＯＬの視認性を損なわないような色となっていて。ユーザーには仮想入力ボード３３５と外景とが重ねて視認される。
図４（Ｂ）の例では、入力エリア３３６の罫線が形成するマスに文字が１文字ずつ入力される。入力エリア３３６が表示された場合、ユーザーは、仮想入力ボード３３５に重ねて視認される指示体をマスの中で移動させて文字や図形を描く。入力検出部１６５は、画像解析部１６６により指示体を検出し、位置検出部１６７により指示体の指示位置を検出し、操作内容判定部１６８が仮想入力ボード３３５の表示位置と指示位置とを照合し、１つのマスの中における指示体の軌跡が特定の文字を示していると判定した場合には、その文字を入力された文字として判定する。図４（Ｂ）の例では入力内容表示部３３７に、入力された文字「Ｗ」、「Ｏ」、「Ｏ」、「Ｄ」が表示されている。

頭部装着型表示装置ＨＭを装着したユーザーは、制御装置１０のタッチパッド１４や十字キー１６を操作することで、仮想キーボード３３０や仮想入力ボード３３５を表示させ、入力操作を開始できる。
さらに、頭部装着型表示装置ＨＭは、カメラ６１の撮像可能範囲において予め設定された検出領域（入力検出領域）内で所定の波長の光を検出した場合に、仮想キーボード３３０または仮想入力ボード３３５を表示して、入力操作が可能な状態に移行する。従って、ユーザーは、所定の波長の光を発する装置（発光デバイス）を検出領域内で発光させることで、入力操作を開始できる。

この場合、入力検出部１６５は、上記所定の波長の光を検出する操作検出手段として機能する。より詳細には、画像解析部１６６は、カメラ６１の撮影画像データを解析し、外光ＯＬに所定の波長の光が含まれるかを判定する。また、位置検出部１６７は、画像解析部１６６が検出した所定の波長の光の発光位置を、撮影画像データにおける位置として検出する。操作内容判定部１６８は、位置検出部１６７により検出された位置に基づき、仮想キーボード３３０または仮想入力ボード３３５を用いた入力操作開始の指示であるか否かを判定する。
なお、入力検出部１６５が検出する光は、予め設定された光であればよい。予め設定された光とは、例えば、予め設定された１または複数の波長の光が挙げられる。また、予め設定された周期またはパターンで周期的に発光する光、すなわちパルス状の光であってもよいし、予め設定された周期またはパターンで周期的に光量が変化する光であってもよい。また、光の波長が周期的にまたは予め設定されたパターンで変化する態様、例えば、異なる色の光が順に発光する態様を含んでもよい。また、これらの態様の光が組み合わされた態様を含んでもよい。また、予め設定された光がレーザー光であってもよく、可視光であっても、赤外光であっても紫外光であってもよい。入力検出部１６５がカメラ６１の撮影画像データから予め設定された光を検出する構成においては、カメラ６１の撮像素子が、予め設定された光を受光し検出可能なものであればよい。また、入力検出部１６５は、カメラ６１に限らず、その他の受光素子を利用するものであってもよい。

サーバー６は、頭部装着型表示装置ＨＭにおいて強調表示を行うための情報を記憶するサーバーである。サーバー６は、図示しないパーソナルコンピューター等の端末装置から通信回線５を介してアクセス可能であり、この端末装置等から送信された情報を記憶する。サーバー６の具体的構成について制限はなく、頭部装着型表示装置ＨＭがデータ通信を行うことにより情報を取得可能なものであればよい。
制御部１４０は、操作検出用データ１２２や入力補助画像データ１２４をサーバー６から取得し、記憶部１２０に記憶させることが可能である。

発光デバイスの具体的態様は特に制限されず、発光する機能を備えていればよく、上述した様々な態様の発光のいずれかで、予め設定された光を発するものであればよく、装置の大小は問わない。例えば、携帯型電話機（スマートフォンを含む）、携帯型音楽プレイヤー、携帯型映像プレイヤー等は、表示画面やインジケーターとして利用されるＬＥＤ等の光源を備えているため、発光デバイスとして用いることができる。また、制御装置１０も、点灯部１２を備えているので発光デバイスとして利用できるし、懐中電灯やラジオなど制御装置を持たない装置であっても発光デバイスとして利用できる。
入力検出部１６５が検出する光の上記所定の波長は、ユーザーの利便性が高くなるように任意に設定できる。例えば、カメラ６１が赤外光や可視光を検出するイメージセンサーを備えた構成であれば、上記所定の波長として、赤外領域や可視領域の波長を設定できる。また、可視光においても特に、赤色、緑色など任意の波長を設定でき、ユーザーが使用する発光デバイスの光源の色に合わせればよい。さらに、上記所定の波長に幅を持たせて、所定の波長域に属する光を検出するように設定してもよい。
また、外光ＯＬに含まれる環境光や、ユーザーが利用する発光デバイス以外の装置が発した光による動作を確実に防止したい場合、上記所定の波長を、複数の波長または波長域に設定してもよい。この場合、設定された波長または波長域に属する複数の波長の光を同時に発する装置を発光デバイスとして利用可能となり、いずれか一つの波長の光のみとは明らかに区別できるので、ユーザーが意図しない動作を防止できる。

図５は、頭部装着型表示装置ＨＭの動作の説明図であり、発光デバイスを利用した操作の様子を示す。（Ａ）は発光デバイスによる操作の例を示し、（Ｂ）は発光デバイスの操作を検出する検出領域を変更した例を示す。
図５、および、後述する図７中の符号ＶＡは、頭部装着型表示装置ＨＭを装着したユーザーの視野（視界）を示し、ＤＡは画像表示部２０による表示可能領域を示す。表示可能領域ＤＡは、画像光Ｌにより画像が視認される範囲を指し、右ＬＣＤ２４１および左ＬＣＤ２４２の表示可能範囲、右バックライト２２１および左バックライト２２２のサイズ、右投写光学系２５１、左投写光学系２５２、右導光板２６１、および左導光板２６２の光学特性等により決定される。本実施形態では視野ＶＡのほぼ中央に矩形の表示可能領域ＤＡが存在する。頭部装着型表示装置ＨＭは、表示可能領域ＤＡの中において画像を表示できる。
以下の例では、発光デバイスとして制御装置１０が使用される。

図５（Ａ）の例では、カメラ６１の撮像可能範囲は視野ＶＡに一致していて、この撮像可能範囲の全体が、所定の波長域の光の検出領域に設定されたものとする。
ユーザーが制御装置１０を手に持って、検出領域である視野ＶＡに重なる位置で点灯部１２を点灯させると、点灯部１２が発する光が入力検出部１６５により検出される。この例では、点灯部１２は、例えば光源として赤色ＬＥＤを備えており、入力検出部１６５は、カメラ６１の撮影画像から赤色ＬＥＤの発光色を含む波長域の光を検出するよう設定されている。入力検出部１６５は、光を検出した位置が設定された検出範囲であると判別して、補助画像処理部１６９を制御し、入力補助画像としての仮想キーボード３３０または仮想入力ボード３３５を表示する。その後、入力検出部１６５は、仮想キーボード３３０または仮想入力ボード３３５に重なる位置でユーザーの手指等の指示体を検出して、入力操作を受け付ける。

また、カメラ６１の撮像可能範囲が視野ＶＡより大きい場合、視野ＶＡより広い範囲に検出領域を設定し、この検出領域内で発光デバイスが発する光を検出してもよい。
図５（Ｂ）の例では、カメラ６１が視野ＶＡの周囲を含む範囲を撮影可能であり、視野ＶＡの周囲に、検出領域ＩＡが設定されている。図５（Ｂ）に例示する検出領域ＩＡは、視野ＶＡの周囲に配置されて、視野ＶＡを含まない領域であり、図中に斜線を付して示す。この検出領域ＩＡにおいて点灯部１２が光を発すると、入力検出部１６５がこの光を検出し、入力補助画像が表示される。図５（Ｂ）の例では検出領域ＩＡが視野ＶＡを含まないため、ユーザーに点灯部１２の光が見えず、ユーザーが点灯部１２の光を煩わしいと感じる場合には有用である。また、検出領域ＩＡを、視野ＶＡを含む広い範囲とすることも勿論可能である。

制御装置１０などの発光デバイスによる操作は、検出領域ＩＡにおいて発光デバイスの光源が消灯した状態から点灯することを要求しない。すなわち、点灯している状態の発光デバイスを検出領域ＩＡの外から中に移動させた場合も、検出領域ＩＡにおいて発光デバイスが消灯から点灯に切り替わった場合と同様に、この光が検出される。従って、ユーザーは、点灯している発光デバイスを移動させることによっても頭部装着型表示装置ＨＭを操作できる。

図６は、頭部装着型表示装置ＨＭの動作を示すフローチャートであり、特に、発光デバイスの操作に対応して入力補助画像を表示する動作を示している。
頭部装着型表示装置ＨＭは、電源がオンされて動作を開始すると、発光デバイス、すなわち設定された波長の光による操作に対し、待機する（ステップＳ１１）。
入力検出部１６５は、カメラ６１の撮影画像データを取得し（ステップＳ１２）、この撮影画像データに基づき、画像解析部１６６により設定された波長の光を検出する（ステップＳ１３）。ここで、設定された波長の光が検出されない場合（ステップＳ１３；Ｎｏ）、入力検出部１６５はステップＳ１２に戻る。一方、画像解析部１６６により設定された波長の光が検出された場合（ステップＳ１３；Ｙｅｓ）、位置検出部１６７が、検出された光の位置を特定する（ステップＳ１４）。さらに、操作内容判定部１６８は、位置検出部１６７が特定した位置と検出領域とを比較する（ステップＳ１５）。
ここで、発光デバイスの光を検出した位置が検出領域内でない場合（ステップＳ１６；Ｎｏ）、入力検出部１６５はステップＳ１２に戻る。一方、発光デバイスの光を検出した位置が検出領域内であった場合（ステップＳ１６；Ｙｅｓ）、制御部１４０は、補助画像処理部１６９により入力補助画像を表示し（ステップＳ１７）、この入力補助画像を用いた入力操作（例えば、文字入力操作）を検出して（ステップＳ１８）、その後に動作を終了する。

このように、頭部装着型表示装置ＨＭでは、制御装置１０などの光源を有する発光デバイスを、カメラ６１の撮影範囲に設定された検出領域で発光させることにより、仮想キーボード３３０または仮想入力ボード３３５を表示させて、文字入力や図形入力を開始できる。
また、頭部装着型表示装置ＨＭでは、発光デバイスが発する光を指示体として、頭部装着型表示装置ＨＭを操作できる。
図７は、頭部装着型表示装置ＨＭの動作の説明図であり、発光デバイスを利用した操作の様子を示す。（Ａ）は発光デバイスによる操作の例を示し、（Ｂ）は発光デバイスの操作を検出する検出領域を変更した例を示す。

図７（Ａ）の例では、カメラ６１の撮像可能範囲は視野ＶＡに一致していて、この撮像可能範囲の全体が、所定の波長域の光の検出領域に設定されたものとする。
表示可能領域ＤＡには、発光デバイスにより頭部装着型表示装置ＨＭの機能を制御するためのアイコン３４１、３４２、３４３が表示されている。アイコン３４１、３４２、３４３はＧＵＩ（Graphical User Interface）を構成し、いずれかのアイコンが選択指定されると、頭部装着型表示装置ＨＭは指定されたアイコンに対応づけられた機能を実行する。図７（Ａ）の例では、アイコン３４１は音楽再生機能に対応づけられ、アイコン３４２はナビゲーション機能の開始指示に対応づけられ、アイコン３４３はナビゲーション機能の終了指示に対応づけられている。ユーザーは、制御装置１０の点灯部１２をアイコン３４１、３４２、３４３のいずれかに重なる位置で点灯させることにより、上記機能を実行させることができる。

また、図７（Ｂ）に示すように、検出領域ＩＡが視野ＶＡの外に配置されている場合、検出領域ＩＡに、アイコン３４１、３４２、３４３に対応する検出領域を設けて、各検出領域における操作をアイコン３４１、３４２、３４３に対する操作として検出してもよい。
図７（Ｂ）の例では、視野ＶＡの周囲に配置された検出領域ＩＡが４つの検出領域ＩＡ１、ＩＡ２、ＩＡ３、ＩＡ４に分割され、分割された検出領域ＩＡ１、ＩＡ２、ＩＡ３はそれぞれ、アイコン３４１、３４２、３４３に対応している。この例では検出領域ＩＡ４に対応するアイコンは配置されていない。
この図７（Ｂ）の例では、点灯部１２が発した光がアイコン３４１上ではなく検出領域ＩＡ１で検出された場合に、制御部１４０が、アイコン３４１に対応付けられた機能を実行する。同様に、検出領域ＩＡ２、ＩＡ３において点灯部１２の光が検出された場合も同様に、アイコン３４２、３４３に対応する機能が実行される。この図７（Ｂ）の例では検出領域ＩＡが視野ＶＡを含まないため、ユーザーに点灯部１２の光が見えず、ユーザーが点灯部１２の光を煩わしいと感じる場合には有用である。さらに、例えば点灯部１２が点灯した状態で、検出領域ＩＡの外から視野ＶＡに向けて移動すると、点灯部１２が検出領域ＩＡに達したときに光が検出される。この場合、ユーザーは、制御装置１０を移動させる操作によってアイコン３４１、３４２、３４３に対応する機能を実行させることができ、点灯部１２の位置をアイコン３４１、３４２、３４３に合わせる必要がないので、より簡単に頭部装着型表示装置ＨＭを操作できる。

図８は、頭部装着型表示装置ＨＭの動作を示すフローチャートであり、特に、発光デバイスの操作に対応して、アイコンに対応する機能を実行する動作を示している。
図８のステップＳ１１〜Ｓ１４の動作は図６と共通であるため説明を省略する。
操作内容判定部１６８は、位置検出部１６７がステップＳ１４で特定した位置を、検出領域内に設けられたアイコンの位置またはアイコンに対応する位置（例えば、検出領域ＩＡ１〜ＩＡ３）と比較する（ステップＳ２１）。ここで、特定された位置が検出領域内でない場合（ステップＳ２２；Ｎｏ）、入力検出部１６５はステップＳ１２に戻る。一方、特定された位置が検出領域内である場合（ステップＳ；Ｙｅｓ）、操作内容判定部１６８は、検出された位置に対応する機能が設定されているか否かを判定する（ステップＳ２３）。ここで、対応する機能がある場合、すなわち、位置検出部１６７がステップＳ１４で特定した位置が、検出領域内に設けられたアイコンの位置またはアイコンに対応する位置に重なる場合（ステップＳ２３；Ｙｅｓ）、制御部１４０は対応する機能を実行し（ステップＳ２４）、本処理を終了する。
これに対し、位置検出部１６７がステップＳ１４で特定した位置が、検出領域内に設けられたアイコンの位置またはアイコンに対応する位置に該当しない場合、対応する機能が設定されていないと判定して（ステップＳ２３；Ｎｏ）、通常の入力操作が可能な状態に移行する。すなわち、制御部１４０は、補助画像処理部１６９により入力補助画像を表示し（ステップＳ１７）、この入力補助画像を用いた入力操作（例えば、文字入力操作）を検出して（ステップＳ１８）、その後に動作を終了する。

以上説明したように、本発明を適用した実施形態に係る頭部装着型表示装置ＨＭは、画像光を出力することにより画像光以外の外光による景色と画像光による画像とを視認させる表示手段と、画像に対応する範囲において予め設定された光を検出した場合に、入力操作を検出する入力検出部１６５と、を備える。これにより、ユーザーが視認している画像に対応する範囲に、予め設定した所定の光を検出させると、頭部装着型表示装置ＨＭが入力操作を検出する。このため、ユーザーは所定の光を発する何らかの装置を発光させるだけで入力操作を検出させることができる。予め設定された光が検出されるように、例えば発光デバイス等により光を発することで入力操作が可能となるため、ユーザーが視認している光景に与える影響が小さく、例えばユーザーが視認している景色の視認性を損なわないように、入力操作を行うことが可能となる。

また、実施形態に係る頭部装着型表示装置ＨＭは、外光に重ねて画像光を出力し、画像を視認させる表示手段と、画像に対応する範囲において予め設定された光を検出した場合に、入力操作を検出する入力検出部１６５と、を備え、所定の光に基づき入力操作を検出するので、ユーザーは予め設定された光を発する発光デバイスを発光させるだけで入力操作を行える。この操作はユーザーの周囲の人に奇異な印象を与える心配がないので、ユーザーが周囲を気遣うことなく手軽に実行できる。これにより、頭部装着型の表示装置を使用するユーザーが、周囲に奇異な印象を与えることを憂慮する可能性に鑑み、ユーザーの心理的抵抗を軽減するため、頭部装着型の表示装置において手軽に利用可能な操作方法の使用を可能とし、操作性の向上を図るという目的を達成できる。
また、ユーザーが使用する発光デバイスは、頭部装着型表示装置ＨＭに電気的に接続されていなくてもよく、頭部装着型表示装置ＨＭの動作に連動する制御を必要とせず、予め設定された波長の光を発することが可能であれば制限なく使用できる。例えば他の用途に使用される装置を流用することもできる。このため、専用の装置を必要としないことから、より手軽に操作を行うことができる。さらに、予め設定された波長の光を検出する検出領域が、ユーザーが視認している画像の表示可能領域ＤＡや視野ＶＡに対応する範囲となっているため、無関係な環境光により入力操作を検出してしまうことがなく、正確な入力操作が可能となる。従って、頭部装着型の表示装置の操作性の向上を図ることができる。

また、頭部装着型表示装置ＨＭはユーザーの視野に対応する外光を検出するカメラ６１を備え、入力検出部１６５は、カメラ６１の撮影画像データに基づいて予め設定された波長の光を検出するので、より一層の操作性の向上を図ることができる。
また、頭部装着型表示装置ＨＭは、補助画像処理部１６９によって、入力検出部１６５により検出された入力操作を示す表示を行うので、より手軽に、正確な操作を行うことができる。

また、入力検出部１６５は、図５（Ａ）、（Ｂ）および図７（Ａ）、（Ｂ）に例示したように、仮想的に設定された検出領域ＩＡに対応する位置で予め設定された波長の光を検出した場合に、入力操作を検出するので、無関係な環境光により入力操作を検出してしまうことがなく、より正確な入力操作が可能となる。
予め設定された波長の光は可視光であってもよく、この場合は入力操作を行うために発光させる光をユーザー自身が視認できるので、より手軽に、正確な操作を行うことができる。
さらに、予め設定された波長の光は複数の波長域の光を含むようにしてもよく、この場合、複数の波長域の光により入力操作を検出するので、無関係な環境光により入力操作を検出してしまう可能性が低くなり、より正確な入力操作が可能となる。

また、頭部装着型表示装置ＨＭの表示手段は、表示用画像データを用いて画像を表す画像光を生成し射出させる右表示駆動部２２及び左表示駆動部２４と、射出された画像光をユーザーの眼に導く右導光板２６１及び左導光板２６２と、を含み、外光が右導光板２６１及び左導光板２６２を透過して画像光とともにユーザーの右眼ＲＥ、左眼ＬＥに入射する。
このため、右導光板２６１及び左導光板２６２により右眼ＲＥ、左眼ＬＥに画像光を導くとともに、右導光板２６１及び左導光板２６２を透過して、外景の光を右眼ＲＥ、左眼ＬＥに導く頭部装着型の表示装置によって、外光に予め設定された光を検出させることで、入力操作を検出させることができる。

また、図７（Ａ）、（Ｂ）の例では、検出領域ＩＡに複数の操作対象としてのアイコン３４１、３４２、３４３または各アイコンに対応する検出領域ＩＡ１〜３が配置され、入力検出部１６５は、予め設定された波長の光を検出した位置に対応するアイコンが操作されたと判定するので、ユーザーは、発光デバイスを発光させる位置により複数種類の入力操作を行うことができ、より一層の操作性の向上を図ることができる。

なお、上述した実施形態は本発明を適用した一例を示すものであって、本発明の構成および本発明の適用範囲は上記実施形態の構成に限定されない。例えば、入力補助画像としては、図４（Ａ）、（Ｂ）に例示した仮想キーボード３３０、仮想入力ボード３３５に限らず、ユーザーの入力操作の補助となる画像であればよく、罫線に限らず他の図形等により操作を案内するものであってもよい。
また、上記実施形態では、頭部装着型表示装置の一例として、ユーザーが眼鏡のように装着する画像表示部２０を備えた構成を例に挙げて説明したが、本発明はこれに限定されるものではなく、画像表示部２０に代えて、例えば帽子のように装着する画像表示部や、ヘルメット等に組み込まれた画像表示部を備えた構成としてもよい。また、イヤホン３２、３４は耳掛け型やヘッドバンド型を採用してもよく、省略しても良い。

また、上記実施形態では、例えば、画像光生成部が左右のバックライト２２１、２２２と、左右のバックライト制御部２０１、２０２と、左右のＬＣＤ２４１、２４２と、左右のＬＣＤ制御部２１１、２１２とを備えた構成として説明した。この実施形態の態様はあくまで一例であり、画像光生成部は、上記の構成部と共に、またはこれらの構成部に代えて、他の方式を実現するための構成部を備えていても良い。例えば、画像光生成部は、有機ＥＬ（有機エレクトロルミネッセンス、Organic Electro-Luminescence）パネル等の自発光型のディスプレイと、その発光を制御する制御部とを備える構成としても良い。また、例えば、画像生成部は、ＬＣＤに代えて、ＬＣＯＳ（登録商標）（Liquid crystal on silicon）や、デジタル・マイクロミラー・デバイス（ＤＭＤ）等を用いることもできる。この場合、画像生成部はＬＥＤ等の光源を備え、この光源が発する光をＬＣＯＳやＤＭＤにより変調して画像光を生成する。
また、例えば、レーザー網膜投影型のヘッドマウントディスプレイに対して本発明を適用することも可能である。すなわち、画像生成部が、レーザー光源と、レーザー光源をユーザーの眼に導く光学系とを備え、レーザー光をユーザーの眼に入射させて網膜上を走査し、網膜に結像させることにより、ユーザーに画像を視認させる構成を採用してもよい。レーザー網膜投影型のヘッドマウントディスプレイを採用する場合、「画像光生成部における画像光の射出可能領域」とは、使用者の眼に認識される画像領域として定義することができる。

ヘッドマウントディスプレイにおいて画像生成部が生成した画像光をユーザーの眼に導く光学系としては、外部から装置に向けて入射する外光を透過する光学部材を備え、画像光とともにユーザーの眼に入射させる構成を採用できる。また、ユーザーの眼の前方に位置してユーザーの視界の一部または全部に重なる光学部材を用いてもよい。さらに、レーザー光等を走査させて画像光とする走査方式の光学系を採用してもよい。また、光学部材の内部で画像光を導光させるものに限らず、ユーザーの眼に向けて画像光を屈折及び／または反射させて導く機能のみを有するものであってもよい。

また、上記実施形態では、ユーザーの頭部に装着される頭部装着型表示装置ＨＭを例に挙げて説明したが、本発明の態様はこれに限定されない。本発明は、また、画像光以外の光による景色を視認可能な表示装置に適用可能であり、画像光以外の光による景色とは、表示装置が発する画像光以外の外光や他の装置が発する光等の光によってユーザーが視認するものであればよく、周囲の光景や画像に限定されない。例えば、ユーザーから離れた位置に固定的にまたは可動に設置された表示面に画像光を放って画像を形成する表示装置に本発明を適用することも可能である。画像光を放つ構成としては、例えば、放電管、ＬＥＤ、レーザー光を光源とするプロジェクターを用いることが可能である。具体的な例としては、車両の窓ガラスに画像光を投射し、乗車しているユーザーや車両の外にいるユーザーに、画像光による画像とともに、車両内外の景色を視認させる表示装置の構成が挙げられる。また、例えば、建物の窓ガラスなど固定的に設置された透明または半透明、或いは有色透明な表示面に画像光を投射し、表示面の周囲にいるユーザーに、画像光による画像とともに、表示面を透かして景色を視認させる表示装置の構成が挙げられる。これらの構成例においては、表示面のユーザー側または反対側に入力検出部を設ければよく、表示面から離れた位置に、表示面を透かして視認できる範囲における予め設定された光を検出できるように、入力検出部を設けてもよい。また、表示装置が発する画像光以外の光による景色とは、表示装置が発する画像光以外の外光や他の装置が発する光等の光によってユーザーが視認するものであればよく、周囲の光景や画像に限定されない。
さらに、本発明は、ユーザーに見える範囲に表示面となる光学部材を配置し、この光学部材に画像光により画像を視認させるヘッドマウントディスプレイ等にも勿論適用可能である。

また、本発明を、ＭＥＭＳディスプレイ技術を利用した表示装置に適用することも可能である。
上記実施形態の頭部装着型表示装置ＨＭは、左右のバックライト２２１、２２２と、左右のバックライト制御部２０１、２０２と、左右のＬＣＤ２４１、２４２と、左右のＬＣＤ制御部２１１、２１２とを備える画像光生成部を用い、画像光生成部が生成した光を右導光板２６１及び左導光板２６２によりユーザーの眼に導く構成とした。
これに対し、ＭＥＭＳミラーを用いた走査光学系を採用してもよい。すなわち、画像表示素子として、信号光形成部と、信号光形成部が射出する光を走査するＭＥＭＳミラーを有する走査光学系と、走査光学系により走査される光によって虚像が形成される光学部材とを備えてもよい。この構成では、信号光形成部が射出した光がＭＥＭＳミラーにより反射され、光学部材に入射し、光学部材の中を導かれて、虚像形成面に達する。ＭＥＭＳミラーが光を走査することにより、虚像形成面に虚像が形成され、この虚像をユーザーが眼で捉えることで、画像が認識される。この場合の光学部品は、例えば上記実施形態の右導光板２６１及び左導光板２６２のように、複数回の反射を経て光を導くものであってもよく、虚像形成面は、面２６２Ａのようにハーフミラー面となっていてもよい。

さらに、制御部１４０が実行するプログラムを記憶部１２０に記憶する構成に限定されず、例えば上記プログラムを、コンピューター読み取り可能な可搬型の記録媒体や制御装置１０に外部接続される記憶装置、或いは、制御装置１０に有線または無線通信回線を介して接続される装置に記憶させ、必要に応じて制御装置１０がプログラムを読み込んで実行するようにしてもよい。その他の頭部装着型表示装置ＨＭの細部構成についても任意に変更可能であることは勿論である。

６…サーバー、１０…制御装置、１４…タッチパッド、１６…十字キー、２０…画像表示部、２０Ａ…調光板、２２…右表示駆動部、２４…左表示駆動部、２６…右光学像表示部、２８…左光学像表示部、６１…カメラ（撮影手段）、１２０…記憶部、１４０…制御部、１６５…入力検出部（操作検出手段）、１６６…画像解析部、１６７…位置検出部、１６８…入力内容判定部、１６９…補助画像処理部、１６０…画像処理部、１８５…通信インターフェイス、１９０…表示制御部、２２１…右バックライト、２２２…左バックライト、２４１…右ＬＣＤ、２４２…左ＬＣＤ、２５１…右投写光学系、２５２…左投写光学系、２６１…右導光板（光学部材）、２６２…左導光板（光学部材）、２６２Ａ…面、ＨＭ…頭部装着型表示装置（表示装置）、Ｌ…画像光、ＯＬ…外光。

Claims (13)

1. 表示装置であって、
   画像光を出力することにより前記画像光以外の光により視認される景色と前記画像光による画像とを視認させる表示手段と、
   入力操作を検出する操作検出手段と、
   設定された入力検出領域に対応する位置で予め設定された光を検出する入力検出部と、を備え、
   前記表示手段は、前記予め設定された光を前記入力検出部で検出した場合に、前記画像を表示し、
   前記操作検出手段は、前記予め設定された光を前記入力検出部で検出した場合に、前記入力操作を検出することを特徴とする表示装置。
2. 頭部装着型の表示装置であって、
   外光に重ねて画像光を出力し、画像を視認させる表示手段と、
   入力操作を検出する操作検出手段と、
   設定された入力検出領域に対応する位置で予め設定された光を検出する入力検出部と、を備え、
   前記表示手段は、前記予め設定された光を前記入力検出部で検出した場合に、前記画像を表示し、
   前記操作検出手段は、前記予め設定された光を前記入力検出部で検出した場合に、前記入力操作を検出することを特徴とする表示装置。
3. 請求項２記載の表示装置であって、
   前記入力検出領域は、前記表示装置のユーザーの視野に対応する領域であることを特徴とする表示装置。
4. 請求項２記載の表示装置であって、
   前記入力検出領域は、前記表示装置のユーザーの視野に対応する領域よりも広い領域であることを特徴とする表示装置。
5. 請求項２記載の表示装置であって、
   前記入力検出領域は、前記表示装置のユーザーの視野に対応する領域の周囲に位置することを特徴とする表示装置。
6. 請求項４または５記載の表示装置であって、
   前記入力検出領域には複数の操作対象が配置され、
   前記操作検出手段は、前記予め設定された光を検出した位置に対応する前記操作対象が操作されたと判定することを特徴とする表示装置。
7. 請求項２ないし６のいずれか一項記載の表示装置であって、
   前記表示装置は、使用者に画像を視認させる頭部装着型表示装置であり、
   前記表示手段は、
   表示用画像データを用いて画像を表す画像光を生成し射出させる画像光生成部と、
   射出された前記画像光を前記使用者の眼に導く光学部材と、
   を含み、
   前記外光は前記光学部材を透過して前記画像光とともに前記使用者の眼に入射することを特徴とする表示装置。
8. 請求項１ないし７のいずれか一項記載の表示装置であって、
   前記予め設定された光は可視光であることを特徴とする表示装置。
9. 請求項１ないし８のいずれか一項記載の表示装置であって、
   前記予め設定された光は複数の波長域の光を含むことを特徴とする表示装置。
10. 請求項１ないし９のいずれか一項記載の表示装置であって、
    前記画像に、前記操作検出手段により検出された入力操作を示す表示を行う表示制御手
    段を備えたことを特徴とする表示装置。
11. 請求項１ないし１０のいずれか一項記載の表示装置であって、
    前記操作検出手段は、前記予め設定された光を指示体として検出することを特徴とする表示装置。
12. 表示装置の制御方法であって、
    設定された入力検出領域に対応する位置で予め設定された光を検出した場合に、
    画像光を出力することにより前記画像光以外の光により視認される景色と前記画像光による画像とを視認させ、
    入力操作を検出すること、
    を特徴とする表示装置の制御方法。
13. 画像を視認させる表示手段を備え、頭部に装着される表示装置の制御方法であって、
    設定された入力検出領域に対応する位置で予め設定された光を検出した場合に、外光に重ねて画像光を出力し、
    入力操作を検出すること、
    を特徴とする表示装置の制御方法。

Images