JP5821464B2 - 頭部装着型表示装置 - Google Patents

Description

本発明は、観察者の頭部に装着される頭部装着型表示装置に関する。

従来、眼鏡のような外観を有し、ＬＣＤ（Liquid Crystal Display）等の表示素子にて形成された画像を光学系により観察者に観察させる頭部装着型表示装置が提案されている（例えば、特許文献１参照）。
特許文献１に記載の頭部装着型表示装置は、表示素子（ＬＣＤ等）及び光学系等を有するディスプレイと、ディスプレイに取付けられ、観察者の頭部の傾きを検出する頭部位置検出装置とを備える。この頭部装着型表示装置は、観察者の頭部が下方に傾いたことを頭部位置検出装置により検出すると、観察者の手の位置に仮想キーボード（操作オブジェクト）を表示するように構成されている。

特開平９−１７９０６２号公報

しかしながら、特許文献１に記載の頭部装着型表示装置では、観察者の頭部が下方を向いている場合は、常に仮想キーボードが表示されてしまう。このため、観察者にキーボード操作の意思が無い場合は、キーボードの表示が煩わしく感じられ、観察者に不快感を与えてしまうという問題がある。

本発明の目的は、使用感を向上させることができる頭部装着型表示装置を提供することにある。

本発明の頭部装着型表示装置は、画像光を出射する表示素子と、観察者の視線方向を検出する視線方向検出手段と、前記視線方向の領域を撮像する撮像手段と、前記視線方向検出手段の検出結果に基づいて、前記視線方向が下方に向いているか否かを判定する視線方向判定部と、前記撮像手段からの入力信号に基づいて、前記観察者の手の形状が所定の形状を示しているか否かを判定する操作判定部と、前記視線方向判定部および前記操作判定部の判定結果に基づいて、前記表示素子による表示を制御する表示制御部と、を備え、前記表示制御部は、前記視線方向が下方に向いており、かつ前記手の形状が第１パターンを示していると判定されたときに、前記画像光の表示領域における前記手の位置に対応する位置の操作オブジェクトにより定義される処理を実行することを特徴とする。
ここで、操作オブジェクトとは、頭部装着型表示装置の操作手段として表示されるオブジェクトをいう。

本発明では、表示制御部は、観察者の視線方向が下方に向いており、かつ観察者の手の形状が所定のパターンを示していると判定されたときに、表示素子に操作オブジェクトを表示させる。
このことにより、観察者の視線方向が下方を向いている場合でも、観察者の手が所定のパターンを示していなければ、操作オブジェクトは表示されない。このため、観察者の意図に反して操作オブジェクトが表示されることを防止でき、使用感を向上させることができる。
また、本発明では、手の形状が第１パターンを示していると判定されたときに、表示領域の手の位置に対応する位置の操作オブジェクトの処理を実行するので、観察者の意図に反する処理を防止することができ、使用感を一層向上させることができる。

本発明の頭部装着型表示装置において、前記視線方向検出手段は、前記頭部装着型表示装置に設けられた加速度センサーであることが好ましい。

ところで、観察者の視線そのもの、つまり観察者の目が向いている方向を検出する場合、一般的に検出手段の構成が複雑化してしまう。
これに対し、本発明では、視線方向検出手段は、頭部装着型表示装置に設けられた加速度センサーであり、加速度センサーに作用する加速度から観察者の頭部の傾きを検出することにより、観察者の視線方向を検出する。このため、加速度センサーという汎用的かつ簡易な構成を用いて視線方向を検出することができるので、頭部装着型表示装置を安価で製造でき、かつ小型化することができる。

本発明の頭部装着型表示装置は、前記表示素子から出射された前記画像光を所定位置に導く導光部を有することが好ましい。
本発明の頭部装着型表示装置は、前記導光部は、外界像を観察可能に構成されていることが好ましい。

本発明の頭部装着型表示装置は、前記表示素子の前記画像光を投射する投射レンズを有し、前記導光部は、前記投射レンズに対して固定され、当該投射レンズから投射された画像光を前記所定位置に導くことが好ましい。
本発明では、頭部装着型表示装置は、導光板を介して外界像を観察可能な、いわゆるシースルー型であるため、表示素子に形成された画像の他、外界像をも観察者に観察させることができる。このことにより、観察者は、表示素子に形成された画像と外界像とを同時に観察することができるので、外界像を観察しようとした場合に頭部装着型表示装置を外す必要がなく、使用感をより向上させることができる。

本発明の頭部装着型表示装置において、前記表示制御部は、表示領域における下方位置に前記操作オブジェクトを表示させることが好ましい。

本発明では、表示制御部は、表示領域における下方位置に操作オブジェクトを表示させるので、頭部装着型表示装置がシースルー型である場合でも、操作オブジェクトの操作時に観察者の手が表示領域をさえぎることを防止でき、使用感をさらに向上させることができる。

本発明の頭部装着型表示装置において、前記表示制御部は、前記視線方向が下方に向いており、かつ前記手の形状が第１の操作パターンを示していると判定されたときに、表示領域における前記手の位置に対応する位置にカーソルを表示させることが好ましい。

本発明では、視線方向が下方に向いており、かつ手の形状が第１の操作パターンを示していると判定されたときに、表示領域の手の位置に対応する位置にカーソルを表示させるので、観察者の意図に反する表示を防ぎつつ、表示領域におけるポインティング位置を観察者に良好に認識させることができる。

本発明の頭部装着型表示装置において、前記表示制御部は、前記視線方向が下方に向いており、かつ前記手の形状が第２パターンを示していると判定されたときに、前記表示領域における前記手の位置に対応する位置の操作オブジェクトにより定義される処理を実行することが好ましい。

本発明の頭部装着型表示装置において、前記操作判定部は、前記手の形状が前記第１パターンを示している時間が所定時間以上継続しているか否かを判定し、前記表示制御部は、前記視線方向が下方に向いており、かつ前記手の形状が前記第１パターンを示している時間が所定時間以上継続していると判定されたときに、前記表示領域における前記手の位置に対応する位置の操作オブジェクトを前記手の位置に合わせて移動させる処理を実行することが好ましい。

本発明では、手の形状が第１パターンを示している時間が所定時間以上継続していると判定されたときに、表示領域における手の位置に対応する位置の操作オブジェクトを手の位置に合わせて移動させるので、観察者が手の位置を移動させるだけで、操作オブジェクトを容易に移動させることができる。

本発明の頭部装着型表示装置において、前記表示制御部は、前記視線方向が下方に向いており、かつ前記手の形状が第３パターンを示していると判定されたときに、前記表示領域における前記手の位置に対応する位置の操作オブジェクトに関する操作を一覧表示させる処理を実行することが好ましい。

本発明では、手の形状が第３パターンを示していると判定されたときに、表示領域における手の位置に対応する位置の操作オブジェクトに関する操作を一覧表示させるので、手の形状を第３パターンにするだけで、操作オブジェクトに関する操作を表示させることができる。このため、操作オブジェクトに関する操作メニューを容易に表示させることができ、使用感をさらに向上させることができる。

本発明の頭部装着型表示装置において、前記表示制御部は、前記視線方向が下方に向いていないと判定されたときに、入力された画像信号に基づく画像を前記表示領域に表示させることが好ましい。
本発明の頭部装着型表示装置において、前記表示制御部は、前記視線方向が下方に向いており、かつ前記手の形状が前記所定のパターンに該当しないと判定されたときに、入力された画像信号に基づく画像を前記表示領域に表示させることが好ましい。

本発明の一実施形態における頭部装着型表示装置の外観を示す斜視図。 頭部装着型表示装置の構成を示すブロック図。 頭部装着型表示装置の装着状態を示す図。 操作パターンを表す手の形状を示す図。 頭部装着型表示装置の表示制御を説明するフローチャート。 頭部装着型表示装置の使用状態を示す図。 頭部装着型表示装置の使用状態を示す図。 頭部装着型表示装置の使用状態を示す図。

以下、本発明の実施の一形態を図面に基づいて説明する。
〔１．頭部装着型表示装置の構成〕
図１は、頭部装着型表示装置１の外観を示す斜視図である。
なお、図１では、説明の便宜上、後述する投射レンズ９１の光軸Ａｘ（図３）に平行となる軸をＺ軸とし、Ｚ軸に直交する水平軸をＸ軸、Ｚ軸に直交する鉛直軸をＹ軸とする。以降の図も同様である。さらに、Ｚ軸において、観察者側を＋Ｚ軸側、観察者から離間する側を−Ｚ軸側とする。また、図３は、説明の便宜上、観察者の左目に対応する側のみを示している。
頭部装着型表示装置１は、図１に示すように、眼鏡のような外観を有するヘッドマウントディスプレイであり、当該頭部装着型表示装置１を装着した観察者に対して画像光を認識させる。また、本実施形態の頭部装着型表示装置１は、外界像をシースルーで観察させることができるシースルー型の虚像表示装置で構成されている。
この頭部装着型表示装置１は、視線方向検出手段２と、撮像手段３と、画像形成装置４（図２）と、導光部としての導光板５と、導光板５を保持するリム６と、テンプル７とを備える。

視線方向検出手段２は、リム６に設けられ、観察者の視線方向を検出する。
本実施形態では、視線方向検出手段２は、加速度センサー（重力センサー）やジャイロセンサーで構成され、頭部装着型表示装置１の傾斜状態（水平方向に対する傾斜状態）を検出することで観察者の視線方向を検出し、検出した傾斜に応じた信号を制御装置１０に出力する。

撮像手段３は、リム６に設けられ、観察者の視線方向の領域を撮像する。
本実施形態では、撮像手段３は、リム６の前面中央部分に設けられ、頭部装着型表示装置１の前方、つまり観察者の頭部が向いている方向を撮像することで、観察者の視線方向の領域を撮像する。この撮像手段３は、例えば、ＣＣＤ（Charge Coupled Device）を撮像素子とするエリアセンサを備えたＣＣＤカメラで構成され、撮像画像に応じた信号を制御装置１０に出力する。

なお、画像形成装置４、導光板５、及びテンプル７は、図１に示すように、頭部装着型表示装置１を装着する観察者の左目及び右目にそれぞれ対応して一対設けられ、ＹＺ平面を基準として対称（左右対称）となるように配設されている。
一対の画像形成装置４、一対の導光板５、及び一対のテンプル７については、左右で同一の構成を有しているため、以下では、観察者の左目に対応する側のみを説明する。

〔２．画像形成装置の構成〕
図２は、画像形成装置４を含む頭部装着型表示装置１の構成を示すブロック図である。
図３は、頭部装着型表示装置１の装着状態を示す図である。
画像形成装置４は、画像光を形成して投射する装置であり、図２および図３に示すように、表示素子８と、投射光学装置９と、制御装置１０（図２）とを備える。

表示素子８は、制御装置１０の表示制御の下、画像光を出射して画像を表示する。本実施形態では、表示素子８は、入射した光を変調して画像光を形成する透過型の液晶表示デバイス８１と、液晶表示デバイス８１の光入射側に取り付けられ、液晶表示デバイス８１に対して光を出射するＬＥＤ（Light Emitting Diode）等のバックライト８２（図３）とを備える。

投射光学装置９は、表示素子８から出射された画像光を平行光として投射する投射レンズ９１と、投射レンズ９１を内部に収納する鏡筒９２（図３）とを備える。この投射光学装置９は、リム６に固定されており、投射レンズ９１は、鏡筒９２およびリム６を介して導光板５に固定されている。これにより、投射レンズ９１は、導光板５（図１および図３）に対して位置ずれしないように構成されている。

制御装置１０は、ＣＰＵ（Central Processing Unit）やＩＣ(Integrated Circuit)チップ等の半導体装置が回路基板に実装されて構成され、外部から入力した画像信号に基づいて、液晶表示デバイス８１を駆動し、画像信号に基づく画像光を液晶表示デバイス８１に形成させる。
この制御装置１０は、図２に示すように、視線方向判定部１１と、操作判定部１２と、表示制御部１３とを備えている。

視線方向判定部１１は、視線方向検出手段２からの入力信号に基づいて、観察者の視線方向が下方に向いているか否かを判定する。
本実施形態では、視線方向判定部１１は、視線方向検出手段２からの傾斜角度が所定の閾値を超えている場合に、観察者の視線方向が下方に向いていると判定する。

操作判定部１２は、撮像手段３からの入力信号に基づいて、観察者の手の形状が所定の操作パターンを示しているか否かを判定する。
本実施形態では、操作判定部１２は、観察者の手の形状が図４に示す形状である場合に、観察者が所定の操作を行っていることを認識する。
なお、図４（Ａ）は、観察者が画面上の箇所を指し示す第１の操作パターンとしてのポインティングパターンの手の形状を示している。
図４（Ｂ）は、いわゆるマウスの左クリック操作を行う第２の操作パターンとしてのクリックパターンの手の形状を示している。
図４（Ｃ）は、いわゆるマウスの右クリック操作を行う第３の操作パターンとしてのメニュー表示パターンの手の形状を示している。

ここで、画像形成装置４は、各操作パターンを記憶した図示しない記憶装置を備えており、操作判定部１２は、記憶装置に記憶されている操作パターンに基づいて、観察者が所定の操作を行っていることを認識するように構成されている。記憶装置に記憶される操作パターンは、図示しない操作パターン登録手段により編集可能とされており、観察者は、任意の操作パターンを設定することができるようになっている。

表示制御部１３は、入力した画像信号から画像データを生成し、当該画像データに基づいて表示素子８に駆動信号を出力することで、画像信号に基づく画像を表示素子８に表示させる。また、表示制御部１３は、視線方向判定部１１および操作判定部１２の判定結果に基づいて、表示素子８にキーボードやアイコン等の操作オブジェクトＴ（図８）を表示させたり、操作オブジェクトＴにより定義される処理を実行したりする。

〔３．導光板の構成〕
導光板５は、光透過性を有する樹脂材料等から構成され、画像形成装置４から出射された画像光を内部に取り込んだ後、外部の所定位置（観察者の左目または右目）に導く。この導光板５は、図３に示すように、Ｙ軸に沿う方向から見た場合に略等脚台形状に形成されている。そして、導光板５には、光入射面５１と、第１反射面５２と、第１全反射面５３と、第２全反射面５４と、第２反射面５５と、光出射面５６とが形成されている。

第１反射面５２は、光入射面５１に対向し、ＸＹ平面に対して傾斜する平坦状の斜面にアルミ蒸着等の成膜を施すことにより形成され、光入射面５１を介して導光板５内部に取り込まれた画像光を第１全反射面５３に向けて反射させる。

第１全反射面５３は、光入射面５１を延長させた（ＸＹ平面に平行となる（光軸Ａｘに直交する））平面で構成され、＋Ｚ軸側に位置する。
第２全反射面５４は、第１全反射面５３に平行となる平坦状に形成され、−Ｚ軸側に位置する。
そして、第１反射面５２にて反射された画像光は、第１，第２全反射面５３，５４での全反射により、光入射面５１および第１反射面５２から離間する方向（他方の導光板５に近接する側）に導かれる。

なお、第１，第２全反射面５３，５４としては、表面上にミラーやハーフミラー等を施すことなく空気との界面により画像光を全反射させて導くものに限らず、第１，第２全反射面５３，５４の全体または一部にミラーコートや、ハーフミラー膜が形成されてなされる反射も含むものとする。例えば、画像光の入射角度が全反射条件を満たした上で、第１，第２全反射面５３，５４の全体または一部にミラーコート等が施され、実質的に全ての画像光を反射させる場合も含まれる。また、十分な明るさの画像光を得られるのであれば、多少透過性のあるミラーによって第１，第２全反射面５３，５４の全体または一部がコートされていてもよい。

第２反射面５５は、光出射面５６に対向し、ＸＹ平面に対して傾斜する平坦状に形成され、第１，第２全反射面５３，５４にて導かれた画像光を反射により光出射面５６から外部の所定位置（観察者の左目または右目）に導く。この第２反射面５５は、ハーフミラー等で構成され、画像光を反射するとともに、外界像も透過可能に構成されている。
なお、第１，第２全反射面５３，５４にて導かれた画像光を外部の所定位置に導く機能を有していれば、ハーフミラー等の第２反射面５５に限らず、偏光ビームスプリッターや、ホログラム回折格子等を採用しても構わない。

〔４．テンプルの構成〕
テンプル７は、図３に示すように、内部が中空となっており、当該中空部分に画像形成装置４が収容されている。本実施形態では、導光板５側からテンプル７の先端側に向けて、投射光学装置９および表示素子８テンプル７内に順に並んで配置されている。
そして、テンプル７は、頭部装着型表示装置１が観察者に装着された際に、観察者の耳に係止される。

〔５．表示制御〕
次に、上述した頭部装着型表示装置１の表示制御を図面に基づいて説明する。
図５は、頭部装着型表示装置１の表示制御を説明するフローチャートである。
図６から図８は、頭部装着型表示装置の使用状態を示す図である。
図５において、先ず、制御装置１０の視線方向判定部１１は、観察者の頭部が下方に傾斜しているか否かの判定処理を実行することで、観察者の視線方向が下方に向いているか否かの判定を行う（ステップＳ１）。ステップＳ１で、観察者の視線方向が下方に向いていると判定された場合、操作判定部１２は、観察者の手の形状から観察者の操作の判定処理を実行する（ステップＳ２）。

ここで、ステップＳ１で、観察者の視線方向が下方に向いていないと判定された場合、表示制御部１３は、入力された画像信号に基づく画像を表示素子８により表示領域Ａ（図６から図８）に表示させる（ステップＳ３）。この場合、図６に示すように、観察者は、頭部を水平に保った状態で画像を観察しており、キーボード等の操作オブジェクトＴは表示されていない。

また、ステップＳ１で、観察者の視線方向が下方に向いていると判定されたものの、ステップＳ２で、観察者の手の形状が所定の操作パターン（本実施形態では図４（Ａ）から図４（Ｃ）に示す操作パターン）でないと認識された場合、表示制御部１３は、やはり入力された画像信号に基づく画像を表示素子８により表示領域Ａに表示させる（ステップＳ３）。この場合、図７に示すように、観察者は、視線方向を下方に向けた状態で画像を観察しているが、操作オブジェクトＴは表示されていない。そして、本実施形態の頭部装着型表示装置１はシースルー型であるため、観察者は、画像を観察しつつ、例えば、用紙にメモを取ることができる。

一方、ステップＳ２で、観察者の手の形状が所定の操作パターンであると認識された場合、表示制御部１３は、図８に示すように、入力された画像信号に基づく画像を表示素子８により表示領域Ａに表示させるとともに、表示領域Ａにおける下方位置に操作オブジェクトＴを表示させる（ステップＳ４）。また、操作判定部１２は、撮像手段３からの入力信号に基づいて観察者の手の位置（本実施形態では観察者の指差位置）を判定し、表示制御部１３は、表示領域Ａにおける当該位置に対応する位置に矢印等の形状を有するカーソルを表示させる（ステップＳ５）。

ここで、表示領域Ａに表示される操作オブジェクトＴとしては、文字キーおよびその他の操作キー（リターン（エンター）、移動、戻る、入力、消去、コピー、文字変換等の操作を行うためのキー）を有するキーボードや、各種アイコン等が例示される。キーボードを表示させる際は、キーボードにより入力された文字を表示する入力表示欄をキーボードと同時に表示させ、文字入力後にリターンキーがクリックされた場合に、表示領域Ａにおける各種アプリケーションの文書やインターネット検索サイトの文字入力エリア等に、入力表示欄に表示された文字を入力するようにしてもよい。

続いて、操作判定部１２は、観察者の手の形状が、図４（Ｂ）に示すクリックパターンであるか否かを判定する（ステップＳ６）。
ステップＳ６において、観察者の手の形状がクリックパターンであると判定された場合、操作判定部１２は、観察者の手の形状がクリックパターンを示している時間が所定時間以上継続しているか否かを判定する（ステップＳ７）。

ステップＳ７において、クリックパターンを示している時間が所定時間未満であると判定された場合、表示制御部１３は、観察者の指差位置に対応する位置の操作オブジェクトＴ（図８）により定義される処理を実行する（ステップＳ８）。すなわち、表示制御部１３は、表示領域Ａにおいてカーソルをアイコン上に位置させた状態でマウスの左側のクリックボタンを押す、いわゆる左クリック動作に相当する処理を行う。これに対し、ステップＳ７において、クリックパターンを示している時間が所定時間以上継続していると判定された場合、表示制御部１３は、表示領域Ａにおける手の位置に対応する位置の操作オブジェクトを手の位置に合わせて移動させる、いわゆるマウスのドラッグ操作の処理を実行する（ステップＳ９）。

一方、ステップＳ６において、手の形状がクリックパターンでないと判定された場合、操作判定部１２は、手の形状がメニュー表示パターンであるか否かを判定する（ステップＳ１０）。ステップＳ１０において、手の形状がメニュー表示パターンでないと判定された場合はステップＳ１に戻り、そうでない場合、表示制御部１３は、表示領域における手の位置に対応する位置の操作オブジェクトに関する操作を一覧表示させる（ステップＳ１１）。すなわち、表示制御部１３は、表示領域Ａにおいてカーソルをアイコン上に位置させた状態でマウスの右側のクリックボタンを押す、いわゆる右クリック動作に相当する処理を行う。

上述した実施形態によれば、以下の効果がある。
本実施形態では、表示制御部１３は、観察者の視線方向が下方に向いており、かつ観察者の手の形状が所定の操作パターンを示していると判定されたときに、操作オブジェクトＴを表示素子８に表示させる。
このことにより、観察者の視線方向が下方を向いている場合でも、観察者の手が所定の操作パターンを示していなければ、操作オブジェクトＴは表示されない。このため、観察者の意図に反して操作オブジェクトＴが表示されることを防止でき、使用感を向上させることができる。

ところで、観察者の視線そのもの、つまり観察者の目が向いている方向を検出する場合、一般的に検出手段の構成が複雑化してしまう。
これに対し、本実施形態では、視線方向検出手段２は、頭部装着型表示装置１に設けられた加速度センサーであり、加速度センサーに作用する加速度から観察者の頭部の傾きを検出することにより、観察者の視線方向を検出する。このため、加速度センサーという汎用的かつ簡易な構成を用いて視線方向を検出することができるので、頭部装着型表示装置１を安価で製造でき、かつ小型化することができる。

本実施形態では、頭部装着型表示装置１は、導光板５を介して外界像を観察可能な、いわゆるシースルー型であるため、表示素子８に形成された画像の他、外界像をも観察者に観察させることができる。このことにより、観察者は、表示素子８により形成された画像と外界像とを同時に観察することができるので、外界像を観察しようとした場合に頭部装着型表示装置１を外す必要がなく、使用感をより向上させることができる。

本実施形態では、表示制御部１３は、表示領域Ａにおける下方位置に操作オブジェクトＴを表示させるので、頭部装着型表示装置１がシースルー型である場合でも、操作オブジェクトＴの操作時に観察者の手が表示領域Ａをさえぎることを防止でき、使用感をさらに向上させることができる。

本実施形態では、視線方向が下方に向いており、かつ観察者の手の形状が第１の操作パターンを示していると判定されたときに、表示領域Ａの手の位置に対応する位置にカーソルを表示させる。このため、観察者の意図に反する表示を防ぎつつ、表示領域Ａにおけるポインティング位置を観察者に良好に認識させることができる。

本実施形態では、観察者の手の形状が第２の操作パターンを示していると判定されたときに、表示領域Ａの手の位置に対応する位置の操作オブジェクトＴの処理を実行するので、観察者の意図に反する処理を防止することができ、使用感を一層向上させることができる。

なお、本発明は前述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。
前記実施形態では、頭部装着型表示装置は、透過型の液晶表示デバイス８１を備えた表示素子８を採用していたが、これに限らず、その他の構成、例えば、反射型の液晶表示デバイスや、デジタル・マイクロミラー・デバイス等を備えた表示素子を採用しても構わない。また、有機ＥＬデバイス等の自己発光型の表示素子を採用してもよい。

前記実施形態では、頭部装着型表示装置１は、表示素子８から出射された画像光を導光板５を介して観察者に認識させる虚像表示型であったが、これに限らず、表示素子８から出射された画像光を観察者に直接認識させる直接表示型としてもよい。また、導光部としては、導光板５に限らず、ミラー等の他の構成を採用してもよい。

前記実施形態では、視線方向検出手段２は、頭部装着型表示装置１の傾斜状態を検出することで観察者の視線方向を検出するように構成されていたが、これに限らない。視線方向検出手段２としては、観察者の視線方向を検出可能であればいずれの構成も採用でき、例えば、観察者の視線そのものを検出するような構成としてもよい。

前記実施形態では、表示制御部１３は、画像信号に基づく画像とともに操作オブジェクトＴを表示素子８に表示させていたが、操作オブジェクトＴのみを表示させてもよい。このような場合として、画像信号に基づく画像を表示させていない状態でのメニュー表示等が例示できる。

前記実施形態では、第１から第３の操作パターンとしてポインティングパターン、クリックパターン、およびメニュー表示パターンが用いられていたが、これに限らず、操作パターンは任意に設定することができる。
前記実施形態では、クリックパターンを示している時間が所定時間以上継続していると判定された場合、操作オブジェクトを観察者の手の位置に合わせて移動させていたが、これに限らない。例えば、各種アプリケーションの文書やインターネット検索サイト等、表示領域Ａに表示される他のオブジェクトや画面を移動させてもよい。

本発明は、ヘッドマウントディスプレイ等の頭部装着型表示装置に利用できる。

１・・・頭部装着型表示装置、２・・・視線方向検出手段、３・・・撮像手段、５・・・導光板（導光部）、８・・・表示素子、１１・・・視線方向判定部、１２・・・操作判定部、１３・・・表示制御部、９１・・・投射レンズ、Ｔ・・・操作オブジェクト。

Claims (11)

1. 画像光を出射する表示素子と、
   観察者の視線方向を検出する視線方向検出手段と、
   前記視線方向の領域を撮像する撮像手段と、
   前記視線方向検出手段の検出結果に基づいて、前記視線方向が下方に向いているか否かを判定する視線方向判定部と、
   前記撮像手段からの入力信号に基づいて、前記観察者の手の形状が所定のパターンを示しているか否かを判定する操作判定部と、
   前記視線方向判定部および前記操作判定部の判定結果に基づいて、前記表示素子による表示を制御する表示制御部と、を備え、
   前記表示制御部は、前記視線方向が下方に向いており、かつ前記手の形状が第１パターンを示していると判定されたときに、前記画像光により形成される画像の表示領域における前記手の位置に対応する位置の操作オブジェクトにより定義される処理を実行する
   ことを特徴とする頭部装着型表示装置。
2. 請求項１に記載の頭部装着型表示装置において、
   前記視線方向検出手段は、前記頭部装着型表示装置に設けられた加速度センサーである
   ことを特徴とする頭部装着型表示装置。
3. 請求項１または請求項２に記載の頭部装着型表示装置において、
   前記表示素子から出射された前記画像光を所定位置に導く導光部を有する
   ことを特徴とする頭部装着型表示装置。
4. 請求項３に記載の頭部装着型表示装置において、
   前記導光部は、外界像を観察可能に構成されている
   ことを特徴とする頭部装着型表示装置。
5. 請求項３または請求項４に記載の頭部装着型表示装置において、
   前記表示素子の前記画像光を投射する投射レンズを有し、
   前記導光部は、前記投射レンズに対して固定され、当該投射レンズから投射された画像光を前記所定位置に導く
   ことを特徴とする頭部装着型表示装置。
6. 請求項１から請求項５のいずれかに記載の頭部装着型表示装置において、
   前記表示制御部は、前記表示領域における下方位置に前記操作オブジェクトを表示させる
   ことを特徴とする頭部装着型表示装置。
7. 請求項１から請求項６のいずれかに記載の頭部装着型表示装置において、
   前記表示制御部は、前記視線方向が下方に向いており、かつ前記手の形状が第２パターンを示していると判定されたときに、前記表示領域における前記手の位置に対応する位置にカーソルを表示させる
   ことを特徴とする頭部装着型表示装置。
8. 請求項１から請求項７のいずれかに記載の頭部装着型表示装置において、
   前記操作判定部は、前記手の形状が前記第１パターンを示している時間が所定時間以上継続しているか否かを判定し、
   前記表示制御部は、前記視線方向が下方に向いており、かつ前記手の形状が前記第１パターンを示している時間が所定時間以上継続していると判定されたときに、前記表示領域における前記手の位置に対応する位置の操作オブジェクトを前記手の位置に合わせて移動させる処理を実行する
   ことを特徴とする頭部装着型表示装置。
9. 請求項１から請求項８のいずれかに記載の頭部装着型表示装置において、
   前記表示制御部は、前記視線方向が下方に向いており、かつ前記手の形状が第３パターンを示していると判定されたときに、前記表示領域における前記手の位置に対応する位置の操作オブジェクトに関する操作を一覧表示させる処理を実行する
   ことを特徴とする頭部装着型表示装置。
10. 請求項１から請求項９のいずれかに記載の頭部装着型表示装置において、
    前記表示制御部は、前記視線方向が下方に向いていないと判定されたときに、入力された画像信号に基づく画像を前記表示領域に表示させる
    ことを特徴とする頭部装着型表示装置。
11. 請求項１から請求項１０のいずれかに記載の頭部装着型表示装置において、
    前記表示制御部は、前記視線方向が下方に向いており、かつ前記手の形状が前記所定のパターンに該当しないと判定されたときに、入力された画像信号に基づく画像を前記表示領域に表示させる
    ことを特徴とする頭部装着型表示装置。

Images