JP6754329B2 - 画像表示装置、ヘッドマウントディスプレイ、情報表示装置、表示処理方法及びプログラム - Google Patents

Description

本技術は、ヘッドマウントディスプレイ及び情報表示装置に関する。

ユーザの頭部に装着され、眼前に配置されたディスプレイ等によってユーザ個人に画像を提示することが可能な、ヘッドマウントディスプレイ（ＨＭＤ）が知られている。ＨＭＤとしては、外光を透過させず、ユーザに所定の画像のみを表示する非透過型ＨＭＤと、ユーザに外界を視認させつつ、例えば所定の画像をユーザの視界に重ねて表示する透過型ＨＭＤとに分類される。例えば特許文献１には、ＨＭＤ本体にボタン等の操作入力部を配置した非透過型ＨＭＤが記載されている。

一方、近年、情報処理装置等への入力方法として、占有面積が大きく多様化に限界があるボタン等に替わり、指示項目（ＧＵＩ：Graphical User Interface）を切り替えてユーザに多数のＧＵＩを提示可能なタッチパネル方式が主流となりつつある。そこで、特許文献２には、ユーザの視野範囲にタッチパネルの入力操作面を配置して入力操作を行う、透過型のＨＭＤが記載されている。

特開２００８−７０８１７号公報 特開２０１０−１４５８６１号公報

しかしながら、特許文献２に記載の透過型ＨＭＤでは、タッチパネルの入力操作面をＨＭＤを介した視野範囲に配置して使用しなくてはならず、入力操作と画像上の表示との矛盾が生じやすく、操作性に問題があった。

以上のような事情に鑑み、本技術の目的は、ユーザの直感に即し、優れた操作性を有するヘッドマウントディスプレイ及び情報表示装置を提供することにある。

上記目的を達成するため、本技術の一形態に係るヘッドマウントディスプレイは、受信部と、画像表示素子と、表示処理部とを具備する。
上記受信部は、入力デバイスから出力される、入力操作面に接触する検出対象の相対位置に関する情報を含む操作信号を受信する。
上記画像表示素子は、ユーザに提示される画像を形成する。
上記表示処理部は、上記操作信号に基づき、上記画像に上記検出対象の位置を示す補助画像が重畳した操作画像を、上記画像表示素子に表示させる。

上記ヘッドマウントディスプレイ（ＨＭＤ）を装着することで、ユーザは、入力操作面に接触する指等の検出対象の相対位置に関する情報を、ＨＭＤによって提示される操作画像中の補助画像によって視認することができる。これにより、ユーザは、入力操作面を確認することなく、ＨＭＤによる操作画像を見ながら直感に即した操作を行うことが可能となる。

上記ヘッドマウントディスプレイにおいて、上記受信部は、上記入力デバイスから出力される画像信号をさらに受信し、上記表示処理部は、上記画像信号に基づき、上記画像を上記画像表示素子に表示させてもよい。
このような構成のＨＭＤは、専用の入力デバイスだけではなく、例えばタッチパネルが搭載された携帯端末等を入力デバイスとして用いることが可能となる。これにより、上記ＨＭＤによって携帯端末等の多様なアプリケーション等を使用することが可能となる。

上記表示処理部は、上記操作信号に基づき、上記画像の表示領域において上記補助画像を移動させてもよい。
これにより、ユーザは、上記操作画像によって、入力操作面上に接触するの検出対象の経時的な相対位置を確認することができ、より操作性を高めることが可能となる。

また、上記操作信号は、上記入力操作面に対する上記検出対象の接触圧に関する情報を含み、上記表示処理部は、上記入力操作面に対する上記検出対象の接触圧に応じて上記補助画像の表示形態を変化させてもよい。
これにより、上記ＨＭＤは、例えばユーザの入力操作面上での「押し込み」操作を操作画像上に反映することができる。したがって、ユーザは、入力操作面への接触と「押し込み」とを組み合わせた多彩な操作を行うことが可能となる。

上記ヘッドマウントディスプレイは、上記操作信号に基づいて、上記入力操作面上の上記検出対象の座標位置を算出する演算部をさらに具備し、上記表示処理部は、上記演算部で算出された上記検出対象の座標位置に基づき、上記操作画像を上記画像表示素子に表示させてもよい。
上記ヘッドマウントディスプレイは、入力デバイスから検出された信号を処理することができ、単純な装置構成の入力デバイスであっても使用することが可能となる。

上記目的を達成するため、本技術の一形態に係る情報表示装置は、入力デバイスと、ヘッドマウントディスプレイとを具備する。
上記入力デバイスは、入力操作面と、上記入力操作面に対する検出対象の接触を検出し、上記入力操作面上の上記検出対象の座標位置に関する情報を出力するセンサ部と、を有する。
上記ヘッドマウントディスプレイは、ユーザに提示される画像を形成する画像表示素子と、上記センサ部の出力に基づき、上記画像に上記検出対象の位置を示す補助画像が重畳した操作画像を上記画像表示素子に形成させる表示処理部と、を有する。

上記情報表示装置は、ヘッドマウントディスプレイによって入力デバイスへの入力操作に基づいた画像をユーザに提示することができ、ユーザは、入力操作面を確認することなく直感に即した操作を行うことが可能となる。

上記センサ部は、上記検出対象によって上記入力操作面に加えられた接触圧を検出するように構成されてもよい。
さらに、この際、上記ヘッドマウントディスプレイは、上記操作面からの上記検出対象の接触圧に応じて、上記補助画像の表示形態を変化させてもよい。
上記入力デバイスは、入力操作面に対する検出対象による接触圧（押し込み力）を検出することができ、その情報をＨＭＤによる操作画像に反映することが可能となる。これにより、ユーザは、より多様な操作が可能となる。

また、上記センサ部は、上記入力操作面上における上記検出対象の動きを検出し、上記ヘッドマウントディスプレイは、検出された上記検出対象の動きに応じて移動する上記補助画像を表示してもよい。

上記入力デバイスは、上記入力操作面に画像を表示させる表示素子をさらに有し、
上記ヘッドマウントディスプレイは、上記入力操作面に表示される画像に上記補助画像を重畳させた画像を上記操作画像として表示してもよい。

上記目的を達成するため、本技術の一形態に係る情報表示装置は、入力デバイスと、ヘッドマウントディスプレイとを具備する。
上記入力デバイスは、入力操作面と、上記検出対象による上記入力操作面への接触を検出するセンサ部と、を有する。
上記ヘッドマウントディスプレイは、ユーザに提示される画像を形成する画像表示素子と、上記センサ部の出力に基づいて上記入力操作面上の上記検出対象の座標位置を算出する演算部と、上記演算部で算出された上記検出対象の座標位置に基づき、上記画像に検出対象の位置を示す補助画像が重畳した操作画像を上記画像表示素子に形成させる表示処理部と、を有する。

上記情報表示装置は、入力デバイスの構成を単純なものとすることができる。これにより、入力デバイスの軽量化等が実現でき、長時間の操作においても疲労感の少ない情報表示装置を提供することができる。

以上のように、本技術によれば、ユーザの直感に即し、優れた操作性を有するヘッドマウントディスプレイ及び情報表示装置を提供することが可能となる。

本技術の第１の実施形態に係る情報処理装置を示す模式的な斜視図である。 本技術の第１の実施形態に係る入力デバイスの内部構成を示すブロック図である。 本技術の第１の実施形態に係るヘッドマウントディスプレイ（ＨＭＤ）の内部構成を示すブロック図である。 本技術の第１の実施形態に係る情報処理装置の一動作例におけるフローチャートである。 本技術の第１の実施形態に係る情報表示装置の典型的な動作例を説明する図であり、（Ａ）は、ユーザが入力操作を行っている入力デバイスの入力操作面を示し、（Ｂ）は、ＨＭＤを介してユーザに提示される操作画面を示す。 本技術の第２の実施形態に係る情報表示装置の一動作例を示すフローチャートである。 本技術の第３の実施形態に係る入力デバイスの内部構成を示すブロック図である。 本技術の第３の実施形態に係るＨＭＤの内部構成を示すブロック図である。 本技術の第３の実施形態に係る情報表示装置の典型的な動作例を説明する図であり、（Ａ）は、ユーザが入力操作を行っている入力デバイスの入力操作面を示し、（Ｂ）は、ＨＭＤを介してユーザに提示される操作画面を示す。 本技術の第４の実施形態に係るＨＭＤの内部構成を示すブロック図である。 本技術の第５の実施形態において、指による接触圧に応じてＨＭＤの画像上の補助画像が大きくなる例を示す図であり、（Ａ）は、ユーザの指が入力操作面に軽く接触した態様を示し、（Ｂ）は、その際のＨＭＤの操作画像を示す。 本技術の第５の実施形態において、指による接触圧に応じてＨＭＤの画像上の補助画像が大きくなる例を示す図であり、（Ａ）は、ユーザの指が入力操作面上に押し込まれた態様を示し、（Ｂ）は、その際のＨＭＤの操作画像を示す。 本技術の第５の実施形態に係る操作画像の一例を示す図であり、指による接触圧に応じてＨＭＤの画像上の補助画像の色が変化する例を示す。 本技術の第５の実施形態に係る操作画像の一例を示す図であり、指による接触圧に応じてＨＭＤの画像上の補助画像の色が変化する例を示す。 本技術の第２の実施形態の変形例を示す図であり、（Ａ）は、ユーザが入力操作面上で２本の指を押し込みつつこれらの距離を広げた態様を示し、（Ｂ）は、この際に操作画像が拡大する態様を示す。 本技術の第２の実施形態の変形例を示す図であり、（Ａ）は、ユーザが入力操作面上で２本の指を押し込みつつこれらの距離を狭めた態様を示し、（Ｂ）は、この際に操作画像が縮小する態様を示す。

以下、本技術に係る実施形態を、図面を参照しながら説明する。

＜第１の実施形態＞
［情報表示装置］
図１は、本技術の一実施形態に係る情報表示装置を示す模式的な斜視図である。本実施形態の情報表示装置１００は、ヘッドマウントディスプレイ（ＨＭＤ）１と、入力デバイス２とを有する。

ＨＭＤ１は、本実施形態において、透過型ＨＭＤとして構成される。ＨＭＤ１は、全体としてメガネ型の形状を有し、ユーザが頭部に装着して外界を視認しつつ、入力デバイス２から出力された情報に基づく画像をユーザに提示させることが可能に構成される。

入力デバイス２は、無線でＨＭＤ１と通信可能に接続されているが、ケーブル等によって有線でＨＭＤ１と通信可能に構成されてもよい。本実施形態では、入力デバイス２は、例えばタッチパネルを有する携帯端末で構成され、インターネット等にも接続されることが可能に構成される。また、入力デバイス２は、ＨＭＤ１のいわゆるリモートコントローラとして機能し、ＨＭＤ１の各種設定等に関する入力操作が可能に構成されることも可能である。

以下、入力デバイス２及びＨＭＤ１について説明する。

［入力デバイス］
入力デバイス２は、例えばユーザが把持できる大きさの筐体２Ａを有する。筐体２Ａは、ｘ軸方向に長手方向、ｙ軸方向に短手方向、ｚ軸方向に厚み方向を有する略直方体であり、筐体２Ａの一方の表面には入力操作面２１が形成されている。入力操作面２１は、ｘ軸及びこれに直交するｙ軸に座標軸を有する２次元的な座標系に属し、ｘ軸方向に平行な長辺と、ｙ軸方向に平行な短辺とを有する、ｚ軸に垂直な矩形状を有する。

入力デバイス２は、例えばユーザの手指を検出対象とし、入力操作面２１上における指のｘｙ座標位置及びその変化を検出する機能を有する。入力デバイス２はさらに、指による入力操作面２１のｚ軸方向の撓み量、すなわち接触圧を検出する機能を有する。これにより、入力操作面２１上における指の移動方向、移動速度、移動量等とともに、指による入力操作面２１へのｚ軸方向の接触圧が取得される。なお、検出対象はユーザの指に限られず、スタイラス等とすることもできる。

入力操作面２１は、本実施形態において、光透過性の表示カバー等で構成され、検出対象による入力操作が行われるとともに、画像を表示させる画面としての機能も有する。入力操作面２１は、例えば、筐体２Ａの表面に形成された開口部２１Ａを覆うように配置され、周縁が筐体２Ａに固定される。また、入力操作面２１は、所定以上の接触圧に対して撓み変形が可能なように、その材料、厚み及び大きさ等が設定される。入力操作面２１を構成する材料としては、例えば、アクリル樹脂、ポリカーボネート樹脂、ＰＥＴ（ポリエチレンテレフタレート）等の透明プラスチック板、ガラス板、セラミックス板等が採用される。

図２は、入力デバイス２の内部構成を示すブロック図である。入力デバイス２は、筐体２Ａと、入力操作面２１と、タッチセンサ２２と、感圧センサ２３と、表示素子２４と、制御部２５と、記憶部２６と、送受信器２７と、通信部２８と、バッテリＢＴとを有する。タッチセンサ２２と、感圧センサ２３とは、本実施形態において「センサ部」を構成する。

タッチセンサ２２は、入力操作面２１とほぼ同一の形状及び大きさのパネル形状を有する。タッチセンサ２２は、入力操作面２１の直下に配置され、入力操作面２１に接触する検出対象（指）を検出する。タッチセンサ２２は、入力操作面２１上の検出対象のｘｙ平面上での動きに対応する座標位置を検出し、その座標位置に応じた検出信号を出力する。

タッチセンサ２２は、本実施形態において、入力操作面２１に接触する検出対象を静電的に検出することが可能な静電容量方式のタッチパネルが用いられる。静電容量方式のタッチパネルは、プロジェクテッドキャパシティブ式（投影型）でもよいし、サーフェイスキャパシティブ式（表面型）でもよい。この種のタッチセンサ２２は、典型的には、ｙ軸方向に平行な第１の配線がｘ軸方向に複数配列されたｘ位置検出用の第１のセンサ２２ｘと、ｘ軸方向に平行な第２の配線がｙ軸方向に複数配列された位置検出用の第２のセンサ２２ｙとを有し、これら第１及び第２のセンサ２２ｘ，２２ｙはｚ軸方向に相互に対向して配置される。タッチセンサ２２は、例えば後述する制御部２５に含まれる駆動回路によって、第１及び第２の配線へ信号電流が順次供給される。

上記以外にも、タッチセンサ２２としては、検出対象の座標位置を検出できるセンサであれば特に限定されず、抵抗膜式、赤外線式、超音波式、表面弾性波式、音響波照合式、赤外線イメージセンサなどの種々のタイプが適用可能である。

感圧センサ２３としては、本実施形態において、検出対象による入力操作面２１のＺ軸方向の接触圧を静電的に検出することが可能な感圧センサが用いられる。感圧センサ２３は、例えば、入力操作面２１と筐体２Ａとの間に配置されｚ軸方向に対向する１対以上の電極を有し、入力操作面２１の撓みによって生じた電極間の静電容量の変化によって接触圧を検出する。また感圧センサ２３として、上記一対の電極間に弾性体が配置されたものが採用されてもよく、この場合、入力操作面２１への押圧操作に伴う上記弾性体の弾性変形によって生じた電極間の静電容量の変化によって上記接触圧が検出される。なお感圧センサ２３は、例えば後述する制御部２５に含まれる駆動回路によって駆動されることが可能である。

感圧センサ２３としては、上記の構成に限られない。例えば、圧電素子を用いた圧電センサや、ストレインゲージ等を用いることも可能である。

表示素子２４は、入力操作面２１及びタッチセンサ２２の直下に配置される。本実施形態における表示素子２４としては特に限られず、液晶ディスプレイや有機ＥＬディスプレイ等を用いることが可能である。これにより、入力操作面２１に文字や絵柄等の画像を表示させることが可能となる。

制御部２５は、典型的には、ＣＰＵ（Central Processing Unit）あるいはＭＰＵ（Micro-Processing Unit）で構成される。本実施形態において制御部２５は、演算部２５１と信号生成部２５２とを有し、記憶部２６に格納されたプログラムに従って各種機能を実行する。演算部２５１は、タッチセンサ２２及び感圧センサ２３から出力される電気的な信号に対して所定の演算処理を実行し、入力操作面２１に接触する検出対象の相対位置に関する情報を含む操作信号を生成する。信号生成部２５２は、これらの演算結果に基づいて、表示素子２４に画像を表示させるための画像信号を生成する。制御部２５は、タッチセンサ２２を駆動するための駆動回路を有し、本実施形態において当該駆動回路は演算部２５１に組み込まれる。

演算部２５１は、具体的には、タッチセンサ２２及び感圧センサ２３から出力される信号に基づいて、入力操作面２１上における指のｘｙ座標位置及び接触圧を算出する。さらに、演算部２５１は、上記算出結果に基づき、例えば、検出対象が所定のｘｙ座標位置にあることが検出され、さらに、その座標位置において所定の閾値以上の接触圧が検出された場合、その座標位置に対応するＧＵＩに割り当てられた所定の処理を実行する。演算部２５１によるこれらの処理結果は、信号生成部２５２に送信される。

信号生成部２５２では、演算部２５１から送信された処理結果に基づき、表示素子２４に表示させる画像を形成するための画像信号を生成する。この際、信号生成部２５２は、入力操作面２１上の画像の検出対象のｘｙ座標位置に対応する位置にポインタあるいは輝度、彩度の変化した領域等の補助画像を表示させる信号を生成することも可能である。また、信号生成部２５２は、検出対象の接触圧に応じて、補助画像の表示形態を変化させる信号を生成することも可能である。

制御部２５の演算部２５１で算出されたｘｙ座標位置及び接触圧に関する操作信号と、信号生成部２５２で生成された画像信号とは、送受信器２７を介してＨＭＤ１へ送信されるように構成される。また図示せずとも、入力装置２は、タッチセンサ２２や感圧センサ２３から出力される検出信号（アナログ信号）をデジタル信号に変換するＡ／Ｄコンバータや、デジタル信号をアナログ信号に変換するＤ／Ａコンバータを含む。

記憶部２６は、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）及びその他の半導体メモリ等で構成され、制御部２５による種々の演算に用いられるプログラム等を格納する。例えば、ＲＯＭは、不揮発性メモリで構成され、制御部２５にｘｙ座標位置及び接触圧の算出等の演算処理を実行させるためのプログラムや設定値を格納する。また、記憶部２６は、例えば不揮発性の半導体メモリによって、検出対象のｘｙ座標位置及び接触圧と、これらに対応して割り当てられた機能を実行するためのプログラム等を格納することが可能となる。さらに、半導体メモリ等に予め格納されたこれらのプログラムは、ＲＡＭにロードされ、制御部２５の演算部２５１によって実行されるようにしてもよい。

送受信器２７は、制御部２５によって生成された各種制御信号を、例えば無線でＨＭＤ１へ送信可能に構成される。また送受信器２７は、ＨＭＤ２から送信される所定の信号を受信可能に構成される。一方、通信部２８は、インターネット等の通信網と接続される。通信部２８は、例えばアプリケーション等の所定のプログラムを入力デバイス２にダウンロードする際に用いられる。通信部２８における情報の送受信は、ＬＡＮケーブル等を用いた有線によるものでもよいし、高速データ通信等の無線によるものでもよい。

バッテリＢＴは、入力デバイス２の電源を構成し、筐体２Ａ内部の各部へ必要な電力を供給する。バッテリＢＴは、一次電池でもよいし、二次電池でもよい。またバッテリＢＴは、太陽電池で構成されてもよい。さらに、入力デバイス２は、押圧により入力デバイス２の起動等を制御する図示しない外部スイッチを有することも可能である。

［ＨＭＤ］
ＨＭＤ１は透過型ＨＭＤであり、ユーザに外界を視認させつつ、その視野領域に所定の画像を提示することが可能に構成される。本実施形態に係るＨＭＤ１は、画像表示装置１１と、支持部１６とを有し、全体としてメガネ型の形状を有する。例えば、ＨＭＤ１として透過型のＨＭＤを採用することにより、入力デバイス２の操作中であっても外界を視認することが可能となり、操作中の安全性を向上させることができる。

支持部１６は、ユーザの頭部に装着されることが可能であり、装着時に、後述する画像表示素子１４がユーザの眼前に支持されるように構成される。支持部１６の形状は特に限られないが、本実施形態において、全体としてメガネ型の形状とすることができる。支持部１６は、例えば、ユーザの左右の耳に装着されることが可能なテンプル状構造を有する。支持部１６の鼻梁付近には、例えばノーズパッド１６１が取り付けられることも可能である。また、イヤホン１６２が支持部１６に装備されていてもよい。支持部１６を構成する材料は、例えば、金属や合金、プラスチック等を採用することができ、特に制限されない。

画像表示装置１１は、筐体１１Ａを含み、例えば支持部１６の所定位置に配置される。画像表示装置１１の配置は特に制限されず、例えば、筐体１１Ａが、ユーザの視野領域に含まれないように、ユーザの左右の目の外側に配置される。

図３は、画像表示装置１１の内部構成を示すブロック図である。画像表示装置１１は、本実施形態において、筐体１１Ａと、送受信器（受信部）１２と、制御部１３と、画像表示素子１４と、記憶部１５とを有する。本実施形態においては、制御部１３が「表示処理部」を構成する。

送受信器１２は、入力デバイス２の送受信器２７から出力され、入力操作面２１に接触する検出対象のｘｙ座標位置及び接触圧に関する情報を含む操作信号を受信する。さらに、入力デバイス２の入力操作面２１に表示される画像の画像信号を受信することも可能である。上記信号の伝送方法は特に限定されない。例えば、無線通信として、「Wi Fi」（登録商標）、「ZigBee」（登録商標）、「Bluetooth」（登録商標）などの機器間通信、またインターネットを経由した通信等を用いることができる。また、ＵＳＢ（Universal Serial Bus）、ＨＤＭＩ（登録商標）等を介した有線によるものでも可能である。

制御部１３は、典型的には、ＣＰＵあるいはＭＰＵで構成され、記憶部１５に格納されたプログラムに従って各種機能を実行する。本実施形態において制御部１３は、送受信器１２により受信された操作信号及び画像信号に基づき、ユーザに提示される画像を画像表示素子１４に形成させるための制御信号を生成する。これにより、例えば入力操作面２１に表示された画像と同様の画像に、検出対象の位置を示す補助画像が重畳した操作画像を、画像表示素子１４に表示させることが可能となる。補助画像の形状は特に限られず、例えば環状（リング状）のポインタ、あるいは輝度、彩度の変化した領域等で構成される。

画像表示素子１４は、本実施形態において、液晶表示素子（ＬＣＤ）１４１と、光学系１４２とを有し、ＬＣＤ１４１によって形成された画像を、光学系１４２を介してユーザに提示するように構成される。

ＬＣＤ１４１は、複数の画素がマトリクス状に配置されている。ＬＣＤ１４１は、ＬＥＤ（発光ダイオード）等からなる図示しない光源から入射される光を、制御部１３によって生成された制御信号に応じて画素毎に変調し、ユーザに提示される画像を形成する光を出射する。ＬＣＤ１４１は、例えば、Ｒ（赤），Ｇ（緑），Ｂ（青）の各色に対応する画像光を同時に出射する単板方式でもよいし、各色に対応する画像光を個々に出射する３板方式でもよい。

光学系１４２は、ＬＣＤ１４１から出射された光を偏向し、ユーザの目に導くことが可能に構成される。光学系１４２は、例えば、全反射による導光が可能な透明基板からなる導光板と、回折反射が可能な反射型体積ホログラム回折格子等とで構成されることができる。導光板は、例えば、矩形または円形の平板形状等で形成され、メガネのレンズのようにユーザの眼前に配置される。ホログラム回折格子等は、導光板内に適宜配置され、ＬＣＤ１４１から出射される光を反射させ、ユーザの目に導くことが可能に作製される。また、ホログラム回折格子以外にも、例えば反射板等を採用することができる。

このような構成の光学系１４２は、ＬＣＤ１４１から出射された光が所定位置で反射されることで、ユーザの視野領域に操作画像を提示することが可能となる。また、導光板が透明基板で形成されることによって、ユーザに外界を視認させつつ、操作画像を視野領域内に重畳的に提示することが可能となる。

記憶部１５は、ＲＡＭ、ＲＯＭ及びその他の半導体メモリ等で構成され、制御部１３による種々の演算に用いられるプログラム等を格納する。

スピーカ１７は、入力デバイス２より送信され、あるいは制御部１３等によって生成された電気的な音声信号を物理的な振動に変換し、イヤホン１６２を介してユーザに音声を提供する。なお、スピーカ１７の構成は特に限られない。

なお、画像表示装置１１は、両目に対応して２個配置される構成に限られない。例えば、左右一方の目のみに対応して１個配置される構成とすることも可能である。

［情報表示装置の動作例］
次に、情報表示装置１００の基本的な動作例について説明する。

図４は、ＨＭＤ１（制御部１３）及び入力デバイス２（制御部２５）の一動作例におけるフローチャートである。図５は、情報表示装置１００の典型的な動作例を説明する図であり、（Ａ）は、ユーザが入力操作を行っている入力デバイス２の入力操作面２１を示し、（Ｂ）は、ＨＭＤ１を介してユーザに提示される操作画面を示す。ここでは、ユーザがＨＭＤ１を装着し、入力デバイス２の入力操作面２１上の所定位置で押し込み操作を行った際の情報表示装置１００の動作例を示す。なお、図中のＸ軸方向及びＹ軸方向は、入力操作面２１のｘ軸方向及びｙ軸方向にそれぞれ対応し、いずれも直交する平面方向を示す。Ｚ軸方向は、入力操作面２１のｚ軸方向に対応し、Ｘ軸方向及びＹ軸方向にそれぞれ直交する方向を示す。

起動された入力デバイス２の入力操作面２１上には、例えば、ＧＵＩが多数表示された画像ｖ１が表示されている（図５（Ａ））。画像ｖ１は、例えばＨＭＤ１の各種設定のメニュー選択画面であり、各ＧＵＩは、ＨＭＤ１の消音モードへの切り替え、音量調節、操作画像の拡大・縮小あるいはポインタの表示形態の変更等に対応している。すなわち、入力デバイス２は、ユーザによって特定のＧＵＩが選択されることで、ＨＭＤ１の設定を変更することが可能に構成される。

この際、入力デバイス２と接続され、起動されたＨＭＤ１を装着したユーザにも、ＨＭＤ１を介して視野領域に画像ｖ１と同様の画像Ｖ１が提示される。

入力デバイス２は、タッチセンサ２２によって入力操作面２１上でのユーザの指（検出対象）の接触を判定する（ステップＳＴ１０１）。接触が検出された際（ステップＳＴ１０１でＹＥＳ）、タッチセンサ２２は、指が接触した入力操作面２１上のｘｙ座標位置に関する検出信号を制御部２５へ出力する。

制御部２５の演算部２５１は、上記検出信号に基づいて、入力操作面２１上における指のｘｙ座標位置を算出する（ステップＳＴ１０２）。演算部２５１によって算出されたｘｙ座標位置に関する信号は、送受信器２７に出力される。

送受信器２７は、ＨＭＤ１の送受信器１２に上記ｘｙ座標位置に関する操作信号を送信する。

ＨＭＤ１の制御部１３は、送受信器１２で受信した操作信号及び画像信号に基づいて、画像Ｖ１に検出対象の位置を示す補助画像（ポインタＰ）が重畳した操作画像Ｖ１０を制御する信号を生成する。この制御信号が出力された画像表示素子１４は、ユーザに操作画像Ｖ１０を提示する（ステップＳＴ１０３、図５（Ｂ））。これにより、ユーザは、手元の入力操作面２１を見ずとも、ＨＭＤ１によって提示される操作画像Ｖ１０上のポインタＰの動きを確認することで、所望の操作を行うことが可能となり、ユーザの直感に即した操作を行うことが可能となる。なお、この際、入力操作面２１に表示される画像は、画像ｖ１のみであってもよいし、画像ｖ１にポインタ等が重畳された画像であってもよい。

また、ユーザの指が入力操作面２１上で接触しつつ移動した場合（図５（Ａ）（Ｂ）における矢印参照）、経時的に変化するｘｙ座標位置の情報がタッチセンサ２２によって取得される。この情報は、入力デバイス２の制御部２５によって操作信号として処理され、送受信器２７、１２を介してＨＭＤ１の制御部１３へ出力される。これにより、制御部１３は、上記操作信号に基づき、ポインタＰを移動させるような制御信号をＬＣＤ１４１に出力することができ、ユーザの指の移動に応じて、画像Ｖ１の表示領域におけるポインタＰを移動させることが可能となる。

入力デバイス２の制御部２５は、算出されたｘｙ座標位置に最も近いＧＵＩ（以下、選択ＧＵＩとする）を選択候補とする（ステップＳＴ１０４）。これに対応して、入力操作面２１及びＨＭＤ１に表示される画像ｖ１、Ｖ１０の選択候補のＧＵＩは、例えば枠の色彩等の表示形態を変化させてもよい。またユーザは、ＨＭＤ１によって表示された画像Ｖ１０を視認することで、選択候補のＧＵＩを確認することが可能となる。

制御部２５は、経時的に指と入力操作面２１との接触状態を判定する（ステップＳＴ１０５）。ここで、ユーザが入力操作面２１から指を離間させると、タッチセンサ２２は、指が接触していないときの信号を出力する。制御部２５は、当該タッチセンサ２２の出力に基づいて、入力操作面２１と指との非接触を判定する（ステップＳＴ１０５でＹＥＳ）。この場合は、ＨＭＤ１の操作画像Ｖ１０からポインタＰが消滅し、画像Ｖ１に戻る。

一方、ユーザが入力操作面２１から指を離間させていない場合、タッチセンサ２２は、指が接触しているときの信号を出力する。制御部２５は、当該タッチセンサ２２の出力に基づいて、ユーザの指が入力操作面２１に接触していると判定し（ステップＳＴ１０５でＮＯ）、その後、感圧センサ２１の出力に基づいて入力操作面２１に対する指の接触圧を検出する（ステップＳＴ１０６）。

選択候補ＧＵＩは、当該選択候補ＧＵＩの表示位置に対するユーザの押圧操作によって選択（決定）される。制御部２５は、感圧センサ２３の出力に基いて、演算部２５１において接触圧を算出する。ここで、算出された接触圧が所定の閾値以上の場合（ステップＳＴ１０６でＹＥＳ）、制御部２５は、当該選択候補のＧＵＩを選択ＧＵＩとして判定し、記憶部２６に格納されたこの選択ＧＵＩに対応するコード情報を取得する（ステップＳＴ１０７）。

一方、制御部２５は、算出された接触圧が所定の閾値未満の場合（ステップＳＴ１０６でＮＯ）、選択候補のＧＵＩは選択されなかったものと判定する。この場合、制御部２５は、ステップＳＴ１０５へ戻り、上述した処理を繰り返す。

さらに、制御部２５は、取得した上記コード情報を、送受信器２７を介してＨＭＤ１へ送信する（ステップＳＴ１０８）。ＨＭＤ１の制御部１３は、送受信器１２を介して受信した上記コード情報に基づき、選択ＧＵＩに対応する処理を実行する。この処理は、例えば記憶部１５に格納されたプログラム等に基づいて実行される。例えば、選択ＧＵＩに対応する機能が「消音モードへの切り替え」であった場合、制御部１３は、当該ＧＵＩに対応するコード情報に基づいて処理を実行することにより、ＨＭＤ１の設定を消音モードに切り替えることが可能となる。

また、ステップＳＴ１０７で取得されたコード情報が、例えば音量調整等であれば、制御部１３は、このコード情報に基づく画像制御信号を生成し、画像表示素子１４へ出力することもできる。これにより、ＨＭＤ１を装着したユーザには、例えば音量調節バー等が重畳された新たな操作画像（図示せず）が提示される。この場合は、制御部１３で生成された画像制御信号が送受信器１２から入力デバイス２へ出力されることもできる。これにより、入力デバイス２の入力操作面２１上においても、ＨＭＤ１によって提示される新たな操作画像と同様の画像を表示させることが可能となる。

本実施形態においては、入力デバイス２が感圧センサ２３を有している。したがって、ユーザが入力操作面２１上で指を押し込むことにより、入力デバイス１及びＨＭＤ１に対し、所望のＧＵＩに対応する処理を実行させること等が可能である。これによって、例えば入力デバイス２が鞄やポケット等の内部にある場合でも、これらに入れたまま外側から入力操作することも可能であり、利便性を向上させることができる。また、入力操作面２１への接触操作と押し込み操作とを組み合わせることで、多彩な操作を行うことが可能となる。

また、入力操作面２１上への接触と、押し込みとを組み合わせて上記操作を行うことにより、接触のみで容易にＧＵＩが選択されることがなく、誤動作を防止することが可能となる。

さらに、ＨＭＤ１によって、入力デバイス２の入力操作面２１に表示される画像よりも大きな画像を見ながら操作することが可能となるため、小さな画面が見づらい高齢者等にとっても携帯端末の使用を容易にすることが可能となる。

また、本実施形態においては、入力デバイス２の入力操作面２１にも画像ｖ１が表示さされる。これにより、入力デバイス２がＨＭＤ１に専用の機器に限定されず、タッチパネルディスプレイを搭載した携帯端末を接続して利用することが可能である。したがって、この場合は、当該携帯端末の豊富なアプリケーションを利用しつつ、ＨＭＤ１の上記作用効果を享受することが可能となる。

＜第２の実施形態＞
図６は本技術の第２の実施形態に係る情報表示装置の一動作例を示すフローチャートである。本実施形態では、第１の実施形態の構成および作用と同様な部分についてはその説明を省略または簡略化し、第１の実施形態と異なる部分を中心に説明する。

本実施形態においても、ＨＭＤ１によってユーザに提示される操作画像及び入力操作面２１上に表示される画像は、例えば、多数のＧＵＩが配置されたメニュー選択画像であるとして説明する。第１の実施形態と異なる点は、ステップＳＴ２０７〜２１２において、制御部２５が、ユーザに提示される操作画像中の補助画像（ポインタＰ）及び選択したＧＵＩを所望の位置に移動させ、ＧＵＩの配置を変更等することが可能な点である。すなわち、本実施形態によれば、「ドラッグ アンド ドロップ」の操作が可能となる。

図６のステップＳＴ２０１〜２０６は、それぞれ図５のステップＳＴ１０１〜１０６に対応するため、簡略に説明する。まず、制御部２５が、ユーザの指による入力操作面２１上への接触を検出し（ステップＳＴ２０１でＹＥＳ）、指の接触したｘｙ座標位置を算出する（ステップＳＴ２０２）。当該ｘｙ座標位置に基づいて、ＨＭＤ１の制御部１３は、画像Ｖ１上にポインタＰを表示させる（ＳＴ２０３）。

一方、入力デバイス２の制御部２５は、当該ｘｙ座標位置に最も近いＧＵＩを選択候補とする（ステップＳＴ２０４）。制御部２５は、タッチセンサ２２からの出力によって指の接触状態を判定し（ステップＳＴ２０５でＮＯ）、感圧センサ２３から出力されるｚ軸方向の接触圧が閾値以上であると判定した場合（ステップＳＴ２０６でＹＥＳ）、閾値以上の接触圧が所定時間以上出力されるか否かを判定する（ステップＳＴ２０７）。

ここで、所定時間以下の場合は（ステップＳＴ２０７でＮＯ）、制御部２５は、ステップＳＴ２０６へ戻り、上述した処理を繰り返す。

一方、上記接触圧が一定時間以上検出された場合は（ステップＳＴ２０７でＹＥＳ）、制御部２５は選択候補のＧＵＩをドラッグ可能なＧＵＩ（以下ドラッグ可能ＧＵＩとする）と判定する（ステップＳＴ２０８）。

制御部２５は、入力操作面２１上での指の移動に伴い、タッチセンサ２２から検出されるｘｙ座標位置を経時的に算出する（ステップＳＴ２０９）。さらに、この信号が送受信器２７を介してＨＭＤ１の制御部１３に経時的に出力される。制御部１３は、ｘｙ座標位置の変化に基づき、画像Ｖ１０上でポインタＰとドラッグ可能ＧＵＩとを移動させるような画像信号を生成する（ステップＳＴ２１０）。

上記移動の際、制御部２５は、感圧センサ２３から出力される接触圧を経時的に算出し、その接触圧が閾値以上であるか判定し続ける（ステップＳＴ２１１でＹＥＳ）。ここで、制御部２５は、接触圧が閾値未満であり（ステップＳＴ２１１でＮＯ）、さらに指の非接触を判定した場合（ステップＳＴ２１２でＹＥＳ）、ドラッグ可能ＧＵＩを「ドロップ」する処理を実行する（ステップＳＴ２１３）。ドラッグ可能ＧＵＩがドロップされる位置は、制御部２５によって接触圧が閾値未満であると判定された（ステップＳＴ２１１でＮＯ）時点での、ｘｙ座標位置に対応する位置である。

一方で、制御部２５が非接触を判定しなければ（ステップＳＴ２１４でＮＯ）、制御部２５は、ステップＳＴ２０６に戻り、再度感圧センサ２３から出力される接触圧が閾値以上であるか判定する。

以上より、本実施形態に係る情報表示装置１００によって、ユーザは、手元の入力操作面２１を確認せず、ＨＭＤ１の操作画像のみを注視することによって、操作画像中のＧＵＩ、フォルダ等を移動させることができる。すなわち、タッチセンサ２２と感圧センサ２３との出力とによって、「ドラッグ アンド ドロップ」操作を行うことが可能となり、ユーザの操作性をより向上させることが可能となる。

＜第３の実施形態＞
図７〜９は、本技術の第３の実施形態を説明する図である。図７は本実施形態に係る入力デバイスの内部構成を示すブロック図であり、図８は、本実施形態のヘッドマウントディスプレイに係る画像表示装置の内部構成を示すブロック図である。図９は、情報表示装置の典型的な動作例を説明する図であり、（Ａ）は、ユーザが入力操作を行っている入力デバイスの入力操作面を示し、（Ｂ）は、ＨＭＤを介してユーザに提示される操作画面を示す。本実施形態では、第１の実施形態の構成および作用と同様な部分についてはその説明を省略または簡略化し、第１の実施形態と異なる部分を中心に説明する。

本実施形態の入力デバイス２０は、表示素子及び制御部を有さず、入力操作面２１０には画像が表示されない点で、上述の第１の実施形態と異なる。すなわち、タッチセンサ２２０によるｘｙ座標位置の検出信号と、感圧センサ２３０による接触圧の検出信号とが、操作信号として、送受信器２７０を介してＨＭＤ１０へ送信されることが可能に構成される。これにより、図９（Ａ）のように、入力操作面２１０には画像が表示されず、入力デバイス２０は、いわゆるタッチパネルのみ有する構成とすることができる。すなわち、本実施形態に係る入力デバイス２０は、ＨＭＤ１０に専用のリモートコントローラとすることが可能である。

入力デバイス２０の入力操作面２１０は、本実施形態において、検出対象による入力操作が行われるのみであるため、光透過性を有しない材料で構成することが可能である。これにより、第１の実施形態で列挙した材料に加えて、例えば、所定以上の接触圧に対して撓み変形が可能な合成樹脂等を採用することができる。

ＨＭＤ１０の画像表示装置１１０に係る制御部１３０は、本実施形態において、演算部１３１と表示処理部１３２とを有する。演算部１３１では、タッチセンサ２２０によるｘｙ座標位置の検出信号と、感圧センサ２３０による接触圧の検出信号とから、ｘｙ座標位置及び接触圧をそれぞれ算出する。表示処理部１３２では、演算部１３１から入力された処理結果に基づき、画像表示素子１４０に表示させる画像を形成するための画像信号を生成する。この際、表示処理部１３２は、入力操作面２１０上の画像の検出対象のｘｙ座標位置に対応する位置にポインタ等の補助画像を表示させる信号を生成することも可能である。これにより、図９（Ｂ）に示されるように、ＨＭＤ１０は、第１の実施形態に係る操作画像Ｖ１０と同様の操作画像Ｖ３０をユーザに表示することが可能となる。

さらに、ＨＭＤ１０によってユーザに提示される画像は、インターネット等から入力デバイス２０の通信部２８０を介して取得されることも可能である。また、ＨＭＤ１０に通信部１７０を設けて、ＨＭＤ１０によって直接取得された情報に基づいて画像を生成することも可能である。

本実施形態においては、入力デバイス２０の構成を簡略化することが可能である。これにより、入力デバイス２０を小型化、軽量化することが可能となり、長時間のタッチ操作でも疲れにくく、持ち運びも容易な入力デバイス２０を提供することが可能となる。

＜第４の実施形態＞
図１０は、本技術の第４の実施形態に係る入力デバイスの内部構成を示すブロック図である。本実施形態では、第１の実施形態の構成および作用と同様な部分については同一の符号を付してその説明を省略または簡略化し、第１の実施形態と異なる部分を中心に説明する。

本実施形態に係る入力デバイス２００は、感圧センサを有さない点で上述の第１の実施形態と異なる。すなわち、本実施形態において、入力デバイス２００は、タッチセンサ２２００によって、入力操作面２１上の検出対象のｘｙ平面上での動きに対応する座標位置を検出するとともに、接触圧を検出することが可能に構成される。タッチセンサ２２００は、本実施形態において、「センサ部」を構成する。

タッチセンサ２２００としては、例えば、第１の実施形態と同様に、入力操作面２１に接触する検出対象を静電的に検出することが可能な静電容量方式のタッチパネルを用いることができる。タッチセンサ２２００は、入力操作面２１上の検出対象のｘｙ平面上での動きに対応する座標位置を検出し、その座標位置に応じた検出信号を制御部２５００へ出力する。さらに、タッチセンサ２２００は、例えば検出対象により当該座標位置において押圧操作がなされた場合、検出対象の接触圧に応じた静電容量又はその変化量を検出する。これにより、タッチセンサ２２００は、当該座標位置における接触圧に応じた検出信号を出力することが可能となる。

なお上記以外にも、例えば抵抗膜式のタッチパネルを用いることも可能である。抵抗膜式のタッチセンサ２２００は、典型的には、入力操作面２１の直下に所定の間隙を介して対向配置される２枚の透明電極等を有し、検出対象の接触圧に応じた大きさの電圧（接触抵抗）を出力する。これによって、制御部２５００は、検出対象による接触圧を算出することが可能となる。また、抵抗膜式の他にも、本実施形態に係るタッチセンサとして、赤外線式、超音波式、表面弾性波式、など種々のタッチパネルセンサを適用することが可能である。

制御部２５００は、演算部２５１０において、タッチセンサ２２００からの出力に基づき、検出対象のｘｙ座標位置及びその位置での接触圧を算出することが可能に構成される。

以下、入力デバイス２００（制御部２５００）の一動作例について簡略に説明する。ここでは、第１の実施形態で説明した動作例と同様に、ユーザによって入力操作面２１及びＨＭＤ１に表示される画像上の特定のＧＵＩが選択される例について示す。

まず、制御部２５００は、タッチセンサ２２００からのｘｙ座標位置の検出信号を取得する。これにより、制御部２５００は、ｘｙ座標位置に最も近いＧＵＩ等を選択候補ＧＵＩ等と判定する（図４ステップＳＴ１０４参照）。

続いて、制御部２５００は、タッチセンサ２２００から出力される静電容量の変化量を接触圧の検出信号として、当該変化量が所定の閾値以上であるか判定する（図４ステップＳＴ１０６参照）。閾値以上の場合は、第１の実施形態と同様に、選択ＧＵＩ等に対応する処理の実行等を行う（図４ステップＳＴ１０７参照）。

一方、制御部２５００は、タッチセンサ２２００から出力される静電容量値あるいはその変化量自体を接触圧の検出信号として、静電容量値が所定の閾値以上であるか判定するよう構成されることも可能である。

以上のような構成の入力デバイス２００を有する情報表示装置は、低コスト化及び生産性の向上等に貢献することができ、かつ、入力デバイス２００を軽量化、小型化させることが可能となる。

＜第５の実施形態＞
図１１〜１４は本技術の第４の実施形態を説明する図である。本実施形態では、第１の実施形態の構成および作用と同様な部分については同一の符号を付すとともにその説明を省略または簡略化し、第１の実施形態と異なる部分を中心に説明する。

本実施形態においては、入力操作面２１に対する検出対象（指）の接触圧に応じて補助画像（ポインタ）Ｐ４（Ｐ４１１〜４２２）の表示形態を変化させる点で第１の実施形態と異なる。

図１１、１２は、指による接触圧に応じて画像Ｖ４上の環状のポインタＰ４１１が大きくなる例を示している。例えば、ユーザの指が入力操作面２１に軽く接触した場合（図１１（Ａ））、所定の大きさでポインタＰ４１１が重畳された操作画像Ｖ４１１が表示される（図１１（Ｂ））。さらにその状態から、ユーザが入力操作面２１２に対して指を押し込んだ場合（図１２（Ａ））、ポインタＰ４１１よりも大きなポインタＰ４１２が画像Ｖ４上に重畳された操作画像Ｖ４１２が表示される（図１２（Ｂ））。

情報表示装置１００の動作としては、例えば、制御部２５は、感圧センサ２３によって取得された接触圧が所定の閾値以上であると判定した場合、その情報をＨＭＤ１の制御部１３に出力する。これにより、制御部１３は、接触圧に応じた大きさのポインタを表示させる制御信号を生成する。その結果、操作画像Ｖ４１１，４１２には、接触圧に応じた大きさのポインタＰ４１１、Ｐ４１２が入力操作面２１の指の接触位置に対応する位置に表示される。

また、図１３、１４は、指による接触圧に応じて、画像Ｖ４上の環状のポインタＰ４２１、Ｐ４２２の色が変化する例を示している。例えば、入力操作面２１上にユーザの指が軽く接触した場合、ポインタＰ４２１が黒色の操作画像Ｖ４２１となり（図１３）、さらにその状態からユーザが入力操作面２１２に対して指を押し込んだ場合、灰色のポインタＰ４２２が画像Ｖ４上に重畳された操作画像Ｖ４２２が表示される（図１４）。

また、指による接触圧に応じて、画像Ｖ４上の環状のポインタＰ４の透過率が変化するように構成されることも可能である。

以上のような情報表示装置１００によって、ユーザは、自身の押し込み量（接触圧）を視覚的に確認することができる。これにより、ユーザは、ＨＭＤ１による操作画像を確認することで、接触と押し込みとを組み合わせた操作をより正確に行うことが可能となる。

以上、本技術の実施形態について説明したが、本技術はこれに限定されることはなく、本技術の技術的思想に基づいて種々の変形が可能である。

例えば、図１５、１６は第２の実施形態の変形例を説明する図である。情報表示装置１００は、入力デバイス２のタッチセンサ２２及び感圧センサ２３が入力操作面２１上の２箇所以上の接触位置をそれぞれ検出することが可能に構成されている。さらに、これらの指を入力操作面２１へ押し込みつつ移動させることにより、画像Ｖ２１、２２を拡大または縮小させる、いわゆる「ピンチズーム」の操作を行うことが可能となる。

例えば、制御部２５が、感圧センサ２３によって取得された接触圧を所定の閾値以上と判定した際は、「ピンチズーム」を開始する。例えば、図１５（Ａ）のように、ユーザが入力操作面２１上で２本の指を押し込みつつこれらの距離を広げた場合、図１５（Ｂ）のように、検出された距離及びその変化に応じて、画像Ｖ２１を拡大することが可能となる。一方、図１６（Ａ）のように、ユーザが入力操作面２１１上で２本の指を押し込みつつこれらの距離を狭めた場合、図１６（Ｂ）のように、検出された距離及びその変化に応じて、画像Ｖ２２を縮小することが可能となる。

以上のように、上記変形例によれば、入力操作面２１を見ずに画像の表示領域を変化させることが可能となる。これにより、例えば画像Ｖ２１が小さくて見にくい場合は、表示領域を大きくすることが容易となる。さらに、外界に注視したい場合は、画像Ｖ２２を小さくすることにより、外界をより視認しやすくすることも可能となる。したがって、ユーザにとって長時間の装着でもより使用しやすい情報表示装置１００を提供することが可能となる。

また、同様の「ピンチズーム」操作によって、表示領域の拡大、縮小のみならず、画像の一部（例えば特定のコマンド等）の拡大、縮小も行うことが可能となる。

例えば、第１の実施形態の変形例として、入力操作面２１上の指の位置に対応する領域の輝度、彩度等を変化させた操作画像を形成することも可能である。この場合、「補助画像」は、輝度、彩度等を変化させた領域の画像とすることができる。

上記変形例における情報表示装置１００の具体的な動作例について説明する。例えば、制御部２５は、タッチセンサ２２からの検出信号に基づいて、入力操作面２１上における指のｘｙ座標位置を算出し、その情報をＨＭＤ１の制御部１３へ出力する。制御部１３は、その情報に基づいて、対応するＸＹ座標位置の輝度、彩度を変化させる制御信号を生成する。

これにより、ＨＭＤ１は、指の接触位置に対応する領域と他の領域とで輝度、彩度等が異なる操作画像をユーザに提示することが可能となる。したがって、上記変形例によっても、ユーザは、ＨＭＤ１によって表示された操作画像を視認することで、入力操作面上の指等の接触位置を確認することが可能となる。

例えば、以上の実施形態において、入力デバイスがユーザが把持して使用する携帯端末等であると説明したが、これに限られない。例えば、ユーザの手首に装着される腕時計型であってもよいし、ユーザの腕に装着されるリストバンド型であってもよい。また、衣服に装着または付着する形態であってもよい。このように、本技術においては、入力操作面に対して検出対象が接触することができる機器であれば、様々な形態の入力デバイスを用いることが可能である。

また、以上の実施形態では透過型のＨＭＤとして説明したが、これに限られず、非透過型のＨＭＤとすることも可能である。この場合も、ユーザは、ＨＭＤによって提示される画像を視認しつつ操作を行うことによって、入力デバイスの入力操作面を見ずとも直感に即した操作が可能となる。

また、ＨＭＤに撮像素子を搭載し、外部を撮影可能に構成することもできる。これにより、例えば撮影した画像をＨＭＤ及び入力デバイスに表示させることも可能となる。

以上の実施形態においては、ポインタの形状を環状の例で説明したが、勿論これに限られない。例えば、矢印、三角形、四角形、円形等の任意の形状を採用することが可能である。

なお、本技術は以下のような構成も採ることができる。
（１）入力デバイスから出力される、入力操作面に接触する検出対象の相対位置に関する情報を含む操作信号を受信する受信部と、
ユーザに提示される画像を形成する画像表示素子と、
上記操作信号に基づき、上記画像に上記検出対象の位置を示す補助画像が重畳した操作画像を、上記画像表示素子に表示させる表示処理部と
を具備するヘッドマウントディスプレイ。
（２）上記（１）に記載のヘッドマウントディスプレイであって、
上記受信部は、上記入力デバイスから出力される画像信号をさらに受信し、
上記表示処理部は、上記画像信号に基づき、上記画像を上記画像表示素子に表示させる
ヘッドマウントディスプレイ。
（３）上記（１）または（２）に記載のヘッドマウントディスプレイであって、
上記表示処理部は、上記操作信号に基づき、上記画像の表示領域において上記補助画像を移動させる
ヘッドマウントディスプレイ。
（４）上記（１）から（３）のうちいずれか１つに記載のヘッドマウントディスプレイであって、
上記操作信号は、上記入力操作面に対する上記検出対象の接触圧に関する情報を含み、
上記表示処理部は、上記入力操作面に対する上記検出対象の接触圧に応じて上記補助画像の表示形態を変化させる
ヘッドマウントディスプレイ。
（５）上記（３）または（４）に記載のヘッドマウントディスプレイであって、
上記操作信号に基づいて、上記入力操作面上の上記検出対象の座標位置を算出する演算部をさらに具備し、
上記表示処理部は、上記演算部で算出された上記検出対象の座標位置に基づき、上記操作画像を上記画像表示素子に表示させる
ヘッドマウントディスプレイ。
（６）入力操作面と、上記入力操作面に対する検出対象の接触を検出し、上記入力操作面上の上記検出対象の座標位置に関する情報を出力するセンサ部と、を有する入力デバイスと、
ユーザに提示される画像を形成する画像表示素子と、上記センサ部の出力に基づき、上記画像に上記検出対象の位置を示す補助画像が重畳した操作画像を上記画像表示素子に形成させる表示処理部と、を有するヘッドマウントディスプレイと
を具備する情報表示装置。
（７）上記（６）に記載の情報表示装置であって、
上記入力デバイスは、
上記入力操作面に画像を表示させる表示素子をさらに有し、
上記ヘッドマウントディスプレイは、上記入力操作面に表示される画像に上記補助画像を重畳させた画像を上記操作画像として表示する
情報表示装置。
（８）上記（６）または（７）に記載の情報表示装置であって、
上記センサ部は、上記検出対象によって上記入力操作面に加えられた接触圧を検出する
情報表示装置。
（９）上記（８）に記載の情報表示装置であって、
上記ヘッドマウントディスプレイは、上記操作面からの上記検出対象の接触圧に応じて、上記補助画像の表示形態を変化させる
情報表示装置。
（１０）上記（６）から（９）のうちいずれか１つに記載の情報表示装置であって、
上記センサ部は、上記入力操作面上における上記検出対象の動きを検出し、
上記ヘッドマウントディスプレイは、検出された上記検出対象の動きに応じて移動する上記補助画像を表示する
情報表示装置。
（１１）入力操作面と、上記検出対象による上記入力操作面への接触を検出するセンサ部と、を有する入力デバイスと、
ユーザに提示される画像を形成する画像表示素子と、上記センサ部の出力に基づいて上記入力操作面上の上記検出対象の座標位置を算出する演算部と、上記演算部で算出された上記検出対象の座標位置に基づき、上記画像に検出対象の位置を示す補助画像が重畳した操作画像を上記画像表示素子に形成させる表示処理部と、を有するヘッドマウントディスプレイと
を具備する情報表示装置。

１・・・ＨＭＤ（ヘッドマウントディスプレイ）
２，２０・・・入力デバイス
１２，１２０・・・送受信器（受信部）
１３・・・制御部（表示処理部）
１３１・・・演算部
１３２・・・表示処理部
１４，１４０・・・画像表示素子
２１，２１０・・・入力操作面
２２，２２０・・・タッチセンサ（センサ部）
２３，２３０・・・感圧センサ（センサ部）
２４・・・表示素子
１００・・・情報表示装置
Ｐ，Ｐ４１１，Ｐ４１２，Ｐ４２１，Ｐ４２２・・・ポインタ（補助画像）
Ｖ１０，Ｖ３０，Ｖ４１１，Ｖ４１２，Ｖ４２１，Ｖ４２２・・・操作画像

Claims (14)

1. 入力デバイスから出力される入力操作面に接触する検出対象の位置情報を含む操作信号を受信する受信部と、
   ユーザに外界を視認させつつ前記ユーザの視野領域に画像が提示されるように、前記ユーザの眼前に位置するように構成される画像表示素子に、前記操作信号に基づいて、前記画像に前記検出対象の位置を示す補助画像が重畳した操作画像を表示させ、前記操作信号がピンチ操作に関する情報を含む場合に、前記ピンチ操作に応じて前記画像の一部の大きさを制御する表示処理部と
   を具備する画像表示装置。
2. 前記受信部は、前記入力デバイスから出力される画像信号を受信し、
   前記表示処理部は、前記画像信号に基づいて前記画像を前記画像表示素子に表示させる
   請求項１に記載の画像表示装置。
3. 請求項１又は２に記載の画像表示装置であって、
   前記表示処理部は、前記入力操作面に接触する前記検出対象の２箇所の接触位置の距離を広げる前記ピンチ操作に関する情報を含む前記操作信号に基づいて前記画像の一部の大きさを拡大させる
   画像表示装置。
4. 請求項１〜３のいずれか１つに記載の画像表示装置であって、
   前記表示処理部は、前記入力操作面に接触する前記検出対象の２箇所の接触位置の距離を縮める前記ピンチ操作に関する情報を含む前記操作信号に基づいて前記画像の一部の大きさを縮小させる
   画像表示装置。
5. 請求項１〜４のいずれか１つに記載の画像表示装置であって、
   前記表示処理部は、前記操作信号に基づき、前記画像の表示領域において前記補助画像を移動させる
   画像表示装置。
6. 請求項５に記載の画像表示装置であって、
   前記画像には複数のＧＵＩが配置され、
   前記表示処理部は、前記操作信号に基づき、前記画像の表示領域において前記補助画像及び前記ユーザにより選択された前記ＧＵＩを移動させる
   画像表示装置。
7. 請求項１〜６のいずれか１つに記載の画像表示装置であって、
   前記操作信号は、前記入力操作面に対する前記検出対象の接触圧に関する情報を含み、
   前記表示処理部は、前記入力操作面に対する前記検出対象の接触圧に応じて前記補助画像の表示形態を変化させる
   画像表示装置。
8. 請求項７に記載の画像表示装置であって、
   前記表示処理部は、前記検出対象の接触圧に応じて前記補助画像の大きさを変化させる
   画像表示装置。
9. ユーザの頭部に装着可能な支持部と、
   前記支持部により前記ユーザの眼前に支持される画像表示素子と、
   入力デバイスから出力される、入力操作面に接触する検出対象の相対位置に関する情報を含む操作信号を受信する受信部と、
   前記画像表示素子に、前記ユーザに外界を視認させつつ前記ユーザの視野領域に画像が提示されるように、前記操作信号に基づいて、前記画像に前記検出対象の位置を示す補助画像が重畳した操作画像を表示させ、前記操作信号が前記ユーザのピンチ操作に関する情報を含む場合に、前記ピンチ操作に応じて前記画像の一部の大きさを制御する表示処理部と
   を具備するヘッドマウントディスプレイ。
10. 入力操作面と、前記入力操作面に対する検出対象の接触を検出し、前記入力操作面上の前記検出対象の座標位置に関する操作信号を出力するセンサ部と、を有する入力デバイスと、
    ユーザの頭部に装着可能な支持部と、前記支持部により前記ユーザの眼前に支持される画像表示素子と、前記画像表示素子に、前記ユーザに外界を視認させつつ前記ユーザの視野領域に画像が提示されるように、前記操作信号に基づいて、前記画像に前記検出対象の位置を示す補助画像が重畳した操作画像を表示させ、前記センサ部から出力される前記情報が前記ユーザのピンチ操作に関する情報を含む場合に、前記ピンチ操作に関する情報に基づいて前記画像の一部の大きさを制御する表示処理部と、を有するヘッドマウントディスプレイと
    を具備する情報表示装置。
11. 請求項１０に記載の情報表示装置であって、
    前記入力デバイスは、前記入力操作面に画像を表示させる表示素子をさらに有し、
    前記ヘッドマウントディスプレイは、前記入力操作面に表示される画像に前記検出対象の位置を示す補助画像を重畳させた操作画像を表示する
    情報表示装置。
12. 請求項１０又は１１に記載の情報表示装置であって、
    前記入力デバイスと前記ヘッドマウントディスプレイとは無線又は有線で通信可能に構成される
    情報表示装置。
13. 入力デバイスから出力される入力操作面に接触する検出対象の位置情報を含む操作信号を取得し、
    ユーザに外界を視認させつつ前記ユーザの視野領域に画像が提示されるように、前記ユーザの眼前に位置するように構成される画像表示素子に、前記操作信号に基づいて、前記画像に前記検出対象の位置を示す補助画像が重畳した操作画像を表示させ、前記操作信号が前記ユーザのピンチ操作に関する情報を含む場合に、前記ピンチ操作に応じて前記画像の一部の大きさを制御する
    表示処理方法。
14. 入力デバイスから出力される入力操作面に接触する検出対象の位置情報を含む操作信号を取得し、
    ユーザに外界を視認させつつ前記ユーザの視野領域に画像が提示されるように、前記ユーザの眼前に位置するように構成される画像表示素子に、前記操作信号に基づいて、前記画像に前記検出対象の位置を示す補助画像が重畳した操作画像を表示させ、前記操作信号が前記ユーザのピンチ操作に関する情報を含む場合に、前記ピンチ操作に応じて前記画像の一部の大きさを制御する
    プログラム。

Images