JP6264871B2 - 情報処理装置および情報処理装置の制御方法 - Google Patents

Description

本発明は、情報処理装置に関する。

情報処理装置の１つとして、頭部に装着する表示装置である頭部装着型表示装置（ヘッドマウントディスプレイ（Head Mounted Display）、ＨＭＤ）が知られている。頭部装着型表示装置は、例えば、液晶ディスプレイおよび光源を利用して画像を表わす画像光を生成し、生成された画像光を投写光学系や導光板を利用して使用者の眼に導くことにより、使用者に虚像を視認させる。頭部装着型表示装置の制御として、操作部に含まれるトラックパッドに触れる使用者の指の動きを検出することで使用者に視認される虚像を変化させたり、虚像としてのフォルダーが選択されることでフォルダーに含まれる各種ファイルを虚像として使用者に視認させる制御等が知られている。

特許文献１には、操作面に接触している２本の指の中間位置に対応するポインターを画像表示部に表示させ、中間位置の変化に伴ってポインターの表示位置を変化させ、３本目の指が操作面に接触することで選択を行なうクリック操作が実行される情報処理装置が開示されている。また、特許文献２には、カメラで撮像された右手の人差し指と右手の中指との相対的な位置関係の変化によって、画像表示部に表示されたポインターの表示位置を変化させる入力装置が開示されている。また、特許文献３には、マルチタッチセンシティブ画面上の第１のロケーションおよび第２のロケーションに依存する位置でグラフィックオブジェクトを表示して、パーソナルコンピューターのマウスと同じようにグラフィックオブジェクトを動かすシステムについて開示されている。また、特許文献４には、操作面に２本の指が接触した場合に、クリック操作として認識するシステムが開示されている。

特開２００７−２９９３８４号公報 特開２００８−２４２８８１号公報 特表２００９−５２３２６７号公報 特開２０１３−６９３５０号公報

しかし、特許文献１に記載された情報処理装置では、操作面に接触している２本の指の中間位置に対応するように、ポインターが表示されるため、ポインターを動かすために、使用者は、２本の指の中間位置を常に認識する必要があり、直感的な操作を行なうことができないという課題があった。また、クリック操作を行うのに、３本の指での操作が必要となり、直感的な操作が行なうことができないことに加え、操作が冗長的で複雑になってしまうおそれがあった。また、特許文献２に記載された入力装置では、入力操作を受け付けるために、使用者の手をカメラで撮像する必要があり、入力装置としてカメラを含む操作部が大きくなってしまい、使用者に携帯されるモバイル機器などの操作部としては採用しづらいという課題があった。また、特許文献３および特許文献４に記載されたシステムでは、クリック操作を受け付けると、操作面に接触していた複数の指のすべてが一時的に操作面から離れてしまうため、クリック操作後の操作面における指の接触位置が異なると、使用者が望む位置とは異なる位置へとポインターが動いてしまうおそれがあった。

本発明は、上述の課題の少なくとも一部を解決するためになされたものであり、以下の形態又は適用例として実現可能である。本発明の一形態は、情報処理装置であって、操作面と、前記操作面への少なくとも１つの操作を検出して検出位置に応じた位置指定信号を出力する位置指定部と、を含む操作部と；前記操作面への前記操作によって検出される第１の操作に応じた前記位置指定信号に基づいて第１の制御を行ない、前記第１の操作が継続すると共に、前記操作面への新たな第２の操作に基づいて、前記情報処理装置に対して前記第１の制御とは異なる第２の制御を行なう制御部と；を備え、前記制御部は、前記第１の操作と前記第２の操作とが継続されているときに、前記第１の操作のみがキャンセルされたことが検出された場合には、前記第２の操作を前記第１の操作として検出しなおし、新たな前記第２の操作を検出可能な状態にする、情報処理装置として提供される。

（１）本発明の一形態によれば、情報処理装置が提供される。この情報処理装置は、操作面と、前記操作面への少なくとも１つの操作を検出して検出位置に応じた位置指定信号を出力する位置指定部と、を含む操作部と；前記操作面への前記操作によって検出される第１の前記操作に応じた前記位置指定信号に基づいて第１の制御を行ない、前記第１の操作が継続すると共に、前記操作面への新たな第２の前記操作に基づいて、前記情報処理装置に対して前記第１の制御とは異なる第２の制御を行なう制御部と、を備える。この形態の情報処理装置によれば、任意のタイミングで、かつ、操作面における任意の位置に操作が検出されることで第２の制御が行なわれるため、使用者の利便性および操作性が向上し、また、使用者は、直感的かつ簡便に情報処理装置を操作できる。また、使用者の操作を受け付けるために操作面のみがあればよいため、操作部を小型化でき、携帯性の高い入力装置を提供できる。

（２）上記形態の情報処理装置において、前記制御部は、前記第１の制御として、画像表示装置が画像を表示する画像領域内に表示させるポインター画像の位置を設定する。この形態の情報処理装置によれば、第１の操作が継続した状態で、第２の制御が行なわれるため、操作面に操作が検出されていない状態にならずにポインター画像の位置が固定されており、誤動作の発生を抑制できる。

（３）上記形態の情報処理装置において、前記制御部は、前記第１の操作が継続している状態において前記画像領域内に表示された選択可能なオブジェクトと前記ポインター画像とが重なっているときに、前記第２の操作が検出されると、前記第２の制御として、前記ポインター画像と重なっている前記オブジェクトを選択するクリック制御を行なってもよい。この形態の情報処理装置によれば、使用者は、操作部の特定の位置に固定された操作面以外を操作しなくても、オブジェクトの選択を行なうことができ、自由度が高く直感的な操作を行なうことができる。

（４）上記形態の情報処理装置において、前記制御部は、前記画像領域内に表示された選択可能なオブジェクトと前記ポインター画像とが重なっているときに、前記第１の操作における前記検出位置と前記第２の操作における前記検出位置とが同時かつ平行に移動する変化が検出されると、前記第２の制御として、前記ポインター画像と重なっている前記オブジェクトの位置を前記検出位置の変化に基づいて変更させるドラッグ制御を行なってよい。この形態の情報処理装置によれば、使用者は、操作部の特定の位置に固定された操作面以外を操作しなくても、オブジェクトの移動を行なうことができ、自由度が高く直感的な操作を行なうことができる。

（５）上記形態の情報処理装置において、前記制御部は、前記画像領域内に表示された選択可能なオブジェクトと前記ポインター画像とが重なっているときに、前記操作面に垂直な仮想的な特定軸を中心として前記第１の操作における前記検出位置と前記第２の操作における前記検出位置とが同時に回転する変化が検出されると、前記第２の制御として、前記ポインター画像が重なっている前記オブジェクトを回転させる回転制御を行なってもよい。この形態の情報処理装置によれば、使用者は、操作部の特定の位置に固定された操作面以外を操作しなくても、オブジェクトの回転を行なうことができ、自由度が高く直感的な操作を行なうことができる。

（６）上記形態の情報処理装置において、前記制御部は、前記第１の操作における前記検出位置と前記第２の操作における前記検出位置とを直径とする円の内部に前記特定軸が含まれる場合には、前記第２の制御として、前記回転制御を行なってもよい。この形態の情報処理装置によれば、回転制御が行なわれる場合に、第１の操作における検出位置と第２の操作における検出位置とを直径とする円の内部に特定軸が含まれる場合に、オブジェクトが回転させられるため、誤動作を抑制できる。

（７）上記形態の情報処理装置において、前記制御部は、前記画像領域内に特定画像の一部の領域が表示されている場合に、前記第１の操作における前記検出位置の変化が検出されないと共に、前記第２の操作における前記検出位置の変化が検出された場合には、前記第２の制御として、前記ポインター画像の位置を固定すると共に、前記第２の操作における前記検出位置の変化に基づいて、前記画像領域内に表示される前記特定画像の領域を変更するスクロールバー制御を行なってもよい。この形態の情報処理装置によれば、使用者は、画像領域に表示される特定画像の一部の領域を変更したい場合に、ポインター画像の位置を変化させなくても、画像領域に表示される特定画像の一部の領域を変更でき、使用者の利便性や操作性が向上する。

（８）上記形態の情報処理装置において、前記制御部は、前記画像領域内における前記ポインター画像の位置を前記操作面における前記検出位置に対応付けてもよい。この形態の情報処理装置によれば、使用者は、操作面を視認しながら操作する場合には、ポインター画像の位置を視認できるため、画像領域内においてポインター画像の位置を直感的に動かすことができ、使用者の利便性が向上する。

（９）上記形態の情報処理装置において、前記制御部は、前記操作が検出された第１の状態から前記操作が検出されていない状態へと移行した後に、再度、前記操作が検出された第２の状態のとき、前記第１の状態における最後の前記ポインター画像の位置を、前記第２の状態において、前記第１の操作における前記検出位置にかかわらず、最初の前記ポインター画像の位置として対応付ける第１の設定を行なってもよい。この形態の情報処理装置によれば、使用者は、操作面を視認できなくても、画像領域を視認することで直感的にポインター画像の位置を動かすことができ、使用者の利便性が向上する。

（１０）上記形態の情報処理装置において、前記制御部は、前記操作に基づいて、前記ポインター画像の位置を前記操作面における前記検出位置に対応付ける第２の設定と前記第１の設定とを切り替えてもよい。この形態の情報処理装置によれば、使用者の意思に応じて第１の設定と第２の設定とが切り替えられるため、使用者の利便性および操作性がさらに向上する。

（１１）上記形態の情報処理装置において、前記画像表示装置は、使用者の頭部に装着された状態において、前記画像を表す画像データに基づいて画像光を形成し、前記画像光を虚像として使用者に視認させると共に外景を透過させる頭部装着型画像表示装置であり；前記情報処理装置は、さらに；透過された前記外景に前記操作面の少なくとも一部が含まれるか否かを判定する操作面判定部を備え；前記制御部は、透過された前記外景に前記操作面が含まれていないと判定された場合には、前記第１の設定に切り替え、透過された前記外景に前記操作面の少なくとも一部が含まれていると判定された場合には前記第２の設定に切り替えてもよい。この形態の情報処理装置によれば、画像表示装置と操作面との位置関係が判定されることにより、操作面が使用者に視認されているか否かが判定され、判定結果に応じて第１の設定と第２の設定とが自動的に切り替えられることで、使用者の利便性がさらに向上する。

（１２）上記形態の情報処理装置において、さらに；前記操作部に配置され、前記操作部の加速度を検出する加速度検出部を備え；前記制御部は、検出された前記操作部の加速度に基づいて前記操作面の向きを特定し、前記操作面の向きが第１の向きの場合には、第１の規則に基づいて前記位置指定信号の変化を前記ポインター画像の位置の変化へと変換し、前記操作部の向きが前記第１の向きとは異なる第２の向きの場合には、前記第１の規則とは異なる第２の規則に基づいて前記位置指定信号の変化を前記ポインター画像の位置の変化へと変換してもよい。この形態の情報処理装置によれば、操作面の向きにかかわらず、操作部の加速度の方向を基準とした入力が行なわれ、使用者の操作性が向上する。

（１３）上記形態の情報処理装置において、前記操作面への操作は、前記操作面へと接触する操作であってもよい。この形態の情報処理装置によれば、操作面が検出する操作として、接触操作が採用されているため、誤検出の少ない操作が行なわれる。

上述した本発明の各形態の有する複数の構成要素はすべてが必須のものではなく、上述の課題の一部または全部を解決するため、あるいは、本明細書に記載された効果の一部または全部を達成するために、適宜、前記複数の構成要素の一部の構成要素について、その変更、削除、新たな他の構成要素との差し替え、限定内容の一部削除を行なうことが可能である。また、上述の課題の一部または全部を解決するため、あるいは、本明細書に記載された効果の一部または全部を達成するために、上述した本発明の一形態に含まれる技術的特徴の一部または全部を上述した本発明の他の形態に含まれる技術的特徴の一部または全部と組み合わせて、本発明の独立した一形態とすることも可能である。

例えば、本発明の一形態は、操作部と、制御部と、の２つの要素の内の一つまたは全部の要素を備えた装置として実現可能である。すなわち、この装置は、操作部を有していてもよく、有していなくてもよい。また、装置は、制御部を有していてもよく、有していなくてもよい。操作部は、例えば、操作面と、前記操作面への少なくとも１つの操作を検出して検出位置に応じた位置指定信号を出力する位置指定部と、を含んでいてもよい。制御部は、例えば、前記操作面への前記操作によって検出される第１の前記操作に応じた前記位置指定信号に基づいて第１の制御を行ない、前記第１の操作が継続すると共に、前記操作面への新たな第２の前記操作に基づいて、前記情報処理装置に対して前記第１の制御とは異なる第２の制御を行なってもよい。こうした装置は、例えば、情報処理装置として実現できるが、情報処理装置以外の他の装置としても実現可能である。このような形態によれば、装置の操作性の向上および簡易化、装置の一体化や、装置を使用する使用者の利便性の向上、等の種々の課題の少なくとも１つを解決することができる。前述した頭部装着型表示装置の各形態の技術的特徴の一部または全部は、いずれもこの装置に適用することが可能である。

本発明は、情報処理装置以外の種々の形態で実現することも可能である。例えば、頭部装着型表示装置、情報処理装置または頭部装着型表示装置の制御方法、情報処理システム、頭部装着型表示システム、情報処理システムまたは頭部装着型表示システムを実現するためのコンピュータープログラム、そのコンピュータープログラムを記録した記録媒体、そのコンピュータープログラムを含み搬送波内に具現化されたデータ信号等の形態で実現できる。

頭部装着型表示装置の外観構成を示す説明図である。 頭部装着型表示装置の構成を機能的に示すブロック図である。 画像光生成部によって画像光が射出される様子を示す説明図である。 操作制御処理の流れを示す説明図である。 操作制御処理の流れを示す説明図である。 操作制御処理の流れを示す説明図である。 操作制御処理の流れを示す説明図である。 操作制御処理の流れを示す説明図である。 操作制御処理の流れを示す説明図である。 操作制御処理の流れを示す説明図である。 操作制御処理の流れを示す説明図である。 操作画面が表示されたときに使用者が視認する視野の概略図である。 変換角度についての説明図である。 変換角度についての説明図である。 第１の接触操作の接触状態と使用者の視野とを示す説明図である。 第１の接触操作の接触状態と使用者の視野とを示す説明図である。 第１の接触操作の接触状態と使用者の視野とを示す説明図である。 クリック制御における接触操作の接触状態と使用者の視野とを示す説明図である。 ２点ドラッグ制御における接触操作の接触状態と使用者の視野とを示す説明図である。 ２点回点制御の回転中心と２点接触位置との関係の一例を示す説明図である。 ２点回転制御における接触操作の接触状態と使用者の視野とを示す説明図である。 ３点ドラッグ制御における接触操作の接触状態と使用者の視野とを示す説明図である。 ３点回点制御の回転中心と３点接触位置との関係の一例を示す説明図である。 スクロールバー制御における接触操作の接触状態と使用者の視野とを示す説明図である。 スクロールバー制御における接触操作の接触状態と使用者の視野とを示す説明図である。 変形例における頭部装着型表示装置の外観構成を示す説明図である。

Ａ．第１実施形態：
Ａ−１．頭部装着型表示装置の構成：
図１は、頭部装着型表示装置１００の外観構成を示す説明図である。頭部装着型表示装置１００は、頭部に装着する表示装置であり、ヘッドマウントディスプレイ（Head Mounted Display、ＨＭＤ）とも呼ばれる。本実施形態の頭部装着型表示装置１００は、使用者が、虚像を視認すると同時に外景も直接視認可能な光学透過型の頭部装着型表示装置である。なお、本明細書では、頭部装着型表示装置１００によって使用者が視認する虚像を便宜的に「表示画像」とも呼ぶ。また、画像データに基づいて生成された画像光を射出することを「画像を表示する」ともいう。

頭部装着型表示装置１００は、使用者の頭部に装着された状態において使用者に虚像を視認させる画像表示部２０と、画像表示部２０を制御する制御部１０（コントローラー１０）と、を備えている。

画像表示部２０は、使用者の頭部に装着される装着体であり、本実施形態では眼鏡形状を有している。画像表示部２０は、右保持部２１と、右表示駆動部２２と、左保持部２３と、左表示駆動部２４と、右光学像表示部２６と、左光学像表示部２８と、赤外線発光部６１と、を含んでいる。右光学像表示部２６および左光学像表示部２８は、それぞれ、使用者が画像表示部２０を装着した際に使用者の右および左の眼前に位置するように配置されている。右光学像表示部２６の一端と左光学像表示部２８の一端とは、使用者が画像表示部２０を装着した際の使用者の眉間に対応する位置で、互いに接続されている。

右保持部２１は、右光学像表示部２６の他端である端部ＥＲから、使用者が画像表示部２０を装着した際の使用者の側頭部に対応する位置にかけて、延伸して設けられた部材である。同様に、左保持部２３は、左光学像表示部２８の他端である端部ＥＬから、使用者が画像表示部２０を装着した際の使用者の側頭部に対応する位置にかけて、延伸して設けられた部材である。右保持部２１および左保持部２３は、眼鏡のテンプル（つる）のようにして、使用者の頭部に画像表示部２０を保持する。

右表示駆動部２２と左表示駆動部２４とは、使用者が画像表示部２０を装着した際の使用者の頭部に対向する側に配置されている。なお、以降では、右保持部２１および左保持部２３を総称して単に「保持部」とも呼び、右表示駆動部２２および左表示駆動部２４を総称して単に「表示駆動部」とも呼び、右光学像表示部２６および左光学像表示部２８を総称して単に「光学像表示部」とも呼ぶ。

表示駆動部２２，２４は、液晶ディスプレイ２４１，２４２（Liquid Crystal Display、以下「ＬＣＤ２４１，２４２」とも呼ぶ）や投写光学系２５１，２５２等を含む（図２参照）。表示駆動部２２，２４の構成の詳細は後述する。光学部材としての光学像表示部２６，２８は、導光板２６１，２６２（図２参照）と調光板とを含んでいる。導光板２６１，２６２は、光透過性の樹脂材料等によって形成され、表示駆動部２２，２４から出力された画像光を使用者の眼に導く。調光板は、薄板状の光学素子であり、使用者の眼の側とは反対の側である画像表示部２０の表側を覆うように配置されている。調光板は、導光板２６１，２６２を保護し、導光板２６１，２６２の損傷や汚れの付着等を抑制する。また、調光板の光透過率を調整することによって、使用者の眼に入る外光量を調整して虚像の視認のしやすさを調整できる。なお、調光板は省略可能である。

赤外線発光部６１は、画像表示部２０を装着した使用者の眼から光学像表示部２６，２８への方向へと赤外線を発光する。赤外線発光部６１によって発光された赤外線が、後述する制御部１０に形成された赤外線受光部６３に受光されると、赤外線発光部６１から所定の範囲内に制御部１０が存在すると判定され、制御部１０が使用者に視認されていると判定される。

画像表示部２０は、さらに、画像表示部２０を制御部１０に接続するための接続部４０を有している。接続部４０は、制御部１０に接続される本体コード４８と、右コード４２と、左コード４４と、連結部材４６と、を含んでいる。右コード４２と左コード４４とは、本体コード４８が２本に分岐したコードである。右コード４２は、右保持部２１の延伸方向の先端部ＡＰから右保持部２１の筐体内に挿入され、右表示駆動部２２に接続されている。同様に、左コード４４は、左保持部２３の延伸方向の先端部ＡＰから左保持部２３の筐体内に挿入され、左表示駆動部２４に接続されている。連結部材４６は、本体コード４８と、右コード４２および左コード４４と、の分岐点に設けられ、イヤホンプラグ３０を接続するためのジャックを有している。イヤホンプラグ３０からは、右イヤホン３２および左イヤホン３４が延伸している。

画像表示部２０と制御部１０とは、接続部４０を介して各種信号の伝送を行なう。本体コード４８における連結部材４６とは反対側の端部と、制御部１０と、のそれぞれには、互いに嵌合するコネクター（図示しない）が設けられている。本体コード４８のコネクターと制御部１０のコネクターとの嵌合／嵌合解除により、制御部１０と画像表示部２０とが接続されたり切り離されたりする。右コード４２と、左コード４４と、本体コード４８とには、例えば、金属ケーブルや光ファイバーを採用できる。

制御部１０は、頭部装着型表示装置１００を制御するための装置である。制御部１０は、決定キー１１と、点灯部１２と、表示切替キー１３と、輝度切替キー１５と、方向キー１６と、メニューキー１７と、電源スイッチ１８と、トラックパッド１４と、加速度センサー１９と、赤外線受光部６３と、を含んでいる。決定キー１１は、押下操作を検出して、制御部１０で操作された内容を決定する信号を出力する。点灯部１２は、頭部装着型表示装置１００の動作状態を、その発光状態によって通知する。頭部装着型表示装置１００の動作状態としては、例えば、電源のＯＮ／ＯＦＦ等がある。点灯部１２としては、例えば、ＬＥＤ（Light Emitting Diode）が用いられる。表示切替キー１３は、押下操作を検出して、例えば、コンテンツ動画の表示モードを３Ｄと２Ｄとに切り替える信号を出力する。輝度切替キー１５は、押下操作を検出して、画像表示部２０の輝度を増減する信号を出力する。方向キー１６は、上下左右方向に対応するキーへの押下操作を検出して、検出内容に応じた信号を出力する。電源スイッチ１８は、スイッチのスライド操作を検出することで、頭部装着型表示装置１００の電源投入状態を切り替える。

トラックパッド１４は、操作面上における使用者の指の接触操作を検出して、検出内容に応じた信号を出力する。検出される接触操作としては、例えば、接触位置の変化や後述するクリック制御を行なうための操作などがある。頭部装着型表示装置１００では、接触操作によって、画像表示部２０に表示される表示画像の制御といった各種制御が行なわれる。トラックパッド１４としては、静電式や圧力検出式、光学式といった種々のトラックパッドを採用できる。なお、トラックパッド１４は、請求項における操作面に相当する。また、接触操作は、請求項における操作面に検出される操作に想到し、接触位置は、請求項における検出位置に相当する。加速度センサー１９は、制御部１０に作用する加速度（例えば、重力加速度）を取得する。本実施形態では、加速度センサー１９は、０．５秒間に１回、定期的に、制御部１０に作用する加速度を取得する。赤外線受光部６３は、画像表示部２０に形成された赤外線発光部６１が発光する赤外線を受光する。赤外線受光部６３は、赤外線を受光すると、赤外線を受光したことを表す信号を、後述する入力決定部（図２）に送信する。なお、加速度センサー１９は、請求項における加速度検出部に相当する。

図２は、頭部装着型表示装置１００の構成を機能的に示すブロック図である。図２に示すように、制御部１０は、操作部１３５と、電源１３０と、記憶部１２０と、加速度センサー１９と、赤外線受光部６３と、ＣＰＵ１４０と、インターフェイス１８０と、送信部５１（Ｔｘ５１）および送信部５２（Ｔｘ５２）と、を有している。操作部１３５は、使用者による操作を受け付け、決定キー１１、表示切替キー１３、トラックパッド１４、輝度切替キー１５、方向キー１６、メニューキー１７、および、電源スイッチ１８から構成されている。

電源１３０は、頭部装着型表示装置１００の各部に電力を供給する。電源１３０としては、例えば二次電池を用いることができる。記憶部１２０は、種々のコンピュータープログラムを格納している。記憶部１２０は、ＲＯＭやＲＡＭ等によって構成されている。ＣＰＵ１４０は、記憶部１２０に格納されているコンピュータープログラムを読み出して実行することにより、オペレーティングシステム１５０（ＯＳ１５０）、表示制御部１９０、画像処理部１６０、音声処理部１７０、入力決定部１６５、および、向き補正部１６７として機能する。

表示制御部１９０は、右表示駆動部２２および左表示駆動部２４を制御する制御信号を生成する。具体的には、表示制御部１９０は、制御信号により、右ＬＣＤ制御部２１１による右ＬＣＤ２４１の駆動ＯＮ／ＯＦＦ、右バックライト制御部２０１による右バックライト２２１の駆動ＯＮ／ＯＦＦ、左ＬＣＤ制御部２１２による左ＬＣＤ２４２の駆動ＯＮ／ＯＦＦ、左バックライト制御部２０２による左バックライト２２２の駆動ＯＮ／ＯＦＦなど、を個別に制御する。これにより、表示制御部１９０は、右表示駆動部２２および左表示駆動部２４のそれぞれによる画像光の生成および射出を制御する。例えば、表示制御部１９０は、右表示駆動部２２および左表示駆動部２４の両方に画像光を生成させたり、一方のみに画像光を生成させたり、両方共に画像光を生成させなかったりする。表示制御部１９０は、右ＬＣＤ制御部２１１と左ＬＣＤ制御部２１２とに対する制御信号のそれぞれを、送信部５１および５２を介して送信する。また、表示制御部１９０は、右バックライト制御部２０１と左バックライト制御部２０２とに対する制御信号のそれぞれを送信する。

画像処理部１６０は、コンテンツに含まれる画像信号を取得する。画像処理部１６０は、取得した画像信号から、垂直同期信号ＶＳｙｎｃや水平同期信号ＨＳｙｎｃ等の同期信号を分離する。また、画像処理部１６０は、分離した垂直同期信号ＶＳｙｎｃや水平同期信号ＨＳｙｎｃの周期に応じて、ＰＬＬ（Phase Locked Loop）回路等（図示しない）を利用してクロック信号ＰＣＬＫを生成する。画像処理部１６０は、同期信号が分離されたアナログ画像信号を、Ａ／Ｄ変換回路等（図示しない）を用いてディジタル画像信号に変換する。その後、画像処理部１６０は、変換後のディジタル画像信号を、対象画像の画像データ（ＲＧＢデータ）として、１フレームごとに記憶部１２０内のＤＲＡＭに格納する。なお、画像処理部１６０は、必要に応じて、画像データに対して、解像度変換処理、輝度、彩度の調整といった種々の色調補正処理、キーストーン補正処理等の画像処理を実行してもよい。

画像処理部１６０は、生成されたクロック信号ＰＣＬＫ、垂直同期信号ＶＳｙｎｃ、水平同期信号ＨＳｙｎｃ、記憶部１２０内のＤＲＡＭに格納された画像データ、のそれぞれを、送信部５１、５２を介して送信する。なお、送信部５１を介して送信される画像データを「右眼用画像データ」とも呼び、送信部５２を介して送信される画像データを「左眼用画像データ」とも呼ぶ。送信部５１、５２は、制御部１０と画像表示部２０との間におけるシリアル伝送のためのトランシーバーとして機能する。

画像処理部１６０は、光学像表示部２６，２８において使用者に虚像を視認させることができる画像表示最大領域ＰＮ（以下、単に「表示領域ＰＮ」とも呼ぶ）に、各種操作に応じた画像を表示する。画像処理部１６０は、検出される接触操作に応じて、例えば、表示領域ＰＮにポインター画像を表示し、トラックパッド１４への接触位置の変化に応じて、ポインター画像の表示位置を変更する。本実施形態では、トラックパッド１４における接触位置と、表示領域ＰＮにおけるポインター画像の表示位置と、の対応位置関係を関係付ける関係方式には、絶対座標方式と相対座標方式との２つがある。なお、相対座標方式および絶対座標方式の詳細については、後述する。

入力決定部１６５は、トラックパッド１４における接触操作やメニューキー１７が押下された操作に基づく入力を決定する。決定される入力としては、例えば、トラックパッド１４に検出された接触操作において、接触位置の変化や使用者の指が接触している接触時間がある。また、入力決定部１６５は、赤外線発光部６１によって発光された赤外線を赤外線受光部６３が受光した場合には、制御部１０が画像表示部２０に対して所定の位置に存在すると判定する。また、入力決定部１６５は、発光された赤外線を赤外線受光部６３が受光していない場合には、制御部１０が画像表示部２０に対して所定の位置には存在していないと判定する。入力決定部１６５は、制御部１０が所定の位置に存在すると判定した場合には、関係方式を絶対座標方式に設定し、絶対座標方式に基づいて、接触位置の変化を、ポインター画像の表示位置の変化に変換した信号を画像処理部１６０へと送信する。入力決定部１６５は、制御部１０が所定の位置に存在していないと判定した場合には、関係方式を相対座標方式に設定し、接触位置の変化を、相対座標方式に基づいて、ポインター画像の表示位置の変化に変換した信号を画像処理部１６０へと送信する。画像処理部１６０は、送信された信号に基づいて、表示領域ＰＮに表示されたポインター画像の表示位置を設定する。なお、赤外線発光部６１、赤外線受光部６３、および、入力決定部１６５は、請求項における操作面判定部に相当する。

向き補正部１６７は、加速度センサー１９から送信される制御部１０に作用する加速度（例えば、重力加速度）を示す信号に基づいて、制御部１０の向きを特定する。向き補正部１６７は、制御部１０の向きと重力方向とがなす角度に基づいて、接触位置の変化の方向を、ポインター画像の表示位置の変化の方向に対応させるため行なわれる補正の変換角度を決定する。入力決定部１６５は、向き補正部１６７によって検出された接触位置の変化を決定された変換角度に基づいて、ポインター画像の表示位置を変化させる。なお、入力決定部１６５、画像処理部１６０、および、向き補正部１６７は、請求項における制御部の一部に相当し、変換角度は、請求項における第１の規則および第２の規則に相当する。

本実施形態では、絶対座標方式と相対座標方式とが切替可能である。操作部１３５が所定の操作を受け付けた場合、または、入力決定部１６５によって制御部１０が画像表示部２０に対して所定の位置に存在するか否かの判定によって、絶対座標方式と相対座標方式とを切り替えられる。絶対座標方式では、操作面であるトラックパッド１４と表示領域ＰＮとが１対１で対応している。ここで、トラックパッド１４と表示領域ＰＮとが１対１で対応しているとは、トラックパッド１４の領域内の座標位置と表示領域ＰＮ内の座標位置とが１対１で対応付けられていることを意味する。例えば、接触操作が検出されている接触状態のときには、接触位置に対応する表示領域ＰＮに位置にポインター画像が表示される。また、接触操作が検出されていない非接触状態のときには、表示領域ＰＮにポインター画像が表示されない。なお、本実施形態では、接触状態から非接触状態へと変化したときに、一定時間、表示領域ＰＮにポインター画像が表示され、一定時間が経過すると共に非接触状態が継続している場合には、表示領域ＰＮに表示されているポインター画像が非表示になる。絶対座標方式において、非接触状態のときに、接触操作が検出されると、接触位置に対応する表示領域ＰＮの座標位置にポインター画像が表示される。なお、接触状態から非接触状態へと変化してからポインター画像が表示されている一定時間に、新たな接触操作が検出されると、新たな接触操作が検出されるまでに表示されていたポインター画像が非表示になり、新たに検出された接触位置に対応する表示領域ＰＮの座標位置にポインター画像が表示される。絶対座標方式では、トラックパッド１４の接触位置と表示領域ＰＮの座標位置とが１対１で対応しているため、使用者は、トラックパッド１４を視認しながら操作する場合には、ポインター画像の表示位置を視認できるため、ポインター画像の表示位置を直感的に動かすことができ、使用者の利便性が向上する。なお、関係方式を絶対座標方式に設定することは、請求項における第２の設定を行なうことに相当する。また、接触状態が検出されていない状態で初めて接触状態が検出される状態は、請求項における第１の状態に相当し、接触状態から非接触状態へと変化した後に、再度、接触状態へと変化した状態は、請求項における第２の状態に相当する。

相対座標方式では、絶対座標方式と異なり、接触操作における接触位置と表示領域ＰＮの座標位置とが１対１で対応していない。接触位置と表示領域ＰＮの座標位置とが１対１で対応していないとは、例えば、トラックパッド１４における接触位置の変化がトラックパッド１４の左端から右端へと横方向に変化した場合に、表示領域ＰＮにおけるポインター画像の表示位置が左端から中央へと横方向に移動する（左端から横方向へと全体の５０％移動する）。すなわち、接触位置の変化がトラックパッド１４の左端から右端へと変化しても、ポインター画像の表示位置は左端から右端へと移動せず、接触位置と表示領域ＰＮの座標位置とが１対１で対応していない。なお、接触位置の変化量に対するポインター画像の表示位置の移動量は、任意に設定できる。そのため、相対座標方式では、接触位置の変化量とポインター画像の表示位置の移動量とを使用者の好みによって設定でき、使用者の利便性が向上する。また、相対座標方式では、接触状態から非接触状態へと変化した場合に、一定時間が経過すると、入力決定部１６５は、ポインター画像を非表示にすると共に表示されていたポインター画像の表示位置を記憶する。再度、非接触状態から接触状態へと変化した場合に、入力決定部１６５は、新たに検出された接触操作における接触位置にかかわらず、記憶したポインター画像の表示位置に再びポインター画像を表示させる。そのため、相対座標方式では、接触状態と非接触状態とが変化して、非接触状態において一時的にポインター画像が表示されなくても、直近の接触状態において記憶された表示位置にポインター画像が表示される。そのため、使用者は、トラックパッド１４を視認できなくても、表示領域ＰＮを視認することで直感的にポインター画像を動かすことができ、使用者の利便性が向上する。なお、関係方式を相対座標方式に設定することは、請求項における第１の設定を行なうことに相当する。

音声処理部１７０は、コンテンツに含まれる音声信号を取得し、取得した音声信号を増幅して、連結部材４６に接続された右イヤホン３２内のスピーカー（図示しない）および左イヤホン３４内のスピーカー（図示しない）に対して供給する。なお、例えば、Ｄｏｌｂｙ（登録商標）システムを採用した場合、音声信号に対する処理がなされ、右イヤホン３２および左イヤホン３４のそれぞれからは、例えば周波数等が変えられた異なる音が出力される。

インターフェイス１８０（図２）は、制御部１０に対して、コンテンツの供給元となる種々の外部機器ＯＡを接続するためのインターフェイスである。外部機器ＯＡとしては、例えば、パーソナルコンピューター（ＰＣ）や携帯電話端末、ゲーム端末等、がある。インターフェイス１８０としては、例えば、ＵＳＢインターフェイス、マイクロＵＳＢインターフェイス、メモリーカード用インターフェイス等、を用いることができる。

画像表示部２０は、右表示駆動部２２と、左表示駆動部２４と、右光学像表示部２６としての右導光板２６１と、左光学像表示部２８としての左導光板２６２と、赤外線発光部６１と、を備えている。

右表示駆動部２２は、受信部５３（Ｒｘ５３）と、光源として機能する右バックライト制御部２０１（右ＢＬ制御部２０１）および右バックライト２２１（右ＢＬ２２１）と、表示素子として機能する右ＬＣＤ制御部２１１および右ＬＣＤ２４１と、右投写光学系２５１と、を含んでいる。右バックライト制御部２０１と右バックライト２２１とは、光源として機能する。右ＬＣＤ制御部２１１と右ＬＣＤ２４１とは、表示素子として機能する。なお、右バックライト制御部２０１と、右ＬＣＤ制御部２１１と、右バックライト２２１と、右ＬＣＤ２４１と、を総称して「画像光生成部」とも呼ぶ。

受信部５３は、制御部１０と画像表示部２０との間におけるシリアル伝送のためのレシーバーとして機能する。右バックライト制御部２０１は、入力された制御信号に基づいて、右バックライト２２１を駆動する。右バックライト２２１は、例えば、ＬＥＤやエレクトロルミネセンス（ＥＬ）等の発光体である。右ＬＣＤ制御部２１１は、受信部５３を介して入力されたクロック信号ＰＣＬＫと、垂直同期信号ＶＳｙｎｃと、水平同期信号ＨＳｙｎｃと、右眼用画像データと、に基づいて、右ＬＣＤ２４１を駆動する。右ＬＣＤ２４１は、複数の画素をマトリクス状に配置した透過型液晶パネルである。

右投写光学系２５１は、右ＬＣＤ２４１から射出された画像光を並行状態の光束にするコリメートレンズによって構成される。右光学像表示部２６としての右導光板２６１は、右投写光学系２５１から出力された画像光を、所定の光路に沿って反射させつつ使用者の右眼ＲＥに導く。なお、右投写光学系２５１と右導光板２６１とを総称して「導光部」とも呼ぶ。

左表示駆動部２４は、右表示駆動部２２と同様の構成を有している。左表示駆動部２４は、受信部５４（Ｒｘ５４）と、光源として機能する左バックライト制御部２０２（左ＢＬ制御部２０２）および左バックライト２２２（左ＢＬ２２２）と、表示素子として機能する左ＬＣＤ制御部２１２および左ＬＣＤ２４２と、左投写光学系２５２と、を含んでいる。左バックライト制御部２０２と左バックライト２２２とは、光源として機能する。左ＬＣＤ制御部２１２と左ＬＣＤ２４２とは、表示素子として機能する。なお、左バックライト制御部２０２と、左ＬＣＤ制御部２１２と、左バックライト２２２と、左ＬＣＤ２４２と、を総称して「画像光生成部」とも呼ぶ。また、左投写光学系２５２は、左ＬＣＤ２４２から射出された画像光を並行状態の光束にするコリメートレンズによって構成される。左光学像表示部２８としての左導光板２６２は、左投写光学系２５２から出力された画像光を、所定の光路に沿って反射させつつ使用者の左眼ＬＥに導く。なお、左投写光学系２５２と左導光板２６２とを総称して「導光部」とも呼ぶ。

図３は、画像光生成部によって画像光が射出される様子を示す説明図である。右ＬＣＤ２４１は、マトリクス状に配置された各画素位置の液晶を駆動することによって、右ＬＣＤ２４１を透過する光の透過率を変化させることにより、右バックライト２２１から照射される照明光ＩＬを、画像を表わす有効な画像光ＰＬへと変調する。左側についても同様である。なお、図３のように、本実施形態ではバックライト方式を採用したが、フロントライト方式や、反射方式を用いて画像光を射出する構成としてもよい。

Ａ−２．操作制御処理：
図４ないし図１１は、操作制御処理の流れを示す説明図である。操作制御処理は、接触操作に応じて、表示領域ＰＮに表示される画像が変化したり、各種操作によって選択された画像に基づく制御が行なわれる処理である。

操作制御処理では、初めに、画像処理部１６０は、使用者の操作対象としての画像である各種操作画面を表示領域ＰＮに表示させる（ステップＳ１０）。図１２は、操作画面が表示されたときに使用者が視認する視野ＶＲの概略図である。使用者は、表示領域ＰＮに表示された操作画面ＶＩを視認する。なお、本実施形態では、表示領域ＰＮの領域全体に操作画面ＶＩが表示されている。使用者の視野ＶＲの内、操作画面ＶＩが表示された部分以外については、使用者は、光学像表示部２６および左光学像表示部２８を透過して、外景を視認できる。なお、本実施形態の頭部装着型表示装置１００では、使用者は、操作画面ＶＩが表示された部分についても、操作画面ＶＩの背後に透過された外景を視認できる。図１２に示すように、操作画面ＶＩは、複数の選択可能な画像であるアイコンＩＣを含んでいる。例えば、図１２に示す操作画面ＶＩには、アイコンＩＣとして、「メッセージ」、「カメラ」、「ブラウザー」、および、「電話」が含まれている。

表示領域ＰＮに操作画面ＶＩが表示されると（図４のステップＳ１０）、入力決定部１６５は、操作部１３５が形成された制御部１０が画像表示部２０に対して所定の位置に存在するか否かを判定する（ステップＳ１２）。制御部１０が画像表示部２０に対して所定の位置に存在すると判定された場合には（ステップＳ１２：ＹＥＳ）、入力決定部１６５は、関係方式を絶対座標方式に設定する（ステップＳ１４）。制御部１０が画像表示部２０に対して所定の位置に存在しないと判定された場合には（ステップＳ１２：ＮＯ）、入力決定部１６５は、関係方式を相対座標方式に設定する（ステップＳ１６）。

関係方式が絶対座標方式または相対座標方式に設定されると（ステップＳ１４、または、ステップＳ１６）、向き補正部１６７は、特定した制御部１０の向きに基づいて変換角度を決定する（ステップＳ１８）。図１３および図１４は、変換角度についての説明図である。なお、図１３および図１４に示す視野ＶＲは、一例であり、図１２に示す視野ＶＲと異なる。図１３には、制御部１０において、トラックパッド１４の中心Ｏ１と決定キー１１の中心Ｏ２とを通る直線Ｌ１と、重力方向ＤＧと、トラックパッド１４上で動かされる使用者の人差し指ＦＦの操作方向ＤＲ１と、が示されている。図１３に示すように、重力方向ＤＧと操作方向ＤＲ１とは、同じ方向である。また、図１３には、接触操作が検出された場合の使用者の視野ＶＲが示されている。本実施形態では、初期設定として、トラックパッド１４における直線Ｌ１に沿った中心Ｏ１から中心Ｏ２への基準方向Ｄ０と重力方向ＤＧとが同じ方向の場合に変換角度が０であると設定されている。そのため、操作方向ＤＲ１が基準方向Ｄ０と同じ方向である場合には変換角度が０度であるため、入力決定部１６５は、向き補正部１６７によって決定された変換角度に基づいて、操作方向ＤＲ１に沿った人差し指ＦＦの動きを、同じように、操作方向ＤＲ１に沿った動きとして、画像処理部１６０に表示させる。

図１４には、基準方向Ｄ０と重力方向ＤＧとが同じ方向ではなく、制御部１０が重力方向に対して初期設定と比べて傾いている場合に、向き補正部１６７が補正する変換角度が０度以外の例が示されている。図１４に示すように、制御部１０が傾いているため、重力方向ＤＧと基準方向Ｄ０とは、角度β１を形成する。なお、角度β１は、６０度である。この場合に、向き補正部１６７は、重力方向ＤＧを基準として重力方向ＤＧから時計回りを正の角度として、基準方向Ｄ０に沿った操作方向ＤＲ１の人差し指ＦＦの動きを、変換角度である角度β１の分だけ補正する。すなわち、トラックパッド１４に対する操作方向ＤＲ１の相対方向は、基準方向Ｄ０と同じであっても、入力決定部１６５が特定された変換角度に基づいて画像処理部１６０に表示させるポインターＰＯの表示位置の変化は、加速度センサー１９によって取得された重力方向ＤＧによって異なる。入力決定部１６５は、向き補正部１６７によって決定された変換角度に基づいて、図１４の操作画面ＶＩに示すように、ポインターＰＯの表示位置を変更する。

変換角度が決定されると（図４のステップＳ１８）、トラックパッド１４は、第１の接触操作の検出を監視する（ステップＳ２０）。第１の接触操作とは、非接触状態で、初めに検出される接触操作のことである。第１の接触操作が検出されない場合には（ステップＳ２０：ＮＯ）、ステップＳ１２以降の処理が繰り返される。第１の接触操作が検出されると（ステップＳ２０：ＹＥＳ）、入力決定部１６５は、表示領域ＰＮにポインターＰＯを表示させる（ステップＳ２２）。ポインター画像が表示された状態で、第１の接触操作におけるトラックパッド１４の接触位置（以下、単に「第１の接触位置」とも呼ぶ）が変化すると、入力決定部１６５は、第１の接触位置の変化が変換角度によって補正された変化に応じて、ポインターＰＯの表示位置を変化させる（ステップＳ２４）。次に、入力決定部１６５は、表示位置が変化したポインターＰＯが表示されたアイコンＩＣのいずれかに重複しているか否かを判定する（ステップＳ２６）。なお、第１の接触操作は、請求項における第１の操作に相当し、第１の接触位置の変化に応じてポインターＰＯの表示位置が変化することは、請求項における第１の制御に相当する。

図１５ないし図１７は、第１の接触操作の接触状態と使用者の視野ＶＲとを示す説明図である。図１５に示すように、トラックパッド１４は、第１の接触操作として、使用者による接触を検出する。本実施形態では、第１の接触操作として、使用者の右手の人差し指ＦＦがトラックパッド１４に接触している。また、図１５には、第１の接触操作が検出されたときに、使用者が視認する視野ＶＲが示されている。図１５の操作画面ＶＩに示すように、画像処理部１６０は、第１の接触操作に応じて、表示領域ＰＮにポインターＰＯを表示させる。なお、図１５ないし図１７に示すように、使用者には制御部１０が視認されておらず、制御部１０が画像表示部２０に対して所定の位置に存在していないため、関係方式は、相対座標方式に設定されている。図１６に示すように、人差し指ＦＦの第１の接触位置が変化すると、ポインターＰＯの表示位置が変化する。本実施形態では、第１の接触位置が変化した結果、図１７に示すように、ポインターＰＯがアイコンＩＣの「メッセージ」に重複すると、重複された重複アイコンＩＣ０の色が変化する。重複アイコンＩＣ０の色が変化することは、重複アイコンＩＣ０が選択可能な状態であることを示している。ポインターＰＯがアイコンＩＣに重複した状態で、使用者は、トラックパッド１４に対して後述する各種操作を行なうことで、アイコンＩＣに関連する操作を行なうことができる。

図４のステップＳ２６の処理において、ポインターＰＯがいずれのアイコンＩＣにも重複していないと判定された場合には（ステップＳ２６：ＮＯ）、ステップＳ２４以降の処理が行なわれる。ポインターＰＯがアイコンＩＣのいずれかに重複していると判定された場合には（ステップＳ２６：ＹＥＳ）、トラックパッド１４は、第２の接触操作の検出を監視する（ステップＳ２８）。第２の接触操作が検出されない場合には（ステップＳ２８：ＮＯ）、再度、ステップＳ２４以降の処理が行なわれる。第２の接触操作が検出された場合には（ステップＳ２８：ＹＥＳ）、入力決定部１６５は、第２の接触操作が検出されている第２の接触時間が所定の時間以下であるか否かを判定する（ステップＳ３０）。第２の接触時間が所定の時間以下（例えば、０．５秒以下）であると判定された場合には（ステップＳ３０：ＹＥＳ）、入力決定部１６５は、重複アイコンＩＣ０の選択を決定するクリック制御を行なう（ステップＳ３２）。クリック制御が行なわれると、重複アイコンＩＣ０に関連するプログラムが実行された後に、ステップＳ２４以降の処理が行なわれる。なお、第２の接触操作は、請求項における第２の操作に相当する。

図１８は、クリック制御における接触操作の接触状態と使用者の視野ＶＲとを示す説明図である。図１８には、クリック制御が行なわれた場合の第２の接触操作と使用者の視野ＶＲとが示されている。図１８に示すように、トラックパッド１４は、第１の接触操作に加えて、使用者による第２の接触操作を検出する。本実施形態では、第２の接触操作として、使用者の右手の中指ＭＦがトラックパッド１４に接触している。なお、第２の接触操作としての中指ＭＦの接触が検出された時間は、所定の時間である０．５秒以下である。クリック制御が行なわれると、ＯＳ１５０は、重複アイコンＩＣ０の「メッセージ」のプログラムを実行する。

図４のステップＳ３０の処理において、第２の接触時間が所定の時間以下ではないと判定された場合には（ステップＳ３０：ＮＯ）、トラックパッド１４は、第１の接触位置と第２の接触操作におけるトラックパッド１４の接触位置（以下、「第２の接触位置」とも呼ぶ）とが同時に平行移動しているか否かを判定する（図５のステップＳ３２）。なお、以降では、第１の接触位置と第２の接触位置とを合わせて、２点接触位置とも呼ぶ。２点接触位置が同時に平行移動していると判定された場合には（ステップＳ３２：ＹＥＳ）、入力決定部１６５は、重複アイコンＩＣ０の表示位置を移動させる２点ドラッグ制御を行なう（ステップＳ３４）。なお、本願でいう「同時」とは、時間的に同じ瞬間であることのみに限定されず、一定の幅をもった時間帯のことをいう。接触操作は、使用者によって行なわれるものであり、例えば、第１の接触位置の変化と第２の検出位置の変化との開始時刻が０．１秒ずれていても、本願では同時の変化として取り扱う。なお、同時に、どれくらいの時間的なずれを含むのかは、任意に設定できる。また、本願でいう「平行」とは、第１の接触位置の変化と第２の接触位置の変化とが全く同じ軌跡である必要はなく、多少異なっていてもよい。例えば、所定の期間における第１の接触位置の直線的な変化と第２の接触位置の直線的な変化とにおいて、２つの直線のなす角度が５度以下であれば、本願の平行に含まれる。

図７には、２点ドラッグ制御の流れが示されている。２点ドラッグ制御では、初めに、入力決定部１６５がポインターＰＯと重複アイコンＩＣ０との表示位置を、２点接触位置の変化に応じて移動させる（ステップＳ１０２）。なお、この時点では、重複アイコンＩＣ０の移動は、途中であるため、確定していない。図１９は、２点ドラッグ制御における接触操作の接触状態と使用者の視野ＶＲとを示す説明図である。図１９の操作画面ＶＩには、２点接触位置の変化に応じて、ポインターＰＯと重複アイコンＩＣ０との表示位置が変化している画像が示されている。図１９に示すように、重複アイコンＩＣ０の表示位置は、２点ドラッグ制御の前（例えば、図１５）と比較して、ポインターＰＯと共に移動して変化する。

ポインターＰＯと重複アイコンＩＣ０とが移動しているときに（図７のステップＳ１０２）、トラックパッド１４は、人差し指ＦＦが離れる第１の接触操作のキャンセルを監視する（ステップＳ１０４）。第１の接触操作がキャンセルされない場合には（ステップＳ１０４：ＮＯ）、トラックパッド１４は、中指ＭＦが離れる第２の接触操作のキャンセルを監視する（ステップＳ１０６）。第２の接触操作のキャンセルされない場合には（ステップＳ１０６：ＮＯ）、ステップＳ１０２以降の処理が行なわれる。第２の接触操作のキャンセルされた場合には（ステップＳ１０６：ＹＥＳ）、入力決定部１６５は、重複アイコンＩＣ０の移動を確定する（ステップＳ１０８）。重複アイコンＩＣ０の移動が確定すると、第１の接触操作のみが検出されている状態であるため、図４のステップＳ２４以降の処理が行なわれる。

図７のステップＳ１０４の処理において、第１の接触操作がキャンセルされた場合には（ステップＳ１０４：ＹＥＳ）、入力決定部１６５は、重複アイコンＩＣ０の移動をキャンセルする（ステップＳ１１０）。重複アイコンＩＣ０の移動をキャンセルするとは、２点ドラッグ制御によって、ポインターＰＯが重複して移動させられた重複アイコンＩＣ０の移動をなかったこととするものである。この場合、重複アイコンＩＣ０は、２点ドラッグ制御が行なわれる前の表示位置に表示される。その後、トラックパッド１４は、第２の接触操作のキャンセルを監視する（ステップＳ１１２）。第２の接触操作がキャンセルされた場合には（ステップＳ１１２：ＹＥＳ）、非接触状態であるため、トラックパッド１４は、操作制御処理を終了する所定の操作の検出を監視する（図４のステップＳ３５）。所定の操作が検出されなかった場合には（ステップＳ３５：ＮＯ）、ステップＳ３５以降の処理が行なわれる。所定の操作が検出された場合には（ステップＳ３５：ＹＥＳ）、入力決定部１６５は、操作制御処理を終了する。

図７のステップＳ１１２の処理において、第２の接触操作がキャンセルされなかった場合には（図７のステップＳ１１２：ＮＯ）、トラックパッド１４は、トラックパッド１４に検出されている中指ＭＦの第２の接触操作を、第１の接触操作として新たに検出する（ステップＳ１１４）。その後、図４のステップＳ２４以降の処理が行なわれる。

図５のステップＳ３２の処理において、２点接触位置が平行移動していないと判定された場合には（ステップＳ３２：ＮＯ）、入力決定部１６５は、２点接触位置がトラックパッド１４の面に垂直な仮想的な回転中心軸を中心として回転しているか否かを判定する（ステップＳ３６）。２点接触位置が回転していると判定された場合には（図５のステップＳ３６：ＹＥＳ）、入力決定部１６５は、２点接触位置の回転に応じて、重複アイコンＩＣ０の中心を軸として重複アイコンＩＣ０を回転させる２点回転制御を行なう（ステップＳ３８）。

図２０は、２点回点制御の回転中心と２点接触位置との関係の一例を示す説明図である。図２０には、第１の接触操作と第２の接触操作が検出されているときに、トラックパッド１４と使用者の指との関係が示されている。図２０には、人差し指ＦＦの第１の接触位置ＦＰと、中指ＭＦの第２の接触位置ＭＰと、第１の接触位置ＦＰと第２の接触位置ＭＰとを結んだ直線を直径とする領域円Ｃ１と、トラックパッド１４の面に直交すると共に２点回点制御の回転中心を通る回転中心軸Ｏ３と、が示されている。本実施形態では、領域円Ｃ１の中に回転中心軸Ｏ３が含まれている場合に、２点接触位置が回転していると判定され、回転中心軸Ｏ３が領域円Ｃ１の外にある場合には、２点接触位置が回転していないと判定される。

図８には、２点回転制御の流れが示されている。なお、２点回転制御の処理では、図７に示す２点ドラッグ制御における処理と重複する処理については説明を省略し、異なる処理であるステップＳ２０２、ステップＳ２０８、および、ステップＳ２１０について説明する。２点回転制御では、初めに、入力決定部１６５が２点接触位置の回転に応じて、重複アイコンＩＣ０を回転させる（ステップＳ２０２）。図２１は、２点回転制御における接触操作の接触状態と使用者の視野ＶＲとを示す説明図である。図２１の操作画面ＶＩには、２点接触位置の回転に応じて、重複アイコンＩＣ０が回転している場合の表示画像が示されている。なお、本実施形態では、２点回点制御によって重複アイコンＩＣ０は回転するが、ポインターＰＯは回転しない。図２１に示すように、重複アイコンＩＣ０は、２点回転制御の前（例えば、図１５）と比較して、操作画面ＶＩに平行な面上の重複アイコンＩＣ０の中心を軸に回転している。

ステップＳ２０６の処理において、第２の接触操作がキャンセルされた場合には（ステップＳ２０６：ＹＥＳ）、入力決定部１６５は、重複アイコンＩＣ０の回転を確定する（ステップＳ２０８）。ステップＳ２０４の処理において、第１の接触操作がキャンセルされた場合には（ステップＳ２０４：ＮＯ）、入力決定部１６５は、重複アイコンＩＣ０の回転をキャンセルする（ステップＳ２１０）。重複アイコンＩＣ０の回転がキャンセルされると、重複アイコンＩＣ０は、２点回転制御が行なわれる前の表示に戻される。

図５のステップＳ３６の処理において、２点接触位置が回転していないと判定された場合（ステップＳ３６：ＮＯ）、トラックパッド１４は、第２の接触操作のみのキャンセルの検出を監視する（ステップＳ４０）。第２の接触操作のみがキャンセルされた場合には（ステップＳ４０：ＹＥＳ）、図４のステップＳ２４以降の処理が行なわれる。第２の接触操作のみのキャンセルが検出されなかった場合には（図５のステップＳ４０：ＮＯ）、トラックパッド１４は、第１の接触操作のみのキャンセルの検出を監視する（ステップＳ４２）。第１の接触操作のみがキャンセルされた場合には（ステップＳ４２：ＮＯ）、トラックパッド１４は、第２の接触操作を新たな第１の接触操作として検出し（ステップＳ４４）、図４のステップＳ２４以降の処理が行なわれる。

図５のステップＳ４２の処理において、第１の接触操作のみのキャンセルが検出されなかった場合には（ステップＳ４２：ＮＯ）、トラックパッド１４は、第１の接触操作と第２の接触操作とのキャンセルの検出を監視する（ステップＳ４６）。第１の接触操作と第２の接触操作とがキャンセルされた場合には（ステップＳ４６：ＹＥＳ）、非接触状態であるため、図４のステップＳ３５以降の処理が行なわれる。第１の接触操作と第２の接触操作のいずれもキャンセルされなかった場合には（図５のステップＳ４６：ＮＯ）、トラックパッド１４は、第３の接触操作の検出を監視する（ステップＳ５２）。第３の接触操作が検出されない場合には（ステップＳ５２：ＮＯ）、ステップＳ３２以降の処理が行なわれる。第３の接触操作が検出された場合には（ステップＳ５２：ＹＥＳ）、入力決定部１６５は、第３の接触操作が行なわれている第３の接触時間が所定の時間以下であるか否かを判定する（図６のステップＳ５４）。第３の接触時間が所定の時間以下であると判定された場合には（ステップＳ５４：ＹＥＳ）、入力決定部１６５は、重複アイコンＩＣ０の選択および決定を行なう等のダブルクリック制御を行なう（図６のステップＳ５６）。本実施形態では、ポインターＰＯがアイコンＩＣに重複しても、重複アイコンＩＣ０の選択が行なわれずに、重複アイコンＩＣ０の色が変化しないアイコンが存在する場合がある。その場合に、ダブルクリック制御が行なわれると、ポインターＰＯが重複するだけでは選択が行なわれない重複アイコンＩＣ０の選択および決定が実行される。ダブルクリック制御が行なわれると（ステップＳ５６）、図４のステップＳ２４以降の処理が行なわれる。なお、第３の接触操作は、請求項における第２の操作に相当する。

ステップＳ５４の処理において、際３の接触時間が所定の時間よりも長いと判定された場合には（ステップＳ５４：ＮＯ）、トラックパッド１４は、第１の接触位置と第２の接触位置と第３の接触操作におけるトラックパッド１４の接触位置（以下、「第３の接触位置」とも呼ぶ）と、が平行移動しているか否かを判定する（ステップＳ５８）。なお、以降では、第１の接触位置と第２の接触位置と第３の接触位置とを合わせて、３点接触位置とも呼ぶ。３点接触位置が同時に平行移動していると判定された場合には（ステップＳ５８：ＹＥＳ）、入力決定部１６５は、重複アイコンＩＣ０の表示位置を移動させる３点ドラッグ制御を行なう（ステップＳ６０）。

図９には、３点ドラッグ制御の流れが示されている。３点ドラッグ制御では、初めに、入力決定部１６５がポインターＰＯと重複アイコンＩＣ０との表示位置を、３点接触位置の変化に応じて移動させる（ステップＳ３０２）。図２２は、３点ドラッグ制御における接触操作の接触状態と使用者の視野ＶＲとを示す説明図である。図２２では、使用者の人差し指ＦＦと中指ＭＦと親指ＴＨとの３本の指がトラックパッド１４に接触している状態が示されている。本実施形態では、第３の接触操作として、使用者の右手の親指ＴＨがトラックパッド１４に接触している。図２２に示すように、重複アイコンＩＣ０の表示位置は、３点ドラッグ制御の前と比較して、ポインターＰＯと共に移動して変化する。ポインターＰＯと重複アイコンＩＣ０とが移動しているときに（図９のステップＳ３０２）、トラックパッド１４は、第１の接触操作のキャンセルを監視する（ステップＳ３０４）。第１の接触操作のキャンセルされない場合には（ステップＳ３０４：ＮＯ）、トラックパッド１４は、第２の接触操作のキャンセルと親指ＴＨが離れる第３の接触操作のキャンセルとを監視する（ステップＳ３０６）。第２の接触操作と第３の接触操作とがキャンセルされた場合には（ステップＳ３０６：ＹＥＳ）、入力決定部１６５は、重複アイコンＩＣ０の移動を確定する（ステップＳ３０７）。重複アイコンＩＣ０の移動が確定すると、第１の接触操作のみが検出されている状態であるため、図４のステップＳ２４以降の処理が行なわれる。図９のステップＳ３０６の処理において、第２の接触操作と第３の接触操作とがキャンセルされない場合には（ステップＳ３０６：ＮＯ）、トラックパッド１４は、第２の接触操作と第３の接触操作と内の一方のキャンセルを監視する（ステップＳ３０８）。第２の接触操作と第３の接触操作とのいずれもキャンセルされない場合には（ステップＳ３０８：ＮＯ）、第１の接触操作と第２の接触操作と第３の接触操作とが検出されているため、ステップＳ３０４以降の処理が行なわれる。ステップＳ３０８の処理において、第２の接触操作と第３の接触操作との一方がキャンセルされた場合には（ステップＳ３０８：ＹＥＳ）、トラックパッド１４は、検出され続けている一方の接触操作を第２の接触操作として検出し（ステップＳ３１０）、図５のステップＳ３２以降の処理が行なわれる。

図９のステップＳ３０４の処理において、第１の接触操作がキャンセルされた場合には（ステップＳ３０４：ＹＥＳ）、入力決定部１６５は、重複アイコンＩＣ０の移動をキャンセルする（ステップＳ３１２）。重複アイコンＩＣ０の移動がキャンセルされると、重複アイコンＩＣ０は、３点ドラッグ制御が行なわれる前の表示位置に表示される。その後、トラックパッド１４は、第２の接触操作と第３の接触操作とのキャンセルを監視する（ステップＳ３１４）。第２の接触操作と第３の接触操作とがキャンセルされた場合には（ステップＳ３１４：ＹＥＳ）、非接触状態であるため、図４のステップＳ３５以降の処理が行なわれる。図９のステップＳ３１４の処理において、第２の接触操作と第３の接触操作とがキャンセルされなかった場合には（ステップＳ３１４：ＮＯ）、トラックパッド１４は、第２の接触操作と第３の接触操作との内の一方のキャンセルを監視する（ステップＳ３１８）。第２の接触操作と第３の接触操作とのいずれもがキャンセルされなかった場合には（ステップＳ３１６：ＮＯ）、トラックパッド１４は、第２の接触操作を新たな第１の接触操作として検出すると共に、第３の接触操作を新たな第２の接触操作として検出する（ステップＳ３１８）。その後、図５のステップＳ３２以降の処理が行なわれる。図９のステップＳ３１６の処理において、第２の接触操作と第３の接触操作と内の一方がキャンセルされた場合には（ステップＳ３１６：ＹＥＳ）、トラックパッド１４は、検出され続けている一方の接触操作を第１の接触操作として検出し（ステップＳ３２０）、図４のステップＳ２４以降の処理が行なわれる。

図６のステップＳ５８の処理において、３点接触位置が平行移動していないと判定された場合には（ステップＳ５８：ＮＯ）、入力決定部１６５は、３点接触位置がトラックパッド１４の平面に垂直な仮想的な回転中心軸を中心として回転しているか否かを判定する（ステップＳ６０）。３点接触位置が回転していると判定された場合には（ステップＳ６２：ＹＥＳ）、入力決定部１６５は、２点接触位置の回転に応じて、重複アイコンＩＣ０の中心を軸として表示領域ＰＮに表示された重複アイコンＩＣ０を回転させる３点回転制御を行なう（ステップＳ６４）。

図２３は、３点回点制御の回転中心と３点接触位置との関係の一例を示す説明図である。図２３には、第１の接触操作と第２の接触操作と第３の接触操作とが検出されているときに、トラックパッド１４と使用者の指との関係が示されている。図２３には、人差し指ＦＦの第１の接触位置ＦＰと、中指ＭＦの第２の接触位置ＭＰと、親指ＴＨの第３の接触位置ＴＰと、第１の接触位置ＦＰと第２の接触位置ＭＰと第３の接触位置ＴＰとを通る領域円Ｃ２と、トラックパッド１４の面に直交すると共に３点回点制御の回転中心を通る回転中心軸Ｏ４と、が示されている。本実施形態では、領域円Ｃ２の中に回転中心軸Ｏ４が含まれている場合に、回転していると判定され、回転中心軸Ｏ４が領域円Ｃ１の外にある場合には、回転していないと判定される。

図１０には、３点回転制御の流れが示されている。なお、３点回点制御の処理では、図９に示す３点ドラッグ制御における処理と重複する処理については説明を省略し、異なる処理であるステップＳ４０２、ステップＳ４０７、および、ステップＳ４１２について説明する。３点回転制御では、初めに、入力決定部１６５が３点接触位置の回転に応じて、重複アイコンＩＣ０を回転させる（ステップＳ４０２）。ステップＳ４０６の処理において、第２の接触操作と第３の接触操作とがキャンセルされた場合には（ステップＳ４０６：ＹＥＳ）、入力決定部１６５は、重複アイコンＩＣ０の回転を確定する（ステップＳ４０７）。ステップＳ４０４の処理において、第１の接触操作がキャンセルされた場合には（ステップＳ４０４：ＮＯ）、入力決定部１６５は、重複アイコンＩＣ０の回転をキャンセルする（ステップＳ４１２）。重複アイコンＩＣ０の回転がキャンセルされると、重複アイコンＩＣ０は、２点回転制御が行なわれる前の表示に戻される。

図６のステップＳ６２の処理において、３点接触位置が回転していないと判定された場合には（ステップＳ６２：ＮＯ）、トラックパッド１４は、第１の接触位置と第２の接触位置とが固定された状態で第３の接触位置が変化している（以下、「第３位置変化を行なう」とも呼ぶ）か否かを判定する（ステップＳ６６）。第３位置変化が行なわれていると判定された場合には（ステップＳ６６：ＹＥＳ）、入力決定部１６５は、表示領域ＰＮに特定画像の一部の領域が表示されている場合に、表示される特定画像の一部の領域を変更するスクロールバー制御を行なう（ステップＳ６８）。

図１１には、スクロールバー制御の流れが示されている。なお、スクロールバー制御の処理では、図９に示す３点ドラッグ制御における処理に対して、ステップＳ５０２の処理と、３点ドラッグ制御におけるステップＳ３０７およびステップＳ３１２の処理がない点と、が異なる。そのため、スクロールバー制御では、ステップＳ５０２（図１１）の処理についてのみ説明する。スクロールバー制御では、初めに、全体が表示領域ＰＮに表示されずに一部の領域のみが表示されている特定画像において、表示される特定画像の一部の領域を変更するスクロールを行なう（ステップＳ５０２）。

図２４および図２５は、スクロールバー制御における接触操作の接触状態と使用者の視野ＶＲとを示す説明図である。図２４には、スクロールが行なわれる前の接触状態と視野ＶＲとが示されており、図２５には、スクロールが行なわれた後の接触状態と視野ＶＲとが示されている。図２４に示すように、使用者の人差し指ＦＦと中指ＭＦと親指ＴＨとがトラックパッド１４に接触して接触操作として検出されている。第１の接触位置ＦＰと第２の接触位置ＭＰとが固定された状態で、第３の接触位置ＴＰが変化することで、スクロールが行なわれる。図２４の視野ＶＲに示すように、使用者は、操作画面ＶＩ２を視認している。操作画面ＶＩ２には、操作画面ＶＩ２よりも表示される領域が大きい特定画像ＩＭＧの一部と、第３の接触位置ＴＰの変化によって変化するスクロールバー画像ＳＣＢと、が含まれている。特定画像ＩＭＧには、建造物ＢＤの画像が含まれている。図２５には、図２４に示す接触状態から、第１の接触位置ＦＰと第２の接触位置ＭＰとが固定された状態で、第３の接触位置ＴＰが変化した後のトラックパッド１４における接触状態と、使用者の視野ＶＲと、が示されている。図２５に示すように、スクロールが行なわれたため、使用者には、図２４に示す操作画面ＶＩ２とは異なる操作画面ＶＩ３が視認される。スクロールによって第３の接触位置ＴＰが下方向に変化すると、スクロールバー画像ＳＣＢの表示位置が表示領域ＰＮにおいて下方向に移動すると共に、操作画面ＶＩ３には、図２４に示す特定画像ＩＭＧの一部の領域よりも下の領域が表示される。そのため、操作画面ＶＩ３に表示されている建造物ＢＤは、図２４よりも図２５において、下の階の画像が表示されている。なお、本実施形態のスクロールバー制御では、ポインターＰＯの位置は固定されている。クリック制御、２点ドラッグ制御、２点回点制御、３点ドラッグ制御、３点回点制御、および、スクロールバー制御は、請求項における第２の制御に相当する。

図６のステップＳ６６の処理において、第３位置変化が行なわれていないと判定された場合には（ステップＳ６６：ＮＯ）、トラックパッド１４は、第１の接触操作のキャンセルを監視する（ステップＳ７０）。第１の接触操作がキャンセルされない場合には（ステップＳ７０：ＮＯ）、トラックパッド１４は、第２の接触操作のキャンセルと第３の接触操作のキャンセルとを監視する（ステップＳ７２）。第２の接触操作と第３の接触操作とがキャンセルされた場合には（ステップＳ７２：ＹＥＳ）、第１の接触操作のみが検出されている状態であるため、図４のステップＳ２４以降の処理が行なわれる。図６のステップＳ７２の処理において、第２の接触操作と第３の接触操作とがキャンセルされない場合には（ステップＳ７２：ＮＯ）、トラックパッド１４は、第２の接触操作と第３の接触操作と内の一方のキャンセルを監視する（ステップＳ７４）。第２の接触操作と第３の接触操作とのいずれもキャンセルされない場合には（ステップＳ７４：ＮＯ）、第１の接触操作と第２の接触操作と第３の接触操作とが検出されているため、ステップＳ５８以降の処理が行なわれる。ステップＳ７４の処理において、第２の接触操作と第３の接触操作との一方がキャンセルされた場合には（ステップＳ７４：ＹＥＳ）、トラックパッド１４は、検出され続けている一方の接触操作を第２の接触操作として検出し（ステップＳ７６）、図５のステップＳ３２以降の処理が行なわれる。

図６のステップＳ７０の処理において、第１の接触操作がキャンセルされた場合には（ステップＳ７０：ＹＥＳ）、トラックパッド１４は、第２の接触操作と第３の接触操作とのキャンセルを監視する（ステップＳ７８）。第２の接触操作と第３の接触操作とがキャンセルされた場合には（ステップＳ７８：ＹＥＳ）、非接触状態であるため、図４のステップＳ３５以降の処理が行なわれる。図６のステップＳ７８の処理において、第２の接触操作と第３の接触操作とがキャンセルされなかった場合には（ステップＳ７８：ＮＯ）、トラックパッド１４は、第２の接触操作と第３の接触操作との内の一方のキャンセルを監視する（ステップＳ８０）。第２の接触操作と第３の接触操作とのいずれもがキャンセルされなかった場合には（ステップＳ８０：ＮＯ）、トラックパッド１４は、第２の接触操作を新たな第１の接触操作として検出すると共に、第３の接触操作を新たな第２の接触操作として検出する（ステップＳ８２）。その後、図５のステップＳ３２以降の処理が行なわれる。図６のステップＳ８０の処理において、第２の接触操作と第３の接触操作と内の一方がキャンセルされた場合には（ステップＳ８０：ＹＥＳ）、トラックパッド１４は、検出され続けている一方の接触操作を第１の接触操作として検出し（ステップＳ８４）、図４のステップＳ２４以降の処理が行なわれる。

以上説明したように、本実施形態における頭部装着型表示装置１００では、操作部１３５に含まれるトラックパッド１４は、使用者の指の接触操作を検出して、検出内容に応じた信号を出力する。また、入力決定部１６５がトラックパッド１４によって検出された接触操作やメニューキー１７が押下された操作に基づく入力を決定し、画像処理部１６０が送信された信号に基づいて、表示領域ＰＮに表示されたポインターＰＯの表示位置を設定する。入力決定部１６５は、第１の接触操作が検出されると、表示領域ＰＮにポインターＰＯを表示させ、第１の接触位置の変化によってポインターＰＯの表示位置を変化させる。その後、第１の接触操作が検出された状態で、第２の接触操作における接触時間が所定の時間以下であると判定された場合には、入力決定部１６５は、重複アイコンＩＣ０の選択を決定するクリック制御を行なう。そのため、本実施形態の頭部装着型表示装置１００では、任意のタイミングで、かつ、トラックパッド１４における任意の位置に接触操作が検出されることで、各種操作が行なわれるため、使用者の利便性および操作性が向上し、また、使用者は、直感的かつ簡便に頭部装着型表示装置１００を操作できる。また、使用者の操作を受け付けるために、操作面としてのトラックパッド１４のみがあればよいため、操作部１３５を小型化でき、携帯性の高い入力装置を提供できる。

また、本実施形態の頭部装着型表示装置１００では、入力決定部１６５は、第１の接触操作が検出されると、表示領域ＰＮにポインターＰＯを表示させ、第１の接触位置の変化によってポインターＰＯの表示位置を変化させる。そのため、本実施形態の頭部装着型表示装置１００では、第１の接触操作が継続した状態で、クリック制御等の操作が行なわれるため、非接触状態にならずにポインターＰＯの位置が固定されており、誤動作の発生を抑制できる。また、本実施形態では、トラックパッド１４が受け付ける操作として、接触操作が採用されているため、誤検出の少ない操作が行なわれる。

また、本実施形態の頭部装着型表示装置１００では、第１の接触操作が検出されている状態で、ポインターＰＯが表示領域ＰＮに表示されたアイコンＩＣ（重複アイコンＩＣ０）に重複しているときに、第２の接触操作が検出されると、入力決定部１６５は、重複アイコンＩＣ０を選択するクリック制御を行なう。また、本実施形態の頭部装着型表示装置１００では、ポインターＰＯが表示領域ＰＮに表示されたアイコンＩＣ（重複アイコンＩＣ０）に重複しているときに、２点接触位置が同時に平行していると、入力決定部１６５は、２点接触位置の変化に応じて、操作画面ＶＩにおける重複アイコンＩＣ０の表示位置を移動させる２点ドラッグ制御を行なう。そのため、本実施形態の頭部装着型表示装置１００では、使用者は、操作部１３５の特定の位置に固定されたボタンを押下する等の操作を行なわなくても、重複アイコンＩＣ０の選択や移動を行なうことができ、自由度が高く直感的な操作を行なうことができる。

また、本実施形態の頭部装着型表示装置１００では、第１の接触状態が検出されている状態で、ポインターＰＯが表示領域ＰＮに表示されたアイコンＩＣ（重複アイコンＩＣ０）と重複しているときに、入力決定部１６５は、２点接触位置が回転中心軸Ｏ３を中心とする回転に応じて、重複アイコンＩＣ０を回転させる２点回点制御を行なう。入力決定部１６５は、第１の接触位置ＦＰと第２の接触位置ＭＰとを結んだ直線を直径とする領域円Ｃ１に回転中心軸Ｏ３が含まれる場合に、２点回点制御を行なう。そのため、本実施形態の頭部装着型表示装置１００では、使用者は、操作部１３５の特定の位置に固定されたボタンを押下する等の操作を行なわなくても、重複アイコンＩＣ０の回転を行なうことができ、自由度が高く直感的な操作を行なうことができる。また、回転中心軸Ｏ３が領域円Ｃ１に含まれる場合に、重複アイコンＩＣ０を回転させられるため、誤動作を抑制できる。

また、本実施形態の頭部装着型表示装置１００では、入力決定部１６５は、接触位置とポインターＰＯの表示位置との関係方式を、操作面であるトラックパッド１４と表示領域ＰＮとが１対１で対応している絶対座標方式に設定する。そのため、本実施形態の頭部装着型表示装置１００では、使用者は、トラックパッド１４を視認しながら操作する場合には、ポインター画像の表示位置を視認できるため、表示領域ＰＮにおいてポインターＰＯを直感的に動かすことができ、使用者の利便性が向上する。

また、本実施形態の頭部装着型表示装置１００では、入力決定部１６５は、接触位置とポインターＰＯの表示位置との関係方式を相対座標方式に設定する。相対座標方式では、接触状態から非接触状態へと一定時間が経過した後に、ポインター画像を非表示にする。その後、再度、非接触状態から接触状態へと変化した場合に、入力決定部１６５は、新たに検出された接触操作における接触位置にかかわらず、前の接触状態におけるポインターＰＯの表示位置に、再びポインター画像を表示させる。そのため、本実施形態の頭部装着型表示装置１００では、使用者は、トラックパッド１４を視認できなくても、表示領域ＰＮを視認することで直感的にポインターＰＯを動かすことができ、使用者の利便性が向上する。

また、本実施形態の頭部装着型表示装置１００では、入力決定部１６５は、赤外線発光部６１によって発光された赤外線を赤外線受光部６３が受光した場合には、制御部１０が画像表示部２０に対して所定の位置に存在すると判定する。また、入力決定部１６５は、発光された赤外線を赤外線受光部６３が受光していない場合には、制御部１０が画像表示部２０に対して所定の位置には存在していないと判定する。入力決定部１６５は、操作部１３５が所定の操作を受け付けた場合、または、入力決定部１６５によって制御部１０が画像表示部２０に対して所定の位置に存在するか否かの判定によって、絶対座標方式と相対座標方式とを切り替えて設定する。そのため、本実施形態の頭部装着型表示装置１００では、使用者の意思に応じて絶対座標方式と相対座標方式とが切り替えられて設定されるため、使用者の利便性および操作性がさらに向上する。また、画像表示部２０と制御部１０との位置関係が判定されることにより、使用者に操作部１３５を含む制御部１０が視認されているか否かが判定され、当該判定結果に応じて絶対座標方式と相対座標方式とが自動的に切り替えられることで、使用者の利便性がさらに向上する。

また、本実施形態の頭部装着型表示装置１００では、加速度センサー１９が制御部１０に作用する加速度（例えば、重力加速度）を取得し、向き補正部１６７は、加速度センサー１９から送信される制御部１０に作用する加速度を示す信号に基づいて、制御部１０の向きを特定し、制御部１０の向きと重力方向とがなす角度に基づいて変換角度を決定する。入力決定部１６５は、向き補正部１６７によって決定された変換角度に基づいて、検出された第１の接触位置の変化を補正し、補正結果に基づいてポインターＰＯの表示位置を変化させる。そのため、本実施形態の頭部装着型表示装置１００では、操作部１３５の向きにかかわらず重力方向を基準とした入力が行なわれ、使用者の操作性が向上する。また、上記実施形態では、加速度センサー１９は、０．５秒間に１回、定期的に、加速度を取得したが、加速度が取得される頻度は、これに限られず、種々変形可能である。例えば、１秒間に１回、加速度が取得されてもよい。

Ｂ．変形例：
なお、この発明は上記実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、例えば、次のような変形も可能である。

Ｂ１．変形例１：
上記実施形態では、第１の接触操作として人差し指ＦＦが検出され、第２の接触操作として中指ＭＦが検出され、第３の接触操作として親指ＴＨが検出されたが、検出される接触操作は特定の指に限られないし、また、指以外の接触操作であってもよい。例えば、第１の接触操作として中指ＭＦが検出されて、第２の接触操作として親指ＴＨが検出されてもよい。また、使用者の指ではなく、タッチペンによる接触操作がトラックパッド１４によって検出されてもよい。また、トラックパッド１４への操作は、接触操作に限られず、非接触の操作であってもよい。例えば、操作面として、３次元型のモーションセンサーが用いられることで、非接触の操作が検出されてもよい。

上記実施形態では、クリック制御が行なわれるための判定の所定の時間が０．５秒として設定されたが、０．５秒以外の数字であってもよい。例えば、０．１秒や１．０秒であってもよい。また、０．５秒の間に、第２の接触操作が、接触状態から非接触状態へと変化した後に、再び接触状態が検出されたときに、クリック制御ではなく、ダブルクリック制御が行なわれてもよい。

上記実施形態では、接触状態から非接触状態へと変化したときに、一定時間、ポインターＰＯが表示され続ける態様としたが、非接触状態におけるポインターＰＯの表示の設定については種々変形可能である。例えば、接触状態から非接触状態へと変化したと同時にポインターＰＯが非表示となり、非接触状態の時には常にポインターＰＯが非表示になるような設定であってもよい。また、接触状態および非接触状態にかかわらず、操作画面ＶＩが表示されているときには、常にポインターＰＯが表示される設定であってもよい。

上記実施形態では、２点回点制御および３点回転制御（合わせて「回転制御」とも呼ぶ）において、ポインターＰＯが回転しない態様であったが、回転制御におけるポインターＰＯの回転については、種々変形可能である。例えば、２点回転制御のときにはポインターＰＯが回転せずに、３点回転制御のときにはポインターＰＯが重複アイコンＩＣ０と同時に回転してもよい。また、３点回点制御では、重複アイコンＩＣ０ではなく、ポインターＰＯのみが回転してもよい。

また、上記実施形態では、ポインターＰＯの画像が変化しなかったが、ポインターＰＯの画像が不変である必要はなく、ポインターＰＯの画像については種々変形可能である。例えば、第２の接触位置ＭＰや第３の接触位置ＴＰによって行なわれる制御の内容によって、ポインターＰＯの画像が変更されてもよい。

また、上記実施形態では、第１の接触位置ＦＰと第２の接触位置ＭＰとを結んだ直線を直径とする領域円Ｃ１に回転中心軸Ｏ３が含まれる場合に、２点回点制御が行なわれたが、必ずしも２点回点制御が行なわれるために、領域円Ｃ１に回転中心軸Ｏ３が含まれる必要はない。例えば、領域円Ｃ１の領域よりも外側に回転中心軸Ｏ３があった場合でも２点回点制御が行なわれてもよいし、第３の接触位置ＴＰを新たな回転中心軸とした場合に２点回転制御が行なわれてもよい。また、３点回転制御は、回転中心軸Ｏ４が領域円Ｃ２に含まれていない場合に行なわれてもよい。

上記実施形態では、赤外線発光部６１によって発光された赤外線を赤外線受光部６３が受光したか否かによって、入力決定部１６５が制御部１０と画像表示部２０との位置関係を特定したが、当該位置関係の特定の方法については、これに限られず、種々変形可能である。例えば、赤外線発光部６１および赤外線受光部６３の代わりに画像表示部２０に配置されたカメラが、使用者の視線方向を撮像して、入力決定部１６５が撮像された画像の中に制御部１０が含まれるか否かを判定してもよい。また、上記実施形態では、画像表示部２０に対して制御部１０が所定の位置に存在するか否かが判定されたが、必ずしも制御部１０と画像表示部２０との位置関係は特定される必要はなく、位置関係にかかわらず、検出された接触位置とポインターＰＯの表示位置との関係方式は、常に絶対座標方式または相対座標方式に固定されてもよい。

上記実施形態では、向き補正部１６７が加速度センサー１９によって取得された制御部１０に作用する加速度に基づいて決定した変換角度によって、接触位置の変化とポインターＰＯの表示位置の変化とが対応したが、必ずしも変換角度に基づいて接触位置の変化とポインターＰＯの表示位置の変化とを対応させる必要はない。例えば、加速度センサー１９および向き補正部１６７が頭部装着型表示装置１００に備えられておらず、接触位置の変化とポインターＰＯの表示位置の変化との対応が変換角度によって補正されなくてもよい。

上記実施形態では、選択される重複アイコンＩＣ０として、「メッセージ」を例にして説明されたが、選択されて実行されるアイコンＩＣは、「メッセージ」に限られず種々変形可能である。例えば、操作画面ＶＩ（図１０）に表示されているアイコンＩＣの「ブラウザー」であってもよいし、他のプログラムを実行するためのアイコンが操作画面ＶＩに含まれていてもよい。また、ポインターＰＯがアイコンＩＣに重複していなくても、所定の操作によって、特定のアイコンＩＣが選択される態様であってもよい。

Ｂ２．変形例２：
上記実施形態では、３点接触位置の変化によって、スクロールバー制御が行なわれたが、第３の接触操作が検出しているか否かにかかわらず、２点接触位置の変化によってスクロールバー制御が行なわれてもよい。例えば、第１の接触操作と第２の接触操作とが検出されて第３の接触操作が検出されていない状態で、第１の接触位置ＦＰが固定されると共に、第２の接触位置ＭＰが変化している場合に、ポインターＰＯの表示位置が固定された状態で操作画面ＶＩ２（図２４）に含まれる特定画像ＩＭＧの一部の領域が変化してもよい。この変形例では、使用者は、特定画像ＩＭＧのスクロールを行ないたい場合に、ポインターＰＯをわざわざスクロールバー画像ＳＣＢに重なるように移動させて、スクロールバー画像ＳＣＢを選択する必要がなく、簡便にスクロールを行なうことができ、使用者の利便性や操作性が向上する。

また、上記実施形態では、検出された複数の接触操作における接触位置の変化に応じて各種制御が行なわれたが、２つ以上の制御が組み合わされてもよい。例えば、３点接触位置の変化によって、第１の接触位置ＦＰと第２の接触位置ＭＰとが同時に平行移動すると共に、第３の接触位置ＴＰが第１の接触位置ＦＰおよび第２の接触位置ＭＰとは異なる移動をしている場合に、重複アイコンＩＣ０の２点ドラッグ制御が行なわれると共に、スクロールバー制御が行なわれてもよい。

また、上記実施形態では、図２４および図２５に示すスクロールバー制御において、スクロールバー画像ＳＣＢが操作されることで、特定画像ＩＭＧの表示される領域が表示領域ＰＮの上下方向に沿って変化したが、スクロール制御において変更される特定画像ＩＭＧの領域の設定方法については種々変形可能である。例えば、表示領域ＰＮの上下方向および左右方向に沿って変化するスクロールバー画像ＳＣＢが表示されて、特定画像ＩＭＧの領域が上下方向や左右方向に沿って変化してもよい。また、表示領域ＰＮの上下方向に沿って変化するスクロールバー画像ＳＣＢが表示されている場合に、スクロールに対応する接触操作における接触位置が斜めに変化した場合に、接触位置の変化における上下方向の移動量のみに対応したスクロールが行なわれてもよい。

また、上記実施形態では、第１の接触操作、第２の接触操作、および、第３の接触操作の３つに応じて、頭部装着型表示装置１００が制御されたが、検出される接触操作の種類の数については種々変形可能である。例えば、第１の接触操作と第２の接触操作のみによって頭部装着型表示装置１００が制御され、第３の接触操作が検出されなくてもよい。また、第３の接触操作の後に検出される第４の接触操作との組み合わせによって、頭部装着型表示装置１００が制御されてもよい。

また、上記実施形態では、複数の接触操作に基づいて、クリック制御や回転制御といった複数の制御が行なわれたが、必ずしも複数の制御が行なわれる必要はない。例えば、単に、第２の接触操作がクリック制御にのみ対応した態様であってもよい。

また、操作部１３５が所定の操作を受け付けることにより、第１の接触操作と第２の接触操作との組み合わせによって決定される操作が変更されてもよい。例えば、第１の接触操作と第３の接触操作とによってクリック制御が行なわれてもよい。また、人工知能（Artificial Intelligence）を用いて、使用頻度の高い接触操作による制御が自動的に優先して設定されてもよい。

Ｂ３．変形例３：
上記実施形態では、制御部１０に操作部１３５が形成されたが、操作部１３５の態様については種々変形可能である。例えば、制御部１０とは別体で操作部１３５であるユーザーインターフェースがある態様でもよい。この場合に、操作部１３５は、電源１３０等が形成された制御部１０とは別体であるため、小型化でき、使用者の操作性が向上する。

例えば、画像光生成部は、有機ＥＬ（有機エレクトロルミネッセンス、Organic Electro-Luminescence）のディスプレイと、有機ＥＬ制御部とを備える構成としてもよい。また、例えば、画像生成部は、ＬＣＤに代えて、ＬＣＯＳ（Liquid crystal on silicon, LCoS は登録商標）や、デジタル・マイクロミラー・デバイス等を用いることもできる。また、例えば、レーザー網膜投影型の頭部装着型表示装置１００に対して本発明を適用することも可能である。

また、例えば、頭部装着型表示装置１００は、光学像表示部が使用者の眼の一部分のみを覆う態様、換言すれば、光学像表示部が使用者の眼を完全に覆わない態様のヘッドマウントディスプレイとしてもよい。また、頭部装着型表示装置１００は、いわゆる単眼タイプのヘッドマウントディスプレイであるとしてもよい。また、頭部装着型表示装置１００は、両眼タイプの光学透過型であるとしているが、本発明は、例えば、ビデオ透過型といった他の形式の頭部装着型表示装置にも同様に適用可能である。

また、イヤホンは耳掛け型やヘッドバンド型が採用されてもよく、省略してもよい。また、例えば、自動車や飛行機等の車両に搭載される頭部装着型表示装置として構成されてもよい。また、例えば、ヘルメット等の身体防護具に内蔵された頭部装着型表示装置として構成されてもよい。

Ｂ４．変形例４：
上記実施形態における頭部装着型表示装置１００の構成は、あくまで一例であり、種々変形可能である。例えば、制御部１０に設けられた方向キー１６を省略したり、方向キー１６やトラックパッド１４に加えて、操作用スティック等の他の操作用インターフェイスを設けたりしてもよい。また、制御部１０は、キーボードやマウス等の入力デバイスを接続可能な構成であり、キーボードやマウスから入力を受け付けるものとしてもよい。

上記実施形態では、ポインターＰＯやアイコンＩＣを含む操作画面ＶＩの表示装置として頭部装着型表示装置１００の画像表示部２０が用いられたが、操作画面ＶＩの表示装置については、種々変形可能である。例えば、パーソナルコンピューター（ＰＣ）に接続されたモニターであってもよいし、スクリーンに操作画面ＶＩを投影するプロジェクターであってもよい。

また、画像表示部として、眼鏡のように装着する画像表示部２０に代えて、例えば帽子のように装着する画像表示部といった他の方式の画像表示部を採用してもよい。また、イヤホン３２，３４は、適宜省略可能である。また、上記実施形態では、画像光を生成する構成として、ＬＣＤと光源とを利用しているが、これらに代えて、有機ＥＬディスプレイといった他の表示素子を採用してもよい。

図２６は、変形例における頭部装着型表示装置の外観構成を示す説明図である。図２６（Ａ）の例の場合、図１に示した頭部装着型表示装置１００との違いは、画像表示部２０ａが、右光学像表示部２６に代えて右光学像表示部２６ａを備える点と、左光学像表示部２８に代えて左光学像表示部２８ａを備える点とである。右光学像表示部２６ａは、上記実施形態の光学部材よりも小さく形成され、頭部装着型表示装置１００ａの装着時における使用者の右眼の斜め上に配置されている。同様に、左光学像表示部２８ｂは、上記実施形態の光学部材よりも小さく形成され、頭部装着型表示装置１００ａの装着時における使用者の左眼の斜め上に配置されている。図２６（Ｂ）の例の場合、図１に示した頭部装着型表示装置１００との違いは、画像表示部２０ｂが、右光学像表示部２６に代えて右光学像表示部２６ｂを備える点と、左光学像表示部２８に代えて左光学像表示部２８ｂを備える点とである。右光学像表示部２６ｂは、上記実施形態の光学部材よりも小さく形成され、ヘッドマウントディスプレイの装着時における使用者の右眼の斜め下に配置されている。左光学像表示部２８ｂは、上記実施形態の光学部材よりも小さく形成され、ヘッドマウントディスプレイの装着時における使用者の左眼の斜め下に配置されている。このように、光学像表示部は使用者の眼の近傍に配置されていれば足りる。また、光学像表示部を形成する光学部材の大きさも任意であり、光学像表示部が使用者の眼の一部分のみを覆う態様、換言すれば、光学像表示部が使用者の眼を完全に覆わない態様の頭部装着型表示装置１００として実現できる。

また、上記実施形態において、頭部装着型表示装置１００は、使用者の左右の眼に同じ画像を表わす画像光を導いて使用者に二次元画像を視認させるとしてもよいし、使用者の左右の眼に異なる画像を表わす画像光を導いて使用者に三次元画像を視認させるとしてもよい。

また、上記実施形態において、ハードウェアによって実現されていた構成の一部をソフトウェアに置き換えるようにしてもよく、逆に、ソフトウェアによって実現されていた構成の一部をハードウェアに置き換えるようにしてもよい。例えば、上記実施形態では、画像処理部１６０や音声処理部１７０は、ＣＰＵ１４０がコンピュータープログラムを読み出して実行することにより実現されるとしているが、これらの機能部はハードウェア回路により実現されるとしてもよい。

また、本発明の機能の一部または全部がソフトウェアで実現される場合には、そのソフトウェア（コンピュータープログラム）は、コンピューター読み取り可能な記録媒体に格納された形で提供することができる。この発明において、「コンピューター読み取り可能な記録媒体」とは、フレキシブルディスクやＣＤ−ＲＯＭのような携帯型の記録媒体に限らず、各種のＲＡＭやＲＯＭ等のコンピューター内の内部記憶装置や、ハードディスク等のコンピューターに固定されている外部記憶装置も含んでいる。

また、上記実施形態では、図１および図２に示すように、制御部１０と画像表示部２０とが別々の構成として形成されているが、制御部１０と画像表示部２０との構成については、これに限られず、種々変形可能である。例えば、画像表示部２０の内部に、制御部１０に形成された構成の全てが形成されてもよいし、一部が形成されてもよい。また、上記実施形態における電源１３０が単独で形成されて、交換可能な構成であってもよいし、制御部１０に形成された構成が重複して画像表示部２０に形成されていてもよい。例えば、図２に示すＣＰＵ１４０が制御部１０と画像表示部２０との両方に形成されていてもよいし、制御部１０に形成されたＣＰＵ１４０と画像表示部２０に形成されたＣＰＵとが行なう機能が別々に分けられている構成としてもよい。

また、制御部１０がＰＣに内蔵されて、ＰＣのモニターに代えて画像表示部２０が使用される態様であってもよいし、制御部１０と画像表示部２０とが一体化して、使用者の衣服に取り付けられるウェアラブルコンピューターの態様であってもよい。

本発明は、上記実施形態や変形例に限られるものではなく、その趣旨を逸脱しない範囲において種々の構成で実現することができる。例えば、発明の概要の欄に記載した各形態中の技術的特徴に対応する実施形態、変形例中の技術的特徴は、上述の課題の一部または全部を解決するために、あるいは、上述の効果の一部または全部を達成するために、適宜、差し替えや、組み合わせを行なうことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することが可能である。

１０…制御部
１１…決定キー
１２…点灯部
１３…表示切替キー
１４…トラックパッド（操作面）
１５…輝度切替キー
１６…方向キー
１７…メニューキー
１８…電源スイッチ
１９…加速度センサー（加速度検出部）
２０…画像表示部（画像表示装置）
２１…右保持部
２２…右表示駆動部
２３…左保持部
２４…左表示駆動部
２６…右光学像表示部
２８…左光学像表示部
３０…イヤホンプラグ
３２…右イヤホン
３４…左イヤホン
４０…接続部
４２…右コード
４４…左コード
４６…連結部材
４８…本体コード
５１，５２…送信部
５３，５４…受信部
６１…赤外線発光部（操作面判定部）
６３…赤外線受光部（操作面判定部）
１００…頭部装着型表示装置
１２０…記憶部
１３０…電源
１３５…操作部（操作部）
１４０…ＣＰＵ
１５０…ＯＳ
１６０…画像処理部（制御部）
１６５…入力決定部（制御部、操作面判定部）
１６７…向き補正部（制御部）
１７０…音声処理部
１８０…インターフェイス
１９０…表示制御部
２０１…右バックライト制御部
２０２…左バックライト制御部
２１１…右ＬＣＤ制御部
２１２…左ＬＣＤ制御部
２２１…右バックライト
２２２…左バックライト
２４１…右ＬＣＤ
２４２…左ＬＣＤ
２５１…右投写光学系
２５２…左投写光学系
２６１…右導光板
２６２…左導光板
Ｄ０…基準方向
ＤＧ…重力方向
ＤＲ１…操作方向
Ｏ１，Ｏ２…中心
Ｌ１…直線
β１…角度
Ｃ１，Ｃ２…領域円
Ｏ３，Ｏ４…回転中心軸
ＶＲ…視野
ＦＦ…人差し指
ＭＦ…中指
ＴＨ…親指
ＦＰ…第１の接触位置
ＭＰ…第２の接触位置
ＴＰ…第３の接触位置
ＶＩ，ＶＩ２，ＶＩ３…操作画面
ＰＮ…表示領域
ＰＯ…ポインター
ＳＣＢ…スクロールバー画像
ＩＭＧ…特定画像
ＢＤ…建造物
ＲＥ…右眼
ＬＥ…左眼
ＡＰ…先端部
ＥＬ…端部
ＥＲ…端部
ＰＬ…画像光
ＩＬ…照明光

Claims (14)

1. 情報処理装置であって、
   操作面と、前記操作面への少なくとも１つの操作を検出して検出位置に応じた位置指定信号を出力する位置指定部と、を含む操作部と、
   前記操作面への前記操作によって検出される第１の操作に応じた前記位置指定信号に基づいて第１の制御を行ない、前記第１の操作が継続すると共に、前記操作面への新たな第２の操作に基づいて、前記情報処理装置に対して前記第１の制御とは異なる第２の制御を行なう制御部と、を備え、
   前記制御部は、前記第１の操作と前記第２の操作とが継続されているときに、前記第１の操作のみがキャンセルされたことが検出された場合には、前記第２の操作を前記第１の操作として検出しなおし、新たな前記第２の操作を検出可能な状態にする、情報処理装置。
2. 請求項１に記載の情報処理装置であって、
   前記制御部は、前記第１の制御として、画像表示装置が画像を表示する画像領域内に表示させるポインター画像の位置を設定する、情報処理装置。
3. 請求項２に記載の情報処理装置であって、
   前記制御部は、前記第１の操作が継続している状態において前記画像領域内に表示された選択可能なオブジェクトと前記ポインター画像とが重なっているときに、前記第２の操作が検出されると、前記第２の制御として、前記ポインター画像と重なっている前記オブジェクトを選択するクリック制御を行なう、情報処理装置。
4. 請求項２または請求項３に記載の情報処理装置であって、
   前記制御部は、前記画像領域内に表示された選択可能なオブジェクトと前記ポインター画像とが重なっているときに、前記第１の操作における前記検出位置と前記第２の操作における前記検出位置とが同時かつ平行に移動する変化が検出されると、前記第２の制御として、前記ポインター画像と重なっている前記オブジェクトの位置を前記検出位置の変化に基づいて変更させるドラッグ制御を行なう、情報処理装置。
5. 請求項２から請求項４までのいずれか一項に記載の情報処理装置であって、
   前記制御部は、前記画像領域内に表示された選択可能なオブジェクトと前記ポインター画像とが重なっているときに、前記操作面に垂直な仮想的な特定軸を中心として前記第１の操作における前記検出位置と前記第２の操作における前記検出位置とが同時に回転する変化が検出されると、前記第２の制御として、前記ポインター画像が重なっている前記オブジェクトを回転させる回転制御を行なう、情報処理装置。
6. 請求項５に記載の情報処理装置であって、
   前記制御部は、前記第１の操作における前記検出位置と前記第２の操作における前記検出位置とを直径とする円の内部に前記特定軸が含まれる場合には、前記第２の制御として、前記回転制御を行なう、情報処理装置。
7. 請求項２から請求項６までのいずれか一項に記載の情報処理装置であって、
   前記制御部は、前記画像領域内に特定画像の一部の領域が表示されている場合に、前記第１の操作における前記検出位置の変化が検出されないと共に、前記第２の操作における前記検出位置の変化が検出された場合には、前記第２の制御として、前記ポインター画像の位置を固定すると共に、前記第２の操作における前記検出位置の変化に基づいて、前記画像領域内に表示される前記特定画像の領域を変更するスクロールバー制御を行なう、情報処理装置。
8. 請求項２から請求項７までのいずれか一項に記載の情報処理装置であって、
   前記制御部は、前記画像領域内における前記ポインター画像の位置を前記操作面における前記検出位置に対応付ける、情報処理装置。
9. 請求項２から請求項８までのいずれか一項に記載の情報処理装置であって、
   前記制御部は、前記操作が検出された第１の状態から前記操作が検出されていない状態へと移行した後に、再度、前記操作が検出された第２の状態のとき、前記第１の状態における最後の前記ポインター画像の位置を、前記第２の状態において、前記第１の操作における前記検出位置にかかわらず、最初の前記ポインター画像の位置として対応付ける第１の設定を行なう、情報処理装置。
10. 請求項９に記載の情報処理装置であって、
    前記制御部は、前記操作に基づいて、前記ポインター画像の位置を前記操作面における前記検出位置に対応付ける第２の設定と前記第１の設定とを切り替える、情報処理装置。
11. 請求項１０に記載の情報処理装置であって、
    前記画像表示装置は、使用者の頭部に装着された状態において、前記画像を表す画像データに基づいて画像光を形成し、前記画像光を虚像として使用者に視認させると共に外景を透過させる頭部装着型画像表示装置であり、
    前記情報処理装置は、さらに、
    透過された前記外景に前記操作面の少なくとも一部が含まれるか否かを判定する操作面判定部を備え、
    前記制御部は、透過された前記外景に前記操作面が含まれていないと判定された場合には、前記第１の設定に切り替え、透過された前記外景に前記操作面の少なくとも一部が含まれていると判定された場合には前記第２の設定に切り替える、情報処理装置。
12. 請求項２から請求項１１までのいずれか一項に記載の情報処理装置であって、さらに、
    前記操作部に配置され、前記操作部の加速度を検出する加速度検出部を備え、
    前記制御部は、検出された前記操作部の加速度に基づいて前記操作面の向きを特定し、前記操作面の向きが第１の向きの場合には、第１の規則に基づいて前記位置指定信号の変化を前記ポインター画像の位置の変化へと変換し、前記操作部の向きが前記第１の向きとは異なる第２の向きの場合には、前記第１の規則とは異なる第２の規則に基づいて前記位置指定信号の変化を前記ポインター画像の位置の変化へと変換する、情報処理装置。
13. 請求項１から請求項１２までのいずれか一項に記載の情報処理装置であって、
    前記操作面への操作は、前記操作面へと接触する操作である、情報処理装置。
14. 操作面と、前記操作面への少なくとも１つの操作を検出して検出位置に応じた位置指定信号を出力する位置指定部と、を含む操作部を備える、情報処理装置の制御方法であって、
    前記操作面への前記操作によって検出される第１の操作に応じた前記位置指定信号に基づいて第１の制御を行ない、前記第１の操作が継続すると共に、前記操作面への新たな第２の操作に基づいて、前記情報処理装置に対して前記第１の制御とは異なる第２の制御を行なう工程と、
    前記第１の操作と前記第２の操作とが継続されているときに、前記第１の操作のみがキャンセルされたことを検出した場合に、前記第２の操作を前記第１の操作として検出しなおし、新たな前記第２の操作を検出可能な状態にする工程と、
    を備える、制御方法。

Images