JP6500477B2 - 頭部装着型表示装置、制御システム、頭部装着型表示装置の制御方法、および、コンピュータープログラム - Google Patents

Description

本発明は、頭部装着型表示装置の技術に関する。

頭部に装着する表示装置である頭部装着型表示装置（ヘッドマウントディスプレイ（Head Mounted Display）、ＨＭＤ）が知られている。頭部装着型表示装置は、例えば、液晶ディスプレイおよび光源を利用して画像を表わす画像光を生成し、生成された画像光を投写光学系や導光板を利用して使用者の眼に導くことにより、使用者に虚像を視認させる。頭部装着型表示装置には、使用者が虚像に加えて外景も視認可能な透過型と、使用者が外景を視認できない非透過型と、の２つのタイプがある。透過型の頭部装着型表示装置には、光学透過型とビデオ透過型とがある。

特許文献１には、コントローラーから送信された制御コマンドを受信する被制御機器が受信した制御コマンドに関する表示制御データをコントローラーに送信することで、コントローラーと被制御機器との双方向のデータの送受信が行なわれる機器制御システムについて開示されている。特許文献２には、撮像した使用者の視野と同等以上の範囲に、所定のマークとしての使用者の指先が含まれている場合に、指先の座標値を出力することで、指先の位置に応じた制御処理を行なう入力画像処理方法について開示されている。特許文献３には、２眼カメラによって撮像された外景と撮像された使用者の手の位置および姿勢とに基づいて、被制御機器を操作する情報入力方法について開示されている。

特開平５−２６８６７８号公報 特開２０００−１４８３８１号公報 特開２０１３−２０５９８３号公報 特開２００６−４８６２８号公報 特開２００５−６９７３４号公報 特開２０００−１６３１９６号公報

しかし、特許文献１に記載された技術では、複数の被制御機器が存在する場合に、使用者がいずれの被制御機器を制御するために、直感的な操作による制御を行なうことができず、使い勝手を向上させたいという課題があった。また、特許文献２に記載された技術では、使用者は、対象となる被制御機器を選択するまで指先の位置を固定し続ける必要があり、使用者の疲労を招くため、さらに使い勝手を向上させたいという課題があった。また、特許文献３では、手の位置と姿勢とに基づいて被制御機器が操作されるが、それ以外の情報も加味して被制御機器を操作することでより直感的に被制御機器を操作したいという課題があった。

本発明は、上述の課題の少なくとも一部を解決するためになされたものであり、以下の形態として実現することが可能である。即ち、本発明の１つは、透過型の頭部装着型表示装置であって、虚像を表示し、外景を透過可能な画像表示部と、前記画像表示部から所定の距離の範囲にある選択可能な対象物と、前記外景に含まれる特定のオブジェクトの位置と、を取得する対象取得部と、取得された前記対象物に対応付けられているジェスチャー指示画像を、前記画像表示部を用いて前記虚像として表示し、取得された前記特定のオブジェクトの位置に基づいて前記特定のオブジェクトによるジェスチャーを特定し、特定した前記特定のオブジェクトによる前記ジェスチャーと取得された前記対象物の位置との関係に基づいて前記対象物を選択し、選択した前記対象物に対応付けられている特定確認画像を、前記画像表示部を用いて前記虚像として表示する制御部と、を備えることを要旨とする。本発明は、透過型の頭部装着型表示装置としての他、同様の構成を備えた透過型の頭部装着型表示装置の制御方法、そのためのコンピュータープログラム、更には、透過型の頭部装着型表示装置ほ含む制御システムとしても実現可能である。

（１）本発明の一形態によれば、透過型の頭部装着型表示装置が提供される。この頭部装着型表示装置は、虚像を表示し、外景を透過可能な画像表示部と；前記画像表示部から所定の距離の範囲にある選択可能な対象物と、前記外景に含まれる特定のオブジェクトの位置と、を取得する対象取得部と；取得された前記対象物に対応付けられている対象物対応虚像を、前記画像表示部を用いて前記虚像として表示し、取得された前記特定のオブジェクトの位置に基づいて前記特定のオブジェクトの位置の変化を特定し、特定した前記特定のオブジェクトの位置の変化と取得された前記対象物の位置との関係に基づいて前記対象物を選択し、選択した前記対象物に対応付けられている特定確認画像を、前記画像表示部を用いて前記虚像として表示する制御部と、を備える。この形態の頭部装着型表示装置によれば、使用者は、操作する対象の対象物と検出された特定のオブジェクトの位置の変化に対応付けられた制御とを視線方向を変えないで同時に視認でき、対象物の制御を直感的に行なうことができ、使用者の利便性が向上する。

（２）上記形態の頭部装着型表示装置において、前記対象取得部は、前記外景を撮像する撮像部と、撮像された前記外景の中に含まれる前記特定のオブジェクトの位置と前記対象物とを検出して取得する画像検出部と、を有し；前記制御部は、選択した前記対象物の制御を決定し、決定した前記対象物の制御を実行してもよい。この形態の頭部装着型表示装置によれば、撮像することにより特定のオブジェクトおよび対象物を取得でき、同時に、使用者は、撮像された特定のオブジェクトおよび対象物を視認できるため、対象物を認識しやすい。

（３）上記形態の頭部装着型表示装置において、前記制御部は、取得された前記特定のオブジェクトの位置と取得された前記対象物との組み合わせに予め対応付けられている前記対象物対応虚像を、前記画像表示部を用いて前記虚像として表示してもよい。この形態の頭部装着型表示装置によれば、使用者は、対象物の制御を実行するために必要な特定のオブジェクトの位置の変化を視覚情報として認識でき、使用者にとっての頭部装着型表示装置の使い勝手が向上する。

（４）上記形態の頭部装着型表示装置において、前記制御部は、取得された前記特定のオブジェクトの位置と取得された前記対象物との組み合わせに予め対応付けられている前記対象物対応虚像として、前記対象物の制御を実行するために必要な前記特定のオブジェクトの位置の変化を示す前記虚像を、前記画像表示部を用いて表示してもよい。この形態の頭部装着型表示装置によれば、使用者が自身の特定のオブジェクトの位置の変化に対応して次に実行される対象物の制御の内容を視覚情報として認識できるので、使用者にとっての使い勝手が向上する。

（５）上記形態の頭部装着型表示装置において、前記制御部は、取得された前記対象物に予め対応付けられている前記対象物対応虚像として、実行する前記対象物の制御の内容を示す前記虚像を、前記画像表示部を用いて表示してもよい。この形態の頭部装着型表示装置によれば、使用者が特定のオブジェクトの位置の変化に対応して次に実行される対象物の制御の内容を視覚情報として認識できるので、使用者にとっての使い勝手が向上する。

（６）上記形態の頭部装着型表示装置において、前記制御部は、撮像された前記外景において、前記特定のオブジェクトの変化後の位置と前記対象物とが重なっている場合に、前記特定のオブジェクトの変化後の位置と重なっている前記対象物に予め対応付けられている前記対象物の制御を決定してもよい。この形態の頭部装着型表示装置によれば、特定のオブジェクトの位置の変化後に特定のオブジェクトが重なっている対象物に対応する対象物の制御が実行されるため、使用者は、意図した対象物の制御に対応する特定のオブジェクトの変化を行ないやすい。

（７）上記形態の頭部装着型表示装置において、さらに；取得された前記対象物と前記画像表示部との距離を特定する距離特定部を備え；前記制御部は、取得されると共に特定された前記距離が閾値以下の前記対象物を、選択可能な前記対象物として設定してもよい。この形態の頭部装着型表示装置によれば、撮像された画像に複数の仮対象が検出された場合に、使用者から近いものを選択可能な対象物として設定するので、使用者に選択される可能性の高い対象物を使用者に視認させるため、使用者の利便性が向上する。

（８）上記形態の頭部装着型表示装置において、さらに；外部の音声を取得する音声取得部を備え；前記制御部は、特定された前記特定のオブジェクトの位置の変化と取得された前記音声との組み合わせに基づいて前記対象物の制御を決定してもよい。この形態の頭部装着型表示装置によれば、特定のオブジェクトの位置の変化と音声との組み合わせによって対象物の制御が実行されるため、特定のオブジェクトの位置の変化のみによって実行される対象物の制御よりも、使用者は、より多くの対象物の制御を直感的に行なうことができる。

（９）上記形態の頭部装着型表示装置において、前記対象取得部は、他の装置から少なくとも１つの前記対象物の位置情報を取得してもよい。この形態の頭部装着型表示装置によれば、使用者が視認できない範囲の選択可能な対象物の位置も認識でき、使用者の使い勝手が向上する。

（１０）上記形態の頭部装着型表示装置において、前記制御部は、取得された前記対象物が前記外景に含まれない場合に、前記画像表示部を用いて、前記画像表示部と取得された前記対象物との位置関係を前記虚像として表示してもよい。この形態の頭部装着型表示装置によれば、使用者が視認できない範囲の選択可能な対象物の位置と使用者との位置関係を虚像として視認でき、使用者の使い勝手がより向上する。

（１１）上記形態の頭部装着型表示装置において、前記制御部は、前記特定のオブジェクトの加速度を検出し、検出した前記特定のオブジェクトの加速度に基づいて、前記特定のオブジェクトの位置の変化を特定してもよい。この形態の頭部装着型表示装置によれば、使用者が選択した対象物への制御指示を実行する場合に、特定の場所を操作したり、操作として対応付けられ動作を撮像される範囲で行なう必要がなく、使用者の利便性が向上する。

（１２）上記形態の頭部装着型表示装置において、さらに；外部の音声を取得する音声取得部を備え；前記制御部は、取得された前記外部の音声と、特定された前記特定のオブジェクトの位置の変化との組み合わせに基づいて、選択した前記対象物の制御を決定してもよい。この形態の頭部装着型表示装置によれば、音声と特定のオブジェクトの位置の変化との複数の要素に基づいて、選択された対象物への制御が決定されるため、使用者がより多くの操作を入力でき、使用者の使い勝手が向上する。

（１３）上記形態の頭部装着型表示装置において、前記制御部は、選択した前記対象物に対応付けられた制御装置の制御を実行し、前記外景に選択した前記対象物と前記制御装置とが取得される場合に、前記画像表示部を用いて、選択した前記対象物と前記制御装置とが対応関係にあることを前記虚像として表示してもよい。この形態の頭部装着型表示装置によれば、検出された選択可能な対象物と検出された特定のオブジェクトとの対応関係を視認させることができ、使用者の使い勝手が向上する。

（１４）上記形態の頭部装着型表示装置において、前記制御部は、選択した前記対象物と前記制御装置とが対応関係にあることを示す前記虚像として、前記画像表示部を用いて、同じ形で同じ色の虚像を表示してもよい。この形態の頭部装着型表示装置によれば、検出された選択可能な対象物と検出された特定のオブジェクトとの対応関係をより明確に視認させることができ、使用者の使い勝手が向上する。

（１５）上記形態の頭部装着型表示装置において、さらに；前記画像表示部の使用者の属性を識別する識別部を備え；前記制御部は、前記対象物に対応付けられている虚像と前記特定確認画像との少なくとも一方を、識別された前記属性に対応させて前記画像表示部を用いて前記虚像として表示してもよい。この形態の頭部装着型表示装置によれば、特定された使用者ごとに異なる虚像が画像表示部に生成されるため、使用者のニーズにあった情報を提供できる。

上述した本発明の各形態の有する複数の構成要素はすべてが必須のものではなく、上述の課題の一部または全部を解決するため、あるいは、本明細書に記載された効果の一部または全部を達成するために、適宜、前記複数の構成要素の一部の構成要素について、その変更、削除、新たな他の構成要素との差し替え、限定内容の一部削除を行なうことが可能である。また、上述の課題の一部または全部を解決するため、あるいは、本明細書に記載された効果の一部または全部を達成するために、上述した本発明の一形態に含まれる技術的特徴の一部または全部を上述した本発明の他の形態に含まれる技術的特徴の一部または全部と組み合わせて、本発明の独立した一形態とすることも可能である。

例えば、本発明の一形態は、画像表示部と、対象取得部と、制御部と、の３つ要素の内の一部または全部の要素を備えた装置として実現可能である。すなわち、この装置は、画像表示部を有していてもよく、有していなくてもよい。また、装置は、対象取得部を有していてもよく、有していなくてもよい。また、装置は、制御部を有していてもよく、有していなくてもよい。画像表示部は、例えば、虚像を表示し、外景を透過可能であってもよい。対象検出部は、例えば、前記画像表示部から所定の距離の範囲にある選択可能な対象物と、前記外景に含まれる特定のオブジェクトの位置と、を取得してもよい。制御部は、例えば、取得された前記対象物に対応付けられている対象物対応虚像を、前記画像表示部を用いて前記虚像として表示し、取得された前記特定のオブジェクトの位置に基づいて前記特定のオブジェクトの位置を特定し、特定した前記特定のオブジェクトの位置の変化と取得された前記対象物の位置との関係に基づいて前記対象物を選択し、選択した前記対象物に対応付けられている特定確認画像を、前記画像表示部を用いて前記虚像として表示してもよい。こうした装置は、例えば、頭部装着型表示装置として実現できるが、頭部装着型表示装置以外の他の装置としても実現可能である。このような形態によれば、装置の操作性の向上および簡易化、装置の一体化や、装置を使用する使用者の利便性の向上、等の種々の課題の少なくとも１つを解決することができる。前述した頭部装着型表示装置の各形態の技術的特徴の一部または全部は、いずれもこの装置に適用することが可能である。

本発明は、頭部装着型表示装置以外の種々の形態で実現することも可能である。例えば、表示装置、頭部装着型表示装置および表示装置の制御方法、制御システム、頭部装着型表示システム、表示装置、制御システムおよび表示装置の機能を実現するためのコンピュータープログラム、そのコンピュータープログラムを記録した記録媒体、そのコンピュータープログラムを含み搬送波内に具現化されたデータ信号等の形態で実現できる。

ＨＭＤの外観構成を示す説明図である。 ＨＭＤの構成を機能的に示すブロック図である。 画像光生成部によって画像光が射出される様子を示す説明図である。 機器確認処理の流れを示す説明図である。 操作対象が検出された場合に使用者が視認する視野の一例を示す説明図である。 判断対象が検出された場合に使用者が視認する視野の一例を示す説明図である。 確認済画像が表示された場合に使用者が視認する視野の一例を示す説明図である。 第２実施形態における制御システムの構成を機能的に示すブロック図である。 制御処理の流れを示す説明図である。 操作対象が検出された場合に使用者が視認する視野の一例を示す説明図である。 ジェスチャー検出モードの場合に使用者が視認する視野の一例を示す説明図である。 設定ジェスチャーに対応するジェスチャー検出モードの画像が表示された場合に使用者が視認する視野の一例を示す説明図である。 制御後画像が表示された場合に使用者が視認する視野の一例を示す説明図である。 第３実施形態における制御システムの構成を示す概略図である。 サーバーの記憶部に記憶された制御装置の情報の一部を示す概略図である。 第３実施形態におけるＨＭＤの構成を機能的に示すブロック図である。 第３実施形態における制御処理の流れを示す説明図である。 制御装置が検出された場合に使用者が視認する視野の一例を示す説明図である。 対応シーケンスに対応付けられた画像が画像表示最大領域に表示された場合に使用者が視認する視野を示す説明図である。 画像のアイコンが選択された場合に使用者が視認する視野の一例を示す説明図である。 アイビーコン（iBeacon）によって制御機器の位置情報が取得された場合に使用者が視認する視野の一例を示す説明図である。 実行された制御指示に従って画像表示最大領域に画像が表示されたときに使用者が視認する視野を示す説明図である。 変形例におけるＨＭＤの外観構成を示す説明図である。

次に、本発明の実施の形態を実施形態に基づいて以下の順序で説明する。
Ａ．第１実施形態：
Ａ−１．頭部装着型表示装置の構成：
Ａ−２．機器確認処理：
Ｂ．第２実施形態：
Ｃ．第３実施形態：
Ｄ．変形例：

Ａ．第１実施形態：
Ａ−１．頭部装着型表示装置の構成：
図１は、頭部装着型表示装置１００（ＨＭＤ１００）の外観構成を示す説明図である。ＨＭＤ１００は、頭部に装着する表示装置であり、ヘッドマウントディスプレイ（Head Mounted Display、ＨＭＤ）とも呼ばれる。本実施形態のＨＭＤ１００は、使用者が、虚像を視認すると同時に外景も直接視認可能な光学透過型の頭部装着型表示装置である。なお、本明細書では、ＨＭＤ１００によって使用者が視認する虚像を便宜的に「表示画像」ともいう。また、画像データに基づいて生成された画像光を射出することを「画像を表示する」ともいう。

ＨＭＤ１００は、使用者の頭部に装着された状態において使用者に虚像を視認させる画像表示部２０と、画像表示部２０を制御する制御部１０（コントローラー１０）と、を備えている。

画像表示部２０は、使用者の頭部に装着される装着体であり、本実施形態では眼鏡形状を有している。画像表示部２０は、右保持部２１と、右表示駆動部２２と、左保持部２３と、左表示駆動部２４と、右光学像表示部２６と、左光学像表示部２８と、カメラ６１と、赤外線ＬＥＤ６４と、ＴＯＦセンサー６３と、マイク６９と、を含んでいる。右光学像表示部２６および左光学像表示部２８は、それぞれ、使用者が画像表示部２０を装着した際に使用者の右および左の眼前に位置するように配置されている。右光学像表示部２６の一端と左光学像表示部２８の一端とは、使用者が画像表示部２０を装着した際の使用者の眉間に対応する位置で、互いに接続されている。

右保持部２１は、右光学像表示部２６の他端である端部ＥＲから、使用者が画像表示部２０を装着した際の使用者の側頭部に対応する位置にかけて、延伸して設けられた部材である。同様に、左保持部２３は、左光学像表示部２８の他端である端部ＥＬから、使用者が画像表示部２０を装着した際の使用者の側頭部に対応する位置にかけて、延伸して設けられた部材である。右保持部２１および左保持部２３は、眼鏡のテンプル（つる）のようにして、使用者の頭部に画像表示部２０を保持する。

右表示駆動部２２と左表示駆動部２４とは、使用者が画像表示部２０を装着した際の使用者の頭部に対向する側に配置されている。なお、以降では、右保持部２１および左保持部２３を総称して単に「保持部」とも呼び、右表示駆動部２２および左表示駆動部２４を総称して単に「表示駆動部」とも呼び、右光学像表示部２６および左光学像表示部２８を総称して単に「光学像表示部」とも呼ぶ。

表示駆動部２２，２４は、液晶ディスプレイ２４１，２４２（Liquid Crystal Display、以下「ＬＣＤ２４１，２４２」とも呼ぶ）や投写光学系２５１，２５２等を含む（図２参照）。表示駆動部２２，２４の構成の詳細は後述する。光学部材としての光学像表示部２６，２８は、導光板２６１，２６２（図２参照）と調光板とを含んでいる。導光板２６１，２６２は、光透過性の樹脂材料等によって形成され、表示駆動部２２，２４から出力された画像光を使用者の眼に導く。調光板は、薄板状の光学素子であり、使用者の眼の側とは反対の側である画像表示部２０の表側を覆うように配置されている。調光板は、導光板２６１，２６２を保護し、導光板２６１，２６２の損傷や汚れの付着等を抑制する。また、調光板の光透過率を調整することによって、使用者の眼に入る外光量を調整して虚像の視認のしやすさを調整できる。なお、調光板は省略可能である。

カメラ６１は、使用者が画像表示部２０を装着した際の使用者の眉間に対応する位置に配置されている。そのため、カメラ６１は、使用者が画像表示部２０を頭部に装着した状態において、使用者の視線方向の外部の景色である外景を撮像し、撮像画像を取得する。カメラ６１は、単眼カメラであるが、ステレオカメラであってもよい。カメラ６１は、請求項における撮像部に相当する。

赤外線ＬＥＤ６４およびＴＯＦセンサー６３は、カメラ６１と同様の位置である使用者が画像表示部２０を装着した際の使用者の眉間に対応する位置に配置されている。赤外線ＬＥＤ６４は、赤外線を発光する発光ダイオード（Light Emitting Diode ，LED）である。ＴＯＦセンサー６３は、赤外線ＬＥＤ６４が発光した赤外線が特定の対象に反射した反射光を検出する。

マイク６９は、外部の音声を取得する装置である。マイク６９は、使用者が画像表示部２０を装着した際の右表示駆動部２２における使用者と対向する側の反対側（外側）に形成されている。

画像表示部２０は、さらに、画像表示部２０を制御部１０に接続するための接続部４０を有している。接続部４０は、制御部１０に接続される本体コード４８と、右コード４２と、左コード４４と、連結部材４６と、を含んでいる。右コード４２と左コード４４とは、本体コード４８が２本に分岐したコードである。右コード４２は、右保持部２１の延伸方向の先端部ＡＰから右保持部２１の筐体内に挿入され、右表示駆動部２２に接続されている。同様に、左コード４４は、左保持部２３の延伸方向の先端部ＡＰから左保持部２３の筐体内に挿入され、左表示駆動部２４に接続されている。連結部材４６は、本体コード４８と、右コード４２および左コード４４と、の分岐点に設けられ、イヤホンプラグ３０を接続するためのジャックを有している。イヤホンプラグ３０からは、右イヤホン３２および左イヤホン３４が延伸している。

画像表示部２０と制御部１０とは、接続部４０を介して各種信号の伝送を行なう。本体コード４８における連結部材４６とは反対側の端部と、制御部１０と、のそれぞれには、互いに嵌合するコネクター（図示しない）が設けられている。本体コード４８のコネクターと制御部１０のコネクターとの嵌合／嵌合解除により、制御部１０と画像表示部２０とが接続されたり切り離されたりする。右コード４２と、左コード４４と、本体コード４８とには、例えば、金属ケーブルや光ファイバーを採用できる。

制御部１０は、ＨＭＤ１００を制御するための装置である。制御部１０は、決定キー１１と、点灯部１２と、表示切替キー１３と、トラックパッド１４と、輝度切替キー１５と、方向キー１６と、メニューキー１７と、電源スイッチ１８と、を含んでいる。決定キー１１は、押下操作を検出して、制御部１０で操作された内容を決定する信号を出力する。点灯部１２は、ＨＭＤ１００の動作状態を、その発光状態によって通知する。ＨＭＤ１００の動作状態としては、例えば、電源のＯＮ／ＯＦＦ等がある。点灯部１２としては、例えば、ＬＥＤが用いられる。表示切替キー１３は、押下操作を検出して、例えば、コンテンツ動画の表示モードを３Ｄと２Ｄとに切り替える信号を出力する。トラックパッド１４は、トラックパッド１４の操作面上での使用者の指の操作を検出して、検出内容に応じた信号を出力する。トラックパッド１４としては、静電式や圧力検出式、光学式といった種々のトラックパッドを採用できる。輝度切替キー１５は、押下操作を検出して、画像表示部２０の輝度を増減する信号を出力する。方向キー１６は、上下左右方向に対応するキーへの押下操作を検出して、検出内容に応じた信号を出力する。電源スイッチ１８は、スイッチのスライド操作を検出することで、ＨＭＤ１００の電源投入状態を切り替える。

図２は、ＨＭＤ１００の構成を機能的に示すブロック図である。図２に示すように、制御部１０は、記憶部１２０と、電源１３０と、無線通信部１３２と、操作部１３５と、ＣＰＵ１４０と、インターフェイス１８０と、送信部５１（Ｔｘ５１）および送信部５２（Ｔｘ５２）と、を有している。操作部１３５は、使用者による操作を受け付け、決定キー１１、表示切替キー１３、トラックパッド１４、輝度切替キー１５、方向キー１６、メニューキー１７、電源スイッチ１８、から構成されている。

電源１３０は、ＨＭＤ１００の各部に電力を供給する。電源１３０としては、例えば二次電池を用いることができる。記憶部１２０は、種々のコンピュータープログラムを格納している。記憶部１２０は、ＲＯＭやＲＡＭ等によって構成されている。また、詳細については後述するが、記憶部１２０は、カメラ６１の撮像画像に含まれる場合に検出される操作対象の画像データと制御を行なう判断の基となる判断対象の画像データとを記憶している。また、記憶部１２０は、操作対象等が検出された場合に画像表示部２０に表示させる表示画像についても記憶している。

ＣＰＵ１４０は、記憶部１２０に格納されているコンピュータープログラムを読み出して実行することにより、オペレーティングシステム１５０（ＯＳ１５０）、表示制御部１９０、音声処理部１７０、画像処理部１６０、画像判定部１６８、距離測定部１６６、画像設定部１６５、および、インターフェイス１８０として機能する。

表示制御部１９０は、右表示駆動部２２および左表示駆動部２４を制御する制御信号を生成する。具体的には、表示制御部１９０は、制御信号により、右ＬＣＤ制御部２１１による右ＬＣＤ２４１の駆動ＯＮ／ＯＦＦ、右バックライト制御部２０１による右バックライト２２１の駆動ＯＮ／ＯＦＦ、左ＬＣＤ制御部２１２による左ＬＣＤ２４２の駆動ＯＮ／ＯＦＦ、左バックライト制御部２０２による左バックライト２２２の駆動ＯＮ／ＯＦＦなど、を個別に制御する。これにより、表示制御部１９０は、右表示駆動部２２および左表示駆動部２４のそれぞれによる画像光の生成および射出を制御する。例えば、表示制御部１９０は、右表示駆動部２２および左表示駆動部２４の両方に画像光を生成させたり、一方のみに画像光を生成させたり、両方共に画像光を生成させなかったりする。

表示制御部１９０は、右ＬＣＤ制御部２１１と左ＬＣＤ制御部２１２とに対する制御信号のそれぞれを、送信部５１および５２を介して送信する。また、表示制御部１９０は、右バックライト制御部２０１と左バックライト制御部２０２とに対する制御信号のそれぞれを送信する。

画像処理部１６０は、コンテンツに含まれる画像信号を取得する。画像処理部１６０は、取得した画像信号から、垂直同期信号ＶＳｙｎｃや水平同期信号ＨＳｙｎｃ等の同期信号を分離する。また、画像処理部１６０は、分離した垂直同期信号ＶＳｙｎｃや水平同期信号ＨＳｙｎｃの周期に応じて、ＰＬＬ（Phase Locked Loop）回路等（図示しない）を利用してクロック信号ＰＣＬＫを生成する。画像処理部１６０は、同期信号が分離されたアナログ画像信号を、Ａ／Ｄ変換回路等（図示しない）を用いてディジタル画像信号に変換する。その後、画像処理部１６０は、変換後のディジタル画像信号を、対象画像の画像データ（ＲＧＢデータ）として、１フレームごとに記憶部１２０内のＤＲＡＭに格納する。なお、画像処理部１６０は、必要に応じて、画像データに対して、解像度変換処理、輝度、彩度の調整といった種々の色調補正処理、キーストーン補正処理等の画像処理を実行してもよい。

画像処理部１６０は、生成されたクロック信号ＰＣＬＫ、垂直同期信号ＶＳｙｎｃ、水平同期信号ＨＳｙｎｃ、記憶部１２０内のＤＲＡＭに格納された画像データ、のそれぞれを、送信部５１、５２を介して送信する。なお、送信部５１を介して送信される画像データを「右眼用画像データ」とも呼び、送信部５２を介して送信される画像データを「左眼用画像データ」とも呼ぶ。送信部５１、５２は、制御部１０と画像表示部２０との間におけるシリアル伝送のためのトランシーバーとして機能する。

音声処理部１７０は、コンテンツに含まれる音声信号を取得し、取得した音声信号を増幅して、連結部材４６に接続された右イヤホン３２内のスピーカー（図示しない）および左イヤホン３４内のスピーカー（図示しない）に対して供給する。なお、例えば、Ｄｏｌｂｙ（登録商標）システムを採用した場合、音声信号に対する処理がなされ、右イヤホン３２および左イヤホン３４のそれぞれからは、例えば周波数等が変えられた異なる音が出力される。音声処理部１７０は、マイク６９が取得した外部の音声に対して各種処理を行なう。詳細については後述するが、音声処理部１７０は、各種処理として、取得した外部の音声が記憶部１２０に記憶された機器確認処理を行なう判断の基となる判断音声であるか否かを判定する。

画像判定部１６８は、パターンマッチングや統計的識別法によって、記憶部１２０に記憶された操作対象や判断対象の画像データと同じ画像が撮像画像に含まれているか否かを検出する。画像判定部１６８は、検出された判断対象の画像データと同じ画像である対象を、判断対象として検出する。なお、画像判定部１６８は、請求項における画像検出部に相当し、判断対象は、請求項における特定のオブジェクトに相当する。

距離測定部１６６は、ＴＯＦセンサー６３が検出した赤外線の反射光について、ＴＯＦ（Time of Flight）方式を用いることで、赤外線が発光されてから特定の対象を反射してＴＯＦセンサー６３に受光までの時間を算出することで、画像表示部２０と特定の対象までの距離を測定する距離画像センサーである。距離測定部１６６は、画像判定部１６８によって検出された操作対象の画像データと同じ画像を表す特定の対象と画像表示部２０との距離が予め設定された所定の距離以下であるか否かを判定する。なお、距離測定部１６６、ＴＯＦセンサー６３、および、赤外線ＬＥＤ６４は、請求項における距離特定部に相当する。

画像設定部１６５は、画像表示部２０との距離が所定の距離以下であり、かつ、記憶部１２０に記憶された操作対象の画像データと同じ画像を表す特定の対象を、選択可能な操作対象として設定する。画像設定部１６５は、選択可能な操作対象を設定すると、記憶部１２０に記憶されている当該操作対象に対応付けられた画像を画像表示部２０に表示させる。すなわち、画像判定部１６８によって、操作対象の画像データと同じ画像として検出されているが、画像表示部２０との距離が所定の距離を超える特定の対象は、選択可能な操作対象としては設定されない。また、画像設定部１６５は、検出された判断対象に予め対応付けられた画像を画像表示部２０に表示する。画像設定部１６５は、判断対象の位置の変化と操作対象の位置とに基づいて設定された制御指示を決定して実行する。なお、画像表示部２０に表示される各種の画像についての詳細については、後述する。画像設定部１６５は、請求項における制御部に相当する。本実施形態における選択可能な操作対象は、請求項における選択可能な対象物に相当し、画像設定部１６５によって設定される制御指示は、請求項における対象物の制御に相当する。

インターフェイス１８０は、制御部１０に対して、コンテンツの供給元となる種々の外部機器ＯＡを接続するためのインターフェイスである。外部機器ＯＡとしては、例えば、パーソナルコンピューター（ＰＣ）や携帯電話端末、ゲーム端末等、がある。インターフェイス１８０としては、例えば、ＵＳＢインターフェイス、マイクロＵＳＢインターフェイス、メモリーカード用インターフェイス等、を用いることができる。

画像表示部２０は、右表示駆動部２２と、左表示駆動部２４と、右光学像表示部２６としての右導光板２６１と、左光学像表示部２８としての左導光板２６２と、カメラ６１と、ＴＯＦセンサー６３と、赤外線ＬＥＤ６４と、マイク６９と、を備えている。

右表示駆動部２２は、受信部５３（Ｒｘ５３）と、光源として機能する右バックライト制御部２０１（右ＢＬ制御部２０１）および右バックライト２２１（右ＢＬ２２１）と、表示素子として機能する右ＬＣＤ制御部２１１および右ＬＣＤ２４１と、右投写光学系２５１と、を含んでいる。右バックライト制御部２０１と右バックライト２２１とは、光源として機能する。右ＬＣＤ制御部２１１と右ＬＣＤ２４１とは、表示素子として機能する。なお、右バックライト制御部２０１と、右ＬＣＤ制御部２１１と、右バックライト２２１と、右ＬＣＤ２４１と、を総称して「画像光生成部」とも呼ぶ。

受信部５３は、制御部１０と画像表示部２０との間におけるシリアル伝送のためのレシーバーとして機能する。右バックライト制御部２０１は、入力された制御信号に基づいて、右バックライト２２１を駆動する。右バックライト２２１は、例えば、ＬＥＤやエレクトロルミネセンス（ＥＬ）等の発光体である。右ＬＣＤ制御部２１１は、受信部５３を介して入力されたクロック信号ＰＣＬＫと、垂直同期信号ＶＳｙｎｃと、水平同期信号ＨＳｙｎｃと、右眼用画像データと、に基づいて、右ＬＣＤ２４１を駆動する。右ＬＣＤ２４１は、複数の画素をマトリクス状に配置した透過型液晶パネルである。

右投写光学系２５１は、右ＬＣＤ２４１から射出された画像光を並行状態の光束にするコリメートレンズによって構成される。右光学像表示部２６としての右導光板２６１は、右投写光学系２５１から出力された画像光を、所定の光路に沿って反射させつつ使用者の右眼ＲＥに導く。なお、右投写光学系２５１と右導光板２６１とを総称して「導光部」とも呼ぶ。

左表示駆動部２４は、右表示駆動部２２と同様の構成を有している。左表示駆動部２４は、受信部５４（Ｒｘ５４）と、光源として機能する左バックライト制御部２０２（左ＢＬ制御部２０２）および左バックライト２２２（左ＢＬ２２２）と、表示素子として機能する左ＬＣＤ制御部２１２および左ＬＣＤ２４２と、左投写光学系２５２と、を含んでいる。左バックライト制御部２０２と左バックライト２２２とは、光源として機能する。左ＬＣＤ制御部２１２と左ＬＣＤ２４２とは、表示素子として機能する。なお、左バックライト制御部２０２と、左ＬＣＤ制御部２１２と、左バックライト２２２と、左ＬＣＤ２４２と、を総称して「画像光生成部」とも呼ぶ。また、左投写光学系２５２は、左ＬＣＤ２４２から射出された画像光を並行状態の光束にするコリメートレンズによって構成される。左光学像表示部２８としての左導光板２６２は、左投写光学系２５２から出力された画像光を、所定の光路に沿って反射させつつ使用者の左眼ＬＥに導く。なお、左投写光学系２５２と左導光板２６２とを総称して「導光部」とも呼ぶ。

図３は、画像光生成部によって画像光が射出される様子を示す説明図である。右ＬＣＤ２４１は、マトリクス状に配置された各画素位置の液晶を駆動することによって、右ＬＣＤ２４１を透過する光の透過率を変化させることにより、右バックライト２２１から照射される照明光ＩＬを、画像を表わす有効な画像光ＰＬへと変調する。左側についても同様である。なお、図３に示すように、本実施形態ではバックライト方式を採用したが、フロントライト方式や、反射方式を用いて画像光を射出する構成としてもよい。

Ａ−２．機器確認処理：
図４は、機器確認処理の流れを示す説明図である。機器確認処理では、制御部１０が、選択可能な操作対象（例えば、制御機器のメーター）を設定した後に、判断対象（例えば、使用者の指）の所定の動き（以下、単に「ジェスチャー」とも呼ぶ）を検出すると、ジェスチャーに基づく制御指示である機器確認を実行する。

初めに、カメラ６１は、外景ＳＣを撮像する（ステップＳ１０）。なお、カメラ６１は、連続的に外景ＳＣを撮像している。言い換えれば、カメラ６１は、動画として外景ＳＣを撮像している。カメラ６１は、撮像した撮像画像の画像データをＣＰＵ１４０の画像判定部１６８に送信する。次に、画像判定部１６８は、カメラ６１によって撮像された撮像画像に対して、パターンマッチング等の画像認識処理を行なうことによって、撮像画像の中に記憶部１２０に記憶された操作対象の画像データと同じ画像が含まれているか否かを検出する（ステップＳ１２）。撮像画像に操作対象と同じ画像データの画像が検出されなかった場合には（ステップＳ１２：ＮＯ）、撮像画像に操作対象と同じ画像データの画像が検出されるまで、カメラ６１によってステップＳ１０の処理が繰り返される。ステップＳ１２の処理において、撮像画像に操作対象と同じ画像データの画像が検出された場合には（ステップＳ１２：ＹＥＳ）、ＣＰＵ１４０の距離測定部１６６は、画像判定部１６８によって撮像画像に操作対象を表す画像の対象（以降、単に「仮対象」とも呼ぶ）が検出されると同時に、ＴＯＦセンサー６３および赤外線ＬＥＤ６４を用いたＴＯＦ方式によって、仮対象と画像表示部２０との距離を測定する。距離測定部１６６は、画像判定部１６８によって検出された仮対象と画像表示部２０との測定した距離が所定の距離以下であるか否かを判定する（ステップＳ１４）。仮対象と画像表示部２０との測定された距離が所定の距離を超えると判定された場合には（ステップＳ１４：ＮＯ）、画像判定部１６８は、仮対象を選択可能な操作対象としては設定せずに、引き続き、カメラ６１によってステップＳ１０以降の処理が繰り返される。ステップＳ１４の処理において、仮対象と画像表示部２０との距離が所定の距離以下であると判定された場合には（ステップＳ１４：ＹＥＳ）、画像設定部１６５は、画像判定部１６８によって検出された仮対象を選択可能な操作対象として設定し、操作対象に対応付けられた記憶部１２０に記憶された画像を画像表示部２０に表示させる（ステップＳ１６）。

図５は、操作対象が設定された場合に使用者が視認する視野ＶＲの一例を示す説明図である。図５に示すように、使用者は、設定された操作対象として、ＨＭＤ１００とは異なる装置である３台の制御機器ＭＣを、透過された外景ＳＣとして視認している。使用者に視認されている３台の内の中央の制御機器ＭＣは、制御機器ＭＣが制御している他の装置の電圧値を示すメーターＭＴ１および温度を示すメーターＭＴ２と、複数のボタンであるボタン群ＢＴと、複数のランプを含むランプ群ＬＭと、有している。ボタン群ＢＴに含まれるそれぞれのボタンは、押下されることでオンとオフとを切り替えて他の装置を制御する。ランプ群ＬＭのボタンのそれぞれは、ボタン群ＢＴに含まれ、対応する上側に配置されたボタンがオンの時には点灯し、オフの時には消灯する。なお、メーターＭＴ１およびメーターＭＴ２は、請求項における選択可能な対象物に相当する。

本実施形態において、記憶部１２０がメーターＭＴ１およびメーターＭＴ２の画像データを記憶しているため、画像判定部１６８は、メーターＭＴ１およびメーターＭＴ２を操作対象として検出する。画像判定部１６８がメーターＭＴ１やメーターＭＴ２を操作対象として設定すると、メーターＭＴ１とメーターＭＴ２とのそれぞれに対応付けられ、記憶部１２０に記憶された画像として、画像設定部１６５は、メーターＭＴ１とメーターＭＴ２とのそれぞれの位置を示す画像ＩＭ１と画像ＩＭ２とを画像表示部２０の画像表示最大領域ＰＮに表示させる。なお、画像表示最大領域ＰＮは、画像光生成部が画像を表示できる最大の領域を示し、使用者には視認されない。また、画像設定部１６５は、記憶部１２０に記憶され、設定された操作対象としてのメーターＭＴ１とメーターＭＴ２との少なくとも一方に対応付けられた画像として、「確認？」というテキスト画像ＴＸ１を画像表示最大領域ＰＮに表示される。テキスト画像ＴＸ１は、メーターＭＴ１またはメーターＭＴ２が示す数値の確認行為を使用者に促す画像である。

画像判定部１６８によって操作対象としてのメーターＭＴ１等が設定されて、画像設定部１６５によってテキスト画像ＴＸ１等の画像が画像表示最大領域ＰＮに表示されると（図４のステップＳ１６）、画像判定部１６８は、ジェスチャーを判断するための記憶部１２０に記憶された判断対象の画像データと同じ画像が撮像画像に含まれているか否かを検出する（ステップＳ１８）。撮像画像に判断対象の画像が検出されなかった場合には（ステップＳ１８：ＮＯ）、画像判定部１６８は、判断対象の検出を待機する（ステップＳ１８）。撮像画像に判断対象の画像が検出された場合には（ステップＳ１８：ＹＥＳ）、ＣＰＵ１４０の画像設定部１６５は、記憶部１２０に記憶され、テキスト画像ＴＸ１が促す確認行為をするために使用者が行なうべきジェスチャーを指示するためのジェスチャー指示画像を、画像表示最大領域ＰＮに表示させる（ステップＳ２０）。

図６は、判断対象が検出された場合に使用者が視認する視野ＶＲの一例を示す説明図である。図６には、判断対象としての検出された使用者の右手ＨＤ１の人差し指ＦＦ１が立てられた状態が示されている。図６に示すように、画像設定部１６５は、判断対象である右手ＨＤ１が検出された場合に、記憶部１２０に記憶されたメーターＭＴ１およびメーターＭＴ２の数値が定められた閾値未満であることを確認するために実行すべきジェスチャーを示すジェスチャー指示画像を画像表示最大領域ＰＮに表示させる。なお、右手ＨＤ１の人差し指ＦＦ１は、請求項における特定のオブジェクトに相当する。ジェスチャー指示画像は、請求項における対象物対応虚像に相当する。

ジェスチャー指示画像は、右手ＨＤ１の人差し指ＦＦ１の先端からメーターＭＴ１へと放物線の矢印画像ＣＳ１と、使用者が発生すべき判断音声である「ヨシ！」を示すテキスト画像ＴＸ２と、で構成される。本実施形態では、画像設定部１６５は、撮像画像において人差し指ＦＦ１がメーターＭＴ１に重なる位置に移動した後に、マイク６９および音声処理部１７０によって「ヨシ！」の判断音声が検出されると、確認行為の制御指示を実行する。なお、記憶部１２０に記憶された機器確認処理では、メーターＭＴ１とメーターＭＴ２との両方が検出された場合には、メーターＭＴ１の機器確認を先に優先するように設定されている。使用者は、テキスト画像ＴＸ１，ＴＸ２および矢印画像ＣＳ１と重複する外景ＳＣを透過して視認できる。確認行為の制御指示は、請求項における決定された対象物の制御に相当する。

画像設定部１６５によって、ジェスチャー指示画像が画像表示最大領域ＰＮに表示されると（図４のステップＳ２０）、画像判定部１６８は、矢印画像ＣＳ１に沿った人差し指ＦＦ１のジェスチャーの検出を待機する（ステップＳ２２）。画像判定部１６８は、カメラ６１によって連続的に撮像される撮像画像の各フレームにおける人差し指ＦＦ１の画像に対して、パターンマッチング等の画像認識処理を行なうことによって、人差し指ＦＦ１のジェスチャーを検出する。矢印画像ＣＳ１に沿った人差し指ＦＦ１のジェスチャーが検出されない場合には（ステップＳ２２：ＮＯ）、画像判定部１６８は、引き続き、矢印画像ＣＳ１に沿った人差し指ＦＦ１のジェスチャーの検出を待機する（ステップＳ２２）。矢印画像ＣＳ１に沿った人差し指ＦＦ１のジェスチャーが検出された場合には（ステップＳ２２：ＹＥＳ）、画像設定部１６５は、ジェスチャー後の人差し指ＦＦ１の位置が撮像画像においてメーターＭＴ１に重なっている状態で、音声処理部１７０がマイク６９を介してテキスト画像ＴＸ２に示す判断音声の「ヨシ！」の検出を待機する（ステップＳ２４）。判断音声が検出されない、または、人差し指ＦＦ１の位置がメーターＭＴ１と重なっていない場合には（ステップＳ２４：ＮＯ）、画像設定部１６５は、引き続き、撮像画像において人差し指ＦＦ１の位置とメーターＭＴ１とが重なっている状態での判断音声の検出を待機する（ステップＳ２４）。撮像画像において、人差し指ＦＦ１の位置とメーターＭＴ１とが重なっている状態で、判断音声の「ヨシ！」が検出された場合には（ステップＳ２４：ＹＥＳ）、画像設定部１６５は、確認行為をするためのジェスチャーが行なわれたと判定し、確認行為が済んだ後に表示する確認済画像を画像表示最大領域ＰＮに表示させ（ステップＳ２６）、機器確認処理を終了する。なお、確認済画像は、請求項における特定確認画像に相当する。

図７は、確認済画像が表示された場合に使用者が視認する視野ＶＲの一例を示す説明図である。図７には、使用者による確認行為が検出されて確認済画像としての「ＭＴ１確認ＯＫ！」のテキスト画像ＴＸ３が表示されたときに使用者に視認される視野ＶＲが示されている。撮像画像において、人差し指ＦＦ１の位置とメーターＭＴ１とが重なっている場合に、画像設定部１６５は、メーターＭＴ１の位置を示す画像ＩＭ１に加えて、メーターＭＴ１の数値が確認済みであることを示すために、メーターＭＴ１を囲っている実線の円の画像ＩＭ３を画像表示最大領域ＰＮに表示させる。使用者は、画像表示最大領域ＰＮに表示されたテキスト画像ＴＸ３および画像ＩＭ３を視認することで、ジェスチャーが正常に処理されて、機器確認の制御指示が実行されたことを確認できる。

以上説明したように、本実施形態におけるＨＭＤ１００では、画像判定部１６８が撮像画像の中に含まれる操作対象と判断対象とを検出し、画像設定部１６５は、検出された操作対象に対応付けられた画像ＩＭ１，ＩＭ２およびテキスト画像ＴＸ１を画像表示最大領域ＰＮに表示させ、検出された判断対象のジェスチャーに対応する機器確認の制御指示を決定して実行する。そのため、本実施形態のＨＭＤ１００では、使用者は、操作する対象の操作対象と自身が行なうジェスチャーに対応付けられた制御とを視線方向を変えないで同時に視認でき、操作対象の制御を直感的に行なうことができ、使用者の利便性が向上する。

また、本実施形態におけるＨＭＤ１００では、画像設定部１６５は、判断対象としての右手ＨＤ１が検出されると、メーターＭＴ１およびメーターＭＴ２と右手ＨＤ１の人差し指ＦＦ１との組み合わせに対応付けられた画像として、人差し指ＦＦ１の変化を示した矢印画像ＣＳ１を画像表示最大領域ＰＮに表示させる。そのため、本実施形態のＨＭＤ１００では、使用者は、制御指示を実行するために必要なジェスチャーを視覚情報として認識でき、使用者にとってのＨＭＤ１００の使い勝手が向上する。

また、本実施形態におけるＨＭＤ１００では、画像設定部１６５は、判断対象である人差し指ＦＦ１の位置と操作対象であるメーターＭＴ１とが重なっている状態で、音声処理部１７０によって判断音声が検出された場合に、確認済画像であるテキスト画像ＴＸ３を画像表示最大領域ＰＮに表示させる。そのため、本実施形態のＨＭＤ１００では、ジェスチャーが行われた後に判断対象が重なっている操作対象に対応する制御指示が実行されるため、使用者は、意図した制御指示に対応するジェスチャーを行ないやすい。また、ジェスチャーと音声との組み合わせによって制御指示が実行されるため、ジェスチャーのみによって実行される制御指示よりも、使用者は、より多くの制御指示を直感的に行なうことができる。

また、本実施形態におけるＨＭＤ１００では、距離測定部１６６によって測定された画像表示部２０と仮対象との距離が所定の距離以下である場合に、画像設定部１６５は、検出された仮対象を選択可能な操作対象として設定する。そのため、本実施形態のＨＭＤ１００では、撮像画像に複数の仮対象が検出された場合に、使用者から近いものを選択可能な操作対象として設定するので、使用者に選択される可能性の高いものを使用者に視認させるため、使用者の利便性が向上する。

Ｂ．第２実施形態：
第２実施形態では、第１実施形態と異なり、ＨＭＤ１００ａと制御装置３００とを備える制御システム５００において、ＨＭＤ１００ａと制御装置３００との間で制御指示の信号の送受信が行なわれる。これにより、制御装置３００からの操作対象を特定する情報をＨＭＤ１００ａが受信した後に、ＨＭＤ１００ａで入力された制御指示に基づいて制御装置３００の制御が行なわれる。

図８は、第２実施形態における制御システム５００の構成を機能的に示すブロック図である。制御システム５００は、ＨＭＤ１００ａと制御装置３００とを備えている。なお、図８では、ＨＭＤ１００ａと制御装置３００とをそれぞれ１つずつしか図示していないが、制御システム５００は、複数のＨＭＤ１００ａや制御装置３００を備えていてもよいし、ＨＭＤ１００ａや制御装置３００とは異なる機器（例えば、サーバー）を介して情報の送受信が行なわれてもよい。第２実施形態におけるＨＭＤ１００ａは、第１実施形態のＨＭＤ１００の構成に加えて、制御部１０に無線通信部１３２を備えている。図８では、ＨＭＤ１００ａが第１実施形態（図２）のＨＭＤ１００と比較して、無線通信部１３２以外の構成が同じであるため、ＨＭＤ１００ａの構成については、一部の図示を省略している。

ＨＭＤ１００ａの無線通信部１３２は、無線ＬＡＮやブルートゥース（登録商標）といった所定の無線通信方式に則って他の機器との間で無線通信を行なう。無線通信部１３２は、使用者のジェスチャーによって決定された制御指示の情報を制御装置３００へと送信する。また、無線通信部１３２は、操作対象、判断対象、判断音声、および、ジェスチャー等を特定する情報を制御装置３００から受信する。なお、第２実施形態における無線通信部１３２は、請求項における第２の通信部に相当する。

制御装置３００は、無線通信部３３０と、記憶部３２０と、ＣＰＵ３１０と、を備えている。無線通信部３３０は、無線ＬＡＮやブルートゥースといった所定の無線通信方式に則って、ＨＭＤ１００との間で無線通信を行なう。なお、第２実施形態における無線通信部３３０は、請求項における第１の通信部に相当する。記憶部３２０は、例えば、ＲＯＭ、ＲＡＭ、ＤＲＡＭ、ハードディスク等によって構成されている。記憶部３２０は、制御装置３００を制御するための制御指示に対応付けられた制御内容を記憶している。また、記憶部３２０は、カメラ６１の撮像画像に含まれる場合に検出される操作対象の画像データと制御を行なう判断の基となる判断対象の画像データとを記憶している。なお、第２実施形態における記憶部３２０は、請求項における対象物特定部に相当する。

ＣＰＵ３１０は、記憶部３２０に格納されたコンピュータープログラムを読み出して実行することにより、情報処理部３１２、制御処理部３１４、として機能する。情報処理部３１２は、無線通信部３３０を介して、ＨＭＤ１００の無線通信部１３２との間で送受信される制御指示や操作対象を特定する情報を処理する。制御処理部３１４は、情報処理部３１２によって処理された制御指示の情報に基づいて、当該制御指示に対応して制御装置３００を制御する。なお、第２実施形態における制御装置３００は、請求項における制御実行部に相当する。

図９は、制御処理の流れを示す説明図である。制御処理におけるステップＳ３０からステップＳ３６までの処理は、第１実施形態の機器確認処理（図４）における画像表示部２０と操作対象との距離を特定する処理を除いたステップＳ１０からステップＳ１８までの処理が同じである。そのため、第２実施形態では、制御処理のステップＳ３０からステップＳ３６までの処理については、簡単に説明する。

制御処理では、カメラ６１によって外景ＳＣが撮像され（ステップＳ３０）、撮像画像に操作対象が検出されると（ステップＳ３２：ＹＥＳ）、画像設定部１６５は、操作対象に対応付けられた画像を画像表示最大領域ＰＮに表示させる。

図１０は、操作対象が検出された場合に使用者が視認する視野ＶＲの一例を示す説明図である。図１０には、リビングにいる使用者が視認する外景ＳＣと画像表示最大領域ＰＮに表示された画像ＩＭ４および画像ＩＭ５とが示されている。図１０に示すように、使用者は、画像判定部１６８によって設定された操作対象であるテレビのリモコンＲＣ１および部屋の照明のスイッチであるスイッチＳＷと、記憶部３２０に記憶され、リモコンＲＣ１に対応付けられた画像ＩＭ４およびスイッチＳＷに対応付けられた画像ＩＭ５と、を視認している。なお、リモコンＲＣ１およびスイッチＳＷは、請求項における対象物に相当する。

画像ＩＭ４およびＩＭ５が表示された状態で（図９のステップＳ３４）、画像判定部１６８によって判断対象が検出されると（ステップＳ３６：ＹＥＳ）、画像設定部１６５は、使用者のジェスチャーを検出できる状態を示すジェスチャー検出モードの画像を画像表示最大領域ＰＮに表示させる（ステップＳ３８）。

図１１は、ジェスチャー検出モードの場合に使用者が視認する視野ＶＲの一例を示す説明図である。図１１に示すように、画像判定部１６８によって判断対象としての右手ＨＤ１が検出され、画像設定部１６５によって、リモコンＲＣ１に対応付けられた画像ＩＭ６が表示され、スイッチＳＷに対応付けられた矢印画像ＣＳ２と画像ＩＭ７とが表示される。画像ＩＭ６は、右手ＨＤ１の人差し指ＦＦ１の位置が重なると制御する内容を示す複数のアイコンを含む画像である。例えば、表示されたアイコンの内の「ＯＮ／ＯＦＦ」のアイコンが指ＦＦ１の位置の変化によって選択されると、制御処理部３１４は、テレビＴＶ１の電源のオンとオフとを切り替える制御を実行する。また、図１１に示す矢印画像ＣＳ２は、スイッチＳＷを選択する制御を実行するために使用者が行なうべきジェスチャーを示す画像である。画像ＩＭ７は、矢印画像ＣＳ２に沿った人差し指ＦＦ１のジェスチャーが行なわれると、実行される制御内容を示す画像である。すなわち、画像ＩＭ７は、使用者の人差し指ＦＦ１が矢印画像ＣＳ２に沿ってスイッチＳＷを囲むように動くと、スイッチＳＷが選択されることを示している。

画像設定部１６５によってジェスチャー検出モードの画像が画像表示最大領域ＰＮに表示されると（図９のステップＳ３８）、画像判定部１６８は、リモコンＲＣ１またはスイッチＳＷの制御を実行するための右手ＨＤ１のジェスチャーの検出を待機する（ステップＳ４０）。右手ＨＤ１のジェスチャーが検出されなかった場合には（ステップＳ４０：ＮＯ）、画像判定部１６８は、引き続き、右手ＨＤ１のジェスチャーの検出を待機する（ステップＳ４０）。右手ＨＤ１のジェスチャーが検出された場合には（ステップＳ４０：ＹＥＳ）、画像設定部１６５は、検出されたジェスチャーである検出ジェスチャーに対応する制御を実行する（ステップＳ４２）。画像設定部１６５は、検出ジェスチャーに対応して実行された制御の次に設定されている別の制御を実行するために対応するジェスチャーである設定ジェスチャーがあるか否かを判定する（ステップＳ４４）。設定ジェスチャーがあると判定された場合には（ステップＳ４４：ＹＥＳ）、画像設定部１６５は、設定ジェスチャーに対応したジェスチャー検出モードの画像を画像表示最大領域ＰＮに表示させる（ステップＳ３８）。

図１２は、設定ジェスチャーに対応するジェスチャー検出モードの画像が表示された場合に使用者が視認する視野ＶＲの一例を示す説明図である。図１２には、検出ジェスチャーとして矢印画像ＣＳ２（図１１）に沿った人差し指ＦＦ１の動きが検出された後の設定ジェスチャーに対応したジェスチャー指示画像である画像ＩＭ８が示されている。画像ＩＭ８は、人差し指ＦＦ１が上方向に動かされた場合にはスイッチＳＷをオンにし、人差し指ＦＦ１が下方向に動かされた場合にはスイッチＳＷをオフにする制御を示す画像である。

画像設定部１６５によってジェスチャー検出モードの画像が画像表示最大領域ＰＮに表示され（図９のステップＳ３８）、スイッチＳＷをオンまたはオフにするジェスチャーが検出されると（ステップＳ４０：ＹＥＳ）、画像設定部１６５は、検出ジェスチャーに対応する制御を実行する（ステップＳ４２）。実行された制御の次に実行される制御に対応する設定ジェスチャーがある場合には（ステップＳ４４：ＹＥＳ）、ステップＳ３８以降の処理が行なわれる。ステップＳ４４の処理において、実行された制御の次に実行される制御に対応する設定ジェスチャーがない場合には（ステップＳ４４：ＮＯ）、画像設定部１６５は、検出ジェスチャーに対応する制御が実行されたことを示す制御後画像を画像表示最大領域ＰＮに表示させる（ステップＳ４６）。

図１３は、制御後画像が表示された場合に使用者が視認する視野ＶＲの一例を示す説明図である。図１３には、検出ジェスチャーとしてのスイッチＳＷをオフに設定ジェスチャーが検出された後に、制御後画像であるテキスト画像ＴＸ４が表示された状態が示されている。図１３に示すように、制御処理部３１４によってスイッチＳＷがオフに設定されると、その旨を使用者に伝えるための「オフにしました」のテキスト画像ＴＸ４が画像設定部１６５によって画像表示最大領域ＰＮに表示される。

制御後画像のテキスト画像ＴＸ４が画像表示最大領域ＰＮに表示されると（図９のステップＳ４６）、画像設定部１６５は、所定の時間、テキスト画像ＴＸ４を画像表示最大領域ＰＮに表示する。テキスト画像ＴＸ４が画像表示最大領域ＰＮに表示されている間に、操作部１３５は、撮像画像において検出された操作対象等を用いた制御処理を終了する所定の操作の検出を待機する（ステップＳ４８）。テキスト画像ＴＸ４が画像表示最大領域ＰＮに表示されている間に、操作部１３５が制御処理を終了する所定の操作を検出しなかった場合には（ステップＳ４８：ＮＯ）、画像設定部１６５がテキスト画像ＴＸ４を非表示にした後、ステップＳ３２以降の処理が行なわれる。ステップＳ４８の処理において、操作部１３５が制御処理を終了する所定の操作を検出した場合には（ステップＳ４８：ＹＥＳ）、制御部１０は、制御処理を終了する。なお、第２実施形態では、操作部１３５が所定の操作を検出することで、制御処理の途中であっても、制御部１０は、制御処理を終了できる。

以上説明したように、第２実施形態におけるＨＭＤ１００ａでは、図１２に示すように、画像設定部１６５は、右手ＨＤ１の人差し指ＦＦ１が上下方向に沿って動いた方向に対応して実行されるスイッチＳＷのオンとオフとの制御を示す画像ＩＭ８を画像表示最大領域ＰＮに表示させる。そのため、第２実施形態のＨＭＤ１００ａでは、使用者が自身のジェスチャーに対応して次に実行される制御の内容を視覚情報として認識できるので、使用者にとっての使い勝手が向上する。

Ｃ．第３実施形態：
第３実施形態では、第１実施形態および第２実施形態と比較して、操作対象の位置情報が光情報や無線通信などによって取得されることと、判断対象の加速度を検出することで判断対象の位置の変化を特定することと、が主に異なる。

図１４は、第３実施形態における制御システム５００ｂの構成を示す概略図である。制御システム５００ｂは、ＨＭＤ１００ｂと、サーバー４００と、制御装置３００ｂと、を備えている。ＨＭＤ１００ｂは、画像表示部２０ｂと、制御部１０ｂと、判断対象としての外部センサー７０と、を備えている。外部センサー７０は、外部センサー７０の動きを検出するための加速度センサーを内蔵している。外部センサー７０は、検出した加速度を、ブルートゥースなどの通信手段を用いて制御部１０ｂに送信する。制御部１０ｂは、送信された外部センサー７０の加速度に基づいて、外部センサー７０の位置の変化を算出する。制御部１０ｂは、算出した外部センサー７０の位置の変化に基づいて、制御装置３００ｂを制御する。画像表示部２０ｂは、第１実施形態および第２実施形態におけるＴＯＦセンサー６３と赤外線ＬＥＤ６４とを有していない。なお、本実施形態では、図１に示すように、制御装置３００ｂをテレビとして説明しているが、他の実施形態では、制御装置３００ｂとして、テレビ以外の照明装置などであってもよい。

サーバー４００は、検出されたジェスチャーによって制御指示される制御機器と、制御機器に制御指示を与えるための操作対象と、の制御装置３００ｂの情報を記憶する記憶部４２０を有する。なお、第３実施形態におけるジェスチャーとは、外部センサー７０の位置の変化を含む。サーバー４００は、ＨＭＤ１００ｂから送信される信号に対応させて、記憶部４２０に記憶された情報の少なくとも一部を、ＨＭＤ１００ｂへと送信する。ＨＭＤ１００ｂの制御部１０ｂの無線通信部１３２ｂは、サーバー４００から送信された情報を受信する。

図１５は、サーバー４００の記憶部４２０に記憶された制御装置の情報の一部を示す概略図である。記憶部４２０は、複数の制御装置３００ｂの情報を記憶している。例えば、図１５に示すように、１つの制御装置３００ｂとしてのテレビは、放映される番組を表示する制御機器と、制御機器を操作するコントローラーと、のそれぞれについて、三次元モデルと位置座標とに関連付けられている。また、制御装置３００ｂのテレビは、表示情報に関連付けられている。図１５に示す三次元モデルは、制御機器とコントローラーとのそれぞれについて記憶された立体的な画像データである。位置座標は、ＨＭＤ１００ｂがサーバー４００からの情報を受信したときに、ＨＭＤ１００ｂを基準とした場合に制御機器とコントローラーとのそれぞれが位置する場所を示す。表示画像は、コントローラーが検出された場合に、画像表示部２０ｂに表示される画像の内容の一例である。

第３実施形態では、制御装置３００ｂの記憶部３２０ｂは、複数の手順によって実行されるシーケンス制御におけるそれぞれの手順を記憶している。例えば、制御装置３００ｂがテレビであり、将来の時間を指定して放映される番組を録画する（単に、「録画予約を行なう」ともいう）場合には、日時や放映される番組のチャンネルなどの複数の手順が正しく入力されると、録画予約が行なわれる。

図１６は、第３実施形態におけるＨＭＤ１００ｂの構成を機能的に示すブロック図である。第３実施形態の記憶部１２０ｂは、第１実施形態および第２実施形態の記憶部１２０と異なり、ＨＭＤ１００ｂの使用者を識別するための個人情報を記憶している。図１６に示すように、第３実施形態の制御部１０ｂのＣＰＵ１４０ｂは、第１実施形態および第２実施形態における距離測定部１６６を有しておらず、位置特定部１６３と識別部１６１とを有している。識別部１６１は、ＨＭＤ１００ｂの電源が入ると、ＨＭＤ１００ｂの使用者を識別するための画像を画像表示最大領域ＰＮに表示させる。その後、操作部１３５が受け付けた操作に基づいて、識別部１６１は、ＨＭＤ１００ｂの使用者を特定する。使用者の識別方法として、例えば、以下のステップが行なわれる場合がある。初めに、識別部１６１が、予め登録されたＨＭＤ１００ｂの過去の使用者を選択させる画像を画像表示最大領域ＰＮに表示させる。その後、操作部１３５が受け付けた操作によって選択された使用者に対応するように、識別部１６１は、記憶部３２０ｂに記憶されたパスワードの入力を要求する画像を画像表示最大領域ＰＮに表示させ、要求したパスワードが入力されると、ＨＭＤ１００ｂの使用者を特定する。

位置特定部１６３は、無線通信部１３２ｂを介して、サーバー４００の記憶部４２０から取得した制御機器の位置情報と操作対象であるコントローラーの位置情報とに基づいて、画像表示部２０ｂと制御機器と操作対象との位置関係を特定する。なお、画像表示部２０ｂの位置は、電波の強さや複数の基地局などによって送受信される電波の時差などに基づいて特定される。また、位置特定部１６３は、外部センサー７０が検出した加速度に基づいて、外部センサー７０の位置の変化を特定する。なお、外部センサー７０は、請求項における特定のオブジェクトに相当する。

図１７は、第３実施形態における制御処理の流れを示す説明図である。第３実施形態の制御処理は、検出された外部センサー７０の変化に基づいて、位置が特定された制御機器の制御指示が実行される処理である。

第３実施形態の制御処理では、初めに、識別部１６１は、ＨＭＤ１００ｂの使用者を識別する（ステップＳ５０）。第３実施形態では、識別された使用者ごとに、検出される制御装置３００ｂの種類が異なる。具体的には、ある使用者では、特定の制御装置を制御指示が可能な対象として検出されるが、異なる使用者では、特定の制御装置を制御指示が不可能な対象として判定し、特定の制御装置が検出されない。

使用者が識別されると、位置特定部１６３は、無線通信部１３２ｂを介して、サーバー４００から、画像表示部２０ｂを装着している使用者から所定の範囲内にある制御装置の位置を特定する（ステップＳ５１）。次に、カメラ６１は、外景を撮像する（ステップＳ５２）。次に、位置特定部１６３は、使用者から所定の範囲内に位置が特定された制御装置３００ｂが検出されたか否かを判定する（ステップＳ５４）。位置特定部１６３は、制御装置３００ｂを検出しなかった場合には（ステップＳ５４：ＮＯ）、引き続き、使用者から所定の範囲内にある制御装置３００ｂの位置の特定を待機する（ステップＳ５１）。なお、第３実施形態において検出有無の対象となる制御装置３００ｂとは、制御機器とコントローラーとの少なくとも一方であればよい。

ステップＳ５４の処理において、制御装置３００ｂが検出された場合には（ステップＳ５４：ＹＥＳ）、画像設定部１６５は、制御装置３００ｂの位置を示す画像を画像表示最大領域ＰＮに表示させる（ステップＳ５６）。なお、第３実施形態では、位置特定部１６３は、制御装置３００ｂの位置として特定した場所の撮像範囲に対して、サーバー４００の記憶部４２０に記憶された制御装置３００ｂの三次元モデルを基準としてパターンマッチング等を用いることで、使用者に対する制御装置３００ｂの位置の精度を向上させている。なお、他の実施形態では、位置特定部１６３は、画像認識によって制御装置３００ｂの位置を特定する必要はない。

図１８は、制御装置３００ｂが検出された場合に使用者が視認する視野ＶＲの一例を示す説明図である。図１８に示すように、検出された制御装置３００ｂとしての３つの組み合わせを表す対応マーカーＭＫ１，ＭＫ２，ＭＫ３と、鳥瞰図ＶＩと、が画像表示最大領域ＰＮに表示されている。図１８に示す例において、検出された３つの制御装置３００ｂは、下記の通りである。
（１）制御機器としてのテレビＴＶ１およびコントローラーとしてのリモコンＲＣ１
（２）制御機器としての照明ＬＴおよびコントローラーとしてのスイッチＳＷ
（３）制御機器としてのエアコンＡＣおよびコントローラーとしてのリモコンＲＣ２
３つの制御装置における制御機器とコントローラーとのそれぞれは、同じ形で同じ色の画像である対応マーカーＭＫ１，ＭＫ２，ＭＫ３で関連付けて示されている。例えば、制御機器ＭＣとしてのテレビＴＶ１と、コントローラー１０としてのリモコンＲＣ１との近くには、対応マーカーＭＫ１が表示画像として画像表示最大領域ＰＮに表示される。なお、第３実施形態における同じ形の対応マーカーとは、表示された対応マーカーのサイズが異なっていても、同じ形の対応マーカーという。

鳥瞰図ＶＩは、画像表示部２０ｂを装着している使用者を中心として、使用者の上から見たときの使用者と、カメラ６１の撮像範囲ｅｙと、撮像範囲には含まれない検出されたリモコンＲＣ２と、の位置関係の概略を示す縮小図である。位置特定部１６３によって位置が特定された制御装置３００ｂの一部がカメラ６１の撮像範囲に含まれていない場合に、画像設定部１６５は、使用者と撮像範囲に含まれていない制御装置３００ｂの一部との位置関係を示す鳥瞰図ＶＩを画像表示最大領域ＰＮに表示させる。鳥瞰図ＶＩに示すように、使用者の右方向にエアコンＡＣのリモコンＲＣ２が存在している。

画像表示最大領域ＰＮに制御装置３００ｂの位置を示す画像が表示されると（図１７のステップＳ５６）、位置特定部１６３は、判断対象としての外部センサー７０の位置の変化を検出の有無を判定する（ステップＳ５８）。位置特定部１６３は、外部センサー７０の位置の変化を検出しない場合には（ステップＳ５８：ＮＯ）、引き続き、判断対象としての外部センサー７０の位置の変化の検出を待機する（ステップＳ５８）。

ステップＳ５８の処理において、判断対象としての外部センサー７０の位置の変化が検出された場合には（ステップＳ５８：ＹＥＳ）、画像設定部１６５は、検出された外部センサー７０の位置の変化に対応した制御装置３００ｂの制御指示を実行する（ステップＳ６０）。外部センサー７０の位置の変化に対応した制御指示としては、制御装置３００ｂのそれぞれに対して異なる制御指示が設定されている場合がある。例えば、テレビＴＶ１のリモコンＲＣ１を選択する場合には、外部センサー７０から、対応付けられた対応マーカーの丸の形状を描く位置の変化が検出されると、画像設定部１６５は、画像ＩＭ４に対応したテレビＴＶ１のメニュー画像を画像表示最大領域ＰＮに表示させる。なお、他の実施形態では、カメラ６１の撮像画像の中に外部センサー７０が含まれる場合には、画像設定部１６５は、検出された外部センサー７０の加速度と撮像された外部センサー７０の変化とに基づいて、制御装置３００ｂに対する制御指示を実行してもよい。

検出された操作対象としての外部センサー７０の位置の変化に応じた制御指示が実行されると（図１７のステップＳ６０）、画像設定部１６５は、制御後の画像を画像表示最大領域ＰＮに表示させる（ステップＳ６２）。第３実施形態では、制御装置３００ｂの記憶部３２０ｂには、複数の手順によって実行されるシーケンス制御の手順が記憶されているため、制御後の画像が画像表示最大領域ＰＮに表示された後に、画像設定部１６５は、無線通信部１３２ｂを介して、シーケンス制御の次の手順として設定された対応シーケンスが制御装置３００ｂの記憶部３２０ｂにあるか否かを判定する（ステップＳ６４）。画像設定部１６５は、対応シーケンスがあると判定した場合には（ステップＳ６４：ＹＥＳ）、対応シーケンスに対応付けられた画像を画像表示最大領域ＰＮに表示させる（ステップＳ６６）。

図１９は、対応シーケンスに対応付けられた画像が画像表示最大領域ＰＮに表示された場合に使用者が視認する視野ＶＲを示す説明図である。図１９には、図１８に示すリモコンＲＣ１に対応付けられた画像ＩＭ４のメニューが選択され、その後、予約録画を行なう際のチャンネルを設定するための画面を表す画像ＩＭ９が画像表示最大領域ＰＮに表示された状態が示されている。リモコンＲＣ１が操作されて予約録画が行なわれる際には、録画するチャンネルの設定、予約録画が行なわれる日時、一週間ごとの定期的な予約録画を行なうか否かの順序に沿ったシーケンス制御が行なわれる。

画像ＩＭ９が画像表示最大領域ＰＮに表示されると、図１７のステップＳ５８の処理として、外部センサー７０が数字を描く動作を検出すると（ステップＳ５８：ＹＥＳ）、画像設定部１６５は、検出された動作に対応した数字をチャンネルとして設定し（ステップＳ６０）、画像ＩＭ９の「＊＊」の部分に設定された数字を表示させる（ステップＳ６２）。例えば、使用者が何もない空間で「８」の数字を描くように外部センサー７０を動かすと、録画するチャンネルとして「８」チャンネルが設定される。また、外部センサー７０が画像ＩＭ９に示してある矢印の方向の左に振られる変化を検出すると、画像設定部１６５は、検出に応じた制御として、シーケンス制御における録画するチャンネルの設定の１つ前の画像を画像表示最大領域ＰＮに表示させる。また、録画するチャンネルの数字が入力された状態、外部センサー７０が画像ＩＭ９に示してある矢印の方向の右に振られる変化を検出すると、画像設定部１６５は、録画するチャンネルを設定して、シーケンス制御における録画するチャンネルの設定の次の画像を画像表示最大領域ＰＮに表示させる。その後、同じようにステップＳ６４以降の処理が行なわれる。

以上説明したように、第３実施形態のＨＭＤ１００ｂでは、制御部１０ｂの無線通信部１３２ｂは、サーバー４００の記憶部４２０に記憶された制御装置３００ｂの位置情報を受信する。また、そのため、第３実施形態のＨＭＤ１００ｂでは、使用者が視認できない範囲の制御装置３００ｂの位置も認識でき、使用者の使い勝手が向上する。

また、第３実施形態のＨＭＤ１００ｂでは、画像設定部１６５は、図１９に示すように、画像表示部２０ｂを装着した使用者と検出されたリモコンＲＣ２との位置関係を示す鳥瞰図ＶＩを画像表示最大領域ＰＮに表示させる。そのため、第３実施形態のＨＭＤ１００ｂでは、使用者が視認できない範囲の制御装置３００ｂの位置と使用者との位置関係を画像として視認でき、使用者の使い勝手がより向上する。

また、第３実施形態のＨＭＤ１００ｂでは、外部センサー７０は、外部センサー７０の位置の変化としての加速度を検出する。画像設定部１６５は、検出された外部センサー７０の位置の変化に基づいて、制御装置３００ｂへの制御指示を実行する。そのため、第３実施形態のＨＭＤ１００ｂでは、使用者が制御装置３００ｂへの制御指示を実行する場合に、特定の場所を操作したり、操作として対応付けられ動作を撮像される範囲で行なう必要がなく、使用者の利便性が向上する。

また、第３実施形態のＨＭＤ１００ｂでは、図１８に示すように、画像設定部１６５は、検出された制御機器の位置と検出された制御機器のコントローラーの位置とを、同じ形で同じ色の画像である対応マーカーによって対応付けて画像表示最大領域ＰＮに表示させる。そのため、第３実施形態のＨＭＤ１００ｂでは、検出された制御機器と検出された制御機器のコントローラーとの対応関係を視認させることができ、使用者の使い勝手が向上する。

また、第３実施形態のＨＭＤ１００ｂでは、識別部１６１がＨＭＤ１００ｂの使用者を特定し、画像設定部１６５は、特定された使用者の制御指示が可能な制御装置についての画像を画像表示最大領域ＰＮに表示させる。そのため、第３実施形態のＨＭＤ１００ｂでは、特定された使用者ごとに異なる画像が画像表示最大領域ＰＮに表示されるため、使用者のニーズにあった情報を提供できる。

Ｄ．変形例：
なお、この発明は上記実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、例えば、次のような変形も可能である。

Ｄ１．変形例１：
上記実施形態では、画像設定部１６５は、設定された操作対象および検出された判断対象に対応する画像やジェスチャー指示画像を画像表示最大領域ＰＮに表示したが、必ずしもこれらの画像を表示しなくてもよい。例えば、画像設定部１６５は、設定された操作対象に対応する画像を表示し、判断対象に対応する画像やジェスチャー指示画像を表示せずに、検出されたジェスチャーに対応する制御を実行してもよい。

上記実施形態では、距離測定部１６６は、赤外線ＬＥＤ６４とＴＯＦセンサー６３とによって、画像表示部２０と仮対象との距離を測定したが、必ずしも当該距離を測定する必要もなく、また、他の方法によって距離を測定してもよい。例えば、画像設定部１６５は、画像表示部２０と操作対象との距離に関係なく、画像判定部１６８によって検出された仮対象の全てを選択可能な操作対象として設定してもよい。また、距離測定部１６６は、ステレオカメラによって撮像された操作対象の画像を比較することで、画像表示部２０と操作対象との距離を測定してもよい。

上記実施形態では、画像判定部１６８は、判断対象として右手ＨＤ１の人差し指ＦＦ１を検出したが、検出する判断対象については、種々変形可能である。例えば、判断対象は、制御部１０であってもよいし、ボールペンや制御部１０のトラックパッド１４を操作するためのタッチペンであってもよい。また、判断対象は、人差し指ＦＦ１の延長線上を指示するための棒状の器具であってもよいし、レーザーポインターにおける特定の光の形状であってもよいし、発光部を有する特定の形状の器具（例えば、懐中電灯）などであってもよい。発光状態のペンライトが判断対象として検出され、発光状態ではないペンライトが判断対象として検出されないように、発光の有無によって判断対象の検出の有無が判定されてもよい。発光の有無によって判断対象として検出されるか否かが決定される場合、判断対象としてより精度の高い検出が行なわれる。判断対象は、操作部１３５が操作されることにより、使用者に任意に設定されてもよい。また、判断対象は、使用者の腕に装着される腕時計型のウェアラブルデバイスや使用者の指に装着されるリング型ウェアラブルデバイスなどであってもよい。

また、検出される判断対象は１つに限られず、２つ以上であってもよい。例えば、判断対象として、２つの指が検出されて、２つの指の距離や形状がジェスチャーの代わりに認識されてもよい。例えば、判断対象として検出された２つの指の動きによって、表示画像の拡大または縮小の制御を実行するピンチインやピンチアウトに相当するジェスチャーが検出されてもよい。同じような２つの指による操作として、ボリュームのつまみを判断対象として２つの指で摘んで時計回りなどに回すことで、出力されるボリュームが変化してもよい。また、例えば、キーボードを操作する場合に、シフトキーを押しながら特定の文字を選択すると大文字のアルファベットが入力されるような操作の代替手段として、検出された２つの指の位置関係において、一方の指の位置に対するもう一方の指の相対的な動きを検出することで、種々の入力が検出されてもよい。

上記第１実施形態では、画像設定部１６５は、ジェスチャーとジェスチャー後に検出された判断音声との組み合わせによってメーターＭＴ１の確認行為を判定したが、必ずしも判断音声が検出される必要はなく、ジェスチャーのみによってメーターＭＴ１の確認行為を判定してもよい。また、画像設定部１６５は、ジェスチャー後の判断音声を検出することで、メーターＭＴ１の確認行為を判定したが、判断音声を検出するタイミングはジェスチャー後に限られず、ジェスチャー前であってもよいし、ジェスチャーを検出している間に検出される判断音声によって確認行為を判定してもよい。

請求項における対応物対応虚像とは、画像表示最大領域ＰＮに表示された選択可能な画像や次の処理に進むために必要なジェスチャーを示唆する画像など、何らかの制御や処理が行なわれる前に表示される画像を広く意味する。また、請求項における特定確認画像は、対応物対応虚像に基づく何らかの処理や制御が行なわれた後の画像を広く意味する。特定確認画像は、実行された処理や制御を報知する画像であったり、何らかの処理の受付を確認したことを示す画像などが含まれる。そのため、同一の画像が対応物対応虚像であると共に特定確認虚像である場合もある。逆に、同一の画像であっても、表示される状況に応じて、対応物対応虚像に相当する場合や、対応物対応虚像に相当しない場合がある。

Ｄ２．変形例２：
上記第２実施形態では、スイッチＳＷがオフにされる制御について説明したが、この変形例では、リモコンＲＣ１に対応する画像ＩＭ６に表示されたアイコンが選択された場合の制御について説明する。図２０は、画像ＩＭ６のアイコンが選択された場合に使用者が視認する視野ＶＲの一例を示す説明図である。図２０に示すように、右手ＨＤ１の人差し指ＦＦ１の位置は、画像ＩＭ６の「ＯＮ／ＯＦＦ」のアイコンに重なっている。この場合に、制御処理部３１４は、テレビＴＶ１の電源のオンとオフとを切り替える。図２０に示す例では、人差し指ＦＦ１の位置がアイコンに重なる前には、テレビＴＶ１の電源がオフであったため、制御処理部３１４は、撮像画像において、人差し指ＦＦ１の位置が「ＯＮ／ＯＦＦ」のアイコンに重なると、テレビＴＶ１の電源をオンにする。このように、この変形例では、使用者が行なうべきジェスチャー画像は表示されないが、画像ＩＭ６が表示された後に人差し指ＦＦ１の位置が変化することで、画像設定部１６５は、テレビＴＶ１を操作する制御信号を制御装置３００に送信している。

上記実施形態では、画像判定部１６８がカメラ６１によって撮像された撮像画像の中に操作対象や判断対象の画像が含まれているか否かを検出したが、操作対象や判断対象を検出する方法としては、種々変形可能である。例えば、赤外線センサーや超音波センサーが操作対象や判断対象を検出してもよい。また、レーダー波を検出するレーダー探知機が操作対象や判断対象を検出してもよい。

Ｄ３．変形例３：
上記第３実施形態では、ＨＭＤ１００ｂの無線通信部１３２ｂがサーバー４００の記憶部４２０から制御装置３００ｂとしての制御機器および当該制御機器のコントローラーの位置情報を取得したが、取得される位置情報は、制御機器またはコントローラーの位置情報のみであってもよい。例えば、制御機器とコントローラーとが一体化している場合には、無線通信部１３２ｂは、制御機器またはコントローラーの一方の位置情報を取得すればよい。また、制御機器とコントローラーとの一方が位置情報は、無線通信部１３２ｂを介して取得され、もう一方の位置情報は、第１実施形態および第２実施形態のように、画像認識によって取得されてもよい。

上記第３実施形態では、図１８および図１９に示すように、画像設定部１６５は、検出された制御機器と検出された制御機器のコントローラーとに同一の対応マーカーの画像を画像表示最大領域ＰＮに表示させたが、表示される対応マーカーについては種々変形可能である。例えば、制御機器とコントローラーとで、対応マーカーの形状が同じで、異なる色の画像として画像表示最大領域ＰＮに表示されてもよい。また、「制御機器」や「コントローラー」といった文字画像が画像表示最大領域ＰＮに表示されてもよい。また、制御機器とコントローラーとの対応関係を表す画像として双方を指す矢印の画像が画像表示最大領域ＰＮに表示されてもよい。また、第１実施形態および第２実施形態のように、制御機器やコントローラーまでの距離が測定されて、画像設定部１６５は、測定された距離に応じて対応マーカーの画像の大きさを変化させて画像表示最大領域ＰＮに表示させてもよい。

上記第３実施形態では、外部センサー７０は、外部センサー７０の位置の変化として加速度を検出したが、位置の変化として検出する物性値については、種々変形可能である。例えば、外部センサー７０は、角速度を検出するジャイロセンサーであってもよい。また外部センサー７０は、棒状の形状ではなくてもよく、使用者の指に装着する指輪や使用者の腕に装着する腕時計のような形状であってもよい。また、外部センサー７０は、変形可能であり、外部センサー７０の位置の変化として外部センサー７０の変形量を測定してもよい。

上記第３実施形態では、カメラ６１が外景を撮像して、位置特定部１６３は、撮像画像に含まれる制御装置３００ｂの画像を用いて制御装置３００ｂの位置情報を修正したが、必ずしも、外景が撮像される必要はない。制御装置３００ｂの位置は、無線通信部１３２ｂを介して取得された位置情報のみに基づいて特定されてもよい。

図２１は、アイビーコン（iBeacon：登録商標）によって制御機器の位置情報が取得された場合に使用者が視認する視野ＶＲの一例を示す説明図である。図２１には、制御機器であるテレビＴＶ１に備え付けられている情報発信部ＩＢから発信された光情報を、ＨＭＤがアイビーコンの仕組みを用いて取得した場合に、画像表示最大領域ＰＮに表示される画像を含む外景ＳＣを視認する使用者の視野ＶＲが示されている。この変形例では、位置特定部１６３は、サーバー４００ではなく、テレビＴＶ１の情報発信部ＩＢから、テレビＴＶ１の位置情報を取得する。このように、位置特定部１６３は、種々の方法を用いて、他の装置から制御装置３００ｂの位置情報を取得できる。通信の手段としては、例えば、電力線搬送通信（Power Line Communication）などが用いられてもよい。

図２２は、実行された制御指示に従って画像表示最大領域ＰＮに画像ＩＭ１０が表示されたときに使用者が視認する視野ＶＲを示す説明図である。この変形例では、画像設定部１６５は、識別部１６１によって特定された使用者ごとに、検出された制御機器ＭＣに対応付けられた画像を画像表示最大領域ＰＮに表示させる。図２２に示すように、制御機器ＭＣと制御機器ＭＣに関連する周辺装置との関係をブロック図で示した画像ＩＭ１０が画像表示最大領域ＰＮに表示されている。このように、実行された制御指示に従って画像表示最大領域ＰＮに表示される画像については、種々変形可能である。

上記第３実施形態では、外部センサー７０の位置の変化に基づいて制御指示が実行されたが、制御指示を実行するために必要な操作は、種々変形可能である。例えば、画像設定部１６５は、マイク６９を介して取得した音声と、検出された外部センサー７０の位置の変化と、の組み合わせに基づいて、実行する制御指示を決定してもよい。この変形例のＨＭＤでは、音声と外部センサー７０の位置の変化との複数の要素に基づいて、制御指示が決定されるため、使用者がより多くの操作を入力でき、使用者の使い勝手が向上する。

上記実施形態では、画像表示部１６５は、実行される制御指示について関連する画像を画像表示最大領域ＰＮに表示させたが、必ずしも制御指示に関連する内容を画像として画像表示最大領域ＰＮに表示させる必要はない。例えば、画像表示部１６５は、検出した操作対象や判断対象の位置を示す画像を画像表示最大領域ＰＮに表示し、実行される制御指示に関連する画像を画像表示最大領域ＰＮに表示しなくてもよい。

なお、請求項における対象物を選択するとは、複数の選択可能な対象物から１つを選択することを含み、また、検出された１つの選択可能な対象物に対して、選択するまたは選択しないの２つの選択肢から１つを選択することも含む。

Ｄ４．変形例４：
上記実施形態では、制御部１０に操作部１３５が形成されたが、操作部１３５の態様については種々変形可能である。例えば、制御部１０とは別体で操作部１３５であるユーザーインターフェースがある態様でもよい。この場合に、操作部１３５は、電源１３０等が形成された制御部１０とは別体であるため、小型化でき、使用者の操作性が向上する。また、操作部の動きを検出する１０軸センサーを操作部１３５に形成して、検出した動きに基づいて各種操作が行なわれることで、使用者は、感覚的にＨＭＤ１００の操作ができる。

例えば、画像光生成部は、有機ＥＬ（有機エレクトロルミネッセンス、Organic Electro-Luminescence）のディスプレイと、有機ＥＬ制御部とを備える構成としてもよい。また、例えば、画像生成部は、ＬＣＤに代えて、ＬＣＯＳ（Liquid crystal on silicon, LCoS は登録商標）や、デジタル・マイクロミラー・デバイス等を用いることもできる。また、例えば、レーザー網膜投影型のヘッドマウントディスプレイに対して本発明を適用することも可能である。レーザー網膜投影型の場合、画像表示最大領域ＰＮは、使用者の眼に認識される画像領域として定義できる。

また、例えば、ＨＭＤ１００は、光学像表示部が使用者の眼の一部分のみを覆う態様、換言すれば、光学像表示部が使用者の眼を完全に覆わない態様のヘッドマウントディスプレイとしてもよい。また、ＨＭＤ１００は、いわゆる単眼タイプのヘッドマウントディスプレイであるとしてもよい。

図２３は、変形例におけるＨＭＤ１００の外観構成を示す説明図である。図２３（Ａ）の例の場合、図１に示したＨＭＤ１００との違いは、画像表示部２０ｂが、右光学像表示部２６に代えて右光学像表示部２６ｂを備える点と、左光学像表示部２８に代えて左光学像表示部２８ｂを備える点である。右光学像表示部２６ｂは、上記実施形態の光学部材よりも小さく形成され、ＨＭＤ１００ｂの装着時における使用者の右眼の斜め上に配置されている。同様に、左光学像表示部２８ｂは、上記実施形態の光学部材よりも小さく形成され、ＨＭＤ１００ｂの装着時における使用者の左眼の斜め上に配置されている。図２３（Ｂ）の例の場合、図１に示したＨＭＤ１００との違いは、画像表示部２０ｃが、右光学像表示部２６に代えて右光学像表示部２６ｃを備える点と、左光学像表示部２８に代えて左光学像表示部２８ｃを備える点である。右光学像表示部２６ｃは、上記実施形態の光学部材よりも小さく形成され、ヘッドマウントディスプレイの装着時における使用者の右眼の斜め下に配置されている。左光学像表示部２８ｃは、上記実施形態の光学部材よりも小さく形成され、ヘッドマウントディスプレイの装着時における使用者の左眼の斜め下に配置されている。このように、光学像表示部は使用者の眼の近傍に配置されていれば足りる。また、光学像表示部を形成する光学部材の大きさも任意であり、光学像表示部が使用者の眼の一部分のみを覆う態様、換言すれば、光学像表示部が使用者の眼を完全に覆わない態様のＨＭＤ１００として実現できる。

また、イヤホンは耳掛け型やヘッドバンド型を採用してもよく、省略してもよい。また、例えば、自動車や飛行機等の車両に搭載されるヘッドマウントディスプレイとして構成されてもよい。また、例えば、ヘルメット等の身体防護具に内蔵されたヘッドマウントディスプレイとして構成されてもよい。

上記実施形態におけるＨＭＤ１００の構成は、あくまで一例であり、種々変形可能である。例えば、制御部１０に設けられた方向キー１６やトラックパッド１４の一方を省略したり、方向キー１６やトラックパッド１４に加えてまたは方向キー１６やトラックパッド１４に代えて操作用スティック等の他の操作用インターフェイスを設けたりしてもよい。また、制御部１０は、キーボードやマウス等の入力デバイスを接続可能な構成であり、キーボードやマウスから入力を受け付けるものとしてもよい。

また、画像表示部として、眼鏡のように装着する画像表示部２０に代えて、例えば帽子のように装着する画像表示部といった他の方式の画像表示部が採用されてもよい。また、イヤホン３２，３４は適宜省略可能である。

また、上記実施形態において、ＨＭＤ１００は、使用者の左右の眼に同じ画像を表わす画像光を導いて使用者に二次元画像を視認させるとしてもよいし、使用者の左右の眼に異なる画像を表わす画像光を導いて使用者に三次元画像を視認させるとしてもよい。

また、上記実施形態において、ハードウェアによって実現されていた構成の一部をソフトウェアに置き換えるようにしてもよく、逆に、ソフトウェアによって実現されていた構成の一部をハードウェアに置き換えるようにしてもよい。例えば、上記実施形態では、画像処理部１６０や音声処理部１７０は、ＣＰＵ１４０がコンピュータープログラムを読み出して実行することにより実現されるとしているが、これらの機能部はハードウェア回路により実現されるとしてもよい。例えば、上記実施形態の制御部１０が備える構成のいくつかは、本発明の機能を実現するために設計されたＡＳＩＣ（Application Specific Integrated Circuit）を用いて構成されてもよい。

また、本発明の機能の一部または全部がソフトウェアで実現される場合には、そのソフトウェア（コンピュータープログラム）は、コンピューター読み取り可能な記録媒体に格納された形で提供することができる。この発明において、「コンピューター読み取り可能な記録媒体」とは、フレキシブルディスクやＣＤ−ＲＯＭのような携帯型の記録媒体に限らず、各種のＲＡＭやＲＯＭ等のコンピューター内の内部記憶装置や、ハードディスク等のコンピューターに固定されている外部記憶装置も含んでいる。

また、上記実施形態では、図１および図２に示すように、制御部１０と画像表示部２０とが別々の構成として形成されているが、制御部１０と画像表示部２０との構成については、これに限られず、種々変形可能である。例えば、画像表示部２０の内部に、制御部１０に形成された構成の全てが形成されてもよいし、一部が形成されてもよい。また、上記実施形態における電源１３０が単独で形成されて、交換可能な構成であってもよいし、制御部１０に形成された構成が重複して画像表示部２０に形成されていてもよい。例えば、図２に示すＣＰＵ１４０が制御部１０と画像表示部２０との両方に形成されていてもよいし、制御部１０に形成されたＣＰＵ１４０と画像表示部２０に形成されたＣＰＵとが行なう機能が別々に分けられている構成としてもよい。

また、制御部１０と画像表示部２０とが一体化して、使用者の衣服に取り付けられるウェアラブルコンピューターの態様であってもよい。

本発明は、上記実施形態や変形例に限られるものではなく、その趣旨を逸脱しない範囲において種々の構成で実現することができる。例えば、発明の概要の欄に記載した各形態中の技術的特徴に対応する実施形態、変形例中の技術的特徴は、上述の課題の一部または全部を解決するために、あるいは、上述の効果の一部または全部を達成するために、適宜、差し替えや、組み合わせを行なうことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することが可能である。

１０…制御部
１１…決定キー
１２…点灯部
１３…表示切替キー
１４…トラックパッド
１５…輝度切替キー
１６…方向キー
１７…メニューキー
１８…電源スイッチ
２０…画像表示部
２１…右保持部
２２…右表示駆動部
２３…左保持部
２４…左表示駆動部
２６…右光学像表示部
２８…左光学像表示部
３０…イヤホンプラグ
３２…右イヤホン
３４…左イヤホン
４０…接続部
４２…右コード
４４…左コード
４６…連結部材
４８…本体コード
５１，５２…送信部
５３，５４…受信部
６１…カメラ（撮像部）
６３…ＴＯＦセンサー
６４…赤外線ＬＥＤ
６９…マイク（音声取得部）
７０…外部センサー（特定のオブジェクト）
１００…ＨＭＤ（頭部装着型表示装置）
１２０…記憶部
１３０…電源
１３２…無線通信部（第２の通信部）
１３５…操作部
１４０…ＣＰＵ
１５０…ＯＳ
１６０…画像処理部
１６１…識別部（識別部）
１６３…位置特定部
１６５…画像設定部（制御部）
１６６…距離測定部（距離特定部）
１６８…画像判定部（画像検出部）
１７０…音声処理部（制御部）
１８０…インターフェイス
１９０…表示制御部
２０１…右バックライト制御部
２０２…左バックライト制御部
２１１…右ＬＣＤ制御部
２１２…左ＬＣＤ制御部
２２１…右バックライト
２２２…左バックライト
２４１…右ＬＣＤ
２４２…左ＬＣＤ
２５１…右投写光学系
２５２…左投写光学系
２６１…右導光板
２６２…左導光板
３００…制御装置（制御実行部）
３１０…ＣＰＵ
３１２…情報処理部
３１４…制御処理部
３２０…記憶部（対象物特定部）
３３０…無線通信部（第１の通信部）
３４０…被制御部
４００…サーバー
４２０…記憶部
５００…制御システム
ＯＡ…外部機器
ＭＣ…制御機器
ＳＣ…外景
ＲＥ…右眼
ＬＥ…左眼
ＥＬ…端部
ＩＬ…照明光
ＰＬ…画像光
ＬＭ…ランプ群
ＰＮ…画像表示最大領域
ＡＰ…先端部
ＥＲ…端部
ＶＲ…視野
ＢＴ…ボタン群
ＳＷ…スイッチ（対象物）
ＲＣ１，ＲＣ２…リモコン（対象物）
ＨＤ１…右手
ＦＦ１…人差し指（特定のオブジェクト）
ＩＭ１，ＩＭ２，ＩＭ３，ＩＭ４，ＩＭ５，ＩＭ６，ＩＭ７，ＩＭ８，ＩＭ９，ＩＭ１０…画像
ＣＳ１，ＣＳ２…矢印画像（対象物対応虚像）
ＭＴ１，ＭＴ２…メーター（対象物）
ＴＶ１…テレビ
ＴＸ１，ＴＸ２，…テキスト画像（対象物対応虚像）
ＴＸ３，ＴＸ４…テキスト画像（特定確認画像）
ＡＣ…エアコン
ＩＢ…情報発信部
ＭＫ１，ＭＫ２，ＭＫ３…対応マーカー
ＶＩ…鳥瞰図
ｅｙ…撮像範囲

Claims (26)

1. 透過型の頭部装着型表示装置であって、
   虚像を表示し、外景を透過可能な画像表示部と、
   前記画像表示部から所定の距離の範囲にある選択可能な対象物と、前記外景に含まれる特定のオブジェクトの位置と、を取得する対象取得部と、
   取得された前記対象物に対応付けられているジェスチャー指示画像を、前記画像表示部を用いて前記虚像として表示し、取得された前記特定のオブジェクトの位置に基づいて前記特定のオブジェクトによるジェスチャーを特定し、特定した前記特定のオブジェクトによる前記ジェスチャーと取得された前記対象物の位置との関係に基づいて前記対象物を選択し、選択した前記対象物に対応付けられている特定確認画像を、前記画像表示部を用いて前記虚像として表示する制御部と、を備える、頭部装着型表示装置。
2. 請求項１に記載の頭部装着型表示装置であって、
   前記対象取得部は、前記外景を撮像する撮像部と、撮像された前記外景に含まれる前記特定のオブジェクトの位置と前記対象物とを検出して取得する画像検出部と、を有し、
   前記制御部は、選択した前記対象物の制御を、対象物の位置に応じて予め定められた制御を行なうものとして決定し、決定した前記対象物の制御を実行する、頭部装着型表示装置。
3. 請求項２に記載の頭部装着型表示装置であって、
   前記制御部は、取得された前記特定の位置のオブジェクトと取得された前記対象物との組み合わせに予め対応付けられている前記ジェスチャー指示画像を、前記画像表示部を用いて前記虚像として表示する、頭部装着型表示装置。
4. 請求項３に記載の頭部装着型表示装置であって、
   前記制御部は、取得された前記特定のオブジェクトの位置と取得された前記対象物との組み合わせに予め対応付けられている前記ジェスチャー指示画像として、前記対象物の制御を実行するために必要な前記特定のオブジェクトによる前記ジェスチャーを示す前記虚像を、前記画像表示部を用いて表示する、頭部装着型表示装置。
5. 請求項２から請求項４までのいずれか一項に記載の頭部装着型表示装置であって、
   前記制御部は、取得された前記対象物に予め対応付けられている対象物対応虚像として、実行する前記対象物の制御の内容を示す前記虚像を、前記画像表示部を用いて表示する、頭部装着型表示装置。
6. 請求項２から請求項５までのいずれか一項に記載の頭部装着型表示装置であって、
   前記制御部は、撮像された前記外景において、前記特定のオブジェクトの変化後の位置と前記対象物とが重なっている場合に、前記特定のオブジェクトの変化後の位置と重なっている前記対象物に予め対応付けられている前記対象物の制御の内容を決定する、頭部装着型表示装置。
7. 請求項２から請求項６までのいずれか一項に記載の頭部装着型表示装置であって、さらに、
   取得された前記対象物と前記画像表示部との距離を特定する距離特定部を備え、
   前記制御部は、取得されると共に特定された前記距離が閾値以下の前記対象物を、選択可能な前記対象物として設定する、頭部装着型表示装置。
8. 請求項２から請求項７までのいずれか一項に記載の頭部装着型表示装置であって、さらに、
   外部の音声を取得する音声取得部を備え、
   前記制御部は、特定された前記特定のオブジェクトによる前記ジェスチャーと取得された前記音声との組み合わせに基づいて前記対象物の制御の内容を決定する、頭部装着型表示装置。
9. 請求項１に記載の頭部装着型表示装置であって、
   前記対象取得部は、他の装置から少なくとも１つの前記対象物の位置情報を取得する、頭部装着型表示装置。
10. 請求項９に記載の頭部装着型表示装置であって、
    前記制御部は、取得された前記対象物が前記外景に含まれない場合に、前記画像表示部を用いて、前記画像表示部と取得された前記対象物との位置関係を前記虚像として表示する、頭部装着型表示装置。
11. 請求項１から請求項１０までのいずれか一項に記載の頭部装着型表示装置であって、
    前記制御部は、前記特定のオブジェクトの加速度を検出し、検出した前記特定のオブジェクトの加速度に基づいて、前記特定のオブジェクトによる前記ジェスチャーを特定する、頭部装着型表示装置。
12. 請求項１１に記載の頭部装着型表示装置であって、さらに、
    外部の音声を取得する音声取得部を備え、
    前記制御部は、取得された前記外部の音声と、特定された前記特定のオブジェクトによる前記ジェスチャーとの組み合わせに基づいて、選択した前記対象物の制御の内容を決定する、頭部装着型表示装置。
13. 請求項１から請求項１２までのいずれか一項に記載の頭部装着型表示装置であって、さらに、
    前記画像表示部の使用者の属性を識別する識別部を備え、
    前記制御部は、前記対象物に対応付けられているジェスチャー指示画像と前記特定確認画像との少なくとも一方を、識別された前記属性に対応させて前記画像表示部を用いて前記虚像として表示する、頭部装着型表示装置。
14. 請求項２から請求項８までのいずれか一項に記載の頭部装着型表示装置を含む制御システムであって、
    前記対象物を特定する対象物特定部と、
    特定された前記対象物の情報を送信する第１の通信部と、
    制御実行部と、を備え、
    前記頭部装着型表示装置は、
    送信された前記対象物の情報を受信し、決定された前記対象物の制御の情報を送信する第２の通信部を備え、
    前記第１の通信部は、送信された前記対象物の制御の情報を受信し、
    前記制御実行部は、前記第１の通信部によって受信された前記対象物の制御に基づく制御を実行する、制御システム。
15. 透過型の頭部装着型表示装置であって、
    虚像を表示し、外景を透過可能な画像表示部と、
    前記画像表示部から所定の距離の範囲にある選択可能な対象物と、前記外景に含まれる特定のオブジェクトの位置と、を取得する対象取得部と、
    取得された前記対象物に対応付けられている対象物対応虚像を、前記画像表示部を用いて前記虚像として表示し、取得された前記特定のオブジェクトの位置に基づいて前記特定のオブジェクトによる位置の変化を特定し、特定した前記特定のオブジェクトの位置の変化と取得された前記対象物の位置との関係に基づいて前記対象物を選択し、選択した前記対象物に対応付けられている特定確認画像を、前記画像表示部を用いて虚像として表示する制御部と、を備え、
    前記制御部は、選択した前記対象物に対応付けられた制御装置の制御として、前記対象物の位置に応じて予め定められた制御を実行し、前記外景に選択した前記対象物と前記制御装置とが取得される場合に、前記画像表示部を用いて、選択した前記対象物と前記制御装置とが対応関係にあることを前記虚像として表示する、頭部装着型表示装置。
16. 請求項１５に記載の頭部装着型表示装置であって、
    前記制御部は、選択した前記対象物と前記制御装置とが対応関係にあることを示す前記虚像として、前記画像表示部を用いて、同じ形で同じ色の虚像を表示する、頭部装着型表示装置。
17. 透過型の頭部装着型表示装置であって、
    虚像を表示し、外景を透過可能な画像表示部と、
    前記画像表示部から所定の距離の範囲にある選択可能な対象物と、前記外景に含まれる特定のオブジェクトの位置と、を取得する対象取得部と、
    取得された前記対象物に対応付けられている対象物対応虚像を、前記画像表示部を用いて前記虚像として表示し、取得された前記特定のオブジェクトの位置に基づいて前記特定のオブジェクトの位置の変化を特定し、特定した前記特定のオブジェクトの位置の変化と取得された前記対象物の位置との関係に基づいて前記対象物を選択し、選択した前記対象物に対応付けられている特定確認画像を、前記画像表示部を用いて前記虚像として表示する制御部と、を備え、
    前記対象取得部は、他の装置から少なくとも１つの前記対象物の位置情報を取得し、
    前記制御部は、取得された前記対象物が前記外景に含まれない場合に、前記画像表示部を用いて、前記画像表示部と取得された前記対象物との位置関係を前記虚像として表示する、
    頭部装着型表示装置。
18. 請求項１７に記載の頭部装着型表示装置であって、
    前記制御部は、前記特定のオブジェクトの加速度を検出し、検出した前記特定のオブジェクトの加速度に基づいて、前記特定のオブジェクトの位置の変化を特定する、頭部装着型表示装置。
19. 請求項１８に記載の頭部装着型表示装置であって、さらに、
    外部の音声を取得する音声取得部を備え、
    前記制御部は、取得された前記外部の音声と、特定された前記特定のオブジェクトの位置の変化との組み合わせに基づいて、選択した前記対象物の制御を決定する、頭部装着型表示装置。
20. 請求項１７から請求項１９までのいずれか一項に記載の頭部装着型表示装置であって、さらに、
    前記画像表示部の使用者の属性を識別する識別部を備え、
    前記制御部は、前記対象物に対応付けられている対象物対応虚像と前記特定確認画像との少なくとも一方を、識別された前記属性に対応させて前記画像表示部を用いて前記虚像として表示する、頭部装着型表示装置。
21. 虚像を表示し、外景を透過可能な画像表示部を備える、透過型の頭部装着型表示装置の制御方法であって、
    前記画像表示部から所定の距離の範囲にある選択可能な対象物と、前記外景に含まれる特定のオブジェクトの位置と、を取得する工程と、
    取得された前記対象物に対応付けられているジェスチャー指示画像を、前記画像表示部を用いて前記虚像として表示し、取得された前記特定のオブジェクトの位置に基づいて、前記特定のオブジェクトによるジェスチャーを特定し、特定した前記特定のオブジェクトによる前記ジェスチャーと取得された前記対象物の位置との関係に基づいて前記対象物を選択し、選択した前記対象物に対応付けられた特定確認画像を、前記画像表示部を用いて前記虚像として表示する工程と、を備える、制御方法。
22. 虚像を表示し、外景を透過可能な画像表示部を備える、透過型の頭部装着型表示装置のためのコンピュータープログラムであって、
    前記画像表示部から所定の距離の範囲にある選択可能な対象物と、前記外景に含まれる特定のオブジェクトの位置と、取得する対象取得機能と、
    取得された前記対象物に対応付けられているジェスチャー指示画像を、前記画像表示部を用いて前記虚像として表示し、取得された前記特定のオブジェクトの位置に基づいて、前記特定のオブジェクトによるジェスチャーを特定し、特定した前記特定のオブジェクトによる前記ジェスチャーと取得された前記対象物の位置との関係に基づいて前記対象物を選択し、選択した前記対象物に対応付けられた特定確認画像を、前記画像表示部を用いて前記虚像として表示する制御機能と、をコンピューターに実現させるコンピュータープログラム。
23. 虚像を表示し、外景を透過可能な画像表示部を備える、透過型の頭部装着型表示装置の制御方法であって、
    前記画像表示部から所定の距離の範囲にある選択可能な対象物と、前記外景に含まれる特定のオブジェクトの位置と、を取得し、かつ他の装置から前記対象物の少なくとも１つの位置情報を取得する工程と、
    取得された前記対象物に対応付けられている対象物対応虚像を、前記画像表示部を用いて前記虚像として表示し、取得された前記特定のオブジェクトの位置に基づいて、前記特定のオブジェクトの位置の変化を特定し、特定した前記特定のオブジェクトの位置の変化と取得された前記対象物の位置との関係に基づいて前記対象物を選択し、選択した前記対象物に対応付けられた特定確認画像を、前記画像表示部を用いて前記虚像として表示する工程と、
    取得された前記対象物が前記外景に含まれない場合に、前記画像表示部を用いて、前記画像表示部と取得された前記対象物との位置関係を前記虚像として表示する工程と、
    を備えた制御方法。
24. 虚像を表示し、外景を透過可能な画像表示部を備える、透過型の頭部装着型表示装置のためのコンピュータープログラムであって、
    前記画像表示部から所定の距離の範囲にある選択可能な対象物と、前記外景に含まれる特定のオブジェクトの位置と、取得し、かつ他の装置から前記対象物の少なくとも１つの位置情報を取得する対象取得機能と、
    取得された前記対象物に対応付けられている対象物対応虚像を、前記画像表示部を用いて前記虚像として表示し、取得された前記特定のオブジェクトの位置に基づいて、前記特定のオブジェクトの位置の変化を特定し、特定した前記特定のオブジェクトの位置の変化と取得された前記対象物の位置との関係に基づいて前記対象物を選択し、選択した前記対象物に対応付けられた特定確認画像を、前記画像表示部を用いて前記虚像として表示する制御機能と、
    取得された前記対象物が前記外景に含まれない場合に、前記画像表示部を用いて、前記画像表示部と取得された前記対象物との位置関係を前記虚像として表示する対応関係表示機能と、
    をコンピューターに実現させるコンピュータープログラム。
25. 虚像を表示し、外景を透過可能な画像表示部を備える、透過型の頭部装着型表示装置の制御方法であって、
    前記画像表示部から所定の距離の範囲にある選択可能な対象物と、前記外景に含まれる特定のオブジェクトの位置と、を取得する工程と、
    取得された前記対象物に対応付けられている対象物対応虚像を、前記画像表示部を用いて前記虚像として表示し、取得された前記特定のオブジェクトの位置に基づいて、前記特定のオブジェクトの位置の変化を特定し、特定した前記特定のオブジェクトの位置の変化と取得された前記対象物の位置との関係に基づいて前記対象物を選択し、選択した前記対象物に対応付けられた特定確認画像を、前記画像表示部を用いて前記虚像として表示する工程と、
    選択した前記対象物に対応付けられた制御装置の制御として、前記対象物の位置に応じて予め定められた制御を実行し、前記外景に選択した前記対象物と前記制御装置とが取得される場合に、前記画像表示部を用いて、選択した前記対象物と前記制御装置とが対応関係にあることを前記虚像として表示する工程と
    を備える制御方法。
26. 虚像を表示し、外景を透過可能な画像表示部を備える、透過型の頭部装着型表示装置のためのコンピュータープログラムであって、
    前記画像表示部から所定の距離の範囲にある選択可能な対象物と、前記外景に含まれる特定のオブジェクトの位置と、取得する対象取得機能と、
    取得された前記対象物に対応付けられている対象物対応虚像を、前記画像表示部を用いて前記虚像として表示し、取得された前記特定のオブジェクトの位置に基づいて、前記特定のオブジェクトの位置の変化を特定し、特定した前記特定のオブジェクトの位置の変化と取得された前記対象物の位置との関係に基づいて前記対象物を選択し、選択した前記対象物に対応付けられた特定確認画像を、前記画像表示部を用いて前記虚像として表示する制御機能と、
    選択した前記対象物に対応付けられた制御装置の制御として、前記対象物の位置に応じて予め定められた制御を実行し、前記外景に選択した前記対象物と前記制御装置とが取得される場合に、前記画像表示部を用いて、選択した前記対象物と前記制御装置とが対応関係にあることを前記虚像として表示する対応関係表示機能と、
    をコンピューターに実現させるコンピュータープログラム。

Images