JP6380091B2 - 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、コンピュータープログラム - Google Patents

Description

本発明は、頭部装着型表示装置の技術に関する。

頭部に装着する表示装置である頭部装着型表示装置（ヘッドマウントディスプレイ（Head Mounted Display）、ＨＭＤ）が知られている。頭部装着型表示装置は、例えば、液晶ディスプレイおよび光源を利用して画像光を生成し、生成された画像光を投写光学系や導光板を利用して使用者の眼に導くことにより、使用者に虚像を視認させる。頭部装着型表示装置には、使用者が虚像に加えて外景も視認可能な透過型と、使用者が外景を視認できない非透過型と、の２つのタイプがある。透過型の頭部装着型表示装置には、光学透過型とビデオ透過型とがある。

特許文献１には、発話の様式としての声の抑揚に応じて情報処理装置が行なう情報処理を切り替える技術が記載されている。また、特許文献２には、出力する音声の予告を示す制御信号を送信した後に、予告した音声の出力のタイミングを調整して音声を出力する電子機器が記載されている。また、特許文献３には、予め登録されたユーザーの発話の内容と、ユーザーの発話の内容に基づく応答の内容と、が記憶されたサーバーを有するシステムにおいて、特定されたユーザーの発話の内容にエージェントが登録された内容で応答する技術が開示されている。また、特許文献４には、家電機器を有するシステムネットワークにおいて、特定されたユーザーの発話に対応するように予め記憶された応答の内容をテキスト画像として表示させる技術が記載されている。

特開２０１２−２１５６７３号公報 特開２００８−１２９４１２号公報 特開２００２−１３２８０４号公報 特開２００６−７２９９２号公報

しかし、特許文献１に記載された技術では、声の抑揚のみで処理を変更する場合に、正しく声の抑揚が識別されないおそれがある。また、特許文献２，３に記載された技術では、ユーザーが意図した応答を得られないおそれがある。また、特許文献４に記載されたネットワークでは、文字画像が表示される画像表示部と実際の景色である外景とがユーザーに別々に視認され、文字画像と外景との関連性がないため、ネットワークの使い勝手の向上の余地があった。そのほか、従来の頭部装着型表示装置の技術では、その小型化や、低コスト化等が望まれていた。

本発明は、上述の課題の少なくとも一部を解決するためになされたものであり、以下の形態として実現することが可能である。
本発明の第１の形態は、
透過型の頭部装着型表示装置であって、
外部の音声を取得する音声取得部と、
取得された音声の内の特定の音声を識別する音声識別部と、
画像を表示可能であると共に外景を透過可能な画像表示部と、
前記頭部装着型表示装置が実行可能な機能を表す実行機能画像と、前記特定の音声に対応付けられている特定音声画像と、を記憶する画像記憶部と、
前記実行機能画像と前記特定音声画像とを組み合わせた組み合わせ画像を前記画像表示部に表示させる表示画像設定部と、
取得された前記特定の音声に対応付けられた前記特定音声画像と組み合わされた前記実行機能画像に対応する機能を実行する機能実行部と、
使用者の動作を検出する動作検出部と、を備え、
前記機能実行部は、検出された使用者の動作と取得された前記特定の音声との組み合わせに基づいて、前記画像表示部に表示された前記実行機能画像を選択する、頭部装着型表示装置である。
本発明の第２の形態は、
画像を表示可能であると共に外景を透過可能な画像表示部と、頭部装着型表示装置が実行可能な機能を表す実行機能画像と特定の音声に対応付けられている特定音声画像とを記憶する画像記憶部と、を備える、透過型の頭部装着型表示装置の制御方法であって、
外部の音声を取得する工程と、
取得された音声の内の前記特定の音声を識別する工程と、
前記実行機能画像と前記特定音声画像とを組み合わせた組み合わせ画像を前記画像表示部に表示させる工程と、
取得された前記特定の音声に対応付けられた前記特定音声画像と組み合わされた前記実行機能画像に対応する機能を実行する工程と、
使用者の動作を検出する工程と、を備え、
前記機能を実行する工程において、検出された使用者の動作と取得された前記特定の音声との組み合わせに基づいて、前記画像表示部に表示された前記実行機能画像を選択する、制御方法である。
本発明の第３の形態は、
画像を表示可能であると共に外景を透過可能な画像表示部と、頭部装着型表示装置が実行可能な機能を表す実行機能画像と特定の音声に対応付けられている特定音声画像とを記憶する画像記憶部と、を備える、透過型の頭部装着型表示装置のためのコンピュータープログラムであって、
外部の音声を取得する音声取得機能と、
取得された音声の内の前記特定の音声を識別する音声識別機能と、
前記実行機能画像と前記特定音声画像とを組み合わせた組み合わせ画像を前記画像表示部に表示させる表示画像設定機能と、
取得された前記特定の音声に対応付けられた前記特定音声画像と組み合わされた前記実行機能画像に対応する実行機能と、
使用者の動作を検出する動作検出機能と、をコンピューターに実現させる、コンピュータープログラムであって、
前記実行機能は、検出された使用者の動作と取得された前記特定の音声との組み合わせに基づいて、前記画像表示部に表示された前記実行機能画像を選択する機能を含む、コンピュータープログラムである。また、本発明は以下の形態として実現することもできる。

（１）本発明の一形態によれば、透過型の頭部装着型表示装置が提供される。この形態の頭部装着型表示装置によれば、外部の音声を取得する音声取得部と；取得された音声の内の特定の音声を識別する音声識別部と；画像を表示可能であると共に前記外景を透過可能な画像表示部と；前記頭部装着型表示装置が実行可能な機能を表す実行機能画像と、前記特定の音声に対応付けられている特定音声画像と、を記憶する画像記憶部と；前記実行機能画像と前記特定音声画像とを組み合わせた組み合わせ画像を前記画像表示部に表示させる表示画像設定部と；取得された前記特定の音声に対応付けられた前記特定音声画像と組み合わされた前記実行機能画像に対応する機能実行部と、を備える。この形態の頭部装着型表示装置によれば、実行される機能の種類よりも少ない数の特定音声画像に対応する特定の音声によって、対応する処理が行なわれるため、音声識別の精度が向上する。また、特定音声画像の数が限定されるため、短いワードの音声による機能の実行が可能となり、頭部装着型表示装置の使い勝手が向上する。

（２）上記形態の頭部装着型表示装置において、前記表示画像設定部は、複数の前記組み合わせ画像を選択群画像として画像表示部に表示させてもよい。この形態の頭部装着型表示装置によれば、１つの表示画面で複数の機能を実行できる実行機能画像が画像表示部に表示され、使用者の使い勝手が向上する。

（３）上記形態の頭部装着型表示装置において、前記頭部装着型表示装置に実行される機能は、実行される機能に対応付けられた複数の機能を選択可能にする中間機能であり；前記表示画像設定部は、前記中間機能が実行された場合に、実行された前記中間機能に対応付けられた複数の機能を表す複数の前記実行機能画像と、前記複数の実行機能画像のそれぞれと前記特定音声画像とを組み合わせた前記組み合わせ画像を前記画像表示部に表示させてもよい。この形態の頭部装着型表示装置によれば、使用者の使い勝手がさらに向上する。

（４）上記形態の頭部装着型表示装置において、さらに；使用者の動作を検出する動作検出部を備え；前記機能実行部は、検出された使用者の動作と取得された前記特定の音声との組み合わせに基づいて、前記画像表示部に表示された前記実行機能画像を選択してもよい。この形態の頭部装着型表示装置によれば、実行される機能の決定において、音声のみでなく、使用者の動作も加えられるため、使用者は、感覚的に頭部装着型表示装置を操作しやすく、使用者の使い勝手が向上する。

（５）上記形態の頭部装着型表示装置において、前記動作検出部は、使用者の頭部の動きを検出してもよい。この形態の頭部装着型表示装置によれば、実行される機能の決定において、音声のみでなく、使用者の頭部の動きも加えられるため、使用者は、感覚的に頭部装着型表示装置を操作しやすく、使用者の使い勝手が向上する。

（６）上記形態の頭部装着型表示装置において、前記特定音声画像は、前記実行機能画像より前記画像表示部に表示される領域が小さい画像であってもよい。この形態の頭部装着型表示装置によれば、不要に画像表示部において機能の実行とは関係のない無駄な画像が表示されず、かつ、選択されると実行される機能の内容を使用者が認識しやすく、使用者の利便性が向上する。

（７）上記形態の頭部装着型表示装置において、前記特定音声画像は、方向を表す画像と、他の前記特定音声画像と異なる色で表される画像と、いずれか一方の画像であってよい。この形態の頭部装着型表示装置によれば、音声識別の精度をより向上させることができる。

（８）上記形態の頭部装着型表示装置において、前記画像表示部に異なる複数の前記組み合わせ画像が表示される場合に、前記複数の画像のそれぞれに組み合わされた特定音声画像のそれぞれは、実行される前記頭部装着型表示装置の機能と関係がなく、同一のカテゴリーに含まれる異なる単語で構成されてもよい。この形態の頭部装着型表示装置によれば、並列に画像表示部に表示された複数の実行機能画像から、間違って使用者が意図しない実行機能画像を選択することを防止できる。

（９）上記形態の頭部装着型表示装置において、さらに；他の装置と情報を送受信可能な通信部を備え；前記実行機能画像は、情報を送受信可能な前記他の装置が実行可能な機能を表す他装置制御画像を含み；前記機能実行部は、取得された前記特定の音声に対応付けられた前記特定音声画像が組み合わされた前記他装置制御画像が実行可能な機能を前記他の装置に実行させてもよい。この形態の頭部装着型表示装置によれば、使用者は、離れた位置に存在する頭部装着型表示装置以外の機能も行なうことができ、使用者の利便性が向上する。

（１０）上記形態の頭部装着型表示装置において、前記表示画像設定部は、前記画像表示部が画像を表示可能な画像表示領域における中心を除く領域に前記組み合わせ画像を表示させてもよい。この形態の頭部装着型表示装置によれば、使用者の視野を不要に狭くせず、使用者の利便性が向上する。

（１１）上記形態の頭部装着型表示装置において、前記機能実行部は、取得された前記特定の音声に対応付けられた前記特定音声画像と組み合わされた前記実行機能画像が実行可能な機能を前記頭部装着型表示装置に実行させてもよい。この形態の頭部装着型表示装置によれば、実行される機能の種類よりも少ない数の特定音声画像に対応する特定の音声によって、頭部装着型表示装置が実行する機能の判断がされるため、音声識別の精度が向上する。

上述した本発明の各形態の有する複数の構成要素はすべてが必須のものではなく、上述の課題の一部または全部を解決するため、あるいは、本明細書に記載された効果の一部または全部を達成するために、適宜、前記複数の構成要素の一部の構成要素について、その変更、削除、新たな他の構成要素との差し替え、限定内容の一部削除を行なうことが可能である。また、上述の課題の一部または全部を解決するため、あるいは、本明細書に記載された効果の一部または全部を達成するために、上述した本発明の一形態に含まれる技術的特徴の一部または全部を上述した本発明の他の形態に含まれる技術的特徴の一部または全部と組み合わせて、本発明の独立した一形態とすることも可能である。

例えば、本発明の一形態は、音声取得部と、音声識別部と、画像表示部と、画像記憶部と、表示画像設定部と、機能実行部と、の６つの要素の内の一つまたは二つ以上を備えた装置として実現可能である。すなわち、この装置は、音声取得部を有していてもよく、有していなくてもよい。また、装置は、音声識別部を有していてもよく、有していなくてもよい。また、装置は、画像表示部を有していてもよく、有していなくてもよい。また、装置は、画像記憶部を有していてもよく、有していなくてもよい。この装置は、表示画像設定部を有していてもよく、有していなくてもよい。この装置は、機能実行部を有していてもよく、有していなくてもよい。音声取得部は、例えば、外部の音声を取得してもよい。音声識別部は、例えば、取得された音声の内の特定の音声を識別してもよい。画像表示部は、例えば、画像を表示可能であると共に前記外景を透過可能であってもよい。画像記憶部は、例えば、前記頭部装着型表示装置が実行可能な機能を表す実行機能画像と、前記特定の音声に対応付けられている特定音声画像と、を記憶してもよい。表示画像設定部は、例えば、前記実行機能画像と前記特定音声画像とを組み合わせた組み合わせ画像を前記画像表示部に表示させてもよい。機能実行部は、例えば、取得された前記特定の音声に対応付けられた前記特定音声画像と組み合わされた前記実行機能画像に対応させてもよい。こうした装置は、例えば、頭部装着型表示装置として実現できるが、頭部装着型表示装置以外の他の装置としても実現可能である。このような形態によれば、装置の操作性の向上および簡易化、装置の一体化や、装置を使用する使用者の利便性の向上、等の種々の課題の少なくとも１つを解決することができる。前述した頭部装着型表示装置の各形態の技術的特徴の一部または全部は、いずれもこの装置に適用することが可能である。

本発明は、頭部装着型表示装置以外の種々の形態で実現することも可能である。例えば、頭部装着型表示装置の制御方法、頭部装着型表示装置を含むシステム、頭部装着型表示装置の制御方法およびシステムを実現するためのコンピュータープログラム、そのコンピュータープログラムを記録した記録媒体、および、そのコンピュータープログラムを含み搬送波内に具現化されたデータ信号等の形態で実現できる。

頭部装着型表示装置（ＨＭＤ）の外観構成を示す説明図である。 ＨＭＤの構成を機能的に示すブロック図である。 画像記憶部に階層ごとに区別されたＨＭＤが実行可能な機能の対応関係を概略図である。 画像光生成部によって画像光が射出される様子を示す説明図である。 機能実行処理のフローチャートである。 画像表示部にトリガー画像が表示されたときに使用者が視認する視野ＶＲを示す説明図である。 トリガー画像に対応付けられた組み合わせ画像が表示されたときに使用者が視認する視野を示す説明図である。 第２階層に記憶された複数の機能のそれぞれに対応付けられた画像を含む選択群画像が表示されたときに使用者が視認する視野を示す説明図である。 第４階層に記憶された機能に対応付けられた実行機能画像を含む選択群画像が表示されたときに使用者が視認する視野を示す説明図である。 第２実施形態におけるＨＭＤを含む情報システムの構成を示す説明図である。 第２実施形態におけるＨＭＤの構成を機能的に示すブロック図である。 変形例における実行機能画像を表示させるための十字画像が表示されたときに使用者が視認する視野を示す説明図である。 変形例における十字画像の内の右方向が選択されたときに使用者が視認する視野を示す説明図である。 エラー画像が画像表示最大領域に表示されたときに使用者が視認する視野を示す説明図である。 変形例におけるＨＭＤの外観構成を示す説明図である。

Ａ．第１実施形態：
Ａ−１．情報システムの構成：
図１は、頭部装着型表示装置１００（ＨＭＤ１００）の外観構成を示す説明図である。ＨＭＤ１００は、頭部に装着する表示装置であり、ヘッドマウントディスプレイ（Head Mounted Display、ＨＭＤ）とも呼ばれる。本実施形態のＨＭＤ１００は、使用者が虚像を視認すると同時に外景も直接視認可能な光学透過型の頭部装着型表示装置である。なお、本明細書では、ＨＭＤ１００によって使用者が視認する虚像を便宜的に「表示画像」ともいう。

ＨＭＤ１００は、使用者の頭部に装着された状態において使用者に虚像を視認させる画像表示部２０と、画像表示部２０を制御する制御部１０（コントローラー１０）と、を備えている。

画像表示部２０は、使用者の頭部に装着される装着体であり、本実施形態では眼鏡形状を有している。画像表示部２０は、右保持部２１と、右表示駆動部２２と、左保持部２３と、左表示駆動部２４と、右光学像表示部２６と、左光学像表示部２８と、マイク６３と、１０軸センサー６６と、を含んでいる。右光学像表示部２６および左光学像表示部２８は、それぞれ、使用者が画像表示部２０を装着した際に使用者の右および左の眼前に位置するように配置されている。右光学像表示部２６の一端と左光学像表示部２８の一端とは、使用者が画像表示部２０を装着した際の使用者の眉間に対応する位置で、互いに接続されている。

右保持部２１は、右光学像表示部２６の他端である端部ＥＲから、使用者が画像表示部２０を装着した際の使用者の側頭部に対応する位置にかけて、延伸して設けられた部材である。同様に、左保持部２３は、左光学像表示部２８の他端である端部ＥＬから、使用者が画像表示部２０を装着した際の使用者の側頭部に対応する位置にかけて、延伸して設けられた部材である。右保持部２１および左保持部２３は、眼鏡のテンプル（つる）のようにして、使用者の頭部に画像表示部２０を保持する。

右表示駆動部２２と左表示駆動部２４とは、使用者が画像表示部２０を装着した際の使用者の頭部に対向する側に配置されている。なお、以降では、右保持部２１および左保持部２３を総称して単に「保持部」とも呼び、右表示駆動部２２および左表示駆動部２４を総称して単に「表示駆動部」とも呼び、右光学像表示部２６および左光学像表示部２８を総称して単に「光学像表示部」とも呼ぶ。

表示駆動部２２，２４は、液晶ディスプレイ２４１，２４２（Liquid Crystal Display、以下「ＬＣＤ２４１，２４２」とも呼ぶ）や投写光学系２５１，２５２等を含む（図２参照）。表示駆動部２２，２４の構成の詳細は後述する。光学部材としての光学像表示部２６，２８は、導光板２６１，２６２（図２参照）と調光板とを含んでいる。導光板２６１，２６２は、光透過性の樹脂材料等によって形成され、表示駆動部２２，２４から出力された画像光を使用者の眼に導く。調光板は、薄板状の光学素子であり、使用者の眼の側とは反対の側である画像表示部２０の表側を覆うように配置されている。調光板は、導光板２６１，２６２を保護し、導光板２６１，２６２の損傷や汚れの付着等を抑制する。また、調光板の光透過率を調整することによって、使用者の眼に入る外光量を調整して虚像の視認のしやすさを調整できる。なお、調光板は省略可能である。

マイク６３は、外部の音声を取得する。マイク６３は、使用者が画像表示部２０を装着した際の右表示駆動部２２における使用者と対向する側の反対側（外側）に配置されている。１０軸センサー６６は、加速度（３軸）、角速度（３軸）、地磁気（３軸）、および、気圧（１軸）を検出するセンサーである。

１０軸センサー６６は、画像表示部２０における右表示駆動部２２の近くに内蔵されており、画像表示部２０が使用者の頭部に装着されているときには、使用者の頭部の動きや位置を検出する。なお、本実施形態では、使用者の頭部の向きを特定するために地磁気等も検出する１０軸センサー６６が用いられたが、他の実施形態では、１０軸センサー６６の代わりに、角速度（３軸）のみを検出するジャイロセンサーが用いられてもよい。

画像表示部２０は、さらに、画像表示部２０を制御部１０に接続するための接続部４０を有している。接続部４０は、制御部１０に接続される本体コード４８と、右コード４２と、左コード４４と、連結部材４６と、を含んでいる。右コード４２と左コード４４とは、本体コード４８が２本に分岐したコードである。右コード４２は、右保持部２１の延伸方向の先端部ＡＰから右保持部２１の筐体内に挿入され、右表示駆動部２２に接続されている。同様に、左コード４４は、左保持部２３の延伸方向の先端部ＡＰから左保持部２３の筐体内に挿入され、左表示駆動部２４に接続されている。連結部材４６は、本体コード４８と、右コード４２および左コード４４と、の分岐点に設けられ、イヤホンプラグ３０を接続するためのジャックを有している。イヤホンプラグ３０からは、右イヤホン３２および左イヤホン３４が延伸している。

画像表示部２０と制御部１０とは、接続部４０を介して各種信号の伝送を行なう。本体コード４８における連結部材４６とは反対側の端部と、制御部１０と、のそれぞれには、互いに嵌合するコネクター（図示しない）が設けられている。本体コード４８のコネクターと制御部１０のコネクターとの嵌合／嵌合解除により、制御部１０と画像表示部２０とが接続されたり切り離されたりする。右コード４２と、左コード４４と、本体コード４８とには、例えば、金属ケーブルや光ファイバーを採用できる。

制御部１０は、ＨＭＤ１００を制御するための装置である。制御部１０は、決定キー１１と、点灯部１２と、表示切替キー１３と、トラックパッド１４と、輝度切替キー１５と、方向キー１６と、メニューキー１７と、電源スイッチ１８と、を含んでいる。決定キー１１は、押下操作を検出して、制御部１０で操作された内容を決定する信号を出力する。点灯部１２は、ＨＭＤ１００の動作状態を、その発光状態によって通知する。ＨＭＤ１００の動作状態としては、例えば、電源のＯＮ／ＯＦＦ等がある。点灯部１２としては、例えば、ＬＥＤが用いられる。表示切替キー１３は、押下操作を検出して、例えば、コンテンツ動画の表示モードを３Ｄと２Ｄとに切り替える信号を出力する。トラックパッド１４は、トラックパッド１４の操作面上での使用者の指の操作を検出して、検出内容に応じた信号を出力する。トラックパッド１４としては、静電式や圧力検出式、光学式といった種々のトラックパッドを採用できる。輝度切替キー１５は、押下操作を検出して、画像表示部２０の輝度を増減する信号を出力する。方向キー１６は、上下左右方向に対応するキーへの押下操作を検出して、検出内容に応じた信号を出力する。電源スイッチ１８は、スイッチのスライド操作を検出することで、ＨＭＤ１００の電源投入状態を切り替える。

図２は、ＨＭＤ１００の構成を機能的に示すブロック図である。図２に示すように、制御部１０は、記憶部１２０と、電源１３０と、操作部１３５と、ＣＰＵ１４０と、インターフェイス１８０と、送信部５１（Ｔｘ５１）および送信部５２（Ｔｘ５２）と、を有している。操作部１３５は、使用者による操作を受け付け、決定キー１１、表示切替キー１３、トラックパッド１４、輝度切替キー１５、方向キー１６、メニューキー１７、電源スイッチ１８、から構成されている。

電源１３０は、ＨＭＤ１００の各部に電力を供給する。電源１３０としては、例えば二次電池を用いることができる。無線通信部１３２は、無線ＬＡＮやブルートゥースといった所定の無線通信規格に則って、例えば、コンテンツサーバー、テレビ、パーソナルコンピューターといった他の機器との間で無線通信を行なう。

記憶部１２０は、コンピュータープログラムを格納しているＲＯＭと、ＣＰＵ１４０が種々のコンピュータープログラムの書き込みおよび読み取りを実行するときに用いられるＲＡＭと、画像記憶部１２２と、を有する。画像記憶部１２２は、ＨＭＤ１００が実行可能な機能を階層に区別して記憶すると共に機能のそれぞれに対応付けた画像も記憶している。画像記憶部１２２が階層に区別して記憶している機能の詳細については後述する。

ＣＰＵ１４０は、記憶部１２０のＲＯＭに格納されているコンピュータープログラムを読み出し、記憶部１２０のＲＡＭに書き込みおよび読み取りを実行することにより、オペレーティングシステム１５０（ＯＳ１５０）、表示制御部１９０、音声処理部１７０、画像処理部１６０、センサー制御部１６８、機能実行部１６９、および、画像設定部１６５として機能する。

表示制御部１９０は、右表示駆動部２２および左表示駆動部２４を制御する制御信号を生成する。具体的には、表示制御部１９０は、制御信号により、右ＬＣＤ制御部２１１による右ＬＣＤ２４１の駆動ＯＮ／ＯＦＦ、右バックライト制御部２０１による右バックライト２２１の駆動ＯＮ／ＯＦＦ、左ＬＣＤ制御部２１２による左ＬＣＤ２４２の駆動ＯＮ／ＯＦＦ、左バックライト制御部２０２による左バックライト２２２の駆動ＯＮ／ＯＦＦなど、を個別に制御する。これにより、表示制御部１９０は、右表示駆動部２２および左表示駆動部２４のそれぞれによる画像光の生成および射出を制御する。例えば、表示制御部１９０は、右表示駆動部２２および左表示駆動部２４の両方に画像光を生成させたり、一方のみに画像光を生成させたり、両方共に画像光を生成させなかったりする。なお、画像光を生成することを「画像を表示する」ともいう。

表示制御部１９０は、右ＬＣＤ制御部２１１と左ＬＣＤ制御部２１２とに対する制御信号のそれぞれを、送信部５１および５２を介して送信する。また、表示制御部１９０は、右バックライト制御部２０１と左バックライト制御部２０２とに対する制御信号のそれぞれを送信する。

画像処理部１６０は、コンテンツに含まれる画像信号を取得し、送信部５１，５２を介して、取得した画像信号を画像表示部２０の受信部５３，５４へと送信する。なお、画像処理部１６０は、必要に応じて、画像データに対して、解像度変換処理、輝度、彩度の調整といった種々の色調補正処理、キーストーン補正処理等の画像処理を実行してもよい。

音声処理部１７０は、コンテンツに含まれる音声信号を取得し、取得した音声信号を増幅して、連結部材４６に接続された右イヤホン３２内のスピーカー（図示しない）および左イヤホン３４内のスピーカー（図示しない）に対して供給する。なお、例えば、Ｄｏｌｂｙ（登録商標）システムを採用した場合、音声信号に対する処理がなされ、右イヤホン３２および左イヤホン３４のそれぞれからは、例えば周波数等が変えられた異なる音が出力される。また、音声処理部１７０は、マイク６３が取得した外部の音声に各種処理を行なうことで、音声を識別する。音声処理部１７０は、取得した音声を文字に変換できる。なお、音声処理部１７０は、請求項における音声識別部に相当し、音声処理部１７０およびマイク６３は、請求項における音声取得部に相当する。

センサー制御部１６８は、１０軸センサー６６によって検出された角速度に基づいて、使用者の頭部の変化を検出する。なお、１０軸センサー６６およびセンサー制御部１６８は、請求項における動作検出部に相当する。

画像設定部１６５は、音声処理部１７０によって識別された音声と、検出された使用者の頭部の変化と、操作部１３５が受け付けた操作と、の少なくとも１つに基づいて、画像記憶部１２２に記憶された画像を画像表示部２０に表示させる。なお、以降では、操作とは、特に限定しない限りにおいて、音声処理部１７０による音声識別と、検出された頭部の変化と、操作部１３５が受け付けた操作と、を含み、機能実行部１６９の実行のトリガーとなる全ての概念を含む。

機能実行部１６９は、画像表示部２０によって画像が表示された後に、表示された画像に対応付けられた操作（音声識別等も含む）を受け付けると、受け付けた操作に対応するＨＭＤ１００が実行可能な機能を、ＨＭＤ１００に実行させる。

図３は、画像記憶部１２２に階層ごとに区別されたＨＭＤ１００が実行可能な機能の対応関係を概略図である。図３では、階層構造における記憶された機能の対応関係が示されている。図３には、ＨＭＤ１００が実行可能な機能の１つとして、外部の音声を記録する録音の機能を実行するまでの４つの階層に区別された機能の対応関係が示されている。また、機能のそれぞれには予め特定の画像が対応付けられている。本実施形態では、機能のそれぞれに対応付けられた画像として、当該画像が選択された場合に実行される機能を文字画像で表した画像が用いられるが、他の実施形態では文字画像以外の画像であってもよい。

機能実行部１６９が所定の操作を受け付けると、画像設定部１６５は、画像記憶部１２２の階層の内の最も上の階層である第１階層ＦＲ１に記憶された「Ｍｅｎｕ」の機能に対応付けられた画像を画像表示部２０に表示させる。この場合に、画像設定部１６５は、「Ｍｅｎｕ」の画像に、取得された特定の音声である「アカ」に対応付けられた色の赤によって作成した画像を組み合わせる。「Ｍｅｎｕ」の画像と赤で作成された画像とを組み合わせた画像（例えば、図６，７）の詳細については、機能実行処理で後述する。

所定の操作が受け付けられることにより、第１階層ＦＲ１の「Ｍｅｎｕ」が選択されると、画像設定部１６５は、「Ｍｅｎｕ」に対応付けられて第２階層ＦＲ２に記憶された機能を表す画像を画像表示部２０に表示させる。この場合に、画像設定部１６５は、選択されると下の階層に記憶されたフォルダー一覧を表示する「Ｆｏｌｄｅｒ」を、赤で作成された画像に組み合わせて、選択されるとマイク６３が取得した外部の音声を記録する「Ｒｅｃｏｒｄ」を青で作成された画像に組み合わせて、選択されると１つ上の階層に戻る「Ｂａｃｋ」を黄色で作成されたに組み合わせて、画像表示部２０に表示させる。すなわち、機能実行部１６９は、「Ｍｅｎｕ」が選択されると、「Ｍｅｎｕ」に対応付けられた機能である１つ下の階層の第２階層ＦＲ２に記憶された機能を画像として画像表示部２０に表示させる。なお、「Ｂａｃｋ」は、黄色で作成された画像に対応付けられると共に１０軸センサー６６によって検出される使用者の頭部の変化にも対応付けられている。「Ｂａｃｋ」は、１０軸センサー６６によって使用者の水平方向の首振りが検出された場合にも、「Ｂａｃｋ」に対応付けられた機能が実行される。本実施形態では、以上の３つの画像が画像表示部２０に表示されるとしたが、別の画像が画像表示部２０に表示されてもよいし、３つよりも少ない画像が表示されてもよい。図３では、第２階層ＦＲ２において、操作によって「Ｒｅｃｏｒｄ」が選択された場合について示されている。なお、「Ｍｅｎｕ」や「Ｆｏｌｄｅｒ」などの画像は、請求項における実行機能画像に相当する。また、「アカ」や「アオ」の音声は、請求項における特定の音声に相当し、「Ｍｅｎｕ」の実行機能画像に組み合わされた赤で作成された画像や「Ｒｅｃｏｒｄ」の実行機能画像に組み合わされ青で作成された画像は、請求項における特定音声画像に相当する。

第２階層ＦＲ２において、「Ｒｅｃｏｒｄ」が選択されると、画像設定部１６５は、「Ｒｅｃｏｒｄ」の機能である第２階層ＦＲ２の下の階層の第３階層ＦＲ３に記憶された機能を文字画像として画像表示部２０に表示させる。この場合に、画像設定部１６５は、選択されると新規ファイルを作成する「Ｎｅｗ」の画像を赤で作成された画像に組み合わせて、選択されると以前に作成したファイルを選択する「Ｓｅｌｅｃｔ」の画像を青で作成された画像に組み合わせて、「Ｂａｃｋ」の画像を黄色で作成された画像に組み合わせて、選択されると１番上の階層である第１階層ＦＲ１に戻る「Ｈｏｍｅ」を緑で作成された画像に組み合わせて画像表示部２０に表示させる。図３では、第３階層ＦＲ３において、「Ｎｅｗ」が選択された場合について示されている。

第３階層ＦＲ３において、「Ｎｅｗ」が選択されると、画像設定部１６５は、「Ｎｅｗ」の機能として、第３階層ＦＲ３の下の階層の第４階層ＦＲ４に記憶された機能を画像として画像表示部２０に表示させる。この場合に、画像設定部１６５は、選択されると録音を開始する「Ｓｔａｒｔ」の画像を赤で作成された画像に組み合わせて、選択されると録音していた場合に録音を終了する「Ｅｎｄ」の画像を青で作成された画像に組み合わせて、「Ｂａｃｋ」の画像を黄色で作成された画像に組み合わせて、「Ｈｏｍｅ」の画像を緑で作成された画像に組み合わせて画像表示部２０に表示させる。以上説明したとおり、画像記憶部１２２に記憶された画像は、音声として短いワードである色に対応付けられているため、音声識別による選択の間違いが低減される。また、画像記憶部１２２に記憶された階層のそれぞれにおいて、同一の色に対応付けられた画像があるため、音声処理部１７０は、音声識別を行なう際に、取得した音声と予め登録された複数のワードとを比較しなくて済み、さらに、音声識別の精度が向上する。

図２に示すように、画像表示部２０は、右表示駆動部２２と、左表示駆動部２４と、右光学像表示部２６としての右導光板２６１と、左光学像表示部２８としての左導光板２６２と、マイク６３、１０軸センサー６６と、を備えている。

右表示駆動部２２は、受信部５３（Ｒｘ５３）と、光源として機能する右バックライト制御部２０１（右ＢＬ制御部２０１）および右バックライト２２１（右ＢＬ２２１）と、表示素子として機能する右ＬＣＤ制御部２１１および右ＬＣＤ２４１と、右投写光学系２５１と、を含んでいる。右バックライト制御部２０１と右バックライト２２１とは、光源として機能する。右ＬＣＤ制御部２１１と右ＬＣＤ２４１とは、表示素子として機能する。なお、右バックライト制御部２０１と、右ＬＣＤ制御部２１１と、右バックライト２２１と、右ＬＣＤ２４１と、を総称して「画像光生成部」とも呼ぶ。

受信部５３は、制御部１０と画像表示部２０との間におけるシリアル伝送のためのレシーバーとして機能する。右バックライト制御部２０１は、入力された制御信号に基づいて、右バックライト２２１を駆動する。右バックライト２２１は、例えば、ＬＥＤやエレクトロルミネセンス（ＥＬ）等の発光体である。右ＬＣＤ制御部２１１は、受信部５３を介して入力されたクロック信号ＰＣＬＫと、垂直同期信号ＶＳｙｎｃと、水平同期信号ＨＳｙｎｃと、右眼用画像データと、に基づいて、右ＬＣＤ２４１を駆動する。右ＬＣＤ２４１は、複数の画素をマトリクス状に配置した透過型液晶パネルである。

右投写光学系２５１は、右ＬＣＤ２４１から射出された画像光を並行状態の光束にするコリメートレンズによって構成される。右光学像表示部２６としての右導光板２６１は、右投写光学系２５１から出力された画像光を、所定の光路に沿って反射させつつ使用者の右眼ＲＥに導く。なお、右投写光学系２５１と右導光板２６１とを総称して「導光部」とも呼ぶ。

左表示駆動部２４は、右表示駆動部２２と同様の構成を有している。左表示駆動部２４は、受信部５４（Ｒｘ５４）と、光源として機能する左バックライト制御部２０２（左ＢＬ制御部２０２）および左バックライト２２２（左ＢＬ２２２）と、表示素子として機能する左ＬＣＤ制御部２１２および左ＬＣＤ２４２と、左投写光学系２５２と、を含んでいる。左バックライト制御部２０２と左バックライト２２２とは、光源として機能する。左ＬＣＤ制御部２１２と左ＬＣＤ２４２とは、表示素子として機能する。なお、左バックライト制御部２０２と、左ＬＣＤ制御部２１２と、左バックライト２２２と、左ＬＣＤ２４２と、を総称して「画像光生成部」とも呼ぶ。また、左投写光学系２５２は、左ＬＣＤ２４２から射出された画像光を並行状態の光束にするコリメートレンズによって構成される。左光学像表示部２８としての左導光板２６２は、左投写光学系２５２から出力された画像光を、所定の光路に沿って反射させつつ使用者の左眼ＬＥに導く。なお、左投写光学系２５２と左導光板２６２とを総称して「導光部」とも呼ぶ。

図４は、画像光生成部によって画像光が射出される様子を示す説明図である。右ＬＣＤ２４１は、マトリクス状に配置された各画素位置の液晶を駆動することによって、右ＬＣＤ２４１を透過する光の透過率を変化させることにより、右バックライト２２１から照射される照明光ＩＬを、画像を表わす有効な画像光ＰＬへと変調する。左側についても同様である。なお、図４に示すように、本実施形態ではバックライト方式を採用したが、フロントライト方式や、反射方式を用いて画像光を射出する構成としてもよい。

Ａ−２．機能実行処理：
図５は、機能実行処理のフローチャートである。機能実行処理は、受け付けた操作に基づいてＣＰＵ１４０がＨＭＤ１００に搭載された機能を実行する処理である。特に、本実施形態では、実行される機能（例えば、録音）に対応付けられた音声（色の「赤」など）をマイク６３が取得した場合に、取得した音声に対応付けられた特定音声画像に組み合わされた実行機能画像に対応する機能が機能実行部１６９によって行なわれる。そのため、本実施形態の機能実行処理では、制御部１０が受け付けた操作をマイク６３および音声処理部１７０によって識別された外部の音声に限定して説明するが、他の実施形態では、音声以外の操作に基づいて機能が実行されてもよい。

機能実行処理では、初めに、機能実行部１６９は、音声によって機能を実行するための所定の操作を受け付ける（ステップＳ１１）。この所定の操作としては、操作部１３５に対しての手動の操作であってもよいし、音声処理部１７０が識別する音声としての何らかのワードの識別であってもよい。ステップＳ１１の処理において、所定の操作が受け付けられなかった場合には（ステップＳ１１：ＮＯ）、引き続き、機能実行部１６９は、所定の操作の受付を待機する（ステップＳ１１）。所定の操作が受け付けられた場合には（ステップＳ１１：ＹＥＳ）、機能実行部１６９は、画像設定部１６５によって、トリガー画像を画像表示部２０に表示させる（ステップＳ１３）。トリガー画像は、画像記憶部１２２の第１階層に記憶された「Ｍｅｎｕ」の機能に対応付けられた画像を元に作成される「Ｍｅｎｕ」の文字画像よりも表示領域が小さい画像である。トリガー画像は、元の「Ｍｅｎｕ」の画像の一部であってもよいし、画像記憶部１２２において、「Ｍｅｎｕ」の画像に対応付けられて記憶されたトリガー画像であってもよい。

図６は、画像表示部２０にトリガー画像が表示されたときに使用者が視認する視野ＶＲを示す説明図である。図６に示すように、使用者には、光学像表示部２６，２８を透過した外景ＳＣと、画像表示部２０が画像を表示できる最大の領域である画像表示最大領域ＰＮに表示されたトリガー画像としての組み合わせ画像ＣＩ１と、が視認される。外景ＳＣには、学校で講義を行なっている教師ＴＥと、その講義を聞いている複数の生徒ＳＴと、教師ＴＥがホワイトボートＷＢに書いた文字と、が含まれている。画像表示最大領域ＰＮに表示された組み合わせ画像ＣＩ１は、画像ＩＭＧ１とひも画像ｃｈ１とを含んでいる。画像ＩＭＧ１は、画像記憶部１２２における第１階層ＦＲ１に記憶された「Ｍｅｎｕ」（図３）の機能に対応付けられた文字画像の一部であり、「Ｍ」の頭文字だけが画像表示最大領域ＰＮに表示されている。ひも画像ｃｈ１は、「Ｍｅｎｕ」の画像に組み合わされた赤の色で作成された画像である。なお、図６および以降の図では、画像表示最大領域ＰＮは、破線で示されているが、説明のために便宜上示しているのであり、使用者には視認されない。

トリガー画像が画像表示部２０の画像表示最大領域ＰＮに表示されると（図５のステップＳ１３）、音声処理部１７０は、トリガー画像を選択する操作として設定された音声を取得する（ステップＳ１５）。本実施形態では、トリガー画像を選択する音声としては、「メニュー」、「Ｍｅｎｕ」の頭文字である「エム」、「Ｍｅｎｕ」に対応付けられた色である「アカ（赤）」が設定されている。音声処理部１７０は、設定された音声を取得しなかった場合には（ステップＳ１５：ＮＯ）、引き続き、設定された音声の取得を待機する（ステップＳ１５）。設定された音声が取得された場合には（ステップＳ１５：ＹＥＳ）、画像設定部１６５は、トリガー画像の画像ＩＭＧ１に対応付けられ、画像記憶部１２２の第１階層ＦＲ１に記憶された機能の「Ｍｅｎｕ」の実行機能画像を含む組み合わせ画像ＣＩ２を画像表示最大領域ＰＮに表示させる（ステップＳ１７）。

図７は、トリガー画像に対応付けられた組み合わせ画像ＣＩ２が表示されたときに使用者が視認する視野ＶＲを示す説明図である。図７に示すように、画像記憶部１２２の第１階層ＦＲ１に記憶された「Ｍｅｎｕ」が選択された場合に実行される機能を表す画像ＩＭＧ２を含む組み合わせ画像ＣＩ２が画像表示最大領域ＰＮに表示されている。組み合わせ画像ＣＩ２は、組み合わせ画像ＣＩ１と同様に、赤で表示されたひも画像ｃｈ１と、画像ＩＭＧ２と、を含んでいる。なお、画像設定部１６５は、組み合わせ画像ＣＩ１，ＣＩ２などの画像を画像表示最大領域ＰＮの中心部を除く領域に表示させる。本実施形態では、画像表示最大領域ＰＮの中心部は、画像表示最大領域ＰＮの縦と横とのそれぞれを３分割した計９分割の領域の内の真ん中の１つの領域の部分をいう。なお、画像表示最大領域ＰＮにおける中心部の定義については、種々変形可能であり、本実施形態と異なる定義であってもよい。ひも画像ｃｈ１は、請求項における特定音声画像に相当する。

画像表示最大領域ＰＮに第１階層ＦＲ１に記憶された「Ｍｅｎｕ」の機能を表す画像ＩＭＧ２が表示されると（図５のステップＳ１７）、音声処理部１７０は、画像ＩＭＧ２を含む組み合わせ画像ＣＩ２を選択する音声の取得を待機する（ステップＳ１９）。取得される音声は、ステップＳ１３の処理で組み合わせ画像ＣＩ１が選択されるときと同じ音声である。組み合わせ画像ＣＩ２を選択する音声が取得されない場合には（ステップＳ１９：ＮＯ）、画像設定部１６５は、組み合わせ画像ＣＩ２を画像表示最大領域ＰＮに表示させてから予め定められた一定時間が経過しているか否かを判定する（ステップＳ２１）。予め定められた一定時間がまだ経過していないと判定された場合には（ステップＳ２１：ＮＯ）、音声処理部１７０は、引き続き、組み合わせ画像ＣＩ２を選択する音声の取得を待機する（ステップＳ１９）。ステップＳ２１の処理において、機能実行部１６９が組み合わせ画像ＣＩ２を画像表示最大領域ＰＮに表示させてから一定時間が経過したと判定した場合には（ステップＳ２１：ＹＥＳ）、画像設定部１６５は、組み合わせ画像ＣＩ２をトリガー画像である組み合わせ画像ＣＩ１に変更して画像表示最大領域ＰＮに表示させる（ステップＳ１３）。

ステップＳ１９の処理において、画像ＩＭＧ２を含む組み合わせ画像ＣＩ２を選択する音声が取得された場合には（ステップＳ１９：ＹＥＳ）、機能実行部１６９は、画像ＩＭＧ２が画像記憶部１２２に記憶された最下層の機能に対応付けられた実行機能画像であるか否かを判定する（ステップＳ２３）。最下層に記憶された機能の実行機能画像が選択されると、機能実行部１６９は、画像記憶部１２２に記憶された階層間の表示画像の変更を画像設定部１６５にさせるのではなく、録音などの選択されたＨＭＤ１００が実行可能な何らかの機能を実行させる。最下層に記憶された機能に対応付けれた実行機能画像としては、画像記憶部１２２の第４階層ＦＲ４に記憶された機能としての録音を開始するための「Ｓｔａｒｔ」や録音を終了するための「Ｅｎｄ」などが挙げられる。

ステップＳ２３の処理において、選択された組み合わせ画像ＣＩ２は、最下層の機能に対応付けられた実行機能画像ではない画像ＩＭＧ２を含む画像であるため（ステップＳ２３：ＮＯ）、画像設定部１６５は、選択された組み合わせ画像ＣＩ２に含まれる画像ＩＭＧ２に対応付けられた機能が実行された後に選択可能な機能に対応付けられた画像を画像表示最大領域ＰＮに表示させる（ステップＳ２５）。

図８は、第２階層ＦＲ２に記憶された複数の機能のそれぞれに対応付けられた画像を含む選択群画像ＩＧ１が表示されたときに使用者が視認する視野ＶＲを示す説明図である。選択群画像とは、実行機能画像を２つ以上含む、すなわち、選択可能な複数の画像から構成される画像である。画像ＩＭＧ２を含む組み合わせ画像ＣＩ２が選択された場合には、図８に示すように、画像ＩＭＧ２に対応付けられた第２階層ＦＲ２に記憶された複数の機能のそれぞれに対応付けられた画像と当該画像に組み合わされた色を示す画像を含む選択群画像ＩＧ１が画像表示最大領域ＰＮに表示されている。図８に示すように、選択群画像ＩＧ１には、「Ｆｏｌｄｅｒ」や「Ｒｅｃｏｒｄ」といった同じ階層である第２階層ＦＲ２に記憶されている機能に対応付けられた選択可能な複数の実行機能画像と、複数の実行機能画像のそれぞれに組み合わされたひも画像と、を含む複数の組み合わせ画像から構成されている。複数の実行機能画像に組み合わされたそれぞれのひも画像は、異なる色として画像表示最大領域ＰＮに表示されている。そのため、音声処理部１７０が選択群画像ＩＧ１に含まれる実行機能画像に組み合わされたひも画像に対応付けられた色を音声として識別すると、機能実行部１６９は、識別された色に組み合わされた実行機能画像に基づく機能を実行する。なお、選択群画像ＩＧ１，ＩＧ３を示す破線は、説明のために便宜上示しており、使用者には視認されない。

選択群画像ＩＧ１が画像表示最大領域ＰＮに表示されると（図５のステップＳ２５）、機能実行部１６９は、画像記憶部１２２に記憶された最下層の機能に対応付けられた実行機能画像が選択されるまで、ステップＳ１９以降の処理を繰り返す。本実施形態では、第２階層ＦＲ２に記憶された複数の機能に対応付けられた実行機能画像を含む選択群画像ＩＧ１の内、録音の機能を実行するための実行機能画像である「Ｒｅｃｏｒｄ」が選択され、「Ｒｅｃｏｒｄ」の選択に基づいて、「Ｒｅｃｏｒｄ」の組み合わせ画像を含む選択群画像ＩＧ１の１つ下の階層である第３階層ＦＲ３に記憶された複数の機能に対応付けられた実行機能画像を含む選択群画像ＩＧ２が画像表示最大領域ＰＮに表示される。その後、表示された選択群画像ＩＧ２の中に含まれる実行機能画像として「Ｎｅｗ」（図３）が選択される。選択された「Ｎｅｗ」に基づいて、「Ｎｅｗ」の機能に対応付けられた実行機能画像を含む選択群画像ＩＧ２の１つ下の階層である第４階層ＦＲ４に記憶された複数の機能に対応付けられた実行機能画像を含む選択群画像ＩＧ３が画像表示最大領域ＰＮに表示される。

図９は、第４階層ＦＲ４に記憶された機能に対応付けられた実行機能画像を含む選択群画像ＩＧ３が表示されたときに使用者が視認する視野ＶＲを示す説明図である。選択群画像ＩＧ３には、画像記憶部１２２に記憶された最下層の機能に対応付けられた実行機能画像である「Ｓｔａｒｔ」の画像ＩＭＧ３を含む組み合わせ画像ＣＩ３が含まれている。図５のステップＳ１９の処理において、選択群画像ＩＧ３の中から組み合わせ画像ＣＩ３が選択されると（ステップＳ１９：ＹＥＳ）、組み合わせ画像ＣＩ３に含まれる「Ｓｔａｒｔ」の画像ＩＭＧ３は実行機能画像であるため（ステップＳ２３：ＹＥＳ）、ＣＰＵ１４０は、選択された実行機能画像である「Ｓｔａｒｔ」の画像ＩＭＧ３に対応付けられている機能としての外部の音声の録音を実行し（ステップＳ２７）、機能実行処理を終了する。

以上説明したように、本実施形態のＨＭＤ１００では、画像設定部１６５が実行機能画像としての画像ＩＭＧ１と、実行機能画像に組み合わされたひも画像ｃｈ１と、を含む組み合わせ画像ＣＩ１を画像表示部２０の画像表示最大領域ＰＮに表示させる。また、マイク６３および音声処理部１７０がひも画像ｃｈ１に対応付けられた音声を取得した場合には、機能実行部１６９は、ひも画像ｃｈ１に組み合わされた画像ＩＭＧ１に対応付けられた機能をＨＭＤ１００に実行させる。すなわち、ＨＭＤ１００によって実行される機能は、画像表示部２０に表示された画像ＩＭＧ１に組み合わされたひも画像ｃｈ１に対応付けられた音声が取得されることで実行される。そのため、本実施形態のＨＭＤ１００では、実行される機能の種類よりも少ない数のひも画像ｃｈ１に対応する音声によって、ＨＭＤ１００が実行する機能の判断がされるため、音声識別の精度が向上する。また、ひも画像ｃｈ１の数が限定されるため、短いワードの音声による機能の実行が可能となり、ＨＭＤ１００の使い勝手が向上する。

また、本実施形態のＨＭＤ１００では、複数の組み合わせ画像を含む選択群画像ＩＧ１などが画像表示最大領域ＰＮに表示されるため、１つの表示画面で複数の機能を実行できる実行機能画像が画像表示最大領域ＰＮに表示され、使用者の使い勝手が向上する。

また、本実施形態のＨＭＤ１００では、実行機能画像に対応付けられた機能として、画像記憶部１２２に記憶された下の階層の機能を文字画像で画像表示最大領域ＰＮに複数の実行機能画像を一覧で表示するため、使用者の使い勝手がさらに向上する。

また、本実施形態のＨＭＤ１００では、図７に示すように、組み合わせ画像ＣＩ１において、ひも画像ｃｈ１が画像表示最大領域ＰＮに表示される領域の大きさは、実行機能画像である画像ＩＭＧ２が画像表示最大領域ＰＮに表示される領域の大きさよりも小さい。そのため、不要に画像表示最大領域ＰＮにおいて機能の実行とは関係のない無駄な画像が表示されず、かつ、選択されると実行される機能の内容を使用者が認識しやすく、使用者の利便性が向上する。

また、本実施形態のＨＭＤ１００では、画像ＩＭＧ１などに対応付けられたひも画像ｃｈ１は、色に関連する画像であるため、音声識別の精度をより向上させることができる。

また、本実施形態のＨＭＤ１００では、画像設定部１６５は、組み合わせ画像ＣＩ１を画像表示最大領域ＰＮにおける中心を除く部分に表示させるため、使用者の視野を不要に狭くせず、使用者の利便性が向上する。

Ｂ．第２実施形態：
図１０は、第２実施形態におけるＨＭＤ１００ａを含む情報システム５００の構成を示す説明図である。図１０に示すように、情報システム５００は、ＨＭＤ１００ａと、他の装置が実行可能な機能に対応付けられた実行機能画像を記憶する記憶部を有するサーバー３００と、を有している。

図１１は、第２実施形態におけるＨＭＤ１００ａの構成を機能的に示すブロック図である。図１１に示すように、第２実施形態のＨＭＤ１００ａは、第１実施形態のＨＭＤ１００と比較して、制御部１０ａが無線通信部１３２を有することと、制御部１０ａの記憶部１２０ａが画像記憶部１２２を有しないことと、が異なり、他の構成については、第１実施形態のＨＭＤ１００と同じである。無線通信部１３２は、無線ＬＡＮやブルートゥース（登録商標）といった所定の無線通信方式に則って他の機器との間で無線通信を行なう。制御部１０ａは、第１実施形態の機能実行処理を行なう所定の操作受け付けると、無線通信部１３２を介して、サーバー３００に記憶された他の装置が実行可能な機能に対応付けられた実行機能画像を取得する。その後、画像設定部１６５は、取得した実行機能画像のそれぞれに特定の音声（例えば「赤」）などに対応付けられた画像（例えば、ひも画像）を組み合わせた組み合わせ画像を画像表示最大領域ＰＮに表示させる。機能実行部１６９は、画像表示最大領域ＰＮに表示された画像と使用者から受け付けた操作とに基づいて、無線通信部１３２を介して、選択された実行機能画像に対応付けられた機能を、ＨＭＤ１００に接続された他の装置に実行させる。なお、無線通信部１３２は、請求項における通信部に相当する。情報システム５００において、第２実施形態では、ＨＭＤ１００とサーバー３００とが１つずつしか備えられていないが、他の実施形態では、複数のＨＭＤ１００や複数のサーバー３００が備えられていてもよい。

第２実施形態のＨＭＤ１００ａでは、機能実行部１６９は、無線通信部１３２を介して、ＨＭＤ１００ａ以外の装置の機能を実行させるため、使用者は、離れた位置に存在するＨＭＤ１００ａ以外の機能も行なうことができ、使用者の利便性が向上する。

Ｃ．変形例：
なお、この発明は上記実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、例えば、次のような変形も可能である。

Ｃ−１．変形例１：
第１実施形態では、画像表示部２０の画像表示最大領域ＰＮに表示される組み合わせ画像や選択群画像の一例を挙げて説明したが、画像表示最大領域ＰＮに表示される組み合わせ画像や選択群画像については、上記実施形態の態様に限られず、種々変形可能である。この変形例では、画像設定部１６５は、１０軸センサー６６およびセンサー制御部１６８によって検出された使用者の頭部の向きに応じて、選択群画像を画像表示最大領域ＰＮに表示させ、表示された実行機能画像の内から１つの実行機能画像が選択される。選択画像群が画像表示最大領域ＰＮに表示された状態で、機能実行部１６９は、音声による１つの実行機能画像を選択する操作を受け付けたときに、選択された実行機能画像に対応付けられたＨＭＤ１００の機能を実行する。

図１２は、変形例における実行機能画像を表示させるための十字画像ＣＳが表示されたときに使用者が視認する視野ＶＲを示す説明図である。図１２には、第１実施形態の図９に示された選択群画像ＩＧ３が画像表示最大領域ＰＮに表示される前に、画像表示最大領域ＰＮに表示される十字画像ＣＳが示されている。図１２に示すように、十字画像ＣＳは、上下左右のそれぞれの方向を向いた４つの矢印から構成される画像である。センサー制御部１６８は、１０軸センサー６６によって、検出された使用者の頭部の向きの変化が所定の値以上の場合に、上下左右のいずれかに変化したとして検出する。

図１３は、変形例における十字画像ＣＳの内の右方向が選択されたときに使用者が視認する視野ＶＲを示す説明図である。センサー制御部１６８が使用者の頭部の向きが右に変化した（右に首を振った）と判定された場合には、画像設定部１６５は、十字画像ＣＳに加えて、十字画像ＣＳの右に対応付けられた選択群画像ＩＧ３を画像表示最大領域ＰＮに表示させる。この場合に、機能実行部１６９は、選択群画像ＩＧ３に含まれるいずれかの組み合わせ画像を選択する音声が取得されると、取得された音声の実行機能画像に対応する機能を実行させる。この変形例では、１０軸センサー６６およびセンサー制御部１６８によって検出された使用者の頭部の向きと、マイク６３および音声処理部１７０によって取得された音声と、に基づいて、機能実行部１６９が所定の機能をＨＭＤ１００に実行させる。そのため、この変形例のＨＭＤ１００では、実行される機能の決定において、音声のみでなく、使用者の頭部の動きも加えられるため、使用者は、感覚的にＨＭＤ１００を操作しやすく、使用者の使い勝手が向上する。

また、上記実施形態および変形例では、検出された使用者の頭部の向きと識別された音声とに基づいて、各種機能が実行されたが、検出される使用者の動作としては、頭部の向きに限られず、種々変形可能である。例えば、腕や足に装着されたジャイロセンサーなどによって使用者の動作が検出されてもよいし、使用者が装着する時計や筆記時に持つペンなどに内蔵されたジャイロセンサー等と関連付けられて機能実行部１６９が各種機能をＨＭＤ１００に実行させてもよい。

Ｃ−２．変形例２：
上記実施形態では、画像ＩＭＧ１などに対応付けられたひも画像ｃｈ１として、「赤」や「青」といった色が採用されたが、ひも画像ｃｈ１については、種々変形可能である。例えば、ひも画像ｃｈ１の代わりに、「ライオン」や「鳥」といった動物の画像が画像ＩＭＧ１などに付加されて画像表示最大領域ＰＮに表示されてもよい。これらの付加される画像は、誤認識を防止する観点から、日常的な会話に登場しないワードを選択することが好ましい。例えば、機械の組み立てなどを行なう工場では、機械に関係のない動物に関連したワードなどが好ましい。

また、複数の実行機能画像から１つの実行機能画像を選択するという観点から、複数の実行機能画像のそれぞれに対応付けられる画像は、動物や色といった同じカテゴリーの中から選択される画像であることが好ましい。この場合には、並列に画像表示最大領域ＰＮに表示された複数の実行機能画像から、間違って使用者が意図しない実行機能画像を選択することを防止できる。

また、上記第１実施形態では、画像表示最大領域ＰＮにおいて、組み合わせ画像ＣＩ２が表示される前に、トリガー画像としての組み合わせ画像ＣＩ１が表示されたが、トリガー画像は必ずしも表示される必要はない。また、第１階層ＦＲ１以外の階層（例えば第２階層ＦＲ２）などにおける選択群画像ＩＧ１などが画像表示最大領域ＰＮに表示された場合に、所定の時間が経過すると、選択群画像ＩＧ１の一部に対応するトリガー画像に画像表示最大領域ＰＮに表示されてもよい。また、トリガー画像は、ひも画像ｃｈ１だけであり、実行機能画像である画像ＩＭＧ１などが画像表示最大領域ＰＮに表示されてなくもよい。

画像設定部１６５は、音声が正しく識別されなかった場合に、その旨を使用者に視認させるエラー画像を画像表示最大領域ＰＮに表示させてもよい。図１４は、エラー画像Ｅｒが画像表示最大領域ＰＮに表示されたときに使用者が視認する視野ＶＲを示す説明図である。図１４には、上記実施形態の図９に対して、音声処理部１７０によって正しく音声識別が行なわれずに、音声識別エラーを示す文字画像であるエラー画像Ｅｒが画像表示最大領域ＰＮに表示された状態が示されている。例えば、「アカ」の音声と識別されると、音声処理部１７０は、「赤」の色として識別するが、「アラ」や「サカ」のように、２文字の内の一方のみが違う場合には、音声識別エラーとして検出する。エラーが検出されると、画像設定部１６５は、エラー画像Ｅｒを画像表示最大領域ＰＮに表示させる。音声処理部１７０は、識別すべきワードの内の半分未満が違う場合に音声識別エラーとして検出することが好ましいが、この数字に限られず、例えば、８０％が違う場合に音声識別エラーとして検出してもよい。

Ｃ−３．変形例３：
上記実施形態では、組み合わせ画像ＣＩ２などの複数の組み合わせ画像が１つの選択群画像ＩＧ１のように画像表示最大領域ＰＮに表示されたが、必ずしも複数の組み合わせ画像がまとめて選択群画像ＩＧ２のように画像表示最大領域ＰＮに表示されなくてもよい。例えば、１秒ごとに、画像表示最大領域ＰＮに表示される実行機能画像が順々に変化してもよい。

上記実施形態では、画像記憶部１２２が階層構造を有していたが、必ずしも階層構造を有している必要はない。例えば、画像記憶部１２２は、１つの階層に、ＨＭＤ１００が実行可能な機能に対応付けられた複数の実行機能画像を記憶してもよい。また、使用者によって、選択された機能および実行機能画像のみが画像記憶部１２２に記憶されていてもよい。

上記実施形態では、ＨＭＤ１００が、１０軸センサー６６およびセンサー制御部１６８、無線通信部１３２を構成として備えていたが、必ずしも備えている必要はない。１０軸センサー６６およびセンサー制御部１６８によって、必ずしも使用者の動作が検出されなくてもよく、無線通信部１３２によって、必ずしも他の装置と情報の送受信が行なわれてなくてもよい。

上記実施形態では、組み合わせ画像ＣＩ２などが画像表示最大領域ＰＮの中心を除く領域に表示されたが、組み合わせ画像ＣＩ２が表示される領域については、種々変形可能である。例えば、目立つように画像表示最大領域ＰＮの中心に組み合わせ画像ＣＩ２が表示されてもよいし、検出された使用者の頭部の向きに応じて、画像表示最大領域ＰＮにおける組み合わせ画像ＣＩ２が表示される位置が異なっていてもよい。また、組み合わせ画像ＣＩ１の内容に応じて、重要性の高い画像のみが画像表示最大領域ＰＮの中心に表示されてもよい。

また、撮像画像に撮像される対象に合わせて、画像設定部１６５は、画像表示最大領域ＰＮに表示させる画像の大きさや位置の設定を行なってもよい。例えば、撮像画像に含まれる対象までの距離が特定され、距離の大小に応じて、画像設定部１６５は、画像表示最大領域ＰＮに表示させる文字画像のフォントの大きさを変更してもよい。撮像画像の対象までの距離を測定する方法としては、ステレオカメラによって、２つのカメラの位置と、２つのカメラによって撮像された撮像画像における対象の位置と、に基づいて、２つのカメラに対する対象までの距離を測定してもよい。また、ＴＯＦセンサーや赤外線センサーなどによって、画像表示部２０から対象までの距離が測定されてもよい。また、自動車等の対象の画像が予め記憶されている場合には、予め記憶された画像と撮像された画像との大きさや向きを比較することで、対象までの距離や位置関係が測定されてもよい。

また、画像設定部１６５は、撮像された対象に基づく画像を画像表示最大領域ＰＮに表示させてもよい。例えば、ＨＭＤ１００の使用者が物理学などの特定の講義を受講している場合に、講義で使用される専門用語や特殊な図形等が予め登録されており、撮像画像からそれらの専門用語などが検出されると、画像設定部１６５は、検出された専門用語などの位置に合わせて、専門用語の説明を表示させることができるアイコンを画像表示最大領域ＰＮに表示させてもよい。例えば、画像設定部１６５は、検出された専門用語の付近に「詳細説明」の文字画像を含むアイコンを赤色などで表示させ、「赤」の音声が取得されると、検出された専門用語に対応付けられて予め記憶された説明文を画像表示最大領域ＰＮに表示させてもよい。また、画像設定部１６５は、「詳細説明」のアイコンの画像の大きさも、撮像画像の中から検出された専門用語の画像の大きさに対応させて、適宜変更して画像表示最大領域ＰＮに表示させてもよい。以上説明したように、撮像画像の中から検出された対象の画像との距離や位置などの関係によって、画像設定部１６５は、画像表示最大領域ＰＮに表示させる画像の種類や画像の大きさや画像の位置を適宜設定してもよい。

Ｃ−４．変形例４：
上記実施形態では、制御部１０に操作部１３５が形成されたが、操作部１３５の態様については種々変形可能である。例えば、制御部１０とは別体で操作部１３５であるユーザーインターフェースがある態様でもよい。この場合に、操作部１３５は、電源１３０等が形成された制御部１０とは別体であるため、小型化でき、使用者の操作性が向上する。また、制御部１０の構成するＣＰＵ１４０や電源１３０が画像表示部２０に全て搭載されたＨＭＤ１００であってもよい。このＨＭＤ１００では、画像表示部２０と別体で構成されるコントローラーがないため、より小型化できる。また、制御部１０と画像表示部２０とのそれぞれに、ＣＰＵ１４０が搭載されることで、制御部１０がコントローラー単体として使用され、画像表示部２０が表示装置単体として使用されてもよい。

例えば、画像光生成部は、有機ＥＬ（有機エレクトロルミネッセンス、Organic Electro-Luminescence）のディスプレイと、有機ＥＬ制御部とを備える構成としてもよい。また、例えば、画像光生成部は、ＬＣＤに代えて、ＬＣＯＳ（Liquid crystal on silicon, LCoS は登録商標）や、デジタル・マイクロミラー・デバイス等を用いることもできる。また、例えば、レーザー網膜投影型のＨＭＤ１００に対して本発明を適用することも可能である。

また、例えば、ＨＭＤ１００は、光学像表示部が使用者の眼の一部分のみを覆う態様、換言すれば、光学像表示部が使用者の眼を完全に覆わない態様のヘッドマウントディスプレイとしてもよい。また、ＨＭＤ１００は、いわゆる単眼タイプのヘッドマウントディスプレイであるとしてもよい。また、ＨＭＤ１００は、両眼タイプの光学透過型であるとしているが、本発明は、例えば、ビデオ透過型といった他の形式の頭部装着型表示装置にも同様に適用可能である。

また、ＨＭＤ１００は、他の装置から受信した画像信号に基づく画像を表示するためだけの表示装置と用いられてもよい。具体的には、デスクトップ型のＰＣのモニターに相当する表示装置として用いられ、例えば、デスクトップ型のＰＣから画像信号を受信することで、画像表示部２０の画像表示最大領域ＰＮに画像が表示されてもよい。

また、ＨＭＤ１００は、システムの一部として機能するように用いられてもよい。例えば、航空機を含むシステムの一部の機能を実行するための装置としてＨＭＤ１００が用いられてもよいし、ＨＭＤ１００が用いられるシステムとしては、航空機を含むシステムに限られず、自動車や自転車など含むシステムであってもよい。

また、イヤホンは耳掛け型やヘッドバンド型が採用されてもよく、省略してもよい。また、例えば、自動車や飛行機等の車両に搭載される頭部装着型表示装置として構成されてもよい。また、例えば、ヘルメット等の身体防護具に内蔵された頭部装着型表示装置として構成されてもよい。

Ｃ−５．変形例５：
上記実施形態におけるＨＭＤ１００の構成は、あくまで一例であり、種々変形可能である。例えば、制御部１０に設けられた方向キー１６を省略したり、方向キー１６やトラックパッド１４に加えて、操作用スティック等の他の操作用インターフェイスを設けたりしてもよい。また、制御部１０は、キーボードやマウス等の入力デバイスを接続可能な構成であり、キーボードやマウスから入力を受け付けるものとしてもよい。

また、画像表示部として、眼鏡のように装着する画像表示部２０に代えて、例えば帽子のように装着する画像表示部といった他の方式の画像表示部を採用してもよい。また、イヤホン３２，３４は、適宜省略可能である。

図１５は、変形例におけるＨＭＤの外観構成を示す説明図である。図１５（Ａ）の例の場合、図１に示したＨＭＤ１００との違いは、画像表示部２０ｘが、右光学像表示部２６に代えて右光学像表示部２６ｘを備える点と、左光学像表示部２８に代えて左光学像表示部２８ｘを備える点とである。右光学像表示部２６ｘは、上記実施形態の光学部材よりも小さく形成され、ＨＭＤ１００ｘの装着時における使用者の右眼の斜め上に配置されている。同様に、左光学像表示部２８ｘは、上記実施形態の光学部材よりも小さく形成され、ＨＭＤ１００ｘの装着時における使用者の左眼の斜め上に配置されている。図１５（Ｂ）の例の場合、図１に示したＨＭＤ１００との違いは、画像表示部２０ｙが、右光学像表示部２６に代えて右光学像表示部２６ｙを備える点と、左光学像表示部２８に代えて左光学像表示部２８ｙを備える点とである。右光学像表示部２６ｙは、上記実施形態の光学部材よりも小さく形成され、ヘッドマウントディスプレイの装着時における使用者の右眼の斜め下に配置されている。左光学像表示部２８ｙは、上記実施形態の光学部材よりも小さく形成され、ヘッドマウントディスプレイの装着時における使用者の左眼の斜め下に配置されている。このように、光学像表示部は使用者の眼の近傍に配置されていれば足りる。また、光学像表示部を形成する光学部材の大きさも任意であり、光学像表示部が使用者の眼の一部分のみを覆う態様、換言すれば、光学像表示部が使用者の眼を完全に覆わない態様のＨＭＤ１００として実現できる。

また、上記実施形態において、ＨＭＤ１００は、使用者の左右の眼に同じ画像を表わす画像光を導いて使用者に二次元画像を視認させるとしてもよいし、使用者の左右の眼に異なる画像を表わす画像光を導いて使用者に三次元画像を視認させるとしてもよい。

また、上記実施形態において、ハードウェアによって実現されていた構成の一部をソフトウェアに置き換えるようにしてもよく、逆に、ソフトウェアによって実現されていた構成の一部をハードウェアに置き換えるようにしてもよい。例えば、上記実施形態では、画像処理部１６０や音声処理部１７０は、ＣＰＵ１４０がコンピュータープログラムを読み出して実行することにより実現されるとしているが、これらの機能部はハードウェア回路により実現されるとしてもよい。

また、本発明の機能の一部または全部がソフトウェアで実現される場合には、そのソフトウェア（コンピュータープログラム）は、コンピューター読み取り可能な記録媒体に格納された形で提供することができる。この発明において、「コンピューター読み取り可能な記録媒体」とは、フレキシブルディスクやＣＤ−ＲＯＭのような携帯型の記録媒体に限らず、各種のＲＡＭやＲＯＭ等のコンピューター内の内部記憶装置や、ハードディスク等のコンピューターに固定されている外部記憶装置も含んでいる。

また、上記実施形態では、図１および図４に示すように、制御部１０と画像表示部２０とが別々の構成として形成されているが、制御部１０と画像表示部２０との構成については、これに限られず、種々変形可能である。例えば、画像表示部２０の内部に、制御部１０に形成された構成の全てが形成されてもよいし、一部が形成されてもよい。また、上記実施形態における電源１３０が単独で形成されて、交換可能な構成であってもよいし、制御部１０に形成された構成が重複して画像表示部２０に形成されていてもよい。例えば、図２に示すＣＰＵ１４０が制御部１０と画像表示部２０との両方に形成されていてもよいし、制御部１０に形成されたＣＰＵ１４０と画像表示部２０に形成されたＣＰＵとが行なう機能が別々に分けられている構成としてもよい。

本発明は、上記実施形態や変形例に限られるものではなく、その趣旨を逸脱しない範囲において種々の構成で実現することができる。例えば、発明の概要の欄に記載した各形態中の技術的特徴に対応する実施形態、変形例中の技術的特徴は、上述の課題の一部または全部を解決するために、あるいは、上述の効果の一部または全部を達成するために、適宜、差し替えや、組み合わせを行なうことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することが可能である。

１０…制御部
１１…決定キー
１２…点灯部
１３…表示切替キー
１４…トラックパッド
１５…輝度切替キー
１６…方向キー
１７…メニューキー
１８…電源スイッチ
２０…画像表示部
２１…右保持部
２２…右表示駆動部
２３…左保持部
２４…左表示駆動部
２６…右光学像表示部
２８…左光学像表示部
３０…イヤホンプラグ
３２…右イヤホン
３４…左イヤホン
４０…接続部
４２…右コード
４４…左コード
４６…連結部材
４８…本体コード
５１，５２…送信部
５３，５４…受信部
６３…マイク（音声取得部）
６６…１０軸センサー（動作検出部）
１００…ＨＭＤ
１２０…記憶部
１２２…画像記憶部（画像記憶部）
１３０…電源
１３２…無線通信部（通信部）
１３５…操作部
１４０…ＣＰＵ
１５０…オペレーティングシステム
１６０…画像処理部
１６５…画像設定部（表示画像設定部）
１６８…センサー制御部（動作検出部）
１６９…機能実行部（機能実行部）
１７０…音声処理部（音声取得部、音声識別部）
１８０…インターフェイス
１９０…表示制御部
２０１…右バックライト制御部
２０２…左バックライト制御部
２１１…右ＬＣＤ制御部
２１２…左ＬＣＤ制御部
２２１…右バックライト
２２２…左バックライト
２４１…右ＬＣＤ
２４２…左ＬＣＤ
２５１…右投写光学系
２５２…左投写光学系
２６１…右導光板
２６２…左導光板
３００…サーバー
５００…情報システム
ＰＣＬＫ…クロック信号
ＶＳｙｎｃ…垂直同期信号
ＨＳｙｎｃ…水平同期信号
ＩＭＧ１，ＩＭＧ２，ＩＭＧ３…画像
ＷＢ…ホワイトボート
ＳＣ…外景
ＲＥ…右眼
ＬＥ…左眼
ＴＥ…教師
ＩＬ…照明光
ＰＬ…画像光
ＰＮ…画像表示最大領域
ＡＰ…先端部
ＶＲ…視野
ＣＳ…十字画像
ＳＴ…生徒
ＩＧ１，ＩＧ２，ＩＧ３…選択群画像（選択群画像）
ＣＩ１，ＣＩ２，ＣＩ３…組み合わせ画像（組み合わせ画像）
ＦＲ１…第１階層
ＦＲ２…第２階層
ＦＲ３…第３階層
ＦＲ４…第４階層
ｃｈ１…ひも画像（特定音声画像）

Claims (11)

1. 透過型の頭部装着型表示装置であって、
   外部の音声を取得する音声取得部と、
   取得された音声の内の特定の音声を識別する音声識別部と、
   画像を表示可能であると共に外景を透過可能な画像表示部と、
   前記頭部装着型表示装置が実行可能な機能を表す実行機能画像と、前記特定の音声に対応付けられている特定音声画像と、を記憶する画像記憶部と、
   前記実行機能画像と前記特定音声画像とを組み合わせた組み合わせ画像を前記画像表示部に表示させる表示画像設定部と、
   取得された前記特定の音声に対応付けられた前記特定音声画像と組み合わされた前記実行機能画像に対応する機能を実行する機能実行部と、
   使用者の動作を検出する動作検出部と、を備え、
   前記機能実行部は、検出された使用者の動作と取得された前記特定の音声との組み合わせに基づいて、前記画像表示部に表示された前記実行機能画像を選択する、頭部装着型表示装置。
2. 請求項１に記載の頭部装着型表示装置であって、
   前記表示画像設定部は、複数の前記組み合わせ画像を選択群画像として画像表示部に表示させる、頭部装着型表示装置。
3. 請求項１または請求項２に記載の頭部装着型表示装置であって、
   前記頭部装着型表示装置に実行される機能は、実行される機能に対応付けられた複数の機能を選択可能にする中間機能であり、
   前記表示画像設定部は、前記中間機能が実行された場合に、実行された前記中間機能に対応付けられた複数の機能を表す複数の前記実行機能画像と、前記複数の実行機能画像のそれぞれと前記特定音声画像とを組み合わせた前記組み合わせ画像を前記画像表示部に表示させる、頭部装着型表示装置。
4. 請求項１から請求項３までのいずれか一項に記載の頭部装着型表示装置であって、
   前記動作検出部は、使用者の頭部の動きを検出する、頭部装着型表示装置。
5. 請求項１から請求項４までのいずれか一項に記載の頭部装着型表示装置であって、
   前記特定音声画像は、前記実行機能画像より前記画像表示部に表示される領域が小さい画像である、頭部装着型表示装置。
6. 請求項１から請求項５までのいずれか一項に記載の頭部装着型表示装置であって、
   前記画像表示部に異なる複数の前記組み合わせ画像が表示される場合に、前記複数の画像のそれぞれに組み合わされた前記特定音声画像のそれぞれは、実行される前記頭部装着型表示装置の機能と関係がなく、同一のカテゴリーに含まれる異なる画像で構成される、頭部装着型表示装置。
7. 請求項１から請求項６までのいずれか一項に記載の頭部装着型表示装置であって、さらに、
   他の装置と情報を送受信可能な通信部を備え、
   前記実行機能画像は、情報を送受信可能な前記他の装置が実行可能な機能を表す他装置制御画像を含み、
   前記機能実行部は、取得された前記特定の音声に対応付けられた前記特定音声画像が組み合わされた前記他装置制御画像が実行可能な機能を前記他の装置に実行させる、頭部装着型表示装置。
8. 請求項１から請求項７までのいずれか一項に記載の頭部装着型表示装置であって、
   前記表示画像設定部は、前記画像表示部が画像を表示可能な画像表示領域における中心を除く領域に前記組み合わせ画像を表示させる、頭部装着型表示装置。
9. 請求項１から請求項８までのいずれか一項に記載の頭部装着型表示装置であって、
   前記機能実行部は、取得された前記特定の音声に対応付けられた前記特定音声画像と組み合わされた前記実行機能画像が実行可能な機能を前記頭部装着型表示装置に実行させる、頭部装着型表示装置。
10. 画像を表示可能であると共に外景を透過可能な画像表示部と、頭部装着型表示装置が実行可能な機能を表す実行機能画像と特定の音声に対応付けられている特定音声画像とを記憶する画像記憶部と、を備える、透過型の頭部装着型表示装置の制御方法であって、
    外部の音声を取得する工程と、
    取得された音声の内の前記特定の音声を識別する工程と、
    前記実行機能画像と前記特定音声画像とを組み合わせた組み合わせ画像を前記画像表示部に表示させる工程と、
    取得された前記特定の音声に対応付けられた前記特定音声画像と組み合わされた前記実行機能画像に対応する機能を実行する工程と、
    使用者の動作を検出する工程と、を備え、
    前記機能を実行する工程において、検出された使用者の動作と取得された前記特定の音声との組み合わせに基づいて、前記画像表示部に表示された前記実行機能画像を選択する、制御方法。
11. 画像を表示可能であると共に外景を透過可能な画像表示部と、頭部装着型表示装置が実行可能な機能を表す実行機能画像と特定の音声に対応付けられている特定音声画像とを記憶する画像記憶部と、を備える、透過型の頭部装着型表示装置のためのコンピュータープログラムであって、
    外部の音声を取得する音声取得機能と、
    取得された音声の内の前記特定の音声を識別する音声識別機能と、
    前記実行機能画像と前記特定音声画像とを組み合わせた組み合わせ画像を前記画像表示部に表示させる表示画像設定機能と、
    取得された前記特定の音声に対応付けられた前記特定音声画像と組み合わされた前記実行機能画像に対応する実行機能と、
    使用者の動作を検出する動作検出機能と、をコンピューターに実現させる、コンピュータープログラムであって、
    前記実行機能は、検出された使用者の動作と取得された前記特定の音声との組み合わせに基づいて、前記画像表示部に表示された前記実行機能画像を選択する機能を含む、コンピュータープログラム。

Images