JP6467922B2 - 頭部装着型表示装置、頭部装着型表示装置の制御方法、情報システム、および、コンピュータープログラム - Google Patents

Description

本発明は、頭部装着型表示装置に関する。

頭部に装着する表示装置である頭部装着型表示装置（ヘッドマウントディスプレイ（Head Mounted Display）、ＨＭＤ）が知られている。頭部装着型表示装置は、例えば、液晶ディスプレイおよび光源を利用して画像光を生成し、生成された画像光を投写光学系や導光板を利用して使用者の眼に導くことにより、使用者に虚像を視認させる。頭部装着型表示装置には、使用者が虚像に加えて外景も視認可能な透過型と、使用者が外景を視認できない非透過型と、の２つのタイプがある。透過型の頭部装着型表示装置には、光学透過型とビデオ透過型とがある。また、頭部装着型表示装置のような情報処理装置では、外部の音声を取得するマイクが搭載される場合がある。

例えば、特許文献１には、記録媒体に記録されたコンテンツを頭部装着型表示装置の使用者に視認させる場合に、コンテンツに含まれる音声を人の声と環境音とに区別して、環境音を表すテキスト画像を生成して、生成したテキスト画像を使用者に視認させる技術が開示されている。また、特許文献２には、頭部装着型表示装置の使用者を基準とした場合の音源の方向が特定され、音源から取得される音声を文字画像として音源の方向と対応付けて表示させる頭部装着型表示装置が開示されている。

特開２０１１−２５０１００号公報 特開２０１４−１２０９６３号公報

しかし、特許文献１に記載された技術では、使用者の操作によって視聴しているコンテンツの音量を調整することで、使用者は、コンテンツの音声とは異なる外部の音声の聞こえ方を調整できるが、コンテンツの音量を調整しないと共に、コンテンツの音量が大きい場合には、外部の音声が聞こえづらい場合がある。また、特許文献２に記載された技術では、音源の方向と音源が発する音声とが対応付けられて文字画像として使用者に視認されるが、音源を方向以外の情報も含めた上で音声を文字画像として使用者に視認させたいという要望があった。そのほか、従来の頭部装着型表示装置においては、使い勝手の向上等が望まれていた。

本発明は、上述の課題の少なくとも一部を解決するためになされたものであり、以下の形態として実現することが可能である。
本発明の一形態は、透過型の頭部装着型表示装置を提供する。この頭部装着型表示装置は、音声を取得する音声取得部と、音声を発する音源の識別情報を用いて、前記音源を特定する音源特定部と、取得された音声を文字画像に変換する変換部と、画像を表示可能であると共に外景を透過可能な画像表示部と、特定された前記音源に対応付けられた対応画像と、変換された前記文字画像と、を対応付けて前記画像表示部に表示させる表示画像設定部と、を備える。前記音源特定部は前記音源である話者の口が動いているか否かを判定し，前記話者の口が動いている場合には前記変換部が前記音声を文字画像に変換し、前記話者の口が動いていない場合には前記変換部が前記音声を文字画像に変換しない。

（１）本発明の一形態によれば、透過型の頭部装着型表示装置が提供される。この形態の頭部装着型表示装置によれば、音声を取得する音声取得部と；音声を発する音源の識別情報を用いて、前記音源を特定する音源特定部と；取得された音声を文字画像に変換する変換部と；画像を表示可能であると共に外景を透過可能な画像表示部と；特定された前記音源に対応付けられた対応画像と、変換された前記文字画像と、を対応付けて前記画像表示部に表示させる表示画像設定部と、を備える。この形態の頭部装着型表示装置によれば、使用者は、外部の音声を聞くだけでなく、文字画像として視覚的情報として音声を認識できるため、使用者にとっての利便性が向上する。また、文字画像は、音源の識別情報と合わせて画像表示部に表示されるため、使用者にとっての利便性がさらに向上する。

（２）上記形態の頭部装着型表示装置において、前記音声取得部は、前記音源の方向を特定し；前記表示画像設定部は、特定された方向に対応付けて前記文字画像と前記対応画像とを前記画像表示部に表示させてもよい。この形態の頭部装着型表示装置によれば、表示画像設定部は、文字画像と対応画像とを特定された音源に対応付けて画像表示部に表示させることができ、使用者は、文字画像を音源とより関連付けて認識できる。

（３）上記形態の頭部装着型表示装置において、前記表示画像設定部は、複数の前記音源がある場合に、前記音源ごとに設定された前記識別情報に基づいて、前記対応画像と前記文字画像との少なくとも一方の前記画像表示部における表示態様と表示位置との少なくとも一方を設定してもよい。この形態の頭部装着型表示装置によれば、複数の音源の音声が音声取得部によって取得された場合であっても、複数の音源が発する音声をそれぞれの音源と関連付けて使用者に文字画像を視認させるため、使用者の利便性がさらに向上する。

（４）上記形態の頭部装着型表示装置において、さらに；複数の前記音源がある場合に、前記複数の音源のそれぞれに設定された前記識別情報と、前記複数の音源のそれぞれの音声と、を対応付けて記憶する取得音声記憶部を備えてもよい。この形態の頭部装着型表示装置によれば、音声取得部によって取得された音声を単に記憶するだけの場合と比較して、音声と音声を発する音源とを区別して記憶するため、使用者の利便性が向上する。

（５）上記形態の頭部装着型表示装置において、前記表示画像設定部は、取得された音声の音量に基づいて、変換されて前記画像表示部に表示される前記文字画像の大きさと前記画像表示部に前記文字画像として表示するか否かの表示有無との少なくとも一方を決定してもよい。この形態の頭部装着型表示装置によれば、取得された音量と画像表示部に表示される文字画像との関連性があるため、使用者は外部の音声を文字画像としてより関連付けて認識でき、使用者の利便性がさらに向上する。

（６）上記形態の頭部装着型表示装置において、さらに；外景を撮像する撮像部と；前記音源が人間である場合に、撮像された前記外景の画像に基づいて、前記音源である人間の視線方向を検出する視線方向検出部と、を備え；前記表示画像設定部は、検出された前記視線方向に基づいて、前記対応画像と前記文字画像との少なくとも一方の前記画像表示部における表示態様と表示位置との少なくとも一方を設定してもよい。この形態の頭部装着型表示装置によれば、音源である人間が使用者に向けて話しかけている場合とそうでない場合とで使用者が視認する文字画像が異なり、使用者に音源である人間の意志を関連づけて音声の内容を認識させることができる。

（７）上記形態の頭部装着型表示装置において、さらに；前記画像表示部の加速度を検出する加速度検出部を備え；前記表示画像設定部は、検出された前記画像表示部の加速度に対応させて、前記画像表示部に表示される前記対応画像と前記文字画像との少なくとも一方の表示位置を固定させてもよい。この形態の頭部装着型表示装置によれば、頭部装着型表示装置の使用者が例えば、歩行中であったとしても、画像表示部２０に表示される画像の位置がぶれないため、使用者に対応画像や文字画像をより視認させやすい。

（８）上記形態の頭部装着型表示装置において、さらに；他の装置と情報を送受信する通信部と；取得された音声と、取得された音声を発する前記音源の前記識別情報と、を記憶する取得音声記憶部と、を備え；前記表示画像設定部は、前記通信部を介して、記憶された前記音声と前記識別情報とを他の装置へと送受信してもよい。この形態の頭部装着型表示装置によれば、頭部装着型表示装置を含むシステムの全体として、音源や音源が発する音声などの情報を共有化できる。

（９）上記形態の頭部装着型表示装置において、さらに；前記画像表示部の位置を特定する位置特定部を備え；前記通信部は、他の装置から他の前記頭部装着型表示装置の位置情報を受信し；前記表示画像設定部は、特定された前記画像表示部の位置と受信された前記位置情報とに基づいて、前記対応画像を設定して前記画像表示部に表示させてもよい。この形態の頭部装着型表示装置によれば、頭部装着型表示装置の使用者に視認させる対応画像によって使用者と他の頭部装着型表示装置の使用者との位置関係を使用者に認識させることができ、使用者の利便性がさらに向上する。

（１０）上記形態の頭部装着型表示装置において、音源特定部は、取得された音声の言語を特定し；前記表示画像設定部は、特定された音声の言語に基づいて、前記対応画像と前記文字画像との少なくとも一方の前記画像表示部における表示態様と表示位置との少なくとも一方を設定してもよい。この形態の頭部装着型表示装置によれば、音源特定部によって特定された言語によって、画像表示部に表示される文字画像や対応画像が変化するため、特定された言語の相違を視覚情報として使用者に認識させることができ、使用者の利便性が向上する。

上述した本発明の各形態の有する複数の構成要素はすべてが必須のものではなく、上述の課題の一部または全部を解決するため、あるいは、本明細書に記載された効果の一部または全部を達成するために、適宜、前記複数の構成要素の一部の構成要素について、その変更、削除、新たな他の構成要素との差し替え、限定内容の一部削除を行なうことが可能である。また、上述の課題の一部または全部を解決するため、あるいは、本明細書に記載された効果の一部または全部を達成するために、上述した本発明の一形態に含まれる技術的特徴の一部または全部を上述した本発明の他の形態に含まれる技術的特徴の一部または全部と組み合わせて、本発明の独立した一形態とすることも可能である。

例えば、本発明の一形態は、音声取得部と、音源特定部と、変換部と、画像表示部と、表示画像設定部の５つの要素の内の一つまたは二つ以上を備えた装置として実現可能である。すなわち、この装置は、音声取得部を有していてもよく、有していなくてもよい。また、装置は、音源特定部を有していてもよく、有していなくてもよい。また、装置は、変換部を有していてもよく、有していなくてもよい。また、装置は、画像表示部を有していてもよく、有していなくてもよい。また、装置は、表示画像設定部を有していてもよく、有していなくてもよい。音源取得部は、例えば、音声を取得してもよい。音源特定部は、例えば、音声を発する音源の識別情報を用いて、前記音源を特定してもよい。変換部は、例えば、取得された音声を文字画像に変換してもよい。画像表示部は、例えば、画像を表示可能であると共に外景を透過可能であってもよい。表示画像設定部は、例えば、特定された前記音源に対応付けられた対応画像と、変換された前記文字画像と、を対応付けて前記画像表示部に表示させてもよい。こうした装置は、例えば、頭部装着型表示装置として実現できるが、頭部装着型表示装置以外の他の装置としても実現可能である。このような形態によれば、装置の操作性の向上および簡易化、装置の一体化や、装置を使用する使用者の利便性の向上、等の種々の課題の少なくとも１つを解決することができる。前述した頭部装着型表示装置の各形態の技術的特徴の一部または全部は、いずれもこの装置に適用することが可能である。

本発明は、頭部装着型表示装置以外の種々の形態で実現することも可能である。例えば、頭部装着型表示装置の制御方法、頭部装着型表示装置を有する情報システム、頭部装着型表示装置の制御方法および情報システムを実現するためのコンピュータープログラム、そのコンピュータープログラムを記録した記録媒体、および、そのコンピュータープログラムを含み搬送波内に具現化されたデータ信号等の形態で実現できる。

頭部装着型表示装置（ＨＭＤ）の外観構成を示す説明図である。 ＨＭＤの構成を機能的に示すブロック図である。 識別情報記憶部に記憶された識別情報の一例を示す概略図である。 画像光生成部によって画像光が射出される様子を示す説明図である。 文字画像表示処理のフローチャートである。 対応画像が画像表示最大領域に表示された場合に使用者が視認する視野を示す説明図である。 音声が変換された文字画像が画像表示最大領域に表示されたときに使用者が視認する視野を示す説明図である。 変形例における音声が変換された文字画像が画像表示最大領域に表示されたときに使用者が視認する視野を示す説明図である。 変形例のＨＭＤを含む情報システムの一部の外観構成を示す説明図である。 変形例におけるＨＭＤの外観構成を示す説明図である。

Ａ．実施形態：
Ａ−１．頭部装着型表示装置の構成：
図１は、頭部装着型表示装置１００（ＨＭＤ１００）の外観構成を示す説明図である。ＨＭＤ１００は、頭部に装着する表示装置であり、ヘッドマウントディスプレイ（Head Mounted Display、ＨＭＤ）とも呼ばれる。本実施形態のＨＭＤ１００は、使用者が虚像を視認すると同時に外景も直接視認可能な光学透過型の頭部装着型表示装置である。なお、本明細書では、ＨＭＤ１００によって使用者が視認する虚像を便宜的に「表示画像」ともいう。

ＨＭＤ１００は、使用者の頭部に装着された状態において使用者に虚像を視認させる画像表示部２０と、画像表示部２０を制御する制御部１０（コントローラー１０）と、を備えている。

画像表示部２０は、使用者の頭部に装着される装着体であり、本実施形態では眼鏡形状を有している。画像表示部２０は、右保持部２１と、右表示駆動部２２と、左保持部２３と、左表示駆動部２４と、右光学像表示部２６と、左光学像表示部２８と、カメラ６１と、マイク６３と、を含んでいる。右光学像表示部２６および左光学像表示部２８は、それぞれ、使用者が画像表示部２０を装着した際に使用者の右および左の眼前に位置するように配置されている。右光学像表示部２６の一端と左光学像表示部２８の一端とは、使用者が画像表示部２０を装着した際の使用者の眉間に対応する位置で、互いに接続されている。

右保持部２１は、右光学像表示部２６の他端である端部ＥＲから、使用者が画像表示部２０を装着した際の使用者の側頭部に対応する位置にかけて、延伸して設けられた部材である。同様に、左保持部２３は、左光学像表示部２８の他端である端部ＥＬから、使用者が画像表示部２０を装着した際の使用者の側頭部に対応する位置にかけて、延伸して設けられた部材である。右保持部２１および左保持部２３は、眼鏡のテンプル（つる）のようにして、使用者の頭部に画像表示部２０を保持する。

右表示駆動部２２と左表示駆動部２４とは、使用者が画像表示部２０を装着した際の使用者の頭部に対向する側に配置されている。なお、以降では、右保持部２１および左保持部２３を総称して単に「保持部」とも呼び、右表示駆動部２２および左表示駆動部２４を総称して単に「表示駆動部」とも呼び、右光学像表示部２６および左光学像表示部２８を総称して単に「光学像表示部」とも呼ぶ。

表示駆動部２２，２４は、液晶ディスプレイ２４１，２４２（Liquid Crystal Display、以下「ＬＣＤ２４１，２４２」とも呼ぶ）や投写光学系２５１，２５２等を含む（図２参照）。表示駆動部２２，２４の構成の詳細は後述する。光学部材としての光学像表示部２６，２８は、導光板２６１，２６２（図２参照）と調光板とを含んでいる。導光板２６１，２６２は、光透過性の樹脂材料等によって形成され、表示駆動部２２，２４から出力された画像光を使用者の眼に導く。調光板は、薄板状の光学素子であり、使用者の眼の側とは反対の側である画像表示部２０の表側を覆うように配置されている。調光板は、導光板２６１，２６２を保護し、導光板２６１，２６２の損傷や汚れの付着等を抑制する。また、調光板の光透過率を調整することによって、使用者の眼に入る外光量を調整して虚像の視認のしやすさを調整できる。なお、調光板は省略可能である。

カメラ６１は、右光学像表示部２６の端部ＥＲと、左光学像表示部２８のＥＬと、のそれぞれに配置されたステレオカメラである。詳細は後述するが、カメラ６１が撮像した撮像画像から予め制御部１０に記憶されたＱＲコード（登録商標）と同じと判定されるＱＲコードの画像が検出されると、ＱＲコードを所有すると判定された人間が発話者の音源として特定される。

マイク６３は、外部の音声を取得する。マイク６３は、使用者が画像表示部２０を装着した際の右表示駆動部２２における使用者と対向する側の反対側（外側）に配置されている。マイク６３が取得した音声は、後述する制御部１０の音声処理部１７０によって各種処理が行なわれる。

画像表示部２０は、さらに、画像表示部２０を制御部１０に接続するための接続部４０を有している。接続部４０は、制御部１０に接続される本体コード４８と、右コード４２と、左コード４４と、連結部材４６と、を含んでいる。右コード４２と左コード４４とは、本体コード４８が２本に分岐したコードである。右コード４２は、右保持部２１の延伸方向の先端部ＡＰから右保持部２１の筐体内に挿入され、右表示駆動部２２に接続されている。同様に、左コード４４は、左保持部２３の延伸方向の先端部ＡＰから左保持部２３の筐体内に挿入され、左表示駆動部２４に接続されている。連結部材４６は、本体コード４８と、右コード４２および左コード４４と、の分岐点に設けられ、イヤホンプラグ３０を接続するためのジャックを有している。イヤホンプラグ３０からは、右イヤホン３２および左イヤホン３４が延伸している。

画像表示部２０と制御部１０とは、接続部４０を介して各種信号の伝送を行なう。本体コード４８における連結部材４６とは反対側の端部と、制御部１０と、のそれぞれには、互いに嵌合するコネクター（図示しない）が設けられている。本体コード４８のコネクターと制御部１０のコネクターとの嵌合／嵌合解除により、制御部１０と画像表示部２０とが接続されたり切り離されたりする。右コード４２と、左コード４４と、本体コード４８とには、例えば、金属ケーブルや光ファイバーを採用できる。

制御部１０は、ＨＭＤ１００を制御するための装置である。制御部１０は、決定キー１１と、点灯部１２と、表示切替キー１３と、トラックパッド１４と、輝度切替キー１５と、方向キー１６と、メニューキー１７と、電源スイッチ１８と、を含んでいる。決定キー１１は、押下操作を検出して、制御部１０で操作された内容を決定する信号を出力する。点灯部１２は、ＨＭＤ１００の動作状態を、その発光状態によって通知する。ＨＭＤ１００の動作状態としては、例えば、電源のＯＮ／ＯＦＦ等がある。点灯部１２としては、例えば、ＬＥＤが用いられる。表示切替キー１３は、押下操作を検出して、例えば、コンテンツ動画の表示モードを３Ｄと２Ｄとに切り替える信号を出力する。トラックパッド１４は、トラックパッド１４の操作面上での使用者の指の操作を検出して、検出内容に応じた信号を出力する。トラックパッド１４としては、静電式や圧力検出式、光学式といった種々のトラックパッドを採用できる。輝度切替キー１５は、押下操作を検出して、画像表示部２０の輝度を増減する信号を出力する。方向キー１６は、上下左右方向に対応するキーへの押下操作を検出して、検出内容に応じた信号を出力する。電源スイッチ１８は、スイッチのスライド操作を検出することで、ＨＭＤ１００の電源投入状態を切り替える。

図２は、ＨＭＤ１００の構成を機能的に示すブロック図である。図２に示すように、制御部１０は、記憶部１２０と、電源１３０と、操作部１３５と、無線通信部１３２と、ＣＰＵ１４０と、インターフェイス１８０と、送信部５１（Ｔｘ５１）および送信部５２（Ｔｘ５２）と、を有している。操作部１３５は、使用者による操作を受け付け、決定キー１１、表示切替キー１３、トラックパッド１４、輝度切替キー１５、方向キー１６、メニューキー１７、電源スイッチ１８、から構成されている。

電源１３０は、ＨＭＤ１００の各部に電力を供給する。電源１３０としては、例えば二次電池を用いることができる。無線通信部１３２は、無線ＬＡＮやブルートゥースといった所定の無線通信規格に則って、例えば、コンテンツサーバー、テレビ、パーソナルコンピューターといった他の機器との間で無線通信を行なう。

記憶部１２０は、コンピュータープログラムを格納しているＲＯＭと、ＣＰＵ１４０が種々のコンピュータープログラムの書き込みおよび読み取りを実行するときに用いられるＲＡＭと、音声記録部１２２と、識別情報記憶部１２４と、を有する。音声記録部１２２は、マイク６３が取得した外部の音声を記録する制御が行なわれた場合に、取得された音声をデータとして記憶する。識別情報記憶部１２４は、音源を特定するための音源の識別情報を記憶している。本実施形態では、識別情報記憶部１２４は、予め記憶している識別情報として、音源としての話者である人間の名前等をＱＲコードとして記憶している。なお、音声記録部１２２は、請求項における取得音声記憶部に相当する。

図３は、識別情報記憶部１２４に記憶された識別情報の一例を示す概略図である。図３に示すように、識別情報記憶部１２４には、識別情報としてのＱＲコードごとに対応付けられ個人情報を記憶している。記憶された個人情報としては、識別情報であるＱＲコードとしてのコード（図）ごとに、音源としての話者の氏名と、性別と、所属と、話者に連絡を取ることができる電話番号と、話者がメールを受信できるメールアドレスと、顔写真と、が含まれる。

ＣＰＵ１４０は、記憶部１２０のＲＯＭに格納されているコンピュータープログラムを読み出し、記憶部１２０のＲＡＭに書き込みおよび読み取りを実行することにより、オペレーティングシステム１５０（ＯＳ１５０）、表示制御部１９０、音声処理部１７０、画像処理部１６０、視線方向特定部１６８、音源識別部１６１、変換部１６９、および、画像設定部１６５として機能する。

表示制御部１９０は、右表示駆動部２２および左表示駆動部２４を制御する制御信号を生成する。具体的には、表示制御部１９０は、制御信号により、右ＬＣＤ制御部２１１による右ＬＣＤ２４１の駆動ＯＮ／ＯＦＦ、右バックライト制御部２０１による右バックライト２２１の駆動ＯＮ／ＯＦＦ、左ＬＣＤ制御部２１２による左ＬＣＤ２４２の駆動ＯＮ／ＯＦＦ、左バックライト制御部２０２による左バックライト２２２の駆動ＯＮ／ＯＦＦなど、を個別に制御する。これにより、表示制御部１９０は、右表示駆動部２２および左表示駆動部２４のそれぞれによる画像光の生成および射出を制御する。例えば、表示制御部１９０は、右表示駆動部２２および左表示駆動部２４の両方に画像光を生成させたり、一方のみに画像光を生成させたり、両方共に画像光を生成させなかったりする。なお、画像表示部２０が画像光を生成することを「画像を表示する」ともいう。

表示制御部１９０は、右ＬＣＤ制御部２１１と左ＬＣＤ制御部２１２とに対する制御信号のそれぞれを、送信部５１および５２を介して送信する。また、表示制御部１９０は、右バックライト制御部２０１と左バックライト制御部２０２とに対する制御信号のそれぞれを送信する。

画像処理部１６０は、コンテンツに含まれる画像信号を取得し、送信部５１，５２を介して、取得した画像信号を画像表示部２０の受信部５３，５４へと送信する。なお、画像処理部１６０は、必要に応じて、画像データに対して、解像度変換処理、輝度、彩度の調整といった種々の色調補正処理、キーストーン補正処理等の画像処理を実行してもよい。

音声処理部１７０は、コンテンツに含まれる音声信号を取得し、取得した音声信号を増幅して、連結部材４６に接続された右イヤホン３２内のスピーカー（図示しない）および左イヤホン３４内のスピーカー（図示しない）に対して供給する。なお、例えば、Ｄｏｌｂｙ（登録商標）システムを採用した場合、音声信号に対する処理がなされ、右イヤホン３２および左イヤホン３４のそれぞれからは、例えば周波数等が変えられた異なる音が出力される。また、音声処理部１７０は、マイク６３が取得した外部の音声に各種処理を行なう。音声処理部１７０は、取得された音声を音声信号として、変換部１６９に送信する。音声処理部１７０は、請求項における音声識別部に相当し、音声処理部１７０およびマイク６３は、請求項における音声取得部に相当する。

変換部１６９は、音声処理部１７０から送信された音声信号の音声波形を解析して音声認識した後に、送信された音声信号に対応する文字画像に変換する。変換部１６９は、後述する音源別に文字画像のフォントや大きさなどを種々設定して文字画像に変換できる。

音源識別部１６１は、カメラ６１の撮像画像の中から識別情報記憶部１２４に記憶されたＱＲコードと同じと判定されるＱＲコードの画像を検出する。音源識別部１６１は、撮像画像に対して、パターンマッチングや統計的識別法を行なうことにより、撮像画像の中から識別情報記憶部１２４に記憶されたＱＲコードを検出する。音源識別部１６１は、検出したＱＲコードに対応付けられた識別情報記憶部１２４に記憶された顔写真を用いてカメラ６１の撮像画像に対してパターンマッチング等を行ない、画像認識によって話者を特定する。音源識別部１６１は、話者を特定した後に、撮像画像の中の話者の画像に対してパターンマッチング等を行なうことで、話者の人間の口を音源として特定する。なお、撮像画像の中から識別情報記憶部１２４に記憶されたＱＲコードに対応するＱＲコードの画像が検出されても、話者の口が撮像範囲外にあり、音源を特定できない場合もある。その場合に、他の実施形態では、撮像画像の中から検出されたＱＲコードの位置が音源として特定されてもよい。音源識別部１６１およびカメラ６１は、請求項における音源特定部に相当する。

視線方向特定部１６８は、音源識別部１６１によって特定された話者の視線方向を、カメラ６１の撮像画像に対してパターンマッチング等を行なうことで特定する。本実施形態では、視線方向特定部１６８は、撮像画像の中の話者の眼の画像によって話者の視線方向を特定するが、他の実施形態では、話者の頭部の画像によって特定した話者の頭部の向きを視線方向として特定してもよい。視線方向特定部１６８およびカメラ６１は、請求項における視線方向検出部に相当する。

画像設定部１６５は、特定された音源に対応付けられて識別情報記憶部１２４に記憶された氏名と、取得された音声が変換された文字画像と、を画像表示部２０に表示させる。カメラ６１の画角は、ＨＭＤ１００の使用者の視線方向が正面を向いたときの視界と同じになるように予め設定されている。画像設定部１６５は、撮像画像の中から特定された音源の位置に、取得された外部音声が変換された文字画像と、特定された音源の氏名を文字画像として、画像表示部２０に表示させる。なお、画像設定部１６５は、請求項における表示画像設定部に相当する。

インターフェイス１８０は、制御部１０に対して、コンテンツの供給元となる種々の外部機器ＯＡを接続するためのインターフェイスである。外部機器ＯＡとしては、例えば、パーソナルコンピューター（ＰＣ）や携帯電話端末、ゲーム端末等、がある。インターフェイス１８０としては、例えば、ＵＳＢインターフェイス、マイクロＵＳＢインターフェイス、メモリーカード用インターフェイス等、を用いることができる。

画像表示部２０は、右表示駆動部２２と、左表示駆動部２４と、右光学像表示部２６としての右導光板２６１と、左光学像表示部２８としての左導光板２６２と、カメラ６１と、マイク６３と、を備えている。

右表示駆動部２２は、受信部５３（Ｒｘ５３）と、光源として機能する右バックライト制御部２０１（右ＢＬ制御部２０１）および右バックライト２２１（右ＢＬ２２１）と、表示素子として機能する右ＬＣＤ制御部２１１および右ＬＣＤ２４１と、右投写光学系２５１と、を含んでいる。右バックライト制御部２０１と右バックライト２２１とは、光源として機能する。右ＬＣＤ制御部２１１と右ＬＣＤ２４１とは、表示素子として機能する。なお、右バックライト制御部２０１と、右ＬＣＤ制御部２１１と、右バックライト２２１と、右ＬＣＤ２４１と、を総称して「画像光生成部」とも呼ぶ。

受信部５３は、制御部１０と画像表示部２０との間におけるシリアル伝送のためのレシーバーとして機能する。右バックライト制御部２０１は、入力された制御信号に基づいて、右バックライト２２１を駆動する。右バックライト２２１は、例えば、ＬＥＤやエレクトロルミネセンス（ＥＬ）等の発光体である。右ＬＣＤ制御部２１１は、受信部５３を介して入力されたクロック信号ＰＣＬＫと、垂直同期信号ＶＳｙｎｃと、水平同期信号ＨＳｙｎｃと、右眼用画像データと、に基づいて、右ＬＣＤ２４１を駆動する。右ＬＣＤ２４１は、複数の画素をマトリクス状に配置した透過型液晶パネルである。

右投写光学系２５１は、右ＬＣＤ２４１から射出された画像光を並行状態の光束にするコリメートレンズによって構成される。右光学像表示部２６としての右導光板２６１は、右投写光学系２５１から出力された画像光を、所定の光路に沿って反射させつつ使用者の右眼ＲＥに導く。なお、右投写光学系２５１と右導光板２６１とを総称して「導光部」とも呼ぶ。

左表示駆動部２４は、右表示駆動部２２と同様の構成を有している。左表示駆動部２４は、受信部５４（Ｒｘ５４）と、光源として機能する左バックライト制御部２０２（左ＢＬ制御部２０２）および左バックライト２２２（左ＢＬ２２２）と、表示素子として機能する左ＬＣＤ制御部２１２および左ＬＣＤ２４２と、左投写光学系２５２と、を含んでいる。左バックライト制御部２０２と左バックライト２２２とは、光源として機能する。左ＬＣＤ制御部２１２と左ＬＣＤ２４２とは、表示素子として機能する。なお、左バックライト制御部２０２と、左ＬＣＤ制御部２１２と、左バックライト２２２と、左ＬＣＤ２４２と、を総称して「画像光生成部」とも呼ぶ。また、左投写光学系２５２は、左ＬＣＤ２４２から射出された画像光を並行状態の光束にするコリメートレンズによって構成される。左光学像表示部２８としての左導光板２６２は、左投写光学系２５２から出力された画像光を、所定の光路に沿って反射させつつ使用者の左眼ＬＥに導く。なお、左投写光学系２５２と左導光板２６２とを総称して「導光部」とも呼ぶ。

図４は、画像光生成部によって画像光が射出される様子を示す説明図である。右ＬＣＤ２４１は、マトリクス状に配置された各画素位置の液晶を駆動することによって、右ＬＣＤ２４１を透過する光の透過率を変化させることにより、右バックライト２２１から照射される照明光ＩＬを、画像を表わす有効な画像光ＰＬへと変調する。左側についても同様である。なお、図４に示すように、本実施形態ではバックライト方式を採用したが、フロントライト方式や、反射方式を用いて画像光を射出する構成としてもよい。

Ａ−２．文字画像表示処理：
図５は、文字画像表示処理のフローチャートである。文字画像表示処理では、ＣＰＵ１４０が、撮像画像の中から特定した音源である話者が発している音声を文字画像に変換して、変換した文字画像と、識別情報記憶部１２４に記憶された話者の識別情報に対応する識別画像と、を画像表示部２０に表示させる。

文字画像表示処理では、初めに、ＣＰＵ１４０は、操作部１３５が文字画像表示処理を開始する所定の操作の受付を待機する（ステップＳ１１）。ＣＰＵ１４０は、操作部１３５が所定の操作を受け付けていないと判定した場合には（ステップＳ１１：ＮＯ）、引き続き、所定の操作の受付を待機する（ステップＳ１１）。ＣＰＵ１４０は、操作部１３５が所定の操作を受け付けたと判定した場合には（ステップＳ１１：ＹＥＳ）、カメラ６１を用いて外景を撮像する（ステップＳ１３）。

音源識別部１６１は、カメラ６１の撮像画像の中から識別情報としての識別情報記憶部１２４に記憶されたＱＲコードと同じと判定されるＱＲコードの画像を検出する（ステップＳ１５）。音源識別部１６１は、撮像画像の中から識別情報記憶部１２４に記憶されたＱＲコードの画像を検出しない場合には（ステップＳ１５：ＮＯ）、引き続き、撮像画像の中からＱＲコードの画像の検出を待機する（ステップＳ１５）。音源識別部１６１は、撮像画像の中から識別情報記憶部１２４に記憶されたＱＲコードの画像を検出すると（ステップＳ１５：ＹＥＳ）、検出されたＱＲコードに対応付けられ、識別情報記憶部１２４に記憶された個人情報に含まれる顔写真と同じと判定される画像をカメラ６１の撮像画像の中から特定する（ステップＳ１７）。画像設定部１６５は、画像表示部２０が画像を表示できる最大の領域である画像表示最大領域ＰＮにおいて、撮像画像の中から検出された顔写真の付近に個人情報に含まれる氏名を表す文字画像を対応画像として表示させる。なお、本実施形態では、音源識別部１６１は、ＱＲコードに対応する顔写真と同じと判定する画像を検出できない場合には、ＱＲコードを検出しなかったものとして扱うが、他の実施形態では、ＱＲコードを顔写真に代えて特定してもよい。

図６は、対応画像が画像表示最大領域ＰＮに表示された場合に使用者が視認する視野ＶＲを示す説明図である。図６に示すように、使用者には、光学像表示部２６，２８を透過した外景ＳＣと、画像表示最大領域ＰＮに表示された対応画像としての画像ＩＭＧ１と、が視認される。外景ＳＣには、学校で講義を行なっている教師ＴＥと、その講義を聞いている複数の生徒ＳＴと、教師ＴＥがホワイトボートＷＢに書いた文字と、が含まれている。教師ＴＥの服の胸の部分には、教師ＴＥの識別情報ＱＲ１（ＱＲコード）が印字されたＩＤカードが付けられている。音源識別部１６１が撮像画像の中から識別情報ＱＲ１を検出して、画像設定部１６５は、識別情報記憶部１２４に記憶された識別情報ＱＲ１に対応する個人情報から氏名の名字を画像ＩＭＧ１として画像表示最大領域ＰＮに表示させる。画像設定部１６５は、画像表示最大領域ＰＮにおいて、画像ＩＭＧ１を話者である教師ＴＥの口の付近に表示させる。

対応画像である画像ＩＭＧ１が画像表示最大領域ＰＮに表示されると（図５のステップＳ１９）、ＣＰＵ１４０は、操作部１３５を介して、マイク６３が取得する音声を録音するか否かの操作を受け付ける（ステップＳ２１）。ＣＰＵ１４０は、所定の操作を受け付けた場合には（ステップＳ２１：ＹＥＳ）、音声処理部１７０およびマイク６３によって取得された教師ＴＥの音声を、識別情報と対応付けてデータとして識別情報記憶部１２４に記録する（ステップＳ２３）。音声を識別情報記憶部１２４に記憶すると（ステップＳ２３）、音源識別部１６１は、音源である教師ＴＥの口が動いているか否かを判定する（ステップＳ２５）。また、同じように、ステップＳ２１の処理において音声を記憶する所定の操作を受け付けなかった場合には（ステップＳ２５：ＮＯ）、音源識別部１６１は、音源である教師ＴＥの口が動いているか否かを判定する（ステップＳ２５）。教師ＴＥの口が動いていないと判定された場合には（ステップＳ２５：ＮＯ）、変換部１６９は、マイク６３が音声を取得していても、音源である教師ＴＥの発話でないと判定して、音声を文字画像には変換せずに、音源識別部１６１は、教師ＴＥの口が動いた状態の検出を待機する（ステップＳ２５）。音源である教師ＴＥの口が動いていると判定された場合には（ステップＳ２５：ＹＥＳ）、変換部１６９は、マイク６３が取得した音声を文字画像へと変換する（ステップＳ２７）。

次に、視線方向特定部１６８は、撮像画像の中の教師ＴＥの視線方向を特定する（ステップＳ２９）。画像設定部１６５は、音源である教師ＴＥの発話を文字画像へと変換する際に、特定された視線方向に応じて文字画像の表示態様および画像表示最大領域ＰＮに文字画像が表示される表示位置を設定する（ステップＳ３１）。

図７は、音声が変換された文字画像ＴＸ１が画像表示最大領域ＰＮに表示されたときに使用者が視認する視野ＶＲを示す説明図である。図７には、音源である教師ＴＥの視線方向がＨＭＤ１００の使用者に向いている場合に画像表示最大領域ＰＮに表示される文字画像ＴＸ１が示されている。画像設定部１６５は、特定された教師ＴＥの視線方向が使用者に向いているため、教師ＴＥの発話である「講義を始めます。１については、・・・」を変換した文字画像ＴＸ１を画像表示最大領域ＰＮの中心に近い部分に表示させる。また、本実施形態では、画像設定部１６５は、マイク６３によって取得された音声の大きさ（例えば、デジベル（ｄＢ））と変換した文字画像のフォントの大きさとを比例させて画像表示最大領域ＰＮに表示させる。そのため、文字画像ＴＸ１において、大きい音声として取得された「講義を始めます。」が変換された文字画像のフォントは、小さい音声として取得された「１については、・・・」が変換された文字画像のフォントよりも大きい。なお、本実施形態における画像表示最大領域ＰＮの中心に近い部分とは、撮像画像における音源である教師ＴＥの位置が、右側である場合には左側の部分のことをいい、上側である場合には下側の部分のことをいう。

文字画像ＴＸ１が画像表示最大領域ＰＮに表示されると（図５のステップＳ２９）、操作部１３５は、文字画像表示処理の終了するための所定の操作の受付を待機する（ステップＳ３１）。所定の操作を受け付けた場合には（ステップＳ３１：ＹＥＳ）、ＣＰＵ１４０は、文字画像表示処理を終了する。

ステップＳ３１の処理において、所定の操作が受け付けられなかった場合には（ステップＳ３１：ＮＯ）、音源識別部１６１は、特定した音源である教師ＴＥの位置が変更したか否かを判定する（ステップＳ３３）。本実施形態では、音源識別部１６１は、撮像画像において、所定の教師ＴＥの識別情報ＱＲ１であるＩＤカードの位置が変更した場合に、教師ＴＥの位置が変更したと判定する。ステップＳ３３の処理において、音源である教師ＴＥの位置が変更していないと判定された場合には（ステップＳ３３：ＮＯ）、ＣＰＵ１４０は、ステップＳ２５以降の処理を繰り返す。ステップＳ３３の処理において、音源である教師ＴＥの位置が変更したと判定された場合には、ＣＰＵ１４０は、ステップＳ１５以降の処理を繰り返す。

以上説明したように、本実施形態のＨＭＤ１００では、音源識別部１６１がカメラ６１の撮像画像の中から識別情報ＱＲ１を検出する。画像設定部１６５は、検出された識別情報ＱＲ１に対応付けられた氏名の画像ＩＭＧ１と、変換部１６９によって音声が変換された文字画像ＴＸ１と、を画像表示部の画像表示最大領域ＰＮに表示させる。そのため、本実施形態のＨＭＤ１００では、使用者は、外部の音声を聞くだけでなく、文字画像ＴＸ１として視覚的情報として音声を認識できるため、使用者にとっての利便性が向上する。特に、使用者の耳が不自由の場合、音声を文字画像として使用者に認識させることができ、効果が大きい。また、文字画像ＴＸ１は、音源である発話者の識別情報と合わせて画像表示部２０に表示されるため、使用者にとっての利便性がさらに向上する。

また、本実施形態のＨＭＤ１００では、音源識別部１６１は、カメラ６１の撮像画像の中から識別情報ＱＲ１を検出することで、使用者から音源までの方向を特定する。そのため、画像設定部１６５は、文字画像ＴＸ１と対応画像である画像ＩＭＧ１とを特定された音源に対応付けて画像表示部２０に表示させることができ、使用者は、文字画像ＴＸ１を音源とより関連付けて認識できる。

また、本実施形態のＨＭＤ１００では、音声記録部１２２は、音声処理部１７０およびマイク６３によって取得された教師ＴＥの音声を、識別情報と対応付けて記憶する。そのため、マイク６３によって取得された音声を単に記憶するだけの場合と比較して、本実施形態のＨＭＤ１００では、音声と発話者とを区別して記憶するため、使用者の利便性が向上する。

また、本実施形態のＨＭＤ１００では、画像設定部１６５は、マイク６３によって取得された音声の大きさと、変換した文字画像のフォントの大きさと、を比例させて画像表示部２０に表示させる。そのため、本実施形態のＨＭＤ１００では、取得された音量と画像表示部２０に表示される文字画像との関連性があるため、使用者は外部の音声を文字画像としてより関連付けて認識でき、使用者の利便性がさらに向上する。

また、本実施形態のＨＭＤ１００では、画像設定部１６５は、音源である教師ＴＥの発話を文字画像へと変換する際に、特定された教師ＴＥの視線方向に応じて画像表示部２０に表示される文字画像の表示位置を設定する。そのため、本実施形態のＨＭＤ１００では、音源である発話者が使用者に向けて話しかけている場合とそうでない場合とで使用者が視認する文字画像が異なり、使用者に発話者の意志を関連づけて発話の内容を認識させることができる。

Ｂ．変形例：
なお、この発明は上記実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、例えば、次のような変形も可能である。

Ｂ−１．変形例１：
上記実施形態では、１つの音源である教師ＴＥについて説明したが、複数の音源から音声を取得する場合でも、本発明を適用できる。例えば、音源識別部１６１は、撮像画像の中から２つの異なる識別情報としての識別情報記憶部１２４に記憶されたＱＲコードの画像を検出し、検出された２つのＱＲコードをＩＤカードとして胸に付けた２人の発話者の口を特定した場合に、画像設定部１６５は、取得された音声を、口が動いている発話者の音声として画像表示最大領域ＰＮに文字画像を表示させてもよい。この場合に、画像設定部１６５は、画像表示最大領域ＰＮに表示される文字画像の表示位置を、特定された２人の口の位置に対応付けて表示すると共に、発話者ごとに文字画像のフォントの色を別々の色に設定してもよい。すなわち、画像設定部１６５は、検出された異なる識別情報の発話者の音声ごとに、画像表示最大領域ＰＮに表示される文字画像の表示態様や表示位置を設定する。この変形例では、複数の発話者の音声がマイク６３によって取得された場合であっても、複数の発話者の音声をそれぞれの発話者と関連付けて使用者に文字画像を視認させるため、使用者の利便性がさらに向上する。

また、上記実施形態では、音源識別部１６１は、カメラ６１の撮像画像の中からパターンマッチング等の画像認識によって識別情報および音源である発話者の口を特定したが、識別情報の取得や音源の特定については、これに限られず、種々変形可能である。例えば、マイク６３は、指向性のマイクであり、取得された音声の方向を特定することで、音源識別部１６１は、使用者から音源までの方向を特定してもよい。また、音源識別部１６１は、ＧＰＳモジュールなどを用いた発話者の位置情報の送受信によって音源を特定してもよい。また、音源識別部１６１は、無線通信部１３２を介して、発話者が装着しているＨＭＤ１００やその他の装置と通信することで、識別情報の送受信を行なってもよい。無線通信部１３２は、請求項における通信部に相当する。

また、取得された音声の識別として、例えば、音声の種類である言語（日本語や英語）を識別することで、発話者と発話者による音声とが対応付けられてもよい。このように、複数の発話者によって、複数の種類の言語としての音声が取得される場合に、音源識別部１６１が複数の種類の言語を特定の言語として翻訳し、画像設定部１６５は、複数の発話者の言語を、翻訳された特定の言語の文字画像として画像表示最大領域ＰＮに表示させてもよい。このＨＭＤ１００では、音源識別部１６１によって特定された言語によって、画像表示最大領域ＰＮに表示される文字画像が変化するため、使用者が最も理解しやすい言語に翻訳された文字画像を視認でき、使用者の利便性が向上する。また、操作部１３５が操作されたり、操作に関する音声が取得された場合に、音源識別部１６１は、翻訳する特定の言語を操作に応じて選択したり、画像設定部１６５は、複数の言語に翻訳された複数の言語の文字画像を画像表示最大領域ＰＮに表示させてもよい。また、画像設定部１６５は、ＨＭＤ１００の使用者の識別情報に対応させた特定の言語に翻訳された文字画像を画像表示最大領域ＰＮに表示させてもよい。また、画像設定部１６５は、音源識別部１６１によって特定された言語に応じて、翻訳の有無だけでなく、画像表示最大領域ＰＮに表示させる文字画像の位置を設定してもよい。例えば、変換部１６９は、言語の種類に応じての翻訳を行なわずに、画像設定部１６５は、取得された音声がＨＭＤ１００の使用者の母国語（例えば、日本語）である場合には、画像表示最大領域ＰＮの中心を除く周辺部に小さいフォントの文字画像で表示させ、母国語以外の言語である場合には、画像表示最大領域ＰＮの中心付近に大きいフォントの文字画像で表示させてもよい。また、変換部１６９が予め設定された特定の言語（例えば、英語）の音声のみを母国語に変換した後に、画像設定部１６５は、取得された音声の内の変換された文字画像のみを画像表示最大領域ＰＮに表示させてもよい。

上記実施形態では、識別情報の一例としてＱＲコードを例に挙げて説明したが、識別情報については、種々変形可能である。例えば、ＱＲコードのようなマーカー型としては、ＱＲコード以外として、バーコード、ＡＲマーカー、ＩＤマーカー、ＮｙＩＤマーカー、ＤａｔａＭａｔｒｉｘマーカー、フレームマーカー、分割マーカー、これらの識別子に色を加えて情報量を増やしたマーカー、および、多次元コードよって作成されたマーカー、ＯＣＲ等で読み取ることができる文字などが用いられてもよい。また、予め識別情報を備えている必要はなく、例えば、ＨＭＤ１００のカメラ６１によって識別した発話者を撮像し、撮像された画像データに基づく認証を識別情報の代わりとしてもよい。

図８は、変形例における音声が変換された文字画像ＴＸ２が画像表示最大領域ＰＮに表示されたときに使用者が視認する視野ＶＲを示す説明図である。図８には、図７で示した視野ＶＲに対して、音源である教師ＴＥの視線方向がＨＭＤ１００の使用者に向いていない場合に画像表示最大領域ＰＮに表示される文字画像ＴＸ２が示されている。図８に示すように、教師ＴＥは、使用者ではなくホワイトボートＷＢに視線を向けており、この場合に、画像設定部１６５は、教師ＴＥの音声を画像表示最大領域ＰＮにおける下側に表示させる。また、画像設定部１６５は、教師ＴＥが使用者に視線を向けていない場合には、取得した教師ＴＥの音声の音量の大きさに関わらず、同じ大きさのフォントの文字画像を画像表示最大領域ＰＮに表示させる。なお、音源である教師ＴＥの視線方向に応じて変化させる文字画像のフォントや文字画像の表示位置ついては、種々変形可能である。教師ＴＥの視線に関わらず、操作部１３５が所定の操作を受け付けることで、ＣＰＵ１４０は、画像表示最大領域ＰＮに表示させる文字画像のフォントの大きさや色の設定を変更できる。

Ｂ−２．変形例２：
図９は、変形例のＨＭＤ１００ａを含む情報システム５００の一部の外観構成を示す説明図である。情報システム５００は、ＨＭＤ１００ａと、ＨＭＤ１００ａと各種情報を送受信するサーバー３００と、を備えている。この変形例では、サーバー３００が、上記実施形態のＨＭＤ１００の代わりに、上記実施形態のＨＭＤ１００が備えていた記憶部１２０の識別情報記憶部１２４と、変換部１６９と、画像設定部１６５と、を備えている点が上記実施形態と異なる。そのため、情報システム５００は、識別情報を記憶している識別情報記憶部３２４と、ＣＰＵ３４０と、情報送受信部３３２と、を備えている。ＣＰＵ３４０は、音声を文字画像へと変換する変換部３６９と、ＨＭＤ１００ａの画像表示部２０ａに表示させる画像を設定する画像設定部３６５と、を有している。

この変形例では、上記実施形態のように、ＨＭＤ１００ａのカメラ６１が外景を撮像すると、ＨＭＤ１００ａの無線通信部１３２を介して、サーバー３００の情報送受信部３３２へと撮像画像の情報が送信される。ＣＰＵ３４０は、識別情報記憶部３２４に記憶された識別情報と照合し、照合した情報を情報送受信部３３２を介して、ＨＭＤ１００ａの無線通信部１３２へと送信することで、音源識別部１６１が音源を特定する。ＣＰＵ１４０ａは、ＨＭＤ１００ａのマイク６３が音声を取得すると、カメラ６１が撮像した音源の画像と音声との情報を、無線通信部１３２を介して、サーバー３００へと送信する。画像設定部３６５は、情報送受信部３３２を介して受信した音源の画像と音声とに基づいて、ＨＭＤ１００ａの画像表示部２０ａに表示させる画像の表示態様を設定して、設定した画像の表示態様の情報を、情報送受信部３３２を介して、ＨＭＤ１００ａへと送信する。ＨＭＤ１００ａのＣＰＵ１４０ａは、無線通信部１３２を介して受信した画像の表示態様の情報に基づいて、画像表示部２０ａの画像表示最大領域ＰＮに画像を表示させる。

この変形例では、上記実施形態においてＨＭＤ１００が有する機能の一部がサーバー３００に搭載されている。そのため、情報システム５００の全体として、音源や音源が発する音声などの情報を共有化できる。なお、上記実施形態が有する機能の内、情報システム５００に含まれるサーバー３００などに搭載される機能については、種々変形可能である。例えば、カメラ６１やマイク６３が会場に設置されていてもよい。また、情報システム５００に含まれる複数のＨＭＤ１００やサーバー３００が同じ機能を重複して有していてもよい。

Ｂ−３．変形例３：
上記実施形態では、視線方向特定部１６８は、カメラ６１の撮像画像に対してパターンマッチングを行なうことにより、話者の向きを特定したが、話者の向きを特定する方法については、種々変形可能である。例えば、視線方向特定部１６８は、ＧＰＳモジュールやＬＡＮなどの通信を用いることで、情報を送受信できる装置を携帯した話者の位置を特定し、話者が携帯した装置にジャイロセンサーなどが搭載されることで、ＨＭＤ１００の使用者と話者との位置および向きの関係を特定してもよい。また、視線方向特定部１６８は、無線通信部１３２を介して、ＧＰＳモジュールが搭載された他のＨＭＤ１００の位置および自身が搭載されたＨＭＤ１００の位置を特定することで、使用者と他のＨＭＤ１００の使用者との位置との相対位置関係を特定してもよい。画像設定部１６５は、特定された相対位置関係に応じて、他のＨＭＤ１００の識別情報に対応付けられた対応画像を設定して、画像表示最大領域ＰＮに設定した対応画像を表示させてもよい。相対位置関係に応じて設定される対応画像として、例えば、使用者と他の使用者との距離が所定値以上の場合に、画像設定部１６５は、他の使用者を使用者に認識させるために、対応画像として他の使用者の顔の画像や名前を画像表示最大領域ＰＮに表示させてもよい。また、ＨＭＤ１００の向きを特定するジャイロセンサーなどが画像表示部２０に搭載された場合に、画像設定部１６５は、使用者の向きと他の使用者の向きとに応じて画像表示最大領域ＰＮに表示させる対応画像を設定してもよい。例えば、他の使用者が使用者の近くにいるものの、使用者の背後に他の使用者がいると特定された場合には、画像設定部１６５は、他の使用者が所定値以上離れた所にいるものとして上述したように、対応画像に顔の画像や名前を画像表示最大領域ＰＮに表示させてもよい。この変形例では、使用者に視認させる対応画像によって使用者と他の使用者との位置関係を使用者に認識させることができ、使用者の利便性がさらに向上する。

画像設定部１６５が変換した文字画像を画像表示最大領域ＰＮに表示する表示位置の設定については、上記実施形態の例に限られず、種々変形可能である。画像設定部１６５は、撮像画像に対してパターンマッチング等を用いることで、例えば、ホワイトボートＷＢに記載された文字の画像を認識して、認識された文字の画像とは重ならない位置に文字画像ＴＸ１などを表示してもよい。また、画像設定部１６５は、文字の画像に関わらず、予め設定された画像と重複しない画像表示最大領域ＰＮの位置に文字画像を表示してもよいし、特定の画像が撮像画像の中に含まれる場合には、文字画像を画像表示最大領域ＰＮに一切表示しなくてもよい。また、予め特定された言葉として、例えば、プライバシーに関わる名前や業務上の秘匿義務がある文章が登録されることにより、画像設定部１６５は、登録された言葉の音声を取得しても、登録された言葉のみ文字画像として画像表示最大領域ＰＮに表示させなくてもよい。逆に、画像設定部１６５は、特定の言葉の音声が取得された場合に、特定の言葉を強調させるように画像表示最大領域ＰＮに表示させてもよい。また、ＨＭＤの使用者と識別情報記憶部１２４に登録された音源の話者とのセキュリティーレベルの設定などにより、画像設定部１６５は、取得した音声の文字画像の表示有無や表示態様を設定して画像表示最大領域ＰＮに表示させてもよい。

また、画像設定部１６５は、話者との距離が測定されることにより、測定された距離と対応付けて画像表示最大領域ＰＮに表示させる文字画像を設定してもよい。例えば、画像設定部１６５は、話者との距離に応じて、画像表示最大領域ＰＮに表示させる文字画像のフォントの大きさを変更させてもよい。また、視界不良によりカメラ６１の撮像画像から明確にＱＲコードや話者が認識されない場合に、音源識別部１６１は、例えば、光情報として送受信される光ビーコンを識別情報として特定し、赤外線による話者までの距離の特定することで、画像設定部１６５が、取得された音声を文字画像として画像表示最大領域ＰＮに表示させてもよい。

Ｂ−４．変形例４：
また、ＨＭＤ１００は、画像表示部２０の加速度を検出する加速度センサーや角速度を検出するジャイロセンサーを備えてもよい。この場合に、画像設定部１６５は、検出された加速度や角速度をキャンセルするように対応画像や文字画像を画像表示最大領域ＰＮに表示させてもよい。すなわち、画像設定部１６５は、検出された加速度や角速度を用いて、対応画像や文字画像の表示位置を固定して画像表示最大領域ＰＮに表示させることができる。この変形例では、使用者が視認する外景の撮像画像に対して画像表示部２０に表示される画像が固定されるため、使用者が歩行中であったとしても、画像表示最大領域ＰＮに対して表示される画像の位置がぶれないため、使用者に対応画像や文字画像をより視認させやすい。

Ｂ−５．変形例５：
上記実施形態では、制御部１０に操作部１３５が形成されたが、操作部１３５の態様については種々変形可能である。例えば、制御部１０とは別体で操作部１３５であるユーザーインターフェースがある態様でもよい。この場合に、操作部１３５は、電源１３０等が形成された制御部１０とは別体であるため、小型化でき、使用者の操作性が向上する。また、カメラ６１が画像表示部２０に配置されたが、カメラ６１が画像表示部２０とは別体に構成され、外景ＳＣを撮像できてもよい。また、制御部１０の構成するＣＰＵ１４０や電源１３０が画像表示部２０に全て搭載されたＨＭＤ１００であってもよい。このＨＭＤ１００では、画像表示部２０と別体で構成されるコントローラーがないため、より小型化できる。また、制御部１０と画像表示部２０とのそれぞれに、ＣＰＵ１４０が搭載されることで、制御部１０がコントローラー単体として使用され、画像表示部２０が表示装置単体として使用されてもよい。

例えば、画像光生成部は、有機ＥＬ（有機エレクトロルミネッセンス、Organic Electro-Luminescence）のディスプレイと、有機ＥＬ制御部とを備える構成としてもよい。また、例えば、画像光生成部は、ＬＣＤに代えて、ＬＣＯＳ（Liquid crystal on silicon, LCoS は登録商標）や、デジタル・マイクロミラー・デバイス等を用いることもできる。また、例えば、レーザー網膜投影型のＨＭＤ１００に対して本発明を適用することも可能である。

また、例えば、ＨＭＤ１００は、光学像表示部が使用者の眼の一部分のみを覆う態様、換言すれば、光学像表示部が使用者の眼を完全に覆わない態様のヘッドマウントディスプレイとしてもよい。また、ＨＭＤ１００は、いわゆる単眼タイプのヘッドマウントディスプレイであるとしてもよい。また、ＨＭＤ１００は、両眼タイプの光学透過型であるとしているが、本発明は、例えば、ビデオ透過型といった他の形式の頭部装着型表示装置にも同様に適用可能である。

また、ＨＭＤ１００は、他の装置から受信した画像信号に基づく画像を表示するためだけの表示装置と用いられてもよい。具体的には、デスクトップ型のＰＣのモニターに相当する表示装置として用いられ、例えば、デスクトップ型のＰＣから画像信号を受信することで、画像表示部２０の画像表示最大領域ＰＮに画像が表示されてもよい。

また、ＨＭＤ１００は、システムの一部として機能するように用いられてもよい。例えば、航空機を含むシステムの一部の機能を実行するための装置としてＨＭＤ１００が用いられてもよいし、ＨＭＤ１００が用いられるシステムとしては、航空機を含むシステムに限られず、自動車や自転車など含むシステムであってもよい。

また、イヤホンは耳掛け型やヘッドバンド型が採用されてもよく、省略してもよい。また、例えば、自動車や飛行機等の車両に搭載される頭部装着型表示装置として構成されてもよい。また、例えば、ヘルメット等の身体防護具に内蔵された頭部装着型表示装置として構成されてもよい。

Ｂ−６．変形例６：
上記実施形態におけるＨＭＤ１００の構成は、あくまで一例であり、種々変形可能である。例えば、制御部１０に設けられた方向キー１６を省略したり、方向キー１６やトラックパッド１４に加えて、操作用スティック等の他の操作用インターフェイスを設けたりしてもよい。また、制御部１０は、キーボードやマウス等の入力デバイスを接続可能な構成であり、キーボードやマウスから入力を受け付けるものとしてもよい。

また、画像表示部として、眼鏡のように装着する画像表示部２０に代えて、例えば帽子のように装着する画像表示部といった他の方式の画像表示部を採用してもよい。また、イヤホン３２，３４は、適宜省略可能である。

図１０は、変形例におけるＨＭＤの外観構成を示す説明図である。図１０（Ａ）の例の場合、図１に示したＨＭＤ１００との違いは、画像表示部２０ｘが、右光学像表示部２６に代えて右光学像表示部２６ｘを備える点と、左光学像表示部２８に代えて左光学像表示部２８ｘを備える点とである。右光学像表示部２６ｘは、上記実施形態の光学部材よりも小さく形成され、ＨＭＤ１００ｘの装着時における使用者の右眼の斜め上に配置されている。同様に、左光学像表示部２８ｘは、上記実施形態の光学部材よりも小さく形成され、ＨＭＤ１００ｘの装着時における使用者の左眼の斜め上に配置されている。図１０（Ｂ）の例の場合、図１に示したＨＭＤ１００との違いは、画像表示部２０ｙが、右光学像表示部２６に代えて右光学像表示部２６ｙを備える点と、左光学像表示部２８に代えて左光学像表示部２８ｙを備える点とである。右光学像表示部２６ｙは、上記実施形態の光学部材よりも小さく形成され、ヘッドマウントディスプレイの装着時における使用者の右眼の斜め下に配置されている。左光学像表示部２８ｙは、上記実施形態の光学部材よりも小さく形成され、ヘッドマウントディスプレイの装着時における使用者の左眼の斜め下に配置されている。このように、光学像表示部は使用者の眼の近傍に配置されていれば足りる。また、光学像表示部を形成する光学部材の大きさも任意であり、光学像表示部が使用者の眼の一部分のみを覆う態様、換言すれば、光学像表示部が使用者の眼を完全に覆わない態様のＨＭＤ１００として実現できる。

また、上記実施形態において、ＨＭＤ１００は、使用者の左右の眼に同じ画像を表わす画像光を導いて使用者に二次元画像を視認させるとしてもよいし、使用者の左右の眼に異なる画像を表わす画像光を導いて使用者に三次元画像を視認させるとしてもよい。

また、上記実施形態において、ハードウェアによって実現されていた構成の一部をソフトウェアに置き換えるようにしてもよく、逆に、ソフトウェアによって実現されていた構成の一部をハードウェアに置き換えるようにしてもよい。例えば、上記実施形態では、画像処理部１６０や音声処理部１７０は、ＣＰＵ１４０がコンピュータープログラムを読み出して実行することにより実現されるとしているが、これらの機能部はハードウェア回路により実現されるとしてもよい。

また、本発明の機能の一部または全部がソフトウェアで実現される場合には、そのソフトウェア（コンピュータープログラム）は、コンピューター読み取り可能な記録媒体に格納された形で提供することができる。この発明において、「コンピューター読み取り可能な記録媒体」とは、フレキシブルディスクやＣＤ−ＲＯＭのような携帯型の記録媒体に限らず、各種のＲＡＭやＲＯＭ等のコンピューター内の内部記憶装置や、ハードディスク等のコンピューターに固定されている外部記憶装置も含んでいる。

また、上記実施形態では、図１および図４に示すように、制御部１０と画像表示部２０とが別々の構成として形成されているが、制御部１０と画像表示部２０との構成については、これに限られず、種々変形可能である。例えば、画像表示部２０の内部に、制御部１０に形成された構成の全てが形成されてもよいし、一部が形成されてもよい。また、上記実施形態における電源１３０が単独で形成されて、交換可能な構成であってもよいし、制御部１０に形成された構成が重複して画像表示部２０に形成されていてもよい。例えば、図２に示すＣＰＵ１４０が制御部１０と画像表示部２０との両方に形成されていてもよいし、制御部１０に形成されたＣＰＵ１４０と画像表示部２０に形成されたＣＰＵとが行なう機能が別々に分けられている構成としてもよい。

本発明は、上記実施形態や変形例に限られるものではなく、その趣旨を逸脱しない範囲において種々の構成で実現することができる。例えば、発明の概要の欄に記載した各形態中の技術的特徴に対応する実施形態、変形例中の技術的特徴は、上述の課題の一部または全部を解決するために、あるいは、上述の効果の一部または全部を達成するために、適宜、差し替えや、組み合わせを行なうことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することが可能である。

１０…制御部
１１…決定キー
１２…点灯部
１３…表示切替キー
１４…トラックパッド
１５…輝度切替キー
１６…方向キー
１７…メニューキー
１８…電源スイッチ
２０…画像表示部（画像表示部）
２１…右保持部
２２…右表示駆動部
２３…左保持部
２４…左表示駆動部
２６…右光学像表示部
２８…左光学像表示部
３０…イヤホンプラグ
３２…右イヤホン
３４…左イヤホン
４０…接続部
４２…右コード
４４…左コード
４６…連結部材
４８…本体コード
５１，５２…送信部
５３，５４…受信部
６１…カメラ（音源特定部、視線方向検出部）
６３…マイク（音声取得部）
１００…頭部装着型表示装置（ＨＭＤ）
１２０…記憶部
１２２…音声記録部（取得音声記憶部）
１２４…識別情報記憶部
１３０…電源
１３２…無線通信部（通信部）
１３５…操作部
１４０…ＣＰＵ
１５０…オペレーティングシステム
１６０…画像処理部
１６１…音源識別部（音源特定部）
１６５…画像設定部（表示画像設定部）
１６８…視線方向特定部（視線方向検出部）
１６９…変換部（変換部）
１７０…音声処理部（音声取得部、音声識別部）
１８０…インターフェイス
１９０…表示制御部
２０１…右バックライト制御部
２０２…左バックライト制御部
２１１…右ＬＣＤ制御部
２１２…左ＬＣＤ制御部
２２１…右バックライト
２２２…左バックライト
２４１…右ＬＣＤ
２４２…左ＬＣＤ
２５１…右投写光学系
２５２…左投写光学系
２６１…右導光板
２６２…左導光板
３００…サーバー
３２４…識別情報記憶部
３３２…情報送受信部
３４０…ＣＰＵ
３６５…画像設定部
３６９…変換部
５００…情報システム
ＰＣＬＫ…クロック信号
ＶＳｙｎｃ…垂直同期信号
ＨＳｙｎｃ…水平同期信号
ＩＭＧ１…画像（対応画像）
ＯＡ…外部機器
ＷＢ…ホワイトボート
ＳＣ…外景
ＲＥ…右眼
ＬＥ…左眼
ＴＥ…教師（音源）
ＩＬ…照明光
ＰＬ…画像光
ＰＮ…画像表示最大領域
ＶＲ…視野
ＳＴ…生徒
ＱＲ１…識別情報（識別情報）
ＴＸ１，ＴＸ２…文字画像（文字画像）

Claims (18)

1. 透過型の頭部装着型表示装置であって、
   音声を取得する音声取得部と、
   音声を発する音源の識別情報を用いて、前記音源を特定する音源特定部と、
   取得された音声を文字画像に変換する変換部と、
   画像を表示可能であると共に外景を透過可能な画像表示部と、
   特定された前記音源に対応付けられた対応画像と、変換された前記文字画像と、を対応付けて前記画像表示部に表示させる表示画像設定部と、を備え、
   前記音源特定部は前記音源である話者の口が動いているか否かを判定し，前記話者の口が動いている場合には前記変換部が前記音声を文字画像に変換し、前記話者の口が動いていない場合には前記変換部が前記音声を文字画像に変換しない、頭部装着型表示装置。
2. 請求項１に記載の頭部装着型表示装置であって、
   前記音声取得部は、前記音源の方向を特定し、
   前記表示画像設定部は、特定された方向に対応付けて前記文字画像と前記対応画像とを前記画像表示部に表示させる、頭部装着型表示装置。
3. 請求項１または請求項２に記載の頭部装着型表示装置であって、
   前記表示画像設定部は、前記音源である複数の話者がある場合に、前記話者ごとに設定された前記識別情報に基づいて、前記対応画像と前記文字画像との少なくとも一方の前記画像表示部における表示態様と表示位置との少なくとも一方を設定する、頭部装着型表示装置。
4. 請求項１から請求項３までのいずれか一項に記載の頭部装着型表示装置であって、さらに、
   複数の前記音源がある場合に、前記複数の音源のそれぞれに設定された前記識別情報と、前記複数の音源のそれぞれの音声と、を対応付けて記憶する取得音声記憶部を備える、頭部装着型表示装置。
5. 請求項１から請求項４までのいずれか一項に記載の頭部装着型表示装置であって、
   前記表示画像設定部は、取得された音声の音量に基づいて、変換されて前記画像表示部に表示される前記文字画像の大きさと前記画像表示部に前記文字画像として表示するか否かの表示有無との少なくとも一方を決定する、頭部装着型表示装置。
6. 請求項１から請求項５までのいずれか一項に記載の頭部装着型表示装置であって、さらに、
   外景を撮像する撮像部と、
   前記音源が人間である場合に、撮像された前記外景の画像に基づいて、前記音源である人間の視線方向を検出する視線方向検出部と、を備え、
   前記表示画像設定部は、検出された前記視線方向に基づいて、前記対応画像と前記文字画像との少なくとも一方の前記画像表示部における表示態様と表示位置との少なくとも一方を設定する、頭部装着型表示装置。
7. 請求項１から請求項６までのいずれか一項に記載の頭部装着型表示装置であって、さらに、
   前記画像表示部の加速度を検出する加速度検出部を備え、
   前記表示画像設定部は、検出された前記画像表示部の加速度に対応させて、前記画像表示部に表示される前記対応画像と前記文字画像との少なくとも一方の表示位置を固定させる、頭部装着型表示装置。
8. 請求項１から請求項７までのいずれか一項に記載の頭部装着型表示装置であって、さらに、
   他の装置と情報を送受信する通信部と、
   取得された音声と、取得された音声を発する前記音源の前記識別情報と、を記憶する取得音声記憶部と、を備え、
   前記表示画像設定部は、前記通信部を介して、記憶された前記音声と前記識別情報とを他の装置へと送受信する、頭部装着型表示装置。
9. 請求項８に記載の頭部装着型表示装置であって、さらに、
   前記画像表示部の位置を特定する位置特定部を備え、
   前記通信部は、他の装置から他の前記頭部装着型表示装置の位置情報を受信し、
   前記表示画像設定部は、特定された前記画像表示部の位置と受信された前記位置情報とに基づいて、前記対応画像を設定して前記画像表示部に表示させる、頭部装着型表示装置。
10. 請求項１から請求項９までのいずれか一項に記載の頭部装着型表示装置であって、
    前記音源特定部は、取得された音声の言語を特定し、
    前記表示画像設定部は、特定された音声の言語に基づいて、前記対応画像と前記文字画像との少なくとも一方の前記画像表示部における表示態様と表示位置との少なくとも一方を設定する、頭部装着型表示装置。
11. 請求項１に記載の頭部装着型表示装置であって、
    前記表示画像設定部は、前記画像表示部に表示させる前記文字画像の大きさを、前記音声取得部で取得された前記音声の大きさに比例させる、頭部装着型表示装置。
12. 請求項１に記載の頭部装着型表示装置であって、
    前記表示画像設定部は、前記話者の氏名の画像と前記文字画像とを前記画像表示部に表示させる、頭部装着型表示装置。
13. 請求項１に記載の頭部装着型表示装置であって、
    前記音源特定部は、前記話者の音声の言語を特定し、
    前記変換部は、前記話者の音声を特定の言語に翻訳して前記文字画像に変換し、
    前記表示画像設定部は、前記話者の音声の言語が前記頭部装着型表示装置の使用者の母国語である場合には前記画像表示部の中心を除く周辺部に前記文字画像を表示し、前記話者の音声の言語が前記頭部装着型表示装置の使用者の母国語でない場合には前記画像表示部の前記周辺部に前記文字画像を表示する、頭部装着型表示装置。
14. 請求項１に記載の頭部装着型表示装置であって、
    前記表示画像設定部は、前記識別情報である前記頭部装着型表示装置の使用者と前記話者とのセキュリティレベルの設定に応じて、前記画像表示部における前記文字画像の表示の有無と表示態様を設定する、頭部装着型表示装置。
15. 請求項１に記載の頭部装着型表示装置であって、さらに、
    外景を撮像する撮像部と、
    撮像された前記外景の画像に基づいて、前記話者の視線方向を検出する視線方向検出部と、を備え、
    前記表示画像設定部は、前記話者の視線方向に応じて前記画像表示部における前記文字画像の表示位置を設定する、頭部装着型表示装置。
16. 音声を取得する音声取得部と、画像を表示可能であると共に外景を透過可能な画像表示部と、を有する透過型の頭部装着型表示装置の制御方法であって、
    音声を発する音源の識別情報を用いて、前記音源を特定する音源特定工程と、
    取得された音声を文字画像に変換する変換工程と、
    特定された前記音源に対応付けられた対応画像と、変換された前記文字画像と、を対応付けて前記画像表示部に表示させる工程と、を備え、
    前記音源特定工程において前記音源である話者の口が動いているか否かを判定し，前記話者の口が動いている場合には前記変換工程において前記音声を文字画像に変換し、前記話者の口が動いていない場合には前記変換工程において前記音声を文字画像に変換しない、制御方法。
17. 画像を表示可能であると共に外景を透過可能な画像表示部と、他の装置と情報を送受信する通信部と、を有する透過型の頭部装着型表示装置を含む、情報システムであって、
    音声を取得する音声取得部と、
    音声を発する音源の識別情報を用いて、前記音源を特定する音源特定部と、
    取得された音声を画像として表した文字画像に変換する変換部と、
    特定された前記音源に対応付けられた対応画像と、変換された前記文字画像と、を対応付けて前記通信部へと送信する画像情報送信部と、を備え、
    前記音源特定部は前記音源である話者の口が動いているか否かを判定し，前記話者の口が動いている場合には前記変換部が前記音声を文字画像に変換し、前記話者の口が動いていない場合には前記変換部が前記音声を文字画像に変換しない、情報システム。
18. 音声を取得する音声取得部と、画像を表示可能であると共に外景を透過可能な画像表示部と、を有する透過型の頭部装着型表示装置のためのコンピュータープログラムであって、
    音声を発する音源の識別情報を用いて、前記音源を特定する音源特定機能と、
    取得された音声を文字画像に変換する変換機能と、
    特定された前記音源に対応付けられた対応画像と、変換された前記文字画像と、を対応付けて前記画像表示部に表示させる表示画像設定機能と、をコンピューターに実現させ、
    前記音源特定機能は前記音源である話者の口が動いているか否かを判定し，前記話者の口が動いている場合には前記変換機能が前記音声を文字画像に変換し、前記話者の口が動いていない場合には前記変換機能が前記音声を文字画像に変換しない、コンピュータープログラム。

Images