JP6364735B2 - 表示装置、頭部装着型表示装置、表示装置の制御方法、および、頭部装着型表示装置の制御方法 - Google Patents

Description

本発明は、表示装置に関する。

頭部に装着する表示装置である頭部装着型表示装置（ヘッドマウントディスプレイ（Head Mounted Display）、ＨＭＤ）が知られている。頭部装着型表示装置は、例えば、液晶ディスプレイおよび光源を利用して画像を表す画像光を生成し、生成された画像光を投写光学系や導光板を利用して使用者の眼に導くことにより、使用者に虚像を視認させる。頭部装着型表示装置には、使用者が虚像に加えて外景も視認可能な透過型と、使用者が外景を視認できない非透過型と、の２つのタイプがある。透過型の頭部装着型表示装置には、光学透過型とビデオ透過型とがある。

透過型の頭部装着型表示装置において、音声を変換して音声を表す文字画像として使用者に視認させる技術が知られている。例えば、特許文献１には、聴覚障害者用の頭部装着型表示装置において、備え付けられたマイクが取得した多様な音声を文字画像として使用者に視認させる技術が開示されている。

特開２００７−３３４１４９号公報

しかし、特許文献１に記載された技術では、頭部装着型表示装置において、使用者は音声を表す文字画像を視認できるものの、文字画像を使用者に視認させるために虚像を形成する位置が使用者の視野において固定されているため、文字画像が使用者の視界を妨げるおそれがあった。また、音源と音源から取得される音声を表す文字画像との関係が何ら考慮されていないという課題があった。また、複数の音源から取得される複数の種類の音声を識別したいという課題があった。なお、上述の課題は、頭部装着型表示装置に限らず、表示装置に共通する課題であった。

本発明は、上述の課題の少なくとも一部を解決するためになされたものであり、以下の形態として実現することが可能である。
本発明の一形態によれば、透過型の表示装置が提供される。この表示装置は、画像を表す画像光を生成し、使用者に前記画像光を視認させると共に、外景を透過させる画像表示部と、音声を取得する音声取得部と、前記音声を文字により画像として表した文字画像に変換する変換部と、特定の方向を設定する特定方向設定部と、前記特定の方向に基づいて、使用者の視野における前記文字画像を表す文字画像光を視認させる位置である画像表示位置を設定する表示位置設定部と、複数の時点における外景の画像を取得する画像取得部と、を備え、前記表示位置設定部は、複数の時点間の前記外景の画像の変化と前記特定の方向とに基づいて前記画像表示位置を設定する。この形態によれば、使用者が設定した特定の方向に基づいて、取得される音声を、音声を表す文字画像として使用者に視認させることができ、使用者が音声を認識する理解度を向上させることができる。さらに、音源方向がより詳細に使用者に認識され、使用者に文字画像が視認される位置が音源方向の近くに設定されるため、使用者に音源方向と目標音源が発する音声を表す文字画像とをより関連付けて認識させやすい。

（１）本発明の一形態によれば、透過型の表示装置が提供される。この表示装置は、画像を表す画像光を生成し、使用者に前記画像光を視認させると共に、外景を透過させる画像表示部と；音声を取得する音声取得部と；前記音声を文字により画像として表した文字画像に変換する変換部と；特定の方向を設定する特定方向設定部と；前記特定の方向に基づいて、使用者の視野における前記文字画像を表す文字画像光を視認させる位置である画像表示位置を設定する表示位置設定部と、を備える。この形態の表示装置によれば、使用者が設定した特定の方向に基づいて、取得される音声を、音声を表す文字画像として使用者に視認させることができ、使用者が音声を認識する理解度を向上させることができる。また、使用者が設定した特定の方向に基づいて、取得された音声を表す文字画像を使用者の視野における画像表示位置が設定されるので、使用者は、設定された特定の方向と文字画像とを関連付けて視認でき、設定した特定の方向と文字画像との関係を認識しやすく、使用者の利便性が向上する。

（２）上記形態の表示装置において、前記表示位置設定部は、前記画像表示位置を、使用者の視野における前記特定の方向に対応する位置に重複しないように設定してもよい。この形態の表示装置によれば、使用者は、音源と音源から取得される音声を表す文字画像とを関連付けて認識しやすい。

（３）上記形態の表示装置において、前記表示位置設定部は、前記画像表示位置を、使用者の視野における中心以外に対応する位置に設定してもよい。この形態の表示装置によれば、使用者は、視野の中心で外景を視認しながら、音声を表す文字画像を視認できる。

（４）上記形態の表示装置において、前記音声取得部は、音源から前記音声取得部への方向に応じて音声を取得する感度が異なり；前記特定の方向は、取得された音声の感度に基づいて設定されてもよい。この形態の表示装置によれば、最も音量の大きい音声を表す文字画像を使用者に視認させるため、使用者が外部の音声を聞きづらい場合であっても、最も注意すべき外部の音声を使用者に視覚情報として認識させることができる。

（５）上記形態の表示装置において、前記特定の方向は、前記音声取得部から音源への方向であってもよい。この形態の表示装置によれば、音源から取得された音声を音源と関連付けて使用者に視認させることができ、使用者にとって取得された音声に対する理解度が向上する。

（６）上記形態の表示装置において、複数の時点における外景の画像を取得する画像取得部を備え；前記表示位置設定部は、複数の時点における前記外景の画像の変化と前記特定の方向とに基づいて前記画像表示位置を設定してもよい。この形態の表示装置によれば、音源方向がより詳細に使用者に認識され、使用者に文字画像が視認される位置が音源方向の近くに設定されるため、使用者に音源方向と目標音源が発する音声を表す文字画像とをより関連付けて認識させやすい。

（７）上記形態の表示装置において、さらに；前記表示装置から音源までの距離を特定する距離特定部を備え；前記表示位置設定部は、前記特定された距離に基づいて、前記文字画像光の大きさの変化と前記画像表示位置と設定との少なくとも一方を行なってもよい。この形態の表示装置によれば、使用者から目標音源までの距離に応じて文字画像の大きさの変化または画像表示位置の設定との少なくとも一方が行なわれるため、使用者に目標音源までの距離を視覚情報として認識させることができる。

（８）上記形態の表示装置において、さらに；前記表示装置から音源までの距離を特定する距離特定部を備え；前記変換部は、前記特定された距離に基づいて前記文字画像の種類を変更してもよい。この形態の表示装置によれば、使用者から目標音源までの距離に応じて、使用者に視認させる文字画像の種類が変化するため、使用者に目標音源までの距離を視覚情報として認識させることができる。

（９）上記形態の表示装置において、前記音声取得部は、音源から前記音声取得部への方向に応じて音声の音量を取得する感度が異なり；前記表示位置設定部は、異なる同じ音源が発する方向ごとに異なって取得された音声の音量に基づいて、前記画像表示位置を設定してもよい。この形態の表示装置によれば、外景画像が取得されなくても、音源方向を設定して、目標音源の近くに取得された文字画像を使用者に視認させられるので、使用者の利便性が向上する。

（１０）上記形態の表示装置において、前記音声取得部は、音源から前記音声取得部への方向に応じて音声を取得する感度が異なり、前記特定の方向からの音声を取得する感度が最大となるような向きに設定されてもよい。この形態の表示装置によれば、音源取得部は、特定の方向からの音声を高い感度で取得し、特定の方向からずれるほど音声を取得しにくくなるため、特定の方向から取得された音声の精度が向上する。

（１１）上記形態の表示装置において、さらに；複数の音源から取得される異なる種類の音声を前記音声の種類ごとに識別する音声識別部と；使用者による操作を受け付ける操作部と、を備え；前記特定方向設定部は、前記操作に基づいて、前記音声取得部から、複数の前記音声のうち一の前記音声が取得された音源までの方向である特定音源方向を特定し；前記表示位置設定部は、使用者の視野において、前記一の前記音声を表す前記画像光を認識させる位置を、前記特定音源方向に対応する位置に設定してもよい。この形態の表示装置によれば、複数の人が話す会話においても、使用者の視野ＶＲにおいて、特定音源方向から取得された音声を表す文字画像が特定音源方向の近くの位置に視認される。よって、使用者は、聴覚に加えて、視覚で特定音源方向と特定音源方向から取得される音声を表す文字画像とを関連付けて認識でき、会話の内容を理解しやすい。

（１２）上記形態の表示装置において、前記表示位置設定部は、使用者に視野において、前記一の前記音声を表す前記画像光を認識させる位置を、複数の前記特定音源方向に対応する位置のいずれにも重複しない位置に設定してもよい。この形態の表示装置によれば、使用者の視野ＶＲにおいて、複数の特定音源方向から取得された音声を表す文字画像のいずれも、複数の音源方向と重複しない位置に視認されるため、使用者は、特定音源方向と特定音源方向から取得される音声を表す文字画像とをより関連付けて視認することができる。

（１３）上記形態の表示装置において、前記画像表示部は、複数の前記音声を前記音声の種類ごとに異なる前記画像光に生成し、使用者に複数の前記音声の種類ごとの前記画像光を虚像として認識させ；前記操作は、使用者の視野において認識される複数の前記音声の種類ごとの前記画像光から、一の前記特定音源方向からの前記音声に対応する前記画像光を特定する操作であってもよい。この形態の表示装置によれば、簡便な操作によって、使用者は、特定音源方向と特定音源方向から取得される音声を表す文字画像とを容易に設定できる。

（１４）上記形態の表示装置において、前記画像表示部は、前記音声取得部が前記音声を取得した時点から所定の時間遅らせて前記画像光を虚像として使用者に認識させてもよい。この形態の表示装置によれば、一時的に音声を聞き逃すと共に音声を表す文字画像を見逃した場合に、音声よりも遅れて使用者の視野に認識される文字画像によって、取得される音声の前後のつながりに対する使用者の理解度が向上する。

（１５）上記形態の表示装置において、さらに；使用者の視線方向を推定する視線方向推定部を備え；前記画像表示部は、使用者の頭部に装着された状態において使用者に前記画像光を視認させ；前記表示位置設定部は、前記特定の方向と前記視線方向との関係に基づいて前記画像表示位置を設定してもよい。この形態の表示装置によれば、特定の方向と視線方向とのずれに応じて、使用者の視野に特定の方向が視認されているかいないかが判断されるので、特定の方向と取得された音声を表す文字画像とを、関連付けて認識させやすい。

（１６）上記形態の表示装置において、前記表示位置設定部は、前記視線方向と前記特定の方向とがなす角度である特定角度が第１の閾値未満の場合に、使用者の視野における前記特定の方向に対応する位置の近くに前記画像表示位置を設定し、前記特定角度が第１の閾値以上の場合に、前記特定の方向とは無関係に前記画像表示位置を設定してもよい。この形態の表示装置によれば、使用者の視野において、外景として特定の方向が視認されている場合には、特定の方向の近くに画像表示位置が設定されるため、取得される音声に対する使用者の理解度が向上する。

（１７）上記形態の表示装置において、さらに；外景の画像を取得する画像取得部を備え；前記画像表示部は、前記視線方向と前記特定の方向とがなす角度である特定角度が第２の閾値以上の場合に、前記画像取得部が取得した前記特定の方向の画像を表す画像光である特定方向画像光を生成して虚像として使用者に認識させ、前記特定角度が第２の閾値未満の場合に、前記特定方向画像光を生成せず；前記表示位置設定部は、前記特定角度が第２の閾値以上の場合に、前記特定方向画像光を認識させる位置を、前記画像表示位置に重複させず、かつ、前記画像表示位置の近くに設定し、前記特定角度が第２の閾値未満の場合に、使用者の視野における前記特定の方向に対応する位置の近くに前記画像表示位置を設定してもよい。この形態の表示装置によれば、使用者の視野において、特定の方向が外景に視認されていなくても、特定の方向が撮像された画像と画像表示位置とが近くに視認されるので、取得される音声に対する使用者の理解度が向上する。

（１８）上記形態の表示装置において、さらに；前記取得された音声と、前記取得された音声とは異なる特定音声と、を識別する音声識別部を備え；前記変換部は、前記取得された音声と前記特定音声とを異なる種類の前記文字画像に変換してもよい。この形態の表示装置によれば、取得された音声を表す文字画像と、取得された音声とは異なる音声を表す文字画像と、が異なる種類の文字画像で表示されるため、使用者に音声を発する音源の違いを視覚によって認識させることができる。

（１９）上記形態の表示装置において、さらに；通信によって音声信号を取得する通信部を備え；前記特定音声は、前記通信部によって取得された音声信号に基づいて出力される音声であってもよい。この形態の表示装置によれば、取得された外部の音声のみでなく、通信によって取得されたさまざま音声信号を表す音声を使用者に視聴させると共に、通信によって取得された音声を視覚情報として認識させることができる。

（２０）本発明の他の形態によれば、透過型の頭部装着型表示装置が提供される。この頭部装着型表示装置は、画像を表す画像光を生成し、使用者の頭部に装着された状態において使用者に前記画像光を視認させると共に、外景を透過させる画像表示部と；音声を取得する音声取得部と；前記音声を文字により画像として表した文字画像に変換する変換部と；使用者の視線方向を推定する視線方向推定部と；前記視線方向の変化に基づいて、使用者の視野における前記文字画像を表す文字画像光を視認させる位置である画像表示位置を設定する表示位置設定部と、を備える。この頭部装着型表示装置は、使用者の視認方向にあわせて、使用者の視界の妨げにならない位置に画像表示位置が設定されるので、使用者の使い勝手が向上する。

（２１）上記形態の頭部装着型表示装置において、前記音声取得部は、音源から前記音声取得部への方向に応じて音声の音量を取得する感度が異なり；前記表示位置設定部は、異なる同じ音源が発する方向ごとに異なって取得された音声の音量に基づいて、前記画像表示位置を設定してもよい。この形態の頭部装着型表示装置によれば、外景画像が取得されなくても、音源方向を設定して、目標音源の近くに取得された文字画像を使用者に視認させられるので、使用者の利便性が向上する。

（２２）上記形態の頭部装着型表示装置において、前記視線方向推定部は、前記文字画像光が使用者に認識されている表示状態を基準として、前記視線方向の角速度と角度の変化量との少なくとも一方の特定値を推定し；前記表示位置設定部は、前記特定値が一定値を超えた場合に、使用者の視野における中央部以外に前記画像表示位置を設定してもよい。この形態の頭部装着型表示装置によれば、使用者の視認方向の変化にあわせて、使用者の視界の妨げにならない位置に画像表示位置が設定されるので、使用者の使い勝手が向上する。

（２３）上記形態の頭部装着型表示装置において、前記視線方向推定部は、重力方向と前記重力方向に垂直な水平方向とを推定し；前記表示位置設定部は、前記重力方向と前記水平方向に対して前記表示状態における前記特定値に基づいて、使用者の視野における前記画像表示位置を設定してもよい。この形態の頭部装着型表示装置によれば、重力方向または水平方向に対する使用者の視認方向の変化にあわせて、使用者の視界の妨げにならない位置に画像表示位置が設定されるので、使用者の使い勝手が向上する。

（２４）上記形態の頭部装着型表示装置において、前記表示位置設定部は、前記角度の変化量が第３の閾値以上である場合に、使用者の視野における中央部以外に前記画像表示位置を設定し、前記角度の変化量が第３の閾値未満である場合に、使用者の視野における予め設定された位置に前記画像表示位置を設定してもよい。この形態の頭部装着型表示装置によれば、使用者の視認方向の角度変化にあわせて、使用者の視界の妨げにならない位置に画像表示位置が設定されるので、使用者の使い勝手が向上する。

（２５）上記形態の頭部装着型表示装置において、前記表示位置設定部は、前記角度の変化量が第４の閾値未満の状態で所定の時間が経過した場合に、使用者の視野における中央部分に前記画像表示位置を設定し、前記角度の変化量が第４の閾値以上の場合に、使用者の視野における中央部以外に前記画像表示位置を設定してもよい。この形態の頭部装着型表示装置によれば、使用者が視認している文字画像に注目していると判定された場合に、画像表示位置を使用者が視認しやすい位置に自動で変更されるので、使用者の使い勝手が向上する。

（２６）上記形態の頭部装着型表示装置において、前記表示位置設定部は、前記角速度が第５の閾値以上である場合に、使用者の視野における中央部以外に前記画像表示位置を設定し、前記角速度が第５の閾値未満である場合に、使用者の視野における予め設定された位置に前記画像表示位置を設定してもよい。この形態の頭部装着型表示装置によれば、使用者の視認方向の角速度にあわせて、使用者の視界の妨げにならない位置に画像表示位置が設定されるので、使用者の使い勝手が向上する。

（２７）上記形態の頭部装着型表示装置において、前記表示位置設定部は、前記角速度が第６の閾値未満の状態で所定の時間が経過した場合に、使用者の視野における中央部に前記画像表示位置を設定し、前記角速度が第６の閾値以上の場合に、使用者の視野における中央部以外に前記画像表示位置を設定してもよい。この形態の頭部装着型表示装置によれば、使用者が視認している文字画像に注目していると判定された場合に、画像表示位置を使用者が視認しやすい位置に自動で変更されるので、使用者の使い勝手が向上する。

上述した本発明の各形態の有する複数の構成要素はすべてが必須のものではなく、上述の課題の一部または全部を解決するため、あるいは、本明細書に記載された効果の一部または全部を達成するために、適宜、前記複数の構成要素の一部の構成要素について、その変更、削除、新たな他の構成要素との差し替え、限定内容の一部削除を行なうことが可能である。また、上述の課題の一部または全部を解決するため、あるいは、本明細書に記載された効果の一部または全部を達成するために、上述した本発明の一形態に含まれる技術的特徴の一部または全部を上述した本発明の他の形態に含まれる技術的特徴の一部または全部と組み合わせて、本発明の独立した一形態とすることも可能である。

例えば、本発明の一形態は、音声取得部と、変換部と、画像表示部と、特定方向設定部と、表示位置設定部と、の５つ要素の内の一つ以上または全部の要素を備えた装置として実現可能である。すなわち、この装置は、音声取得部を有していてもよく、有していなくてもよい。また、装置は、変換部を有していてもよく、有していなくてもよい。また、装置は、画像表示部を有していてもよく、有していなくてもよい。また、装置は、特定方向設定部を有していてもよく、有していなくてもよい。また、装置は、表示位置設定部を有していてもよく、有していなくてもよい。画像表示部は、前記文字画像を表す画像光を生成し、使用者に前記画像光を視認させると共に、外景を透過させてもよい。音声取得部は、例えば、音声を取得してもよい。変換部は、例えば、前記音声を文字により画像として表した文字画像に変換してもよい。特定方向設定部は、例えば、特定の方向を設定してもよい。表示位置設定部は、例えば、前記特定の方向に基づいて、使用者の視野における前記文字画像を表す文字画像光を視認させる位置である画像表示位置を設定してもよい。こうした装置は、例えば、表示装置として実現できるが、表示装置以外の他の装置としても実現可能である。このような形態によれば、装置の操作性の向上、着脱時の容易化、装置の一体化や、製造の容易化等の種々の課題の少なくとも１つを解決することができる。前述した表示装置の各形態の技術的特徴の一部または全部は、いずれもこの装置に適用することが可能である。

本発明は、表示装置以外の種々の形態で実現することも可能である。例えば、頭部装着型表示装置、表示装置および頭部装着型表示装置の制御方法、表示システムおよび頭部装着型表示システム、表示システムおよび頭部装着型表示システムの機能を実現するためのコンピュータープログラム、そのコンピュータープログラムを記録した記録媒体、そのコンピュータープログラムを含み搬送波内に具現化されたデータ信号等の形態で実現できる。

頭部装着型表示装置１００の外観構成を示す説明図である。 頭部装着型表示装置１００の構成を機能的に示すブロック図である。 取得音声の画像表示処理の流れを示す説明図である。 使用者の視野ＶＲの一例を示す説明図である。 カメラ６１が撮像した外景の画像の一例を示す説明図である。 使用者の視野ＶＲの一例を示す説明図である。 使用者の視野ＶＲの一例を示す説明図である。 第２実施形態における取得音声の画像表示処理の流れを示す説明図である。 使用者の視野ＶＲの一例を表す説明図である。 カメラ６１が撮像した外景画像ＢＩＭの一例を示す説明図である。 使用者の視野ＶＲの一例を示す説明図である。 使用者の視野ＶＲの一例を示す説明図である。 第３実施形態における頭部装着型表示装置１００ｂの構成を機能的に示す説明図である。 第３実施形態における取得音声の画像表示処理の流れを示す説明図である。 使用者の視野ＶＲの一例を示す説明図である。 使用者の視野ＶＲの一例を示す説明図である。 変形例における頭部装着型表示装置の外観構成を示す説明図である。

次に、本発明の実施の形態を実施形態に基づいて以下の順序で説明する。
Ａ．第１実施形態：
Ａ−１．頭部装着型表示装置の構成：
Ａ−２．取得音声の画像表示処理：
Ｂ１．第２実施形態：
Ｂ２．第３実施形態：
Ｃ．変形例：

Ａ．第１実施形態：
Ａ−１．頭部装着型表示装置の構成：

図１は、頭部装着型表示装置１００の外観構成を示す説明図である。頭部装着型表示装置１００は、頭部に装着する表示装置であり、ヘッドマウントディスプレイ（Head Mounted Display、ＨＭＤ）とも呼ばれる。本実施形態の頭部装着型表示装置１００は、使用者が、虚像を視認すると同時に外景も直接視認可能な光学透過型の頭部装着型表示装置である。なお、本明細書では、頭部装着型表示装置１００によって使用者が視認する虚像を便宜的に「表示画像」とも呼ぶ。また、画像データに基づいて生成された画像光を射出することを「画像を表示する」ともいう。

頭部装着型表示装置１００は、使用者の頭部に装着された状態において使用者に虚像を視認させる画像表示部２０と、画像表示部２０を制御する制御部１０（コントローラー１０）と、を備えている。

画像表示部２０は、使用者の頭部に装着される装着体であり、本実施形態では眼鏡形状を有している。画像表示部２０は、右保持部２１と、右表示駆動部２２と、左保持部２３と、左表示駆動部２４と、右光学像表示部２６と、左光学像表示部２８と、カメラ６１と、マイク６３と、を含んでいる。右光学像表示部２６および左光学像表示部２８は、それぞれ、使用者が画像表示部２０を装着した際に使用者の右および左の眼前に位置するように配置されている。右光学像表示部２６の一端と左光学像表示部２８の一端とは、使用者が画像表示部２０を装着した際の使用者の眉間に対応する位置で、互いに接続されている。

右保持部２１は、右光学像表示部２６の他端である端部ＥＲから、使用者が画像表示部２０を装着した際の使用者の側頭部に対応する位置にかけて、延伸して設けられた部材である。同様に、左保持部２３は、左光学像表示部２８の他端である端部ＥＬから、使用者が画像表示部２０を装着した際の使用者の側頭部に対応する位置にかけて、延伸して設けられた部材である。右保持部２１および左保持部２３は、眼鏡のテンプル（つる）のようにして、使用者の頭部に画像表示部２０を保持する。

右表示駆動部２２と左表示駆動部２４とは、使用者が画像表示部２０を装着した際の使用者の頭部に対向する側に配置されている。なお、以降では、右保持部２１および左保持部２３を総称して単に「保持部」とも呼び、右表示駆動部２２および左表示駆動部２４を総称して単に「表示駆動部」とも呼び、右光学像表示部２６および左光学像表示部２８を総称して単に「光学像表示部」とも呼ぶ。

表示駆動部２２，２４は、液晶ディスプレイ２４１，２４２（Liquid Crystal Display、以下「ＬＣＤ２４１，２４２」とも呼ぶ）や投写光学系２５１，２５２等を含む（図２参照）。表示駆動部２２，２４の構成の詳細は後述する。光学部材としての光学像表示部２６，２８は、導光板２６１，２６２（図２参照）と調光板とを含んでいる。導光板２６１，２６２は、光透過性の樹脂材料等によって形成され、表示駆動部２２，２４から出力された画像光を使用者の眼に導く。調光板は、薄板状の光学素子であり、使用者の眼の側とは反対の側である画像表示部２０の表側を覆うように配置されている。調光板は、導光板２６１，２６２を保護し、導光板２６１，２６２の損傷や汚れの付着等を抑制する。また、調光板の光透過率を調整することによって、使用者の眼に入る外光量を調整して虚像の視認のしやすさを調整できる。なお、調光板は省略可能である。

カメラ６１は、使用者が画像表示部２０を装着した際の使用者の眉間に対応する位置に配置されている。カメラ６１は、使用者の眼の側とは反対側方向の外部の景色である外景を撮像し、外景画像を取得する。本実施形態におけるカメラ６１は、単眼カメラであるが、ステレオカメラであってもよい。カメラ６１は、請求項における画像取得部に相当する。

マイク６３は、右保持部２１における右表示駆動部２２の反対側に配置されている。マイク６３は、方向によって音声を取得する感度が異なる指向性を有するマイクである。マイク６３が接続されている右保持部２１の内部には機械的な構造が形成されており、マイク６３は、右保持部２１に対して相対的に動くことができる。

画像表示部２０は、さらに、画像表示部２０を制御部１０に接続するための接続部４０を有している。接続部４０は、制御部１０に接続される本体コード４８と、右コード４２と、左コード４４と、連結部材４６と、を含んでいる。右コード４２と左コード４４とは、本体コード４８が２本に分岐したコードである。右コード４２は、右保持部２１の延伸方向の先端部ＡＰから右保持部２１の筐体内に挿入され、右表示駆動部２２に接続されている。同様に、左コード４４は、左保持部２３の延伸方向の先端部ＡＰから左保持部２３の筐体内に挿入され、左表示駆動部２４に接続されている。連結部材４６は、本体コード４８と、右コード４２および左コード４４と、の分岐点に設けられ、イヤホンプラグ３０を接続するためのジャックを有している。イヤホンプラグ３０からは、右イヤホン３２および左イヤホン３４が延伸している。

画像表示部２０と制御部１０とは、接続部４０を介して各種信号の伝送を行なう。本体コード４８における連結部材４６とは反対側の端部と、制御部１０と、のそれぞれには、互いに嵌合するコネクター（図示しない）が設けられている。本体コード４８のコネクターと制御部１０のコネクターとの嵌合／嵌合解除により、制御部１０と画像表示部２０とが接続されたり切り離されたりする。右コード４２と、左コード４４と、本体コード４８とには、例えば、金属ケーブルや光ファイバーを採用できる。

制御部１０は、頭部装着型表示装置１００を制御するための装置である。制御部１０は、決定キー１１と、点灯部１２と、表示切替キー１３と、トラックパッド１４と、輝度切替キー１５と、方向キー１６と、メニューキー１７と、電源スイッチ１８と、を含んでいる。決定キー１１は、押下操作を検出して、制御部１０で操作された内容を決定する信号を出力する。点灯部１２は、頭部装着型表示装置１００の動作状態を、その発光状態によって通知する。頭部装着型表示装置１００の動作状態としては、例えば、電源のＯＮ／ＯＦＦ等がある。点灯部１２としては、例えば、ＬＥＤ（Light Emitting Diode）が用いられる。表示切替キー１３は、押下操作を検出して、例えば、コンテンツ動画の表示モードを３Ｄと２Ｄとに切り替える信号を出力する。トラックパッド１４は、トラックパッド１４の操作面上での使用者の指の操作を検出して、検出内容に応じた信号を出力する。トラックパッド１４としては、静電式や圧力検出式、光学式といった種々のトラックパッドを採用できる。輝度切替キー１５は、押下操作を検出して、画像表示部２０の輝度を増減する信号を出力する。方向キー１６は、上下左右方向に対応するキーへの押下操作を検出して、検出内容に応じた信号を出力する。電源スイッチ１８は、スイッチのスライド操作を検出することで、頭部装着型表示装置１００の電源投入状態を切り替える。

図２は、頭部装着型表示装置１００の構成を機能的に示すブロック図である。図２に示すように、制御部１０は、ＣＰＵ１４０と、操作部１３５と、入力情報取得部１１０と、記憶部１２０と、電源１３０と、インターフェイス１８０と、送信部５１（Ｔｘ５１）および送信部５２（Ｔｘ５２）と、を有している。操作部１３５は、使用者による操作を受け付け、決定キー１１、表示切替キー１３、トラックパッド１４、輝度切替キー１５、方向キー１６、メニューキー１７、電源スイッチ１８、から構成されている。

入力情報取得部１１０は、使用者による操作入力に応じた信号を取得する。操作入力に応じた信号としては、例えば、トラックパッド１４、方向キー１６、電源スイッチ１８、に対する操作入力がある。電源１３０は、頭部装着型表示装置１００の各部に電力を供給する。電源１３０としては、例えば二次電池を用いることができる。記憶部１２０は、種々のコンピュータープログラムを格納している。記憶部１２０は、ＲＯＭやＲＡＭ等によって構成されている。ＣＰＵ１４０は、記憶部１２０に格納されているコンピュータープログラムを読み出して実行することにより、オペレーティングシステム１５０（ОＳ１５０）、画像処理部１６０、表示制御部１９０、マイク駆動部１６３、変換部１８５、音声処理部１７０、方向判定部１６１、として機能する。

画像処理部１６０は、コンテンツに含まれる画像信号を取得する。画像処理部１６０は、取得した画像信号から、垂直同期信号ＶＳｙｎｃや水平同期信号ＨＳｙｎｃ等の同期信号を分離する。また、画像処理部１６０は、分離した垂直同期信号ＶＳｙｎｃや水平同期信号ＨＳｙｎｃの周期に応じて、ＰＬＬ（Phase Locked Loop）回路等（図示しない）を利用してクロック信号ＰＣＬＫを生成する。画像処理部１６０は、同期信号が分離されたアナログ画像信号を、Ａ／Ｄ変換回路等（図示しない）を用いてデジタル画像信号に変換する。その後、画像処理部１６０は、変換後のデジタル画像信号を、対象画像の画像データＤａｔａ（ＲＧＢデータ）として、１フレームごとに記憶部１２０内のＤＲＡＭに格納する。なお、画像処理部１６０は、必要に応じて、画像データに対して、解像度変換処理、輝度、彩度の調整といった種々の色調補正処理、キーストーン補正処理等の画像処理を実行してもよい。

画像処理部１６０は、生成されたクロック信号ＰＣＬＫ、垂直同期信号ＶＳｙｎｃ、水平同期信号ＨＳｙｎｃ、記憶部１２０内のＤＲＡＭに格納された画像データＤａｔａ、のそれぞれを、送信部５１、５２を介して送信する。なお、送信部５１を介して送信される画像データＤａｔａを「右眼用画像データ」とも呼び、送信部５２を介して送信される画像データＤａｔａを「左眼用画像データ」とも呼ぶ。送信部５１、５２は、制御部１０と画像表示部２０との間におけるシリアル伝送のためのトランシーバーとして機能する。

表示制御部１９０は、右表示駆動部２２および左表示駆動部２４を制御する制御信号を生成する。具体的には、表示制御部１９０は、制御信号により、右ＬＣＤ制御部２１１による右ＬＣＤ２４１の駆動ＯＮ／ＯＦＦ、右バックライト制御部２０１による右バックライト２２１の駆動ＯＮ／ＯＦＦ、左ＬＣＤ制御部２１２による左ＬＣＤ２４２の駆動ＯＮ／ＯＦＦ、左バックライト制御部２０２による左バックライト２２２の駆動ＯＮ／ＯＦＦなど、を個別に制御する。これにより、表示制御部１９０は、右表示駆動部２２および左表示駆動部２４のそれぞれによる画像光の生成および射出を制御する。例えば、表示制御部１９０は、右表示駆動部２２および左表示駆動部２４の両方に画像光を生成させたり、一方のみに画像光を生成させたり、両方共に画像光を生成させなかったりする。

表示制御部１９０は、右ＬＣＤ制御部２１１と左ＬＣＤ制御部２１２とに対する制御信号のそれぞれを、送信部５１および５２を介して送信する。また、表示制御部１９０は、右バックライト制御部２０１と左バックライト制御部２０２とに対する制御信号のそれぞれを送信する。マイク駆動部１６３は、マイク６３の向きを設定する。操作部１３５が受け付けた操作によって使用者が取得したい音声の音源（以下、「目標音源」とも呼ぶ）が特定されると、マイク駆動部１６３は、目標音源からの音声を取得する感度が最大になるように、マイク６３の向きを変更する。マイク駆動部１６３は、後述する９軸センサー６６が検出する画像表示部２０の位置および向きを取得する。これにより、画像表示部２０と目標音源との位置関係に関わらず、マイク駆動部１６３は、マイク６３が常にマイク６３から目標音源への方向（以下、「音源方向」とも呼ぶ）からの音声を取得する感度が最大になるように向きを変更できる。そのため、本実施形態における頭部装着型表示装置１００では、マイク６３は、音源方向からの音声を高い感度で取得し、音源方向からずれるほど音声を取得しにくくなるため、取得した音声を表す文字画像の精度を向上させる。なお、操作部１３５は、請求項における特定方向設定部に相当し、マイク６３およびマイク駆動部１６３は、請求項における音声取得部に相当する。

変換部１８５は、マイク６３が取得した音声を、音声を文字によって表した文字画像へと変換する。文字画像は、表示制御部１９０によって文字画像を表す制御信号として画像表示部２０に送信される。画像表示部２０は、送信された制御信号に基づいて文字画像を表す画像光を生成して、使用者の眼に射出することで、使用者は、音声を文字画像として視認できる。

方向判定部１６１は、音源方向と、後述する９軸センサー６６が検出した画像表示部２０の向きから推定される使用者の視線方向と、がなす角度が予め定められた閾値以上か否かを判定する。また、方向判定部１６１は、音源方向と視線方向とがなす角度に基づいて、使用者が外景に目標音源を視認しているか否かを判定する。なお、設定される特定の方向と使用者の視線方向とがなす角度は、請求項における特定角度に相当し、特定の方向の一例として設定された音源方向と使用者の視線方向とがなす角度も特定角度に相当する。

音声処理部１７０は、コンテンツに含まれる音声信号を取得し、取得した音声信号を増幅して、連結部材４６に接続された右イヤホン３２内のスピーカー（図示しない）および左イヤホン３４内のスピーカー（図示しない）に対して供給する。なお、例えば、Ｄｏｌｂｙ（登録商標）システムを採用した場合、音声信号に対する処理がなされ、右イヤホン３２および左イヤホン３４のそれぞれからは、例えば周波数等が変えられた異なる音が出力される。また、音声処理部１７０は、マイク６３が取得した音声から特徴を抽出してモデル化することで、複数の人の声を別々に認識して、声ごとに話している人を特定する話者認識を行なう。音声処理部１７０は、請求項における音声識別部に相当する。

インターフェイス１８０は、制御部１０に対して、コンテンツの供給元となる種々の外部機器ＯＡを接続するためのインターフェイスである。外部機器ＯＡとしては、例えば、パーソナルコンピューター（ＰＣ）や携帯電話端末、ゲーム端末等、がある。インターフェイス１８０としては、例えば、ＵＳＢインターフェイス、マイクロＵＳＢインターフェイス、メモリーカード用インターフェイス等、を用いることができる。

画像表示部２０は、右表示駆動部２２と、左表示駆動部２４と、右光学像表示部２６としての右導光板２６１と、左光学像表示部２８としての左導光板２６２と、カメラ６１と、９軸センサー６６と、マイク６３と、を備えている。

９軸センサー６６は、加速度（３軸）、角速度（３軸）、地磁気（３軸）、を検出するモーションセンサーである。９軸センサー６６は、画像表示部２０に設けられているため、画像表示部２０が使用者の頭部に装着されているときには、使用者の頭部の動きを検出する。検出された使用者の頭部の動きから画像表示部２０の向きがわかるため、方向判定部１６１は、使用者の視線方向を推定できる。方向判定部１６１と９軸センサー６６とは、請求項における視線方向推定部に相当する。マイク６３は、取得した音声の音声信号を変換部１８５および音声処理部１７０に送信する。

右表示駆動部２２は、受信部５３（Ｒｘ５３）と、光源として機能する右バックライト制御部２０１（右ＢＬ制御部２０１）および右バックライト２２１（右ＢＬ２２１）と、表示素子として機能する右ＬＣＤ制御部２１１および右ＬＣＤ２４１と、右投写光学系２５１と、を含んでいる。右バックライト制御部２０１と右バックライト２２１とは、光源として機能する。右ＬＣＤ制御部２１１と右ＬＣＤ２４１とは、表示素子として機能する。なお、右バックライト制御部２０１と、右ＬＣＤ制御部２１１と、右バックライト２２１と、右ＬＣＤ２４１と、を総称して「画像光生成部」とも呼ぶ。

受信部５３は、制御部１０と画像表示部２０との間におけるシリアル伝送のためのレシーバーとして機能する。右バックライト制御部２０１は、入力された制御信号に基づいて、右バックライト２２１を駆動する。右バックライト２２１は、例えば、ＬＥＤやエレクトロルミネセンス（ＥＬ）等の発光体である。右ＬＣＤ制御部２１１は、受信部５３を介して入力されたクロック信号ＰＣＬＫと、垂直同期信号ＶＳｙｎｃと、水平同期信号ＨＳｙｎｃと、右眼用画像データＤａｔａ１と、に基づいて、右ＬＣＤ２４１を駆動する。右ＬＣＤ２４１は、複数の画素をマトリクス状に配置した透過型液晶パネルである。

右投写光学系２５１は、右ＬＣＤ２４１から射出された画像光を並行状態の光束にするコリメートレンズによって構成される。右光学像表示部２６としての右導光板２６１は、右投写光学系２５１から出力された画像光を、所定の光路に沿って反射させつつ使用者の右眼ＲＥに導く。なお、右投写光学系２５１と右導光板２６１とを総称して「導光部」とも呼ぶ。

左表示駆動部２４は、右表示駆動部２２と同様の構成を有している。左表示駆動部２４は、受信部５４（Ｒｘ５４）と、光源として機能する左バックライト制御部２０２（左ＢＬ制御部２０２）および左バックライト２２２（左ＢＬ２０２）と、表示素子として機能する左ＬＣＤ制御部２１２および左ＬＣＤ２４２と、左投写光学系２５２と、を含んでいる。左バックライト制御部２０２と左バックライト２２２とは、光源として機能する。左ＬＣＤ制御部２１２と左ＬＣＤ２４２とは、表示素子として機能する。なお、左バックライト制御部２０２と、左ＬＣＤ制御部２１２と、左バックライト２２２と、左ＬＣＤ２４２と、を総称して「画像光生成部」とも呼ぶ。また、左投写光学系２５２は、左ＬＣＤ２４２から射出された画像光を並行状態の光束にするコリメートレンズによって構成される。左光学像表示部２８としての左導光板２６２は、左投写光学系２５２から出力された画像光を、所定の光路に沿って反射させつつ使用者の左眼ＬＥに導く。なお、左投写光学系２５２と左導光板２６２とを総称して「導光部」とも呼ぶ。

Ａ−２．取得音声の画像表示処理：
図３は、取得音声の画像表示処理の流れを示す説明図である。図３には、マイク６３が取得した音声を画像表示部２０に文字画像として表示する処理の流れが示されている。

初めに、カメラ６１は、外景を撮像する（ステップＳ３０５）。図４は、使用者の視野ＶＲの一例を示す説明図である。図４には、使用者が視認できる視野ＶＲと、画像表示部２０が画像を表示できる領域である最大画像表示領域ＰＮと、が示されている。図４に示すように、使用者は、目標音源である教師ＴＥと、教師ＴＥの発言を聞いている複数の生徒ＳＴと、を外景として視認できる。また、使用者は、教師ＴＥがホワイトボードＷＢに書いた文字を視認できる。使用者は、操作部１３５を操作することにより、カメラ６１によって視認している外景を撮像できる。なお、使用者が視認している外景とカメラ６１が撮像する外景とは、使用者の視線方向やカメラ６１の向き等によって異なる場合がある。そのため、他の実施形態では、カメラ６１が外景を撮像する前に、撮像される外景の画像を最大画像表示領域ＰＮに表示させて使用者に視認させ、使用者が操作部１３５を操作することで撮像する外景の画像が使用者の視野ＶＲに視認される外景に近づくように補正される態様にしてもよい。

次に、使用者は、音源方向を設定する（ステップＳ３１０）。図５は、カメラ６１が撮像した外景の画像の一例を示す説明図である。図５には、使用者が目標音源を特定する場合に、最大画像表示領域ＰＮの全域にカメラ６１が撮像した外景の画像が表示され、使用者の視野ＶＲ内で、かつ、最大画像表示領域ＰＮ以外の領域では使用者が外景を視認している状態が示されている。使用者が目標音源を特定したい場合に所定の操作を行なうと、画像処理部１６０は、最大画像表示領域ＰＮに表示されている画像に対して顔認識を行ない、教師ＴＥを目標音源の候補として抽出する。図５に示すように、最大画像表示領域ＰＮに表示された画像において教師ＴＥが抽出されると、画像表示部２０は、教師ＴＥの顔を囲んで点滅する矩形形状の枠ＭＡを最大画像表示領域ＰＮに表示する。この状態で、使用者が決定キー１１を押下すると、教師ＴＥが目標音源として特定され、音源方向が設定される。目標音源が特定されると、記憶部１２０は、最大画像表示領域ＰＮに表示された画像における枠ＭＡ内の画像を目標音源の画像として記憶する。そのため、本実施形態における頭部装着型表示装置１００では、操作部１３５に設定される特定の方向が音源方向であるため、音源から取得された音声を音源と関連付けて最大画像表示領域ＰＮに表示することができ、使用者の音声を認識する理解度を向上させることができる。

目標音源の画像が記憶されると、画像表示部２０は、最大画像表示領域ＰＮに撮像された外景の画像を表示しなくなり、使用者は、外景として教師ＴＥや生徒ＳＴを視認できるようになる。なお、設定された音源方向は、画像表示部２０の向きに関わらず、マイク６３から目標音源への絶対方向である。

音源方向が設定されると、次に、マイク駆動部１６３は、マイク６３の向きを設定する（図３のステップＳ３２０）。マイク駆動部１６３は、マイク６３が音源方向からの音声を取得する感度が最大になるような向きに設定する。マイク６３は、向きが設定されると、音声を取得する（ステップＳ３３０）。次に、変換部１８５は、マイク６３が取得した音声を、音声を表す文字画像へと変換する（ステップＳ３４０）。画像処理部１６０および画像表示部２０は、使用者に文字画像を視認させる（ステップＳ３５０）。

図６は、使用者の視野ＶＲの一例を示す説明図である。図６には、使用者が外景に加えて、教師ＴＥの音声を文字画像として表すテキスト画像ＴＸ１、テキスト画像ＴＸ２、テキスト画像ＴＸ３（以下、あわせて「テキスト画像群」とも呼ぶ）、を視認している状態が示されている。テキスト画像ＴＸ１は、教師ＴＥの音声がリアルタイムで変換されて更新されて表される文字画像である。テキスト画像ＴＸ２とテキスト画像ＴＸ３とは、テキスト画像ＴＸ１よりも所定の時間前の教師ＴＥの音声を表す文字画像である。テキスト画像群は、視野ＶＲにおいて、音源方向に存在する教師ＴＥに重複しない位置であると共に、教師ＴＥの近くの位置に表示される。そのため、第１実施形態における頭部装着型表示装置１００では、目標音源から取得される音声を表す文字画像であるテキスト画像群が音源方向に重複しない位置に表示されるため、使用者は、発言者と発言者の音声とをより関連付けて認識しやすい。

本実施形態では、テキスト画像ＴＸ１は、使用者の視野ＶＲにおける音源方向が視認される位置の近くに表示される。一般に、使用者の視野ＶＲは、最大で水平方向に約２００度、重力方向に約１２５度であることが知られている。本明細書では、使用者の視野ＶＲにおける音源方向の近くとは、音源方向を中心とする使用者の視野角６０度以内のことをいう。テキスト画像ＴＸ１が音源方向を中心として使用者の視野角４５度以内に表示されるとさらに好ましい。

また、テキスト画像ＴＸ１等は、使用者の視野ＶＲにおける中央部以外に表示される。本明細書では、使用者の視野ＶＲにおける中央部以外とは、使用者の視野ＶＲにおける中心から左右上下方向の３０度以内を除いた範囲をいう。また、テキスト画像ＴＸ１等が視野ＶＲにおける中心の左右上下方向の４５度以内を除いた範囲に表示されるとさらに好ましい。なお、画像処理部１６０と画像表示部２０とは、請求項における表示位置設定部に相当する。

テキスト画像ＴＸ１は、所定の時間が経過すると、テキスト画像ＴＸ２やテキスト画像ＴＸ３のように、教師ＴＥからの吹き出しがない１つの固まりである文字画像として表示される。１つの固まりの文字画像には、１分間における教師ＴＥの音声を表す文字画像が表示される。そのため、１分間ごとに新たな固まりのテキスト画像が作成される。図６に示すテキスト画像群の表示態様では、テキスト画像の固まりを３つまで表示し、新たなテキスト画像の固まりが作成されると、最大画像表示領域ＰＮから一番古いテキスト画像の固まりが表示されなくなる。記憶部１２０は、最大画像表示領域ＰＮにおけるテキスト画像の固まりの表示／非表示に関わらず、自動的に最大画像表示領域ＰＮに表示していたテキスト画像群をテキスト画像の固まりごとに分けて記憶する。なお、他の実施形態では、１つのテキスト画像の固まりは、１分間の間に取得される音声である必要はなく、例えば、２分間であってもよいし、テキスト画像群が１つにまとめられて１つのテキスト画像の固まりとして表示されてもよい。

次に、使用者の視線方向が変化したか否かが判定される（図３のステップＳ３６０）。本実施形態における現時点では、図４から図６までに示すように、使用者は、音源方向に存在する教師ＴＥを視認し続けており、音源方向と使用者の視線方向とはほとんど同じ方向である。

方向判定部１６１は、音源方向と視線方向とがなす角度が３０度以上変化したかを判定する。使用者の視線方向がほとんど動かず、使用者の視線方向と音源方向とのなす角が３０度未満であると判定された場合には（ステップＳ３６０：ＮＯ）、引き続き、文字画像は、視野ＶＲにおいて、教師ＴＥに重複しない位置であると共に、最大画像表示領域ＰＮの中央以外で教師ＴＥの近くの位置に表示される。なお、使用者の視線方向が３０度未満の範囲で動いた場合には、音源方向と視線方向とのなす角度に応じてテキスト画像群が最大画像表示領域ＰＮに表示される位置が変更される。なお、視線方向と音源方向とのなす角である３０度は、請求項における第１の閾値および第２の閾値に相当する。そのため、本実施形態における頭部装着型表示装置１００では、使用者の視野ＶＲに外景として音源方向が視認されている場合には、最大画像表示領域ＰＮにおいて音源方向の近くにテキスト画像ＴＸ１１等が表示されるため、取得される音声に対する使用者の理解度が向上する。

視線方向と音源方向とがなす角度が３０度以上変化したと判定された場合には（ステップＳ３６０：ＹＥＳ）、方向判定部１６１は、使用者の視野ＶＲに目標音源が視認されていないと判定する。この場合に、画像処理部１６０は、最大画像表示領域ＰＮにカメラ６１が撮像した目標音源の画像を表示すると共に、文字画像を表示する位置を変更する（ステップＳ３７０）。

図７は、使用者の視野ＶＲの一例を示す説明図である。図７には、使用者の視線方向が音源方向から下向きに変わり、使用者が手ＨＤに握ったペンＰＥＮを使ってノートＮＴにメモを取っている状態が示されている。図７に示すように、最大画像表示領域ＰＮの上側には、文字画像がリアルタイムでテキスト画像ＴＸ４に更新されて表示されている。また、最大画像表示領域ＰＮにおいて、テキスト画像ＴＸ４の右側には、目標音源である教師ＴＥの画像が画像ＩＭＧとして表示されている。テキスト画像ＴＸ４は、図６に示すテキスト画像群と異なり、音声を取得してから経過した時間にかかわらず、１つの固まりである文字画像として表示される。また、テキスト画像ＴＸ４は、最大画像表示領域ＰＮにおいて、画像ＩＭＧに重複せずに、かつ、画像ＩＭＧの近くに表示される。なお、本実施形態では、テキスト画像ＴＸ４を表示する位置と画像ＩＭＧの位置とは予め設定されている。言い換えれば、視線方向と音源方向とがなす角度が３０度以上の場合には、最大画像表示領域ＰＮにおける音源方向と関係のない位置にテキスト画像ＴＸ４が表示されている。そのため、本実施形態の頭部装着型表示装置１００では、音源方向が外景に視認されていなくても、最大画像表示領域ＰＮに音源方向の画像ＩＭＧと文字画像とが近くに表示されるので、取得される音声に対する使用者の理解度が向上する。

次に、取得音声の画像表示処理を終了するか否かが判断される（図３のステップＳ３８０）。取得音声の画像表示処理を行なうと判断された場合には（ステップＳ３８０：ＮＯ）、引き続き、ステップＳ３３０からステップＳ３７０までの処理が行なわれる。取得音声の画像表示処理を終了すると判断された場合には（ステップＳ３８０：ＹＥＳ）、使用者が所定の操作を行なうことで、取得音声の画像表示処理が終了する。

以上説明したように、本実施形態における頭部装着型表示装置１００では、マイク６３が取得した音声を変換部１８５が文字画像に変換する。操作部１３５が操作されることで音源方向が特定される。画像処理部１６０と画像表示部２０とは、音源方向に基づいて最大画像表示領域ＰＮに表示する文字画像の位置を設定する。そのため、この頭部装着型表示装置１００では、使用者が設定した方向に基づいて、使用者が取得する音声を、音声を表すテキスト画像ＴＸ１等として使用者に視認させることができ、使用者における音声を認識する理解度を向上させることができる。また、使用者が設定した方向に基づいて、取得された音声を表すテキスト画像ＴＸ１等を最大画像表示領域ＰＮに表示する位置が設定されるので、使用者は、設定した方向とテキスト画像ＴＸ１等との関係を認識しやすく、使用者の利便性が向上する。

また、本実施形態の頭部装着型表示装置１００では、９軸センサー６６と方向判定部１６１とは、画像表示部２０の向きによって使用者の視線方向を推定する。画像処理部１６０と画像表示部２０とは、音源方向と視線方向とのずれに基づいて、使用者の視野ＶＲにおける取得した音声を表す文字画像を表示する位置を設定する。そのため、本実施形態の頭部装着型表示装置１００では、音源方向と視線方向とのずれに応じて、使用者の視野ＶＲに音源が視認されているかいないかが判断されて、文字画像を表示する位置が設定されるので、使用者は、音源方向と文字画像とを関連付けて認識しやすい。

Ｂ１．第２実施形態：
図８は、第２実施形態における取得音声の画像表示処理の流れを示す説明図である。図８には、複数の異なる種類の音声を表す文字画像を区別して表示する処理の流れが示されている。第２実施形態における頭部装着型表示装置１００ａでは、第１実施形態のマイク６３に代えて指向性を有さないマイク６３ａが複数の音源から異なる種類の音声を取得し、音声処理部１７０が取得された複数の音声を種類ごとに識別する。

初めに、マイク６３ａは、複数の音源から、種類の異なる音声を取得する（ステップＳ４１０）。音声処理部１７０は、取得された複数の種類の音声のそれぞれから音声の特徴を抽出してモデル化し、音声を種類ごとに識別して認識する（以下、「話者認識」とも呼ぶ）（ステップＳ４２０）。なお、この時点では、音声処理部１７０が音声の種類の識別のみを行ない、音源と音源から取得される音声との対応関係については特定されていない。次に、変換部１８５は、複数の種類の音声を、音声を表す文字画像へと変換する（ステップＳ４３０）。画像処理部１６０は、文字画像を制御信号として画像表示部２０に送信し、画像表示部２０は、文字画像を音声の種類ごとに区別して使用者に視認させる（ステップＳ４４０）。

図９は、使用者の視野ＶＲの一例を表す説明図である。図９には、使用者が外景に加えて、教師ＴＥの音声を表す文字画像と生徒ＳＴ１の音声を表す文字画像とを異なる文字画像として視認している状態が示されている。図９に示すように、最大画像表示領域ＰＮにおいて、中央部分以外の右上に教師ＴＥの音声を文字画像として表すテキスト画像ＴＸ１１と、テキスト画像ＴＸ１１の下に生徒ＳＴ１の音声を文字画像として表すテキスト画像ＴＸ１２と、が示されている。テキスト画像ＴＸ１１とテキスト画像ＴＸ１２とは、文字画像における文字の色と文字の背景の色とが異なり、異なる種類の音声を表す文字画像として最大画像表示領域ＰＮに表示されている。

次に、カメラ６１は、外景を撮像する（図８のステップＳ４４５）。カメラ６１が外景を撮像する処理は、第１実施形態における図３のステップ３０５に示した処理と同じであるため、説明を省略する。

次に、使用者は、操作部１３５を操作することにより、最大画像表示領域ＰＮに表示される撮像された画像から１つの音源を選択することで、マイク６３ａから複数の音源までの複数の音源方向の内から１つの音源方向を特定する（ステップＳ４５０）。図１０は、カメラ６１が撮像した外景画像ＢＩＭの一例を示す説明図である。図１０には、最大画像表示領域ＰＮにカメラ６１が撮像した外景画像ＢＩＭが表示されている。外景画像ＢＩＭには、図９に示したテキスト画像ＴＸ１１およびテキスト画像ＴＸ１２と、カーソルＣＲと、指示画像ＣＭと、が表示されている。指示画像ＣＭは、使用者が次に行なう操作の指示を示す画像である。カーソルＣＲは、使用者が方向キー１６を操作することで最大画像表示領域ＰＮ上を移動する画像である。使用者が、指示画像ＣＭに表示されている「音源を特定してください」の指示に従い、カーソルＣＲを最大画像表示領域ＰＮに表示された目標音源である教師ＴＥに重なるように移動させて決定キー１１を押下すると、１つの目標音源が選択されると共に、音源方向が特定される。

次に、選択された目標音源から取得される音声を表す文字画像が選択される（図８のステップＳ４６０）。１つの目標音源が選択されると、指示画像ＣＭ内に表示される文字は、「選択した音源から取得される文字画像を選択してください」に変更される。使用者が教師ＴＥの音声を表す文字画像としてテキスト画像ＴＸ１１を選択すると、音声処理部１７０は、テキスト画像ＴＸ１１として表される種類の音声が教師ＴＥの音声であると認識する。

次に、制御部１０は、音声の種類の数と同数の音源方向の特定が行なわれたかを判定する（ステップＳ４７０）。この時点では、テキスト画像ＴＸ１２に対応する音源方向が設定されていないため（ステップＳ４７０：ＮＯ）、ステップＳ４５０およびステップＳ４６０の処理が行なわれる。使用者が、目標音源として生徒ＳＴ１を選択して（ステップＳ４５０）、生徒ＳＴ１の音声を表す文字画像としてテキスト画像ＴＸ１２を選択すると（ステップＳ４６０）、音声処理部１７０は、テキスト画像ＴＸ１２として表される種類の音声が生徒ＳＴ１の音声であると認識する。そのため、第２実施例における頭部装着型表示装置１００ａでは、簡便な操作によって、特定の音源方向と特定の音源方向から取得される音声を表す文字画像とが設定され、使用者は容易に話者認識の設定を行なうことができる。

使用者が音声の種類の数と同数の音源方向の特定を行なうと（ステップＳ４７０：ＹＥＳ）、次に、特定された音源方向と文字画像との対応関係が正しいか否かの判定が行なわれる（ステップＳ４７５）。対応関係が正しくないと判定された場合には（ステップＳ４７５：ＮＯ）、対応関係が正しくないと判定された音源方向と文字画像との組み合わせに対して、再度、ステップＳ４５０からステップＳ４７０までの処理が行なわれる。

音声の種類の数と同数の音源方向の特定が行なわれたと判定されると（ステップＳ４７５：ＹＥＳ）、画像処理部１６０と画像表示部２０は、最大画像表示領域ＰＮにおいて、指示画像ＣＭとカーソルＣＲとを非表示にして、テキスト画像ＴＸ１１とテキスト画像ＴＸ１２とを表示する方法および位置を変更する（ステップＳ４８０）。

図１１は、使用者の視野ＶＲの一例を示す説明図である。図１１では、特定された音源方向と特定された音源方向から取得される音声を表す文字画像とが関連付けて表示されている。図１１に示すように、テキスト画像ＴＸ１１は、教師ＴＥの音声を表す文字画像であるため、教師ＴＥを起点とする吹き出しで囲まれた文字の画像である。また、テキスト画像ＴＸ１２は、生徒ＳＴ１の音声を表す文字画像であるため、生徒ＳＴ１を起点とする吹き出しで囲まれた文字の画像である。テキスト画像ＴＸ１１とテキスト画像ＴＸ１２とのそれぞれでは、教師ＴＥと生徒ＳＴ１とのそれぞれから取得される音声を表す文字画像がリアルタイムで更新されて表示される。テキスト画像ＴＸ１１とテキスト画像ＴＸ１２とに表示される文字数は予め定められており、定められた文字数を超えると、超えた分の文字は表示されなくなる。他の実施形態では、文字の表示と非表示とが文字数によって行なわれるのではなく、時間等によって行なわれてもよい。また、音源方向から取得された最後の音声から同じ種類の音声が取得されずに所定の時間が経過すると、文字画像は最大画像表示領域ＰＮに表示されなくなる。本実施形態では、所定の時間としての５分が経過すると文字画像が表示されなくなるが、他の実施形態では、所定の時間が５分以外の時間であってもよい。

次に、使用者は、取得音声の画像表示処理を終了するか否かが判断される（図８のステップＳ４９０）。ステップＳ４９０における判断は、第１実施形態の図３のステップ３８０における判断と同じであるため、説明を省略する。

以上説明したように、第２実施形態における頭部装着型表示装置１００ａでは、音声処理部１７０は、取得された複数の音声を種類ごとに識別する。操作部１３５は、使用者による操作を受け付けることにより、マイク６３ａから、マイク６３ａが取得する複数の種類の音声のうち特定の音声が取得された音源までの方向を特定する。画像処理部１６０と画像表示部２０とは、使用者の視野ＶＲにおいて、テキスト画像ＴＸ１１とテキスト画像ＴＸ１２とを最大画像表示領域ＰＮに表示する位置を、それぞれテキスト画像ＴＸ１１、テキスト画像ＴＸ１２、として表される音声が取得される音源方向の近くに設定する。また、画像処理部１６０と画像表示部２０とは、使用者の視野ＶＲにおいて、テキスト画像ＴＸ１１とテキスト画像ＴＸ１２とを最大画像表示領域ＰＮに表示する位置のそれぞれを、複数の音源方向のいずれにも重複しない位置に設定する。そのため、第２実施形態における頭部装着型表示装置１００ａでは、複数の人が話す会話であっても、最大画像表示領域ＰＮにおいて、発言者の声を表す文字画像が当該発言者の近くの位置に表示される。よって、使用者は、聴覚に加えて、視覚で発言者と発言者の音声を表す文字画像とを関連付けて認識でき、会話の内容を理解しやすい。また、取得された音声を表す文字画像のいずれも、複数の音源方向と重複しない位置に表示されるため、使用者は、発言者と発言者の音声を表す文字画像とをより関連付けて視認することができる。

Ｂ２．第３実施形態：
図１３は、第３実施形態における頭部装着型表示装置１００ｂの構成を機能的に示す説明図である。第３実施形態における頭部装着型表示装置１００ｂでは、上記実施形態の頭部装着型表示装置１００と比べて、制御部１０ｂが無線通信部１３２を有することと、制御部１０ｂのＣＰＵ１４０ｂが画像判定部１４２として機能することと、が異なる。また、第３実施形態では、音声処理部１７０ｂは、マイク６３によって取得された音声とは異なる無線通信部１３２によって取得された音声信号を取得して、音声信号を音声としてイヤホン３２，３４のスピーカーに対して供給する。

無線通信部１３２は、無線ＬＡＮやbluetooth（登録商標）といった所定の無線通信規格に則って他の機器との間で無線通信を行なう。無線通信部１３２は、無線通信を行なうことで、マイク６３によって取得された音声とは異なる音声を表す音声信号を取得する。無線通信部１３２が取得する音声信号としては、例えば、ラジオ等から放送される音声信号や、頭部装着型表示装置１００ｂのマイク６３とは異なるマイクによって取得されてデジタル化された音声信号などが含まれる。画像処理部１６０は、カメラ６１によって継続的に撮像された外景画像（動画）に含まれる対象物を顔認識によって目標音源の候補として抽出する。画像判定部１４２は、抽出された目標音源の候補に対して、記憶部１２０に予め記憶された特定の対象物の画像データと同じ特定の対象物の動きの変化を、パターンマッチングによって判定する。例えば、目標音源の候補として、教師ＴＥが抽出された場合に、画像判定部１４２は、教師ＴＥの体の一部である口の部分に対してパターンマッチングを行ない、教師ＴＥの口の開閉状態を判定する。なお、無線通信部１３２は、請求項における通信部に相当する。カメラ６１によって継続的に撮像された外景画像（動画）は、請求項における画像取得部が取得する複数の時点における外景の画像に相当する。使用者は、カメラ６１によって撮像された外景画像とは別に、画像表示部２０の導光板２６１，２６２を透過した外景と、最大画像表示領域ＰＮに表示された表示画像と、を視認できる。

図１４は、第３実施形態における取得音声の画像表示処理の流れを示す説明図である。第３実施形態における取得音声の画像表示処理では、教師ＴＥの口の開閉状態を検出して音源方向が設定され、カメラ６１によって取得された音声とは異なる音声が異なる種類の文字画像として変換される点が、第１実施形態の取得音声の画像表示処理と異なる。

第３実施形態における取得音声の画像表示処理では、初めに、カメラ６１によって外景が撮像されると（ステップＳ５０５）、画像処理部１６０は、目標音源の候補として教師ＴＥを抽出する（ステップＳ５０６）。図１５は、使用者の視野ＶＲの一例を示す説明図である。図１５に示すように、目標音源の候補として教師ＴＥが抽出されると、次に、画像判定部１４２は、さらに、パターンマッチングによって、教師ＴＥの口の周辺部ＭＯ（以降、単に「口ＭＯ」とも呼ぶ）を抽出し、口ＭＯに開閉状態の変化があるか否かを判定する（図１４のステップＳ５０７）。教師ＴＥの口ＭＯに開閉状態の変化がないと判定された場合には（ステップＳ５０７：ＮＯ）、画像判定部１４２は、引き続き、教師ＴＥの口ＭＯを抽出した状態で、口ＭＯの開閉状態の変化の検出を監視する（ステップＳ５０７）。教師ＴＥの口ＭＯに開閉状態の変化があったと判定された場合には（ステップＳ５０７：ＹＥＳ）、操作部１３５が操作されなくても、記憶部１２０は、教師ＴＥの口ＭＯを目標音源として記憶し、音源方向を設定する（ステップＳ５１０）。

音源方向が設定されると、マイク駆動部１６３がマイク６３の向きを設定し（ステップＳ５２０）、マイク６３および無線通信部１３２は、音声および音声を表す音声信号を取得する（ステップＳ５３０）。第３実施形態では、無線通信部１３２が通信によって取得したインターネットラジオの音声信号を取得する。次に、変換部１８５は、マイク６３が取得した音声と、無線通信部１３２が取得した音声信号と、を異なる種類のフォントの文字画像へと変換する（ステップＳ５４０）。

音声および音声信号が文字画像へと変換されると、画像処理部１６０および画像表示部２０は、変換された異なる種類の文字画像を使用者に視認させる（ステップＳ５５０）。図１６は、使用者の視野ＶＲの一例を示す説明図である。図１６に示すように、最大画像表示領域ＰＮには、マイク６３によって取得される音声がテキスト画像ＴＸ４１と表示され、無線通信部１３２によって取得された音声信号がテキスト画像ＴＸ４２として表示される。テキスト画像ＴＸ４１のフォントはＭＳゴシックであり、テキスト画像ＴＸ４２のフォントはＭＳ明朝である。なお、他の実施形態では、最大画像表示領域ＰＮには、異なるフォントによってテキスト画像ＴＸ４１等が表示されてもよいし、太字や細字、文字の大小等、文字画像を形成するフォント以外の要素が変更されて表示されてもよい。

使用者に文字画像が視認させると（図１４のステップＳ５５０）、画像判定部１４２は、外景画像の目標音源の位置の変化を監視する（ステップＳ５６０）。カメラ６１が外景画像を継続して撮像しているため、画像判定部１４２は、複数の時点において、外景画像における目標音源である教師ＴＥの口の位置を特定できる。外景画像における教師ＴＥの口の位置が変化したと判定された場合（ステップＳ５６０：ＹＥＳ）、例えば、教師ＴＥの口ＭＯの位置が、図１６に示す視野ＶＲにおける位置から図６に示す視野ＶＲにおける位置へと変化した場合には、画像処理部１６０および画像表示部２０は、最大画像表示領域ＰＮに文字画像を表示する位置を変更する（図１４のステップＳ５７０）。画像処理部１６０および画像表示部２０は、最大画像表示領域ＰＮにおいて、位置が変化した教師ＴＥの口ＭＯの近くに文字画像光を表示する。文字画像光の表示位置が変更される（ステップＳ５７０）、または、ステップＳ５６０の処理において外景画像の目標音源の位置が変化していないと判断された場合（ステップＳ５６０：ＮＯ）、取得音声の画像表示処理を終了するか否かが判断される（ステップＳ５８０）。

以上説明したように、第３実施形態における頭部装着型表示装置１００ｂでは、カメラ６１が継続的に外景画像を撮像し、画像処理部１６０および画像表示部２０は、外景画像における教師ＴＥの口ＭＯの位置が変化したと判定された場合には、最大画像表示領域ＰＮに文字画像を表示する位置を変更する。そのため、第３実施形態における頭部装着型表示装置１００ｂでは、音源方向がより詳細に使用者に認識され、文字画像が表示される位置が音源方向の近くに設定されるため、使用者に音源方向と目標音源が発する音声を表す文字画像とをより関連付けて認識させやすい。

また、第３実施形態における頭部装着型表示装置１００ｂでは、音声処理部１７０ｂがマイク６３によって取得された音声とは異なる無線通信部１３２によって取得された音声信号を取得する。変換部１８５は、マイク６３が取得した音声と、無線通信部１３２が取得した音声信号と、を異なる種類のフォントの文字画像へと変換する。そのため、第３実施形態における頭部装着型表示装置１００ｂでは、マイク６３によって取得された音声を表すテキスト画像ＴＸ４１と、マイク６３以外によって取得した音声を表すテキスト画像ＴＸ４２と、が異なる種類の文字画像で表示されるため、使用者に音声を発する音源の違いを視覚によって認識させることができる。また、この頭部装着型表示装置１００ｂでは、マイク６３によって取得された音声とは異なる音声は、無線通信部１３２による通信によって取得された音声信号を表す音声である。そのため、この頭部装着型表示装置１００ｂでは、使用者は、マイク６３によって取得される外部の音声のみでなく、通信によって取得されたさまざま音声信号を表す音声を聞くと共に、通信によって取得された音声を視覚情報として認識できる。

Ｃ．変形例：
なお、この発明は上記実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、例えば、次のような変形も可能である。

Ｃ１．変形例１：
上記実施形態では、頭部装着型表示装置１００において、変換部１８５が取得された音声をリアルタイムで文字画像に変換して、使用者に文字画像を視認させる態様としたが、文字画像を使用者に視認させる方法はこれに限られず、種々変形可能である。

図１２は、使用者の視野ＶＲの一例を示す説明図である。図１２では、記憶部１２０に記憶された音声が種類ごとに区別されて、音声が録音された時間に関連付けられて最大画像表示領域ＰＮに音声を表す文字画像として表示されている。図１２に示すように、最大画像表示領域ＰＮの左側には、音声の録音を開始してからの経過時間ＴＭが表示されている。最大画像表示領域ＰＮにおける経過時間ＴＭの右側には、複数の文字画像であるテキスト画像ＴＸ３５等が表示されている。テキスト画像ＴＸ３５等は、経過時間ＴＭに示す録音された時間と関連付けられて表示されている。例えば、テキスト画像ＴＸ３５は、音声を文字画像へと変換し始めた録音開始時に、録音され始めた音声を表す文字画像であり、テキスト画像ＴＸ３５内の文字から音源が教師ＴＥであることがわかる。また、テキスト画像ＴＸ３２は、録音が開始されてからおよそ３２分が経過したときに、録音され始めた音声を表す文字画像であり、テキスト画像ＴＸ３２内の文字から音源が生徒ＳＴ１であることがわかる。

図１２に示すカーソルＣＲがテキスト画像ＴＸ３５等に重ねられて選択されると、テキスト画像ＴＸ３５として表示されている文字画像が最大画像表示領域ＰＮの全域に拡大して表示される。また、使用者からの操作によって、音源方向を撮像した画像が文字画像とあわせて表示される。そのため、この頭部装着型表示装置１００では、使用者は、音声を聞き逃した場合や、文字画像を見逃した場合でも、記憶部１２０に記憶された音声を表す文字画像を後から確認できる。また、記憶部１２０には、音源方向を撮像した画像や録音された時間の対応関係についても記憶されているので、使用者が過去に録音した音声を表す文字画像を検索する場合などに利便性が向上する。

また、使用者が音声を聞いている場合に、操作部１３５に所定の操作が行なわれることで、所定の操作を受け付けている間に取得される音声が特別な文字画像として表示されてもよいし、特別な音声として記憶部１２０に記憶されてもよい。この頭部装着型表示装置１００では、使用者の操作によって、文字画像が特徴付けられて最大画像表示領域ＰＮに表示されたり、音声が特徴付けられて記憶されたりする。よって、使用者は、音声および文字画像ごとに新たな情報を付加できるため、使用者の利便性が向上する。

また、画像表示部２０は、音声が取得された時点から所定の時間遅らせて文字画像を使用者に視認させてもよい。例えば、画像表示部２０は、取得された音声を３０秒遅れて最大画像表示領域ＰＮに表示させてもよい。この頭部装着型表示装置１００では、使用者は、一時的に音声を聞き逃すと共にリアルタイムでの音声を表す文字画像を見逃した場合に、音声よりも遅れて表示される文字画像によって、現時点で聞いている音声とあわせて３０秒前に聞き逃した音声を表す文字画像として視認できる。よって、使用者は、取得される音声の前後のつながりを理解しやすい。

Ｃ２．変形例２：
上記実施形態では、推定された使用者の視線方向と音源方向とのずれによって、最大画像表示領域ＰＮにおいて、表示される文字画像の位置が設定されたが、表示される文字画像の位置の設定方法はこれに限られず、種々変形可能である。例えば、推定された使用者の視線方向のみに基づいて、最大画像表示領域ＰＮに表示される文字画像の位置や方法が設定されてもよい。

方向判定部１６１と９軸センサー６６とは、画像表示部２０の動きを検出することで、取得される音声を表す文字画像が最大画像表示領域ＰＮに表示されている表示状態を基準として、視線方向の角度の変化量と角速度とのうち少なくとも一方を推定する。なお、視線方向の角度の変化量と角速度とは、請求項における特定値に相当する。また、９軸センサー６６が地磁気を検出できるため、９軸センサー６６によって重力方向と重力方向に垂直な水平方向とが特定され、方向判定部１６１と９軸センサー６６とは、重力方向と水平方向とに対する角度の変化量および角速度を推定できる。この変形例の頭部装着型表示装置１００では、視線方向の角度が３０度以上変化した場合、または、角速度が１（ラジアン／秒）以上の場合には、方向判定部１６１は、使用者が最大画像表示領域ＰＮに表示される文字画像ではなく、外景を視認したいと判定する。この場合に、画像処理部１６０と画像表示部２０とは、最大画像表示領域ＰＮにおいて、中央部分以外で、使用者の視線が移った逆の方向に、文字画像を表示する位置を変更する。例えば、使用者の視線方向が重力方向に対して上を向いた場合には、使用者が上の外景を視認したいと推定できるので、最大画像表示領域ＰＮにおける下側に文字画像が表示される。そのため、この変形例の頭部装着型表示装置１００では、使用者が視認したい方向にあわせて、使用者の視界の妨げにならない位置に自動で文字画像を表示する位置が変更されるので、使用者の使い勝手が向上する。なお、３０度は請求項における第３の閾値に相当し、１（ラジアン／秒）は請求項における第５の閾値に相当する。なお、他の実施形態では、閾値として、角度の変化量が３０度以外の数値であってもよいし、角速度が１（ラジアン／秒）以外の数値であってもよい。

また、この変形例の頭部装着型表示装置１００では、表示状態を基準として、視線方向の角度の変化量が３０度未満、かつ、視線方向の角速度が１（ラジアン／秒）未満であり、かつ、その状態で３０秒が経過した場合には、方向判定部１６１は、使用者が最大画像表示領域ＰＮに表示される文字画像に注目していると判定する。この場合に、画像処理部１６０と画像表示部２０とは、最大画像表示領域ＰＮにおける中央部分に、文字画像を表示する。そのため、この変形例の頭部装着型表示装置１００では、使用者が文字画像に注目していると判定された場合に、使用者が視認しやすい位置に自動で文字画像を表示するので、使用者の使い勝手が向上する。なお、３０度は請求項における第４の閾値に相当し、１（ラジアン／秒）は請求項における第６の閾値に相当する。

Ｃ３．変形例３：
上記実施形態では、特定の方向として目標音源が存在する音源方向が設定されたが、必ずしも音源方向が特定の方向である必要はなく、設定される特定の方向については種々変形可能である。例えば、音源であるバスガイドがスカイツリーのようなランドマークの説明を行なっている場合に、音源ではなく、使用者の視野ＶＲに視認されるスカイツリーの方向が特定の方向として設定されてもよい。この場合に、使用者は、常に音源とは異なる特定の方向であるスカイツリーを視認しながら、文字画像を視認できる。この変形例における頭部装着型表示装置１００では、使用者が視認したい特定の方向を自由に設定できるため、使用者の使い勝手が向上する。

また、特定の方向としては、使用者が視認している視線方向、使用者の背後方向、車の進行方向であってもよい。例えば、特定の方向が使用者の背後方向であって場合には、表示される文字画像の態様を変化させて、使用者に背後方向で取得された音声を表す文字画像であることを認識させてもよい。

また、上記実施形態では、人間から取得される声を音声の一例としたが、取得されて変換される音声はこれに限られず、種々変形可能であり、人間以外の生物である動物の鳴き声等であってもよいし、サイレンといった警告音や効果音であってもよい。例えば、使用者が多くの人に囲まれていて、多くの人の声を聞いている場合に、音声処理部１７０が警告音のみを識別して、警告音を表す文字画像を使用者に視認させることで、いち早く使用者に警告を告知できるため、使用者の利便性が向上する。

また、上記実施形態では、使用者の視線方向が画像表示部２０に備え付けられた９軸センサー６６によって推定されたが、使用者の視線方向の推定方法はこれに限られず、種々変形可能である。例えば、ＣＣＤカメラによって使用者の眼を撮像して、撮像した画像を解析することで、使用者の視線方向が推定されてもよい。

また、上記実施形態では、文字画像は、最大画像表示領域ＰＮにおいて、音源方向の近くの位置に表示され、中央部分以外に表示される態様としたが、文字画像が表示される位置や方法はこれに限られず、種々変形可能である。例えば、文字画像が使用者に視認される外景と比較して重要であるならば、最大画像表示領域ＰＮの中央部分に文字画像が表示されてもよい。また、使用者の視野ＶＲにおいて、目標音源が隅の方で視認されており、できるだけ多くの文字数を最大画像表示領域ＰＮに表示させたい場合には、音源方向に重ならない最大画像表示領域ＰＮの全域に文字画像が表示されてもよい。また、使用者の視野ＶＲにおける外景の視認性を高めるために、音源方向と文字画像とが重ねられて表示されてもよい。

Ｃ４．変形例４：
上記実施形態では、マイク６３は、画像表示部２０に対して相対的に動いて向きを変えることで、音声を取得する感度をマイク６３から音源への方向に応じて変える態様としたが、必ずしも画像表示部２０に対して相対的に動く必要はなく、マイク６３の構造および構成は種々変形可能である。例えば、変形例におけるマイク６３ｂは、別々の方向を向いている指向性を有する複数のマイクから構成されていてもよい。この場合に、使用者からの操作によって、複数のマイクのうちいくつかのマイクからの音声を取得しないことで、マイク６３ｂが方向ごとに音声を取得する感度を変更できる。この頭部装着型表示装置１００では、マイク６３ｂを画像表示部２０に対して相対的に動かす構造が不要であるため、簡便な構成によって音声を取得するマイク６３ｂの指向性が設定される。

Ｃ５．変形例５：
上記実施形態では、視線方向と音源方向とがなす角度が３０度以上の場合に、最大画像表示領域ＰＮにおいて、カメラ６１が撮像した音源方向の画像を表示して、音源方向の画像の近くに文字画像が表示される態様としたが、視線方向と音源方向との関係によって、文字画像を表示される方法および位置が変更される態様については種々変形可能である。例えば、視線方向と音源方向とがなす角度に関わらず、最大画像表示領域ＰＮにおける予め定められた位置に常に文字画像が表示される態様であってもよい。また、視線方向と音源方向とがなす角度が３０度を閾値として、文字画像が最大画像表示領域ＰＮに表示される位置が設定されるのではなく、３０度よりも大きい角度や小さい角度が閾値として設定されてもよい。

Ｃ６．変形例６：
上記実施形態では、画像処理部１６０は、カメラ６１が撮像した外景の画像に対して顔認証を行なうことで、音源として教師ＴＥを抽出したが、音源の抽出方法については種々変形可能である。例えば、測距センサーによって、使用者から一定距離に存在するものが音源の候補として抽出されてもよい。

また、上記実施形態では、音声処理部１７０は、話者認識によって種類の異なる音声を識別しているが、音声の識別方法についてはこれに限られず、種々変形可能である。例えば、大学の講義のように使用者が毎週同じ音源である教師ＴＥの話を聞く場合、予め、教師ＴＥの音声の特徴が頭部装着型表示装置１００に登録されることで、教師ＴＥ以外の音声が文字画像へと変換されないように設定できる。この頭部装着型表示装置１００では、その都度、音源方向と異なる種類ごとの音声の設定が不要であり、また、使用者が文字画像として最大画像表示領域ＰＮに表示させたい種類の音声を表す文字画像を高い精度で識別することできる。

また、上記実施形態では、取得された音声を、音声を表す文字画像として変換したが、音声を文字画像へと変換する方法は種々変形可能である。例えば、プライバシー保護の観点から、公演では取得された音声が文字画像へと変換されて、取得された音声の録音は行われない設定にしてもよい。また、頭部装着型表示装置１００に個人名等の特定の言葉が予め登録されておくことで、登録された言葉については、音声が取得されても文字画像へと変換が行われない設定としてもよい。

また、頭部装着型表示装置１００に予め登録される音声としては、機械の稼働音のような音であってもよい。例えば、稼働音を表す文字画像を使用者に視認させ、産業用機械における正常稼動時の稼動音を予め登録する。この場合に、産業用機械が設置された工場内が他の機械等によって騒がしい場合であっても、産業用機械が異常稼動時の稼働音を表す文字画像を使用者が視認できることで、使用者は、産業用機械の稼働状態が正常か否かを視覚情報として認識できる。

Ｃ７．変形例７：
上記実施形態における頭部装着型表示装置１００の構成は、あくまで一例であり、種々変形可能である。例えば、制御部１０に設けられた方向キー１６やトラックパッド１４の一方を省略したり、方向キー１６やトラックパッド１４に加えてまたは方向キー１６やトラックパッド１４に代えて操作用スティック等の他の操作用インターフェイスを設けたりしてもよい。また、制御部１０は、キーボードやマウス等の入力デバイスを接続可能な構成であり、キーボードやマウスから入力を受け付けるものとしてもよい。

また、画像表示部として、眼鏡のように装着する画像表示部２０に代えて、例えば帽子のように装着する画像表示部といった他の方式の画像表示部を採用してもよい。また、イヤホン３２，３４、カメラ６１、は適宜省略可能である。また、上記実施形態では、画像光を生成する構成として、ＬＣＤと光源とを利用しているが、これらに代えて、有機ＥＬディスプレイといった他の表示素子を採用してもよい。また、上記実施形態では、使用者の頭の動きを検出するセンサーとして９軸センサー６６を利用しているが、これに代えて、加速度センサー、角速度センサー、地磁気センサーのうちの１つまたは２つから構成されたセンサーを利用するとしてもよい。また、上記実施形態では、頭部装着型表示装置１００は、両眼タイプの光学透過型であるとしているが、本発明は、例えばビデオ透過型や単眼タイプといった他の形式の頭部装着型表示装置にも同様に適用可能である。

また、上記実施形態において、頭部装着型表示装置１００は、使用者の左右の眼に同じ画像を表す画像光を導いて使用者に二次元画像を視認させるとしてもよいし、使用者の左右の眼に異なる画像を表す画像光を導いて使用者に三次元画像を視認させるとしてもよい。

また、上記実施形態において、ハードウェアによって実現されていた構成の一部をソフトウェアに置き換えるようにしてもよく、逆に、ソフトウェアによって実現されていた構成の一部をハードウェアに置き換えるようにしてもよい。例えば、上記実施形態では、画像処理部１６０や音声処理部１７０は、ＣＰＵ１４０がコンピュータープログラムを読み出して実行することにより実現されるとしているが、これらの機能部はハードウェア回路により実現されるとしてもよい。

また、本発明の機能の一部または全部がソフトウェアで実現される場合には、そのソフトウェア（コンピュータープログラム）は、コンピューター読み取り可能な記録媒体に格納された形で提供することができる。この発明において、「コンピューター読み取り可能な記録媒体」とは、フレキシブルディスクやＣＤ−ＲＯＭのような携帯型の記録媒体に限らず、各種のＲＡＭやＲＯＭ等のコンピューター内の内部記憶装置や、ハードディスク等のコンピューターに固定されている外部記憶装置も含んでいる。

また、上記実施形態では、図１および図２に示すように、制御部１０と画像表示部２０とが別々の構成として形成されているが、制御部１０と画像表示部２０との構成については、これに限られず、種々変形可能である。例えば、画像表示部２０の内部に、制御部１０に形成された構成の全てが形成されてもよいし、一部が形成されてもよい。また、制御部１０に形成された構成の内、操作部１３５のみが単独のユーザーインターフェース（ＵＩ）として形成されてもよいし、上記実施形態における電源１３０が単独で形成されて、交換可能な構成であってもよい。また、制御部１０に形成された構成が重複して画像表示部２０に形成されていてもよい。例えば、図２に示すＣＰＵ１４０が制御部１０と画像表示部２０との両方に形成されていてもよいし、制御部１０に形成されたＣＰＵ１４０と画像表示部２０に形成されたＣＰＵとが行なう機能が別々に分けられている構成としてもよい。

Ｃ８．変形例８：
例えば、画像光生成部は、有機ＥＬ（有機エレクトロルミネッセンス、Organic Electro-Luminescence）のディスプレイと、有機ＥＬ制御部とを備える構成としても良い。また、例えば、画像生成部は、ＬＣＤに代えて、ＬＣＯＳ（Liquid crystal on silicon, LCoS は登録商標）や、デジタル・マイクロミラー・デバイス等を用いることもできる。また、例えば、レーザー網膜投影型のヘッドマウントディスプレイに対して本発明を適用することも可能である。レーザー網膜投影型の場合、「画像光生成部における画像光の射出可能領域」とは、使用者の眼に認識される画像領域として定義することができる。

また、例えば、ヘッドマウントディスプレイは、光学像表示部が使用者の眼の一部分のみを覆う態様、換言すれば、光学像表示部が使用者の眼を完全に覆わない態様のヘッドマウントディスプレイとしてもよい。また、ヘッドマウントディスプレイは、いわゆる単眼タイプのヘッドマウントディスプレイであるとしてもよい。

また、イヤホンは耳掛け型やヘッドバンド型を採用してもよく、省略しても良い。また、例えば、自動車や飛行機等の車両に搭載されるヘッドマウントディスプレイとして構成されてもよい。また、例えば、ヘルメット等の身体防護具に内蔵されたヘッドマウントディスプレイとして構成されてもよい。

Ｃ９．変形例９：
また、上記実施形態では、使用者に文字画像を視認させる表示装置として、使用者の頭部に装着される頭部装着型表示装置１００を用いたが、表示装置はこれに限られず、種々変形可能である。例えば、自動車のフロントガラスに用いられるヘッドアップディスプレイ（Head-up Display；ＨＵＤ）であってもよい。この場合に、使用者である自動車の運転手は、進行方向の視野を確保した上で自動車の外の音等を文字画像として視認することができる。この変形例の表示装置では、聴覚障害者が運転手である場合や自動車内が騒がしい場合に、自動車の外の音を視覚情報として認識できるので、外部での危険情報を視覚情報として認識でき、自動車を運転しているときの安全性を高めることができる。

Ｃ１０．変形例１０：
また、上記第３実施形態では、図１４のステップＳ５０７の処理において、教師ＴＥの口ＭＯに開閉状態の変化がないと判定された場合には（ステップＳ５０７：ＮＯ）、引き続き、画像判定部１４２が教師ＴＥの口ＭＯの開閉状態の変化の検出を監視するが、必ずしも、画像判定部１４２が変化の検出を監視する必要はない。例えば、教師ＴＥの口ＭＯの開閉状態の変化が検出されない場合には、画像処理部１６０によって抽出された教師ＴＥを目標音源として、音源方向が設定されてもよい。また、この場合に、教師ＴＥの口ＭＯの開閉状態の変化が初めて検出された後には、教師ＴＥの口ＭＯを目標音源として、音源方向が設定されてもよい。

また、上記第３実施形態では、マイク６３によって取得される音声と異なる音声として、無線通信部１３２が通信によって取得した音声信号を表す音声が例に挙げられているが、マイク６３によって取得される音声と箱となる音声は、これに限られず種々変形可能である。例えば、マイク６３によって取得される音声とは異なる音声として、マイク６３とは別に教師ＴＥの胸元に装着されたピンマイクが取得した音声であってもよい。また、マイク６３によって取得された音声の内、音声処理部１７０によって人が発声する音声と、機械等によって発せられる音声と、が識別されることで、これらの音声が変換された文字画像のフォントが変えられてもよい。また、複数の異なる音声の内の１つの音声のみが文字画像として変換されてもよいし、複数の音声の種類は３種類以上であってもよい。

Ｃ１１．変形例１１：
上記実施形態では、外景画像や使用者の視線方向等に基づいてマイク６３から音源方向が設定されたが、音源方向の設定方法についてはこれに限られず、種々変形可能である。例えば、複数の指向性を有するマイクにおいて、それぞれの方向から取得された音量の大きさ（例えば、デジベル（ｄＢ））が比較されて、最も音量が大きい方向が音源方向として設定されてもよい。この変形例の頭部装着型表示装置１００では、最も音量の大きい音声を表す文字画像を使用者に視認させるため、例えば、ヘッドホン等によって使用者が外部の音声を聞きづらい場合であっても、最も注意すべき外部の音声を使用者に視覚情報として認識させることができる。

また、上記実施形態では、視線方向と設定された音源方向とのずれに応じて文字画像が表示される位置が設定されたが、文字画像が表示される位置の設定の方法はこられに限られず、種々変形可能である。例えば、この変形例では、マイク６３ｃは、Ａ方向とＢ方向とから取得される音声の音量の感度が最大である。マイク６３ｃは、ある時点において、取得した音量の大きさがＡ方向とＢ方向とで同じであり、その後に、Ａ方向から取得した音量の大きさがＢ方向のものよりも大きかった場合に、方向判定部１６１は、目標音源がＢ方向からＡ方向へと近づいたと判定する。その後、画像処理部１６０および画像表示部２０は、マイク６３ｃによって取得された音声を変換した文字画像を、最大画像表示領域ＰＮにおけるＡ方向付近に表示させる。この変形例では、マイク６３ｃが方向によって取得する音声の音量の感度が異なり、画像処理部１６０および画像表示部２０が取得された音声の音量に基づいて文字画像を表示する位置を変更する。そのため、この変形例では、カメラ６１等がなくても、音源方向を設定して、目標音源の近くに取得された文字画像を表示できるので、使用者の利便性が向上する。

また、音源方向は、ＧＰＳ（Global Positioning System）によって設定されてもよい。例えば、教師ＴＥのように、予め取得したい音声を発する目標音源が判明している場合、目標音源にＧＰＳモジュールを内蔵させると共に、画像表示部２０にもＧＰＳモジュールを内蔵させ、無線通信部１３２がＧＰＳモジュールの位置情報を受信することで、画像表示部２０とＧＰＳモジュールを携帯する教師ＴＥとの位置関係を特定してもよい。この変形例では、カメラ６１の外景画像や指向性を有するマイク６３等によって音源方向を特定するよりも、より詳細な音源方向が特定される。なお、画像表示部２０に対する音源方向を特定する方法は、ＧＰＳモジュールを用いることに限られず、種々変形可能である。例えば、頭部装着型表示装置１００と１対１で対応する通信機を教師ＴＥに携帯させてもよい。

また、ＧＰＳモジュール等によって衛星を用いた三角測量が行なわれることで、画像表示部２０から目標音源までの距離が特定され、特定された距離に基づいて、最大画像表示領域ＰＮに表示される文字画像の大きさが設定されてもよい。例えば、画像表示部２０から目標音源までの距離が近いほど、最大画像表示領域ＰＮにカメラ６１によって取得された音声を表す文字画像が大きく表示されてもよい。この変形例では、使用者から目標音源までの距離に応じて文字画像の大きさが変化するため、使用者に目標音源までの距離を視覚情報として認識させることができる。なお、最大画像表示領域ＰＮに表示される文字画像の大きさは、画像表示部２０から目標音源までの距離を何段階かに分類して、その分類に応じて段階的に変更してもよい。この場合に、一定以上の距離が離れた場合には、最大画像表示領域ＰＮにおいて文字画像が表示される位置を、最大画像表示領域ＰＮの中心からずれた位置に表示させることで、使用者の視認性を向上させてもよい。また、文字画像の大きさの代わりに文字画像の種類が変化してもよいし、大きさおよび種類のいずれもが変化してもよい。なお、音源方向については、カメラ６１等によって特定されて、画像表示部２０から目標音源までの距離のみがＧＰＳモジュール等によって特定されてもよい。ＧＰＳモジュールおよび無線通信部１３２は、請求項における距離特定部に相当する。

また、画像表示部２０から目標音源までの距離を特定する方法については、種々変形可能である。画像表示部２０から目標音源までの距離を特定する方法として、ＧＰＳモジュールを用いる以外に、光学式の二重像合致式距離計が用いられてもよいし、超音波式距離計が用いられてもよい。また、画像表示部２０に、配置される場所が異なる複数のカメラ６１が設けられ、配置された場所が異なるカメラ６１が撮像した画像のそれぞれに基づいて、画像表示部２０から目標音源までの距離が特定されてもよい。また、目標音源に光を照射して、受光素子を用いてその反射光を受光して評価することで、画像表示部２０から目標音源までの距離が特定されてもよい。また、無線ＬＡＮの電波の強度によって距離が特定されてもよい。

図１７は、変形例における頭部装着型表示装置の外観構成を示す説明図である。図１７（Ａ）の例の場合、図１に示した頭部装着型表示装置１００との違いは、画像表示部２０ｃが、右光学像表示部２６に代えて右光学像表示部２６ｃを備える点と、左光学像表示部２８に代えて左光学像表示部２８ｃを備える点である。右光学像表示部２６ｃは、上記実施形態の光学部材よりも小さく形成され、頭部装着型表示装置１００ｃの装着時における使用者ＵＳの右眼の斜め上に配置されている。同様に、左光学像表示部２８ｃは、上記実施形態の光学部材よりも小さく形成され、頭部装着型表示装置１００ｃの装着時における使用者ＵＳの左眼の斜め上に配置されている。図１７（Ｂ）の例の場合、図１に示した頭部装着型表示装置１００との違いは、画像表示部２０ｄが、右光学像表示部２６に代えて右光学像表示部２６ｄを備える点と、左光学像表示部２８に代えて左光学像表示部２８ｄを備える点である。右光学像表示部２６ｄは、上記実施形態の光学部材よりも小さく形成され、ヘッドマウントディスプレイの装着時における使用者ＵＳの右眼の斜め下に配置されている。左光学像表示部２８ｄは、上記実施形態の光学部材よりも小さく形成され、ヘッドマウントディスプレイの装着時における使用者ＵＳの左眼の斜め下に配置されている。このように、光学像表示部は使用者ＵＳの眼の近傍に配置されていれば足りる。また、光学像表示部を形成する光学部材の大きさも任意であり、光学像表示部が使用者ＵＳの眼の一部分のみを覆う態様、換言すれば、光学像表示部が使用者ＵＳの眼を完全に覆わない態様の頭部装着型表示装置１００として実現できる。

本発明は、上記実施形態や変形例に限られるものではなく、その趣旨を逸脱しない範囲において種々の構成で実現することができる。例えば、発明の概要の欄に記載した各形態中の技術的特徴に対応する実施形態、変形例中の技術的特徴は、上述の課題の一部または全部を解決するために、あるいは、上述の効果の一部または全部を達成するために、適宜、差し替えや、組み合わせを行なうことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することが可能である。

１０…制御部
１１…決定キー
１２…点灯部
１３…表示切替キー
１４…トラックパッド
１５…輝度切替キー
１６…方向キー
１７…メニューキー
１８…電源スイッチ
２０…画像表示部（表示位置設定部）
２１…右保持部
２２…右表示駆動部
２３…左保持部
２４…左表示駆動部
２６…右光学像表示部
２８…左光学像表示部
３０…イヤホンプラグ
３２…右イヤホン
３４…左イヤホン
４０…接続部
４２…右コード
４４…左コード
４６…連結部材
４８…本体コード
５１，５２…送信部
５３，５４…受信部
６１…カメラ（画像取得部）
６３…マイク（音声取得部）
６６…９軸センサー（視線方向推定部）
１００…頭部装着型表示装置
１１０…入力情報取得部
１２０…記憶部
１３０…電源
１３２…無線通信部（通信部、距離特定部）
１３５…操作部（特定方向設定部）
１４０…ＣＰＵ
１４２…画像判定部
１５０…オペレーティングシステム
１６０…画像処理部（表示位置設定部）
１６１…方向判定部（視線方向推定部）
１６３…マイク駆動部（音声取得部）
１７０…音声処理部（音声識別部）
１８０…インターフェイス
１８５…変換部
１９０…表示制御部
２０１…右バックライト制御部
２０２…左バックライト制御部
２１１…右ＬＣＤ制御部
２１２…左ＬＣＤ制御部
２２１…右バックライト
２２２…左バックライト
２４１…右ＬＣＤ
２４２…左ＬＣＤ
２５１…右投写光学系
２５２…左投写光学系
２６１…右導光板
２６２…左導光板
ＶＳｙｎｃ…垂直同期信号
ＨＳｙｎｃ…水平同期信号
ＰＣＬＫ…クロック信号
ＯＡ…外部機器
ＷＢ…ホワイトボード
ＴＥ…教師
ＳＴ，ＳＴ１，ＳＴ２，ＳＴ３…生徒
ＣＭ…指示画像
ＰＮ…最大画像表示領域
ＣＲ…カーソル
ＶＲ…使用者の視野
ＮＴ…ノート
ＰＥＮ…ペン
ＩＭＧ…画像
ＢＩＭ…外景画像
ＴＸ１，ＴＸ２，ＴＸ３，ＴＸ１１，ＴＸ１２，ＴＸ３１，ＴＸ３２，ＴＸ３３，ＴＸ３４，ＴＸ３５，ＴＸ４１，ＴＸ４２…テキスト画像
ＭＯ…教師ＴＥの口

Claims (36)

1. 透過型の表示装置であって、
   画像を表す画像光を生成し、使用者に前記画像光を視認させると共に、外景を透過させる画像表示部と、
   音声を取得する音声取得部と、
   前記音声を文字により画像として表した文字画像に変換する変換部と、
   特定の方向を設定する特定方向設定部と、
   前記特定の方向に基づいて、使用者の視野における前記文字画像を表す文字画像光を視認させる位置である画像表示位置を設定する表示位置設定部と、
   複数の時点における外景の画像を取得する画像取得部と、
   を備え、
   前記表示位置設定部は、前記画像表示位置を、使用者の視野における中心以外に対応する位置に設定し、
   前記表示位置設定部は、複数の時点間の前記外景の画像における前記特定の方向の変化があった場合には、前記特定の方向に基づいて前記画像表示位置を変更する、表示装置。
2. 請求項１に記載の表示装置であって、さらに、
   前記表示装置から音源までの距離を特定する距離特定部を備え、
   前記変換部は、前記特定された距離に基づいて前記文字画像の種類を変更する、表示装置。
3. 透過型の表示装置であって、
   画像を表す画像光を生成し、使用者に前記画像光を視認させると共に、外景を透過させる画像表示部と、
   音声を取得する音声取得部と、
   前記音声を文字により画像として表した文字画像に変換する変換部と、
   特定の方向を設定する特定方向設定部と、
   前記特定の方向に基づいて、使用者の視野における前記文字画像を表す文字画像光を視認させる位置である画像表示位置を設定する表示位置設定部と、
   前記表示装置から音源までの距離を特定する距離特定部と、
   を備え、
   前記表示位置設定部は、前記画像表示位置を、使用者の視野における中心以外に対応する位置に設定し、
   前記変換部は、前記特定された距離に基づいて前記文字画像の種類を変更する、表示装置。
4. 請求項１から３までのいずれか一項に記載の表示装置であって、
   前記表示位置設定部は、前記画像表示位置を、使用者の視野における前記特定の方向に対応する位置に重複しないように設定する、表示装置。
5. 請求項１から請求項４までのいずれか一項に記載の表示装置であって、
   前記音声取得部は、音源から前記音声取得部への方向に応じて音声を取得する感度が異なり、
   前記特定の方向は、取得された音声の感度に基づいて設定される、表示装置。
6. 請求項１から請求項４までのいずれか一項に記載の表示装置であって、
   前記特定の方向は、前記音声取得部から音源への方向である、表示装置。
7. 請求項１から請求項６までのいずれか一項に記載の表示装置であって、さらに、
   前記表示装置から音源までの距離を特定する距離特定部を備え、
   前記表示位置設定部は、前記特定された距離に基づいて、前記文字画像光の大きさの変化と前記画像表示位置と設定との少なくとも一方を行なう、表示装置。
8. 請求項１から請求項７までのいずれか一項に記載の表示装置であって、
   前記音声取得部は、音源から前記音声取得部への方向に応じて音声の音量を取得する感度が異なり、
   前記表示位置設定部は、異なる同じ音源が発する方向ごとに異なって取得された音声の音量に基づいて、前記画像表示位置を設定する、表示装置。
9. 請求項１から請求項８までのいずれか一項に記載の表示装置であって、
   前記音声取得部は、音源から前記音声取得部への方向に応じて音声を取得する感度が異なり、前記特定の方向からの音声を取得する感度が最大となるように設定される、表示装置。
10. 請求項１から請求項９までのいずれか一項に記載の表示装置であって、さらに、
    複数の音源から取得される異なる種類の音声を前記音声の種類ごとに識別する音声識別部と、
    使用者による操作を受け付ける操作部と、を備え、
    前記特定方向設定部は、前記操作に基づいて、前記音声取得部から、複数の前記音声のうち一の前記音声が取得された音源までの方向である特定音源方向を特定し、
    前記表示位置設定部は、使用者の視野において、前記一の前記音声を表す前記文字画像光を視認させる位置を、前記特定音源方向に対応する位置の近くに設定する、表示装置。
11. 請求項１０に記載の表示装置であって、
    前記表示位置設定部は、使用者に視野において、前記一の前記音声を表す前記画像光を視認させる位置を、複数の前記特定音源方向に対応する位置のいずれにも重複しない位置に設定する、表示装置。
12. 請求項１０または請求項１１に記載の表示装置であって、
    前記画像表示部は、複数の前記音声を前記音声の種類ごとに異なる前記文字画像光に生成し、使用者に複数の前記音声の種類ごとの前記画像光を視認させ、
    前記操作は、使用者の視野において視認される複数の前記音声の種類ごとの前記文字画像光から、一の前記特定音源方向からの前記音声に対応する前記文字画像光を特定する操作である、表示装置。
13. 請求項１から請求項１２までのいずれか一項に記載の表示装置であって、
    前記画像表示部は、前記音声取得部が前記音声を取得した時点から所定の時間遅らせて前記文字画像光を虚像として使用者に認識させる、表示装置。
14. 請求項１から請求項１３までのいずれか一項に記載の表示装置であって、さらに、
    使用者の視線方向を推定する視線方向推定部を備え、
    前記画像表示部は、使用者の頭部に装着された状態において使用者に前記画像光を視認させ、
    前記表示位置設定部は、前記特定の方向と前記視線方向との関係に基づいて前記画像表示位置を設定する、表示装置。
15. 請求項１４に記載の表示装置であって、
    前記表示位置設定部は、前記視線方向と前記特定の方向とがなす角度である特定角度が第１の閾値未満の場合に、使用者の視野における前記特定の方向に対応する位置の近くに前記画像表示位置を設定し、前記特定角度が第１の閾値以上の場合に、前記特定の方向とは無関係に前記画像表示位置を設定する、表示装置。
16. 請求項１４または請求項１５に記載の表示装置であって、さらに、
    外景の画像を取得する画像取得部を備え、
    前記画像表示部は、前記視線方向と前記特定の方向とがなす角度である特定角度が第２の閾値以上の場合に、前記画像取得部が取得した前記特定の方向の画像を表す画像光である特定方向画像光を生成して使用者に視認させ、前記特定角度が第２の閾値未満の場合に、前記特定方向画像光を生成せず、
    前記表示位置設定部は、前記特定角度が第２の閾値以上の場合に、前記特定方向画像光を認識させる位置を、前記画像表示位置に重複させず、かつ、前記画像表示位置の近くに設定し、前記特定角度が第２の閾値未満の場合に、使用者の視野における前記特定の方向に対応する位置の近くに前記画像表示位置を設定する、表示装置。
17. 請求項１から請求項１６までのいずれか一項に記載の表示装置であって、さらに、
    前記取得された音声と、前記取得された音声とは異なる特定音声と、を識別する音声識別部を備え、
    前記変換部は、前記取得された音声と前記特定音声とを異なる種類の前記文字画像に変換する、表示装置。
18. 請求項１７に記載の表示装置であって、さらに、
    通信によって音声信号を取得する通信部を備え、
    前記特定音声は、前記通信部によって取得された音声信号に基づいて出力される音声である、表示装置。
19. 透過型の頭部装着型表示装置であって、
    画像を表す画像光を生成し、使用者の頭部に装着された状態において使用者に前記画像光を視認させると共に、外景を透過させる画像表示部と、
    音声を取得する音声取得部と、
    前記音声を文字により画像として表した文字画像に変換する変換部と、
    使用者の視線方向を推定する視線方向推定部と、
    前記視線方向の変化に基づいて、使用者の視野における前記文字画像を表す文字画像光を視認させる位置である画像表示位置を設定する表示位置設定部と、
    複数の時点における外景の画像を取得する画像取得部と、を備え、
    前記表示位置設定部は、前記画像表示位置を、使用者の視野における中心以外に対応する位置に設定し、
    前記表示位置設定部は、複数の時点間の前記外景の画像における特定の方向の変化があった場合には、前記視線方向に基づいて前記画像表示位置を変更する、頭部装着型表示装置。
20. 請求項１９に記載の頭部装着型表示装置であって、さらに、
    前記頭部装着型表示装置から音源までの距離を特定する距離特定部を備え、
    前記変換部は、前記特定された距離に基づいて前記文字画像の種類を変更する、頭部装着型表示装置。
21. 透過型の頭部装着型表示装置であって、
    画像を表す画像光を生成し、使用者の頭部に装着された状態において使用者に前記画像光を視認させると共に、外景を透過させる画像表示部と、
    音声を取得する音声取得部と、
    前記音声を文字により画像として表した文字画像に変換する変換部と、
    使用者の視線方向を推定する視線方向推定部と、
    前記視線方向の変化に基づいて、使用者の視野における前記文字画像を表す文字画像光を視認させる位置である画像表示位置を設定する表示位置設定部と、
    前記頭部装着型表示装置から音源までの距離を特定する距離特定部と、
    を備え、
    前記表示位置設定部は、前記画像表示位置を、使用者の視野における中心以外に対応する位置に設定し、
    前記変換部は、前記特定された距離に基づいて前記文字画像の種類を変更する、頭部装着型表示装置。
22. 請求項１９から請求項２１までのいずれか一項に記載の頭部装着型表示装置であって、
    前記音声取得部は、音源から前記音声取得部への方向に応じて音声の音量を取得する感度が異なり、
    前記表示位置設定部は、異なる同じ音源が発する方向ごとに異なって取得された音声の音量に基づいて、前記画像表示位置を設定する、頭部装着型表示装置。
23. 透過型の頭部装着型表示装置であって、
    画像を表す画像光を生成し、使用者の頭部に装着された状態において使用者に前記画像光を視認させると共に、外景を透過させる画像表示部と、
    音声を取得する音声取得部と、
    前記音声を文字により画像として表した文字画像に変換する変換部と、
    使用者の視線方向を推定する視線方向推定部と、
    前記視線方向の変化に基づいて、使用者の視野における前記文字画像を表す文字画像光を視認させる位置である画像表示位置を設定する表示位置設定部と、
    複数の時点における外景の画像を取得する画像取得部と、を備え、
    前記視線方向推定部は、前記文字画像光が使用者に認識されている表示状態を基準として、前記視線方向の角速度と角度の変化量との少なくとも一方の特定値を推定し、
    前記表示位置設定部は、前記特定値が一定値を超えた場合に、使用者の視野における中央部以外に前記画像表示位置を設定し、
    前記表示位置設定部は、複数の時点間の前記外景の画像における特定の方向の変化があった場合には、前記視線方向に基づいて前記画像表示位置を変更する、頭部装着型表示装置。
24. 請求項２３に記載の頭部装着型表示装置であって、さらに、
    前記頭部装着型表示装置から音源までの距離を特定する距離特定部を備え、
    前記変換部は、前記特定された距離に基づいて前記文字画像の種類を変更する、頭部装着型表示装置。
25. 透過型の頭部装着型表示装置であって、
    画像を表す画像光を生成し、使用者の頭部に装着された状態において使用者に前記画像光を視認させると共に、外景を透過させる画像表示部と、
    音声を取得する音声取得部と、
    前記音声を文字により画像として表した文字画像に変換する変換部と、
    使用者の視線方向を推定する視線方向推定部と、
    前記視線方向の変化に基づいて、使用者の視野における前記文字画像を表す文字画像光を視認させる位置である画像表示位置を設定する表示位置設定部と、
    前記頭部装着型表示装置から音源までの距離を特定する距離特定部と、
    を備え、
    前記視線方向推定部は、前記文字画像光が使用者に認識されている表示状態を基準として、前記視線方向の角速度と角度の変化量との少なくとも一方の特定値を推定し、
    前記表示位置設定部は、前記特定値が一定値を超えた場合に、使用者の視野における中央部以外に前記画像表示位置を設定し、
    前記変換部は、前記特定された距離に基づいて前記文字画像の種類を変更する、頭部装着型表示装置。
26. 請求項２３から請求項２５までのいずれか一項に記載の頭部装着型表示装置であって、
    前記音声取得部は、音源から前記音声取得部への方向に応じて音声の音量を取得する感度が異なり、
    前記表示位置設定部は、異なる同じ音源が発する方向ごとに異なって取得された音声の音量に基づいて、前記画像表示位置を設定する、頭部装着型表示装置。
27. 請求項２３から請求項２６までのいずれか一項に記載の頭部装着型表示装置であって、
    前記視線方向推定部は、重力方向と前記重力方向に垂直な水平方向とを推定し、
    前記表示位置設定部は、前記重力方向と前記水平方向に対して前記表示状態における前記特定値に基づいて、使用者の視野における前記画像表示位置を設定する、頭部装着型表示装置。
28. 請求項２３から請求項２７までのいずれか一項に記載の頭部装着型表示装置であって、
    前記表示位置設定部は、前記角度の変化量が第３の閾値以上である場合に、使用者の視野における中央部以外に前記画像表示位置を設定し、前記角度の変化量が第３の閾値未満である場合に、使用者の視野における予め設定された位置に前記画像表示位置を設定する、頭部装着型表示装置。
29. 請求項２３から請求項２８までのいずれか一項に記載の頭部装着型表示装置であって、
    前記表示位置設定部は、前記角度の変化量が第４の閾値未満の状態で所定の時間が経過した場合に、使用者の視野における中央部分に前記画像表示位置を設定し、前記角度の変化量が第４の閾値以上の場合に、使用者の視野における中央部以外に前記画像表示位置を設定する、頭部装着型表示装置。
30. 請求項２３から請求項２９までのいずれか一項に記載の頭部装着型表示装置であって、
    前記表示位置設定部は、前記角速度が第５の閾値以上である場合に、使用者の視野における中央部以外に前記画像表示位置を設定し、前記角速度が第５の閾値未満である場合に、使用者の視野における予め設定された位置に前記画像表示位置を設定する、頭部装着型表示装置。
31. 請求項２３から請求項３０までのいずれか一項に記載の頭部装着型表示装置であって、
    前記表示位置設定部は、前記角速度が第６の閾値未満の状態で所定の時間が経過した場合に、使用者の視野における中央部に前記画像表示位置を設定し、前記角速度が第６の閾値以上の場合に、使用者の視野における中央部以外に前記画像表示位置を設定する、頭部装着型表示装置。
32. 透過型の頭部装着型表示装置であって、
    画像を表す画像光を生成し、使用者に前記画像光を視認させると共に、外景を透過させる画像表示部と、
    音声を取得する音声取得部と、
    前記音声を文字により画像として表した文字画像に変換する変換部と、
    特定の方向を設定する特定方向設定部と、
    前記特定の方向に基づいて、使用者の視野における前記文字画像を表す文字画像光を視認させる位置である画像表示位置を設定する表示位置設定部と、
    前記外景を撮像する撮像部と、
    前記透過型の頭部装着型表示装置の向いている方法を検出するセンサと
    を備え、
    前記表示位置設定部は、前記撮像部によって撮像された画像から、顔認識を行なって、前記音声の音源の位置を、前記使用者からの方向として特定し、前記頭部装着型表示装置の向いている方向によって、前記音源の相対的な位置が変化すると、当該変化した位置に合わせて、前記画像表示位置を使用者の視野における中心以外に対応する位置に設定する、頭部装着型表示装置。
33. 画像を表す画像光を生成し、使用者に前記画像光を視認させると共に、外景を透過させる画像表示部を有する、透過型の表示装置の制御方法であって、
    音声を取得する工程と、
    前記音声を文字により画像として表した文字画像に変換する工程と、
    前記文字画像を表す画像光である文字画像光を生成し、使用者に前記文字画像光を視認させると共に、外景を透過させる工程と、
    特定の方向を設定する工程と、
    複数の時点における外形の画像を取得する工程と、
    画像表示位置を、使用者の視野における中心以外に対応する位置に設定する工程と、
    複数の時点間の前記外景の画像における前記特定の方向の変化があった場合には、前記特定の方向に基づいて、使用者の視野における前記文字画像光を視認させる位置を変更する工程と、を備える、制御方法。
34. 画像を表す画像光を生成し、使用者に前記画像光を視認させると共に、外景を透過させる画像表示部を有する、透過型の表示装置の制御方法であって、
    音声を取得する工程と、
    前記音声を文字により画像として表した文字画像に変換する工程と、
    前記文字画像を表す画像光である文字画像光を生成し、使用者に前記文字画像光を視認させると共に、外景を透過させる工程と、
    特定の方向を設定する工程と、
    前記表示装置から音源までの距離を特定する工程と、
    前記特定された距離に基づいて前記文字画像の種類を変更する工程と、
    前記特定の方向に基づいて、使用者の視野における前記文字画像光を視認させる位置を、使用者の視野における中心以外に対応する位置に設定する工程と、
    を備える、制御方法。
35. 画像を表す画像光を生成し、使用者の頭部に装着された状態において使用者に前記画像光を視認させると共に、外景を透過させる画像表示部を有する、透過型の頭部装着型表示装置の制御方法であって、
    音声を取得する工程と、
    前記音声を文字により画像として表した文字画像に変換する工程と、
    前記文字画像を表す画像光である文字画像光を生成し、画像表示部が使用者の頭部に装着された状態において使用者に前記文字画像光を視認させると共に、外景を透過させる工程と、
    使用者の視線方向を推定する工程と、
    複数の時点における外景の画像を取得する工程と、
    複数の時点間の前記外景の画像の変化と前記視線方向に基づいて、使用者の視野における前記文字画像光を視認させる位置を、使用者の視野における中心以外に対応する位置に設定する工程と、を備える、制御方法。
36. 画像を表す画像光を生成し、使用者の頭部に装着された状態において使用者に前記画像光を視認させると共に、外景を透過させる画像表示部を有する、透過型の頭部装着型表示装置の制御方法であって、
    音声を取得する工程と、
    前記音声を文字により画像として表した文字画像に変換する工程と、
    前記文字画像を表す画像光である文字画像光を生成し、画像表示部が使用者の頭部に装着された状態において使用者に前記文字画像光を視認させると共に、外景を透過させる工程と、
    使用者の視線方向を推定する工程と、
    前記頭部装着型表示装置から音源までの距離を特定する工程と、
    前記特定された距離に基づいて前記文字画像の種類を変更する工程と、
    前記特定の方向に基づいて、使用者の視野における前記文字画像光を視認させる位置を、使用者の視野における中心以外に対応する位置に設定する工程と、
    を備える、制御方法。

Images