JP7065353B2 - ヘッドマウントディスプレイ及びその制御方法 - Google Patents

Description

本開示は、ヘッドマウントディスプレイ及びその制御方法に関する。

ヘッドマウントディスプレイを装着したユーザ（以下、「装着者」ともいう）は、映像及び音声に没入することができる一方、外部の人とのコミュニケーションを取り難くなる。

そこで、従来、ヘッドマウントディスプレイの装着者と外部の人とのコミュニケーションを容易にする技術が提案されている（特許文献１参照）。

国際公開第２０１４／１５６３８８号

しかしながら、特許文献１の技術では、ヘッドマウントディスプレイの装着者と外部の人とのコミュニケーションがある程度は容易になるものの、双方の意思を確認し合える程度の円滑なコミュニケーションまではできないという問題がある。

そこで、本開示は、ヘッドマウントディスプレイの装着者と外部の人とが双方の意思を確認し合える程度の円滑なコミュニケーションを図ることを可能にするヘッドマウントディスプレイ及びその制御方法を提供する。

本開示の一形態に係るヘッドマウントディスプレイは、映像を提示するヘッドマウントディスプレイであって、特定の方向からの音を収音する収音部と、前記収音部で収音された音から音声を検出する音声検出部と、前記ヘッドマウントディスプレイの装着者の頭部の動きを検知する頭部動作検知部と、外部から視認可能な情報を表示する外部ディスプレイと、前記音声検出部によって音声が検出され、かつ、前記頭部動作検知部によって前記装着者の頭部が前記特定の方向を向くような動きが検知された場合に、前記装着者が前記音声に応答したことを示す情報を前記外部ディスプレイに表示する応答検知部とを備える。

本開示の一形態に係るヘッドマウントディスプレイの制御方法は、映像を提示するヘッドマウントディスプレイの制御方法であって、特定の方向からの音を収音する収音ステップと、前記収音ステップで収音された音から音声を検出する音声検出ステップと、前記ヘッドマウントディスプレイの装着者の頭部の動きを検知する頭部動作検知ステップと、前記音声検出ステップによって音声が検出され、かつ、前記頭部動作検知ステップによって前記装着者の頭部が前記特定の方向を向くような動きが検知された場合に、前記装着者が前記音声に応答したことを示す情報を、外部から視認可能な情報を表示する外部ディスプレイに表示する応答検知ステップとを含む。

本開示の一形態に係るヘッドマウントディスプレイは、映像を提示するヘッドマウントディスプレイであって、特定の方向からの音を収音する収音部と、前記収音部で収音された音から音声を検出する音声検出部と、前記ヘッドマウントディスプレイの装着者の身体の向きを検知する身体動作検知部と、外部から視認可能な情報を表示する外部ディスプレイと、前記音声検出部によって音声が検出され、かつ、前記身体動作検知部によって前記装着者の身体が前記特定の方向を向いたことが検知された場合に、前記装着者が前記音声に応答したことを示す情報を前記外部ディスプレイに表示する応答検知部とを備える。

本開示の一形態に係るヘッドマウントディスプレイの制御方法は、映像を提示するヘッドマウントディスプレイの制御方法であって、特定の方向からの音を収音する収音ステップと、前記収音ステップで収音された音から音声を検出する音声検出ステップと、前記ヘッドマウントディスプレイの装着者の身体の向きを検知する身体動作検知ステップと、前記音声検出ステップによって音声が検出され、かつ、前記身体動作検知ステップによって前記装着者の身体が前記特定の方向を向いたことが検知された場合に、前記装着者が前記音声に応答したことを示す情報を、外部から視認可能な情報を表示する外部ディスプレイに表示する応答検知ステップとを含む。

本開示の一形態に係るヘッドマウントディスプレイは、映像を提示するヘッドマウントディスプレイであって、特定の方向からの音を収音する収音部と、前記収音部で収音された音から音声を検出する音声検出部と、前記ヘッドマウントディスプレイの装着者の手又は腕の動きを検知する手腕動作検知部と、外部から視認可能な情報を表示する外部ディスプレイと、前記音声検出部によって音声が検出され、かつ、前記手腕動作検知部によって前記装着者の手又は腕の所定の動きが検知された場合に、前記装着者が前記音声に応答したことを示す情報を前記外部ディスプレイに表示する応答検知部とを備える。

本開示の一形態に係るヘッドマウントディスプレイの制御方法は、映像を提示するヘッドマウントディスプレイの制御方法であって、特定の方向からの音を収音する収音ステップと、前記収音ステップで収音された音から音声を検出する音声検出ステップと、前記ヘッドマウントディスプレイの装着者の手又は腕の動きを検知する手腕動作検知ステップと、前記音声検出ステップによって音声が検出され、かつ、前記手腕動作検知部によって前記装着者の手又は腕の所定の動きが検知された場合に、前記装着者が前記音声に応答したことを示す情報を、外部から視認可能な情報を表示する外部ディスプレイに表示する応答検知ステップとを含む。

なお、これらの包括的又は具体的な態様は、システム、方法、集積回路、コンピュータプログラム又はコンピュータ読み取り可能なＣＤ－ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。

本開示により、ヘッドマウントディスプレイの装着者と外部の人とが双方の意思を確認し合える程度の円滑なコミュニケーションを図ることを可能にするヘッドマウントディスプレイ及びその制御方法が提供される。

図１は、実施の形態に係るヘッドマウントディスプレイの外観図である。 図２は、図１に示されるヘッドマウントディスプレイの構成を示すブロック図である。 図３は、実施の形態に係るヘッドマウントディスプレイの動作を示すフローチャートである。 図４は、実施の形態の変形例１に係るヘッドマウントディスプレイの構成を示すブロック図である。 図５は、実施の形態の変形例１に係るヘッドマウントディスプレイの動作を示すフローチャートである。 図６は、実施の形態の変形例２に係るヘッドマウントディスプレイの構成を示すブロック図である。 図７は、実施の形態の変形例２に係るヘッドマウントディスプレイの動作を示すフローチャートである。 図８は、実施の形態の変形例３に係るヘッドマウントディスプレイの構成を示すブロック図である。 図９は、実施の形態の変形例３に係るヘッドマウントディスプレイの動作を示すフローチャートである。 図１０Ａは、実施の形態の変形例４に係る遠隔操縦システムを構成する運転装置の外観図である。 図１０Ｂは、実施の形態の変形例４に係る遠隔操縦システムを構成する自動車の外観図である。 図１１は、実施の形態の変形例４に係る遠隔操縦システムの主要な構成を示すブロック図である。 図１２は、実施の形態の変形例５に係るヘッドマウントディスプレイの構成を示すブロック図である。 図１３は、実施の形態の変形例５に係るヘッドマウントディスプレイの動作を示すフローチャートである。 図１４は、実施の形態の変形例６に係るヘッドマウントディスプレイの構成を示すブロック図である。 図１５は、実施の形態の変形例６に係るヘッドマウントディスプレイの動作を示すフローチャートである。 図１６は、実施の形態の変形例６に係るヘッドマウントディスプレイの外部ディスプレイにおける表示例を示す図である。 図１７は、実施の形態の変形例７に係るヘッドマウントディスプレイの構成を示すブロック図である。 図１８は、実施の形態の変形例７に係るヘッドマウントディスプレイの動作を示すフローチャートである。 図１９は、実施の形態の変形例８に係るヘッドマウントディスプレイの構成を示すブロック図である。 図２０は、実施の形態の変形例８に係るヘッドマウントディスプレイの動作を示すフローチャートである。

（本開示の基礎となった知見）
近年、ユーザの頭部に装着され、ユーザに映像及び音声を視聴させるディスプレイ装置であるヘッドマウントディスプレイが普及している。ヘッドマウントディスプレイの用途として、例えば、飛行機の機内サービスとして、乗客にヘッドマウントディスプレイを用いた機内エンターテイメントを提供する航空会社も登場している。

ヘッドマウントディスプレイを装着した乗客は、映像及び音声に没入することができる一方、外部の人とのコミュニケーションを取り難くなるという課題がある。例えば、客室乗務員は、乗客に声をかけても、その乗客が自分に気づいているかどうかを認識できない。

そこで、乗客は、ヘッドマウントディスプレイを装着した状態で、自分に近づいてきた客室乗務員を認識し、なるべくヘッドマウントディスプレイを外さずに、コンテンツを視聴したまま、客室乗務員と簡易なコミュニケーションを取りたいという要望がある。また、客室乗務員は、ヘッドマウントディスプレイを装着した乗客が自分に気づいていることを認識したいという要望がある。

ここで、ヘッドマウントディスプレイの装着者と外部の人とのコミュニケーションを容易にする技術として、特許文献１に開示された技術が提案されている。この技術では、ヘッドマウントディスプレイの装着者への通知（映像及び音声による通知）を行った後、ヘッドマウントディスプレイの外側にその旨を表示する。この表示により、外部の人は、装着者への通知が行われたことを知ることができる。

しかしながら、特許文献１の技術では、ヘッドマウントディスプレイの装着者に通知を行った旨をヘッドマウントディスプレイの外側に表示しているのであって、必ずしも、ヘッドマウントディスプレイの装着者がその通知に気付いた旨をヘッドマウントディスプレイの外側に表示しているわけではない。例えば、音声によって装着者に通知した場合、ヘッドマウントディスプレイで再生しているコンテンツの音量が大きいときには、装着者は、その通知に気付かない。そのような場合であっても、特許文献１の技術では、ヘッドマウントディスプレイの外側に、装着者に通知した旨が表示される。すなわち、特許文献１の技術では、外部の人は、装着者が通知に気付いたかどうかが分からない。

また、特許文献１の技術は、ヘッドマウントディスプレイの装着者が通知に必ず気づくことを前提としている。そのことを確保するために、装着者への通知が映像による通知である場合には、装着者が気づき易い映像が表示される。そのために、ヘッドマウントディスプレイのコンテンツ視聴が邪魔されてしまう。一方、装着者への通知が音声による通知である場合には、装着者が気づき易い音声を提供するために、一旦ヘッドマウントディスプレイで再生しているコンテンツの音声を止める、あるいは、小さくする等の処理が必要となる。そのために、やはり、ヘッドマウントディスプレイのコンテンツ視聴が邪魔されてしまう。

さらに、特許文献１の技術では、ヘッドマウントディスプレイの装着者の意思、つまり、外部の人とのコミュニケーションを取りたいか否かがヘッドマウントディスプレイの外側での表示に反映されない。

このように、特許文献１の技術によれば、ヘッドマウントディスプレイの装着者と外部の人とのコミュニケーションがある程度は可能になるものの、双方の意思を確認し合える程度の円滑なコミュニケーションまではできないという問題がある。

そこで、本開示は、ヘッドマウントディスプレイの装着者と外部の人とが双方の意思を確認し合える程度の円滑なコミュニケーションを図ることを可能にするヘッドマウントディスプレイ及びその制御方法を提供する。

そのために、本開示の一形態に係るヘッドマウントディスプレイでは、ヘッドマウントディスプレイの装着者に声をかけている外部の人の位置（音座標）を特定しておく。そして、ヘッドマウントディスプレイの装着者がその音座標の向きに頭、身体、手又は腕を動かしたことを検知した場合、ヘッドマウントディスプレイの装着者が外部の声に反応したと判断して、ヘッドマウントディスプレイの外側に、その旨を表示する。

これにより、ヘッドマウントディスプレイの装着者が通知に気付いた旨を外部から認識できる。よって、ヘッドマウントディスプレイの装着者に対して、コンテンツの邪魔をしない通知、つまり、コンテンツを視聴しながらの自然な通知ができる。また、ヘッドマウントディスプレイの装着者の意思、つまり、外部とのコミュニケーションを取りたいか否かがヘッドマウントディスプレイの外側での表示に反映される。

つまり、本開示により、ヘッドマウントディスプレイの装着者と外部の人とが双方の意思を確認し合える程度の円滑なコミュニケーションを図ることを可能にするヘッドマウントディスプレイが実現される。

より詳しくは、本開示の一形態に係るヘッドマウントディスプレイは、映像を提示するヘッドマウントディスプレイであって、特定の方向からの音を収音する収音部と、前記収音部で収音された音から音声を検出する音声検出部と、前記ヘッドマウントディスプレイの装着者の頭部の動きを検知する頭部動作検知部と、外部から視認可能な情報を表示する外部ディスプレイと、前記音声検出部によって音声が検出され、かつ、前記頭部動作検知部によって前記装着者の頭部が前記特定の方向を向くような動きが検知された場合に、前記装着者が前記音声に応答したことを示す情報を前記外部ディスプレイに表示する応答検知部とを備える。

これにより、ヘッドマウントディスプレイの装着者の頭部が、外部の人が発する音声の音源方向に設定された特定の方向を向くことが検知された場合に、装着者が音声に応答したことを示す情報が外部ディスプレイに表示される。よって、装着者が、外部の人の音声に応答する意思を示した場合に、そのことが外部ディスプレイに表示されるので、装着者と外部の人とが双方の意思を確認し合える程度の円滑なコミュニケーションが可能になる。

ここで、前記ヘッドマウントディスプレイは、さらに、前記音声検出部で検出された音声が予め定められた人の音声であるか否かを判定する話者識別部を備え、前記応答検知部は、前記話者識別部によって前記音声が予め定められた人の音声であると判定され、かつ、前記頭部動作検知部によって前記装着者の頭部が前記特定の方向を向くような動きが検知された場合に、前記情報を前記外部ディスプレイに表示してもよい。

これにより、ヘッドマウントディスプレイの装着者が、予め定められた人からの音声に応答する意思を示した場合に、そのことが外部ディスプレイに表示される。よって、装着者に飛び込んでくる雑音としての無関係な人からの音声に装着者が応答したと誤認識されることが抑制され、ヘッドマウントディスプレイの応答精度が向上される。

また、前記ヘッドマウントディスプレイは、さらに、音源を探査する音源探査部を備え、前記収音部は、前記音源探査部で探査された音源の方向を前記特定の方向からの音として収音してもよい。

これにより、音源の方向が音源探査部で探査されるので、外部の人の音声が特定の方向からの音声に固定される必要がなくなる。つまり、あらゆる方向からの音声に対して装着者が応答した場合にそのことが外部ディスプレイに表示され、ヘッドマウントディスプレイの利便性が向上される。

また、前記ヘッドマウントディスプレイは、さらに、前記映像に伴う音を前記装着者に提供するヘッドホンと、前記音声検出部で検出された音声を前記映像に伴う音に重畳させて前記ヘッドホンに出力する音声重畳部とを備えてもよい。

これにより、外部の人の音声が、映像に伴う音に重畳されてヘッドホンから出力されるので、ヘッドマウントディスプレイの装着者は、再生しているコンテンツの音声を視聴しながら、外部の人の音声も聞くことができる。よって、装着者と外部の人との間で、より円滑なコミュニケーションが可能になる。

また、前記音声重畳部は、前記音声検出部で検出された音声が前記特定の方向に対応する方向から聞こえるように音像定位を行ったうえで、前記映像に伴う音に重畳させてもよい。

これにより、音像定位により、ヘッドマウントディスプレイの装着者は、外部の人の音声が、現実の音源方向、あるいは、それに対応した音源方向から聞こえるので、ヘッドマウントディスプレイを装着していないときと同様に、音声を発した外部の人がいる方向を容易に察知できる。

また、前記ヘッドマウントディスプレイは、さらに、前記映像に伴う音を前記装着者に提供するヘッドホンを備え、前記応答検知部は、前記情報を前記外部ディスプレイに表示するときに、前記ヘッドホンに提供される音の音量を下げてもよい。

これにより、外部の人が装着者に向けて音声を発したときに、ヘッドホンに提供される音の音量が下がる。よって、ヘッドマウントディスプレイの装着者は、ヘッドマウントディスプレイを装着したまま、外部の人の音声を聞き取ることができる。

また、前記応答検知部は、前記音声検出部によって音声が検出され、かつ、前記頭部動作検知部によって前記装着者の頭部が前記特定の方向を向くような動きが検知された場合に、前記装着者が発する音声を収音するように、前記収音部に対して収音する方向を変更させる制御をしてもよい。

これにより、外部の人から音声に対して装着者が顔を向ける応答をした後に、装着者からの音声を収音するように収音方向が変更されるので、続いて装着者が発する音声が収音される。よって、装着者と外部の人との間で、より円滑なコミュニケーションが可能になる。

なお、本開示の他の形態は、ヘッドマウントディスプレイの制御方法である。その制御方法は、映像を提示するヘッドマウントディスプレイの制御方法であって、特定の方向からの音を収音する収音ステップと、前記収音ステップで収音された音から音声を検出する音声検出ステップと、前記ヘッドマウントディスプレイの装着者の頭部の動きを検知する頭部動作検知ステップと、前記音声検出ステップによって音声が検出され、かつ、前記頭部動作検知ステップによって前記装着者の頭部が前記特定の方向を向くような動きが検知された場合に、前記装着者が前記音声に応答したことを示す情報を、外部から視認可能な情報を表示する外部ディスプレイに表示する応答検知ステップとを含む。

また、本開示の一形態に係るヘッドマウントディスプレイは、映像を提示するヘッドマウントディスプレイであって、特定の方向からの音を収音する収音部と、前記収音部で収音された音から音声を検出する音声検出部と、前記ヘッドマウントディスプレイの装着者の身体の向きを検知する身体動作検知部と、外部から視認可能な情報を表示する外部ディスプレイと、前記音声検出部によって音声が検出され、かつ、前記身体動作検知部によって前記装着者の身体が前記特定の方向を向いたことが検知された場合に、前記装着者が前記音声に応答したことを示す情報を前記外部ディスプレイに表示する応答検知部とを備える。

これにより、ヘッドマウントディスプレイの装着者の身体が、外部の人が発する音声の音源方向に設定された特定の方向を向くことが検知された場合に、装着者が音声に応答したことを示す情報が外部ディスプレイに表示される。よって、装着者が、外部の人の音声に応答する意思を示した場合に、そのことが外部ディスプレイに表示されるので、装着者と外部の人とが双方の意思を確認し合える程度の円滑なコミュニケーションが可能になる。

なお、本開示の他の形態は、ヘッドマウントディスプレイの制御方法である。その制御方法は、映像を提示するヘッドマウントディスプレイの制御方法であって、特定の方向からの音を収音する収音ステップと、前記収音ステップで収音された音から音声を検出する音声検出ステップと、前記ヘッドマウントディスプレイの装着者の身体の向きをを検知する身体動作検知ステップと、前記音声検出ステップによって音声が検出され、かつ、前記身体動作検知ステップによって前記装着者の身体が前記特定の方向を向いたことが検知された場合に、前記装着者が前記音声に応答したことを示す情報を、外部から視認可能な情報を表示する外部ディスプレイに表示する応答検知ステップとを含む。

また、本開示の一形態に係るヘッドマウントディスプレイは、映像を提示するヘッドマウントディスプレイであって、特定の方向からの音を収音する収音部と、前記収音部で収音された音から音声を検出する音声検出部と、前記ヘッドマウントディスプレイの装着者の手又は腕の動きを検知する手腕動作検知部と、外部から視認可能な情報を表示する外部ディスプレイと、前記音声検出部によって音声が検出され、かつ、前記手腕動作検知部によって前記装着者の手又は腕の所定の動きが検知された場合に、前記装着者が前記音声に応答したことを示す情報を前記外部ディスプレイに表示する応答検知部とを備える。

これにより、ヘッドマウントディスプレイの装着者の手又は腕の所定の動きが検知された場合に、装着者が音声に応答したことを示す情報が外部ディスプレイに表示される。よって、装着者が、外部の人の音声に応答する意思を示した場合に、そのことが外部ディスプレイに表示されるので、装着者と外部の人とが双方の意思を確認し合える程度の円滑なコミュニケーションが可能になる。

なお、本開示の他の形態は、ヘッドマウントディスプレイの制御方法である。その制御方法は、映像を提示するヘッドマウントディスプレイの制御方法であって、特定の方向からの音を収音する収音ステップと、前記収音ステップで収音された音から音声を検出する音声検出ステップと、前記ヘッドマウントディスプレイの装着者の手又は腕の動きを検知する手腕動作検知ステップと、前記音声検出ステップによって音声が検出され、かつ、前記手腕動作検知ステップによって前記装着者の手又は腕の所定の動きが検知された場合に、前記装着者が前記音声に応答したことを示す情報を、外部から視認可能な情報を表示する外部ディスプレイに表示する応答検知ステップとを含む。

また、本開示の他の形態は、ＣＰＵ、プロセッサ又はコンピュータによって実行されるプログラム又はプログラムが記録されたコンピュータ読み取り可能なディスク又は半導体メモリ等の記録媒体である。そのプログラムには、上記ヘッドマウントディスプレイの制御方法を構成するステップが含まれる。

以下、実施の形態について、図面を用いて詳細に説明する。なお、以下で説明する実施の形態は、いずれも本開示の包括的又は具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序等は、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、本開示の最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。また、各図は、必ずしも厳密に図示したものではない。各図において、実質的に同一の構成については同一の符号を付し、重複する説明は省略又は簡略化する。

（実施の形態）
図１は、実施の形態に係るヘッドマウントディスプレイ１０の外観図である。このヘッドマウントディスプレイ１０は、ヘッドマウントディスプレイ１０の装着者がヘッドマウントディスプレイ１０を装着したまま外部の人と双方の意思を確認し合える程度の円滑なコミュニケーションを図ることを可能にしたヘッドマウントディスプレイである。このヘッドマウントディスプレイ１０には、外から見える構成要素として、マイク１２ａ～１２ｄ、外部ディスプレイ１６、及び、ヘッドホン３５が備えられている。

マイク１２ａ～１２ｄは、ヘッドマウントディスプレイ１０の前方からくる音の音源方向を検知するマイクであり、ヘッドマウントディスプレイ１０の前面における上下左右の４箇所に設けられている。なお、必ずしもヘッドマウントディスプレイ１０に４個のマイクが必要ではなく、例えば、上下方向だけ、あるいは、左右方向だけに離れて２個のマイクが設けられていてもよい。

外部ディスプレイ１６は、外部から視認可能な情報を表示するディスプレイであり、例えば、ＬＥＤ等のランプ、ＬＣＤ等の２次元ディスプレイである。なお、「外部から視認可能な情報」とは、単なるランプの点灯、文字、記号、アイコン、画像、及び、それらの少なくとも二つの混合のいずれであってもよい。

ヘッドホン３５は、ヘッドマウントディスプレイ１０が提供する映像に伴う音を装着者に提供するヘッドホンであり、オープンエア型又は密閉型のヘッドホンである。本実施の形態では、ヘッドホン３５は、ヘッドマウントディスプレイ１０で再生された映像に伴う音を出力するとともに、外部の人の音声もヘッドマウントディスプレイ１０の装着者に聞こえるように、オープンエア型のヘッドホンであるのが好ましい。

図２は、図１に示されるヘッドマウントディスプレイ１０の構成を示すブロック図である。ヘッドマウントディスプレイ１０は、収音部１１、音声検出部１４、頭部動作検知部１５、外部ディスプレイ１６、応答検知部１７、映像再生部３０、内部ディスプレイ３４、及び、ヘッドホン３５を備える。

収音部１１は、特定の方向からの音を収音する処理部であり、４つのマイク１２ａ～１２ｄ及び指向性処理部１３で構成される。指向性処理部１３は、４つのマイク１２ａ～１２ｄからの音信号に対して信号処理を施すことによって、特定の方向からの音だけを収音する。信号処理として、４つのマイク１２ａ～１２ｄからの音信号の遅延をずらすことで特定の方向の音を強調する遅延型ビームフォーマ、あるいは、特定の方向の音とそれ以外の不要方向の音とを遅延型によって生成し、特定の方向の音から不要方向の音を除去する適応型ビームフォーマ方法がある。あるいは、単一指向性マイク１つで特定の方向の音を収音する方法がある。あるいは、異なる方向の音を収音する複数の単一指向性マイクを準備し、特定の方向に対応する単一指向性マイクだけを選択する方法等がある。

なお、「特定の方向」とは、ヘッドマウントディスプレイ１０の装着者とその装着者に話しかける外部の人との位置関係がある程度定まっている場合、例えば、飛行機内においてヘッドマウントディスプレイ１０を装着した乗客と客室乗務員との場面に限定した場合には、予め定められた固定の方向（例えば、通路寄りの斜め前上の方向）である。ただし、「特定の方向」は、固定の方向に限られず、外部から指示される動的に変化する方向であってもよい。

また、収音部１１を構成するマイクの個数は、４に限られない。例えば、収音部１１は、特定の方向の収音であれば、３つ以上のマイクで構成されてもよい。

音声検出部１４は、収音部１１で収音された音から音声を検出する処理部であり、例えば、収音部１１から出力された信号において、音声の周波数帯におけるパワーが一定時間、閾値を超えた場合に、収音部１１から出力された信号を音声と判断し、音声を検出したことを応答検知部１７に通知する。

頭部動作検知部１５は、ヘッドマウントディスプレイ１０の装着者の頭部の動きを検知し、検知した結果を示す信号を応答検知部１７に出力するセンサであり、例えば、ジャイロ及び加速度センサの少なくとも一つである。なお、頭部動作検知部１５は、カメラ等を用いて装着者の視線を検出することによって頭部の動きを検知してもよい。

応答検知部１７は、音声検出部１４によって音声が検出され、かつ、頭部動作検知部１５によって装着者の頭部が、収音部１１が収音する特定の方向を向くような動きが検知された場合に、装着者が音声に応答したことを示す情報を外部ディスプレイ１６に表示する処理部である。なお、「装着者の頭部が特定の方向を向く」とは、「装着者の顔が特定の方向を向く」ことを意味する。

内部ディスプレイ３４は、ヘッドマウントディスプレイ１０の装着者に映像を提示するディスプレイであり、例えば、３Ｄ用映像パネルである。

映像再生部３０は、コンテンツを記憶するコンテンツ記憶部３１を有し、リモコン（図示せず）等による装着者からの指示に従って、コンテンツ記憶部３１からコンテンツを読み出して再生し、映像信号を内部ディスプレイ３４に出力するとともに、映像に伴う音信号をヘッドホン３５に出力する処理部であり、例えば、映像デコーダ及びプログラムを有するプロセッサ等で構成される。

なお、指向性処理部１３、音声検出部１４及び応答検知部１７は、典型的には、プログラムを保持するＲＯＭ、ＲＡＭ、プログラムを実行するプロセッサ、及び、周辺回路と接続するための入出力回路等で構成されたシステム回路又はマイクロコンピュータによって、ソフトウェア的に実現される。ただし、これらは、それぞれの処理を実現するＡＳＩＣ、ゲートアレイ等の専用の論理回路によって、ハードウェア的に実現されてもよい。

次に、以上のように構成された本実施の形態に係るヘッドマウントディスプレイ１０の動作について説明する。

図３は、本実施の形態に係るヘッドマウントディスプレイ１０の動作（つまり、ヘッドマウントディスプレイ１０の制御方法）を示すフローチャートである。ここでは、飛行機の乗客が椅子に座った状態でヘッドマウントディスプレイ１０を装着し、コンテンツを再生している場面を想定する。

まず、収音部１１は、特定の方向からの音を収音する（収音ステップＳ１０）。具体的には、指向性処理部１３は、４つのマイク１２ａ～１２ｄからの音信号に対して、遅延型ビームフォーマ等の信号処理を施すことによって、特定の方向（ここでは、斜め前上の方向）からの音だけを収音する。

続いて、音声検出部１４は、収音部１１で収音された音から音声を検出する（音声検出ステップＳ１１）。具体的には、音声検出部１４は、収音部１１から出力された信号において、音声の周波数帯におけるパワーが一定時間、閾値を超えた場合に、収音部１１から出力された信号を音声と判断し、音声を検出したことを応答検知部１７に通知する。これにより、応答検知部１７は、斜め前上からの音声が検出されたか否か、つまり、客室乗務員がヘッドマウントディスプレイ１０の装着者に話しかけたか否かを判断する。

応答検知部１７は、音声検出部１４によって音声が検出された場合には（Ｓ１１でＹＥＳ）、ステップＳ１２以降の処理に進み、そうでない場合には（Ｓ１１でＮＯ）、処理を終了する。

頭部動作検知部１５では、ヘッドマウントディスプレイ１０の装着者の頭部の動きが検知され、検知された結果を示す信号が応答検知部１７に出力している（頭部動作検知ステップＳ１２）。

応答検知部１７は、頭部動作検知部１５から出力される信号を解析することで、ヘッドマウントディスプレイ１０の装着者（ここでは、乗客）が客室乗務員からの話しかけに応答したか否かを判断する（Ｓ１３）。

具体的には、応答検知部１７は、頭部動作検知部１５によって、収音部１１が収音する特定の方向に装着者の頭部が向くような動きが検知された場合に（Ｓ１３でＹＥＳ）、装着者が客室乗務員からの話しかけに応答したと判断し、装着者が音声に応答したことを示す情報を外部ディスプレイ１６に表示する（応答検知ステップＳ１４）。

その後、応答検知部１７は、処理の終了条件が満たされるか否かを判断し（Ｓ１５）、満たされるまで、装着者が音声に応答したことを示す情報を外部ディスプレイ１６に表示し続ける。なお、「処理の終了条件」とは、装着者が音声に応答しなくなることであり、例えば、頭部動作検知部１５によって、装着者の頭部が、収音部１１が収音する特定の方向を向くような動きが検知されなくなることである。

一方、応答検知部１７は、頭部動作検知部１５によって、装着者の頭部が、収音部１１が収音する特定の方向を向くような動きが検知されなかった場合には（Ｓ１３でＮＯ）、装着者が客室乗務員からの話しかけに応答しなかったと判断し、処理を終了する。

このように、本実施の形態に係るヘッドマウントディスプレイ１０は、映像を提示するヘッドマウントディスプレイであって、特定の方向からの音を収音する収音部１１と、収音部１１で収音された音から音声を検出する音声検出部１４と、ヘッドマウントディスプレイ１０の装着者の頭部の動きを検知する頭部動作検知部１５と、外部から視認可能な情報を表示する外部ディスプレイ１６と、音声検出部１４によって音声が検出され、かつ、頭部動作検知部１５によって装着者の頭部が特定の方向を向くような動きが検知された場合に、装着者が音声に応答したことを示す情報を外部ディスプレイ１６に表示する応答検知部１７とを備える。

また、本実施の形態に係るヘッドマウントディスプレイ１０の制御方法は、映像を提示するヘッドマウントディスプレイ１０の制御方法であって、特定の方向からの音を収音する収音ステップＳ１０と、収音ステップＳ１０で収音された音から音声を検出する音声検出ステップＳ１１と、ヘッドマウントディスプレイ１０の装着者の頭部の動きを検知する頭部動作検知ステップＳ１２と、音声検出ステップＳ１１によって音声が検出され、かつ、頭部動作検知ステップＳ１２によって装着者の頭部が特定の方向を向くような動きが検知された場合に、装着者が音声に応答したことを示す情報を、外部から視認可能な情報を表示する外部ディスプレイ１６に表示する応答検知ステップＳ１４とを含む。

これにより、ヘッドマウントディスプレイ１０の装着者の顔が、外部の人が発する音声の音源方向に設定された特定の方向を向くことが検知された場合に、装着者が音声に応答したことを示す情報が外部ディスプレイ１６に表示される。よって、装着者が、外部の人の音声に応答する意思を示した場合に、そのことが外部ディスプレイ１６に表示されるので、装着者と外部の人とが双方の意思を確認し合える程度の円滑なコミュニケーションが可能になる。

なお、本実施の形態では、図３のフローチャートにおいて、指向性処理（Ｓ１０）及び音声検出（Ｓ１１）の後に、頭部動作の検知（Ｓ１２）が行われたが、このような順序に限定されない。指向性処理（Ｓ１０）及び音声検出（Ｓ１１）と、頭部動作の検知（Ｓ１２）とは、順序が入れ替わってもよいし、並行して行われてもよい。

（変形例１）
次に、実施の形態の変形例１に係るヘッドマウントディスプレイについて説明する。

図４は、実施の形態の変形例１に係るヘッドマウントディスプレイ１０ａの構成を示すブロック図である。ヘッドマウントディスプレイ１０ａは、話者を識別する機能を有するヘッドマウントディスプレイであり、収音部１１、音声検出部１４、話者識別部１８、頭部動作検知部１５、外部ディスプレイ１６、応答検知部１７ａ、映像再生部３０、内部ディスプレイ３４、及び、ヘッドホン３５を備える。

本変形例に係るヘッドマウントディスプレイ１０ａは、基本的には実施の形態に係るヘッドマウントディスプレイ１０と同様の構成を備えるが、新たな構成要素として話者識別部１８を備える点、及び、変形例に係る応答検知部１７ａを備える点で、実施の形態と異なる。以下、実施の形態と異なる点を中心に説明する。

話者識別部１８は、音声検出部１４で検出された音声が予め定められた人の音声であるか否かを判定し、その判定結果を応答検知部１７ａに通知する処理部である。本変形例では、話者識別部１８は、客室乗務員らの音声が予め登録された記憶部を有しており、音声検出部１４で検出された音声が記憶部に登録された音声のいずれかに一致するか否かを判断する。

例えば、話者識別部１８は、ｉ－ｖｅｃｔｏｒを用いて話者の特徴量を抽出し、話者を識別する（非特許文献１：辻川美沙貴ら、「ｉ－ｖｅｃｔｏｒによる短い発話の話者識別の検討」、信学技報、ｖｏｌ．１１５、ｎｏ．９９、ＳＰ２０１５－１２、ｐｐ．６５－７０、２０１５年６月）。つまり、話者識別部１８では、音声は多次元の特徴量ベクトルに変換される。新たに入力された音声も特徴量ベクトルに変換され、登録済みの特徴量ベクトルのいずれかと近いか否かで、入力された音声が客室乗務員の音声であるか否かが判定される。

なお、話者識別部１８は、典型的には、プログラムを保持するＲＯＭ、ＲＡＭ、プログラムを実行するプロセッサ、及び、周辺回路と接続するための入出力回路等で構成されたシステム回路又はマイクロコンピュータによって、ソフトウェア的に実現される。ただし、これらは、それぞれの処理を実現するＡＳＩＣ、ゲートアレイ等の専用の論理回路によって、ハードウェア的に実現されてもよい。

応答検知部１７ａは、基本的には実施の形態に係る応答検知部１７と同様の機能を有し、本変形例では、話者識別部１８によって音声が予め定められた人の音声であると判定され、かつ、頭部動作検知部１５によって装着者の頭部が特定の方向を向くような動きが検知された場合に、装着者が音声に応答したことを示す情報を外部ディスプレイ１６に表示する。

図５は、本変形例に係るヘッドマウントディスプレイ１０ａの動作（つまり、ヘッドマウントディスプレイ１０ａの制御方法）を示すフローチャートである。この動作は、基本的には実施の形態に係る図３に示されるフローチャートと同様であるが、ステップＳ２０が追加されている点で、実施の形態と異なる。以下、実施の形態と異なる点を中心に説明する。

音声検出部１４で検出された音声が検出されると（Ｓ１１でＹＥＳ）、話者識別部１８は、音声検出部１４で検出された音声が予め定められた人の音声であるか否かを判定し、その判定結果を応答検知部１７ａに通知する（Ｓ２０）。具体的には、話者識別部１８は、音声検出部１４を介して入力された音声の特徴量ベクトルが、予め登録された客室乗務員らの音声の特徴量ベクトルのいずれかに近いか否かを判定し、その判定結果を応答検知部１７ａに通知する。

応答検知部１７ａは、話者識別部１８から、入力された音声が予め定められた人（ここでは、客室乗務員）の音声であるとの通知を受けた場合には（Ｓ２０でＹＥＳ）、ステップＳ１２以降の処理に進み、そうでない場合には（Ｓ２０でＮＯ）、処理を終了する。

ステップＳ１２以降において、応答検知部１７ａは、頭部動作検知部１５によって、装着者の頭部が、収音部１１が収音する特定の方向を向くような動きが検知された場合に（Ｓ１３でＹＥＳ）、装着者が客室乗務員からの話しかけに応答したと判断し、装着者が音声に応答したことを示す情報を外部ディスプレイ１６に表示する（応答検知ステップＳ１４）点は、実施の形態と同様である。

このように、本変形例に係るヘッドマウントディスプレイ１０ａは、実施の形態の構成に加えて、音声検出部１４で検出された音声が予め定められた人の音声であるか否かを判定する話者識別部１８を備える。応答検知部１７ａは、話者識別部１８によって音声が予め定められた人の音声であると判定され（Ｓ２０）、かつ、頭部動作検知部１５によって装着者の頭部が特定の方向を向くような動きが検知された場合に（Ｓ１３）、装着者が音声に応答したことを示す情報を外部ディスプレイ１６に表示する。

これにより、ヘッドマウントディスプレイ１０ａの装着者が、予め定められた人からの音声に応答する意思を示した場合に、そのことが外部ディスプレイ１６に表示される。よって、装着者に飛び込んでくる雑音としての無関係な人からの音声に装着者が応答したと誤認識されることが抑制され、ヘッドマウントディスプレイ１０ａの応答精度が向上される。

（変形例２）
次に、実施の形態の変形例２に係るヘッドマウントディスプレイについて説明する。

図６は、実施の形態の変形例２に係るヘッドマウントディスプレイ１０ｂの構成を示すブロック図である。ヘッドマウントディスプレイ１０ｂは、音源を探査する機能を有するヘッドマウントディスプレイであり、収音部１１ａ、音声検出部１４、頭部動作検知部１５、外部ディスプレイ１６、応答検知部１７、音源探査部１９、映像再生部３０、内部ディスプレイ３４、及び、ヘッドホン３５を備える。

本変形例に係るヘッドマウントディスプレイ１０ｂは、基本的には実施の形態に係るヘッドマウントディスプレイ１０と同様の構成を備えるが、新たな構成要素として音源探査部１９を備える点、及び、変形例に係る収音部１１ａを備える点で、実施の形態と異なる。以下、実施の形態と異なる点を中心に説明する。

音源探査部１９は、音源を探査する処理部である。具体的には、音源探査部１９は、４つのマイク１２ａ～１２ｄを用いて、周囲で発生する音の方向又は位置（３次元空間における座標）を探査する。例えば、音源探査部１９は、距離を置いて設置された２つのマイクのそれぞれに同一音が到達する時間差に基づいて、２つのマイクを含む平面における音源方向を特定する。あるいは、音源探査部１９は、距離を置いて設置された２つのマイクを対として、異なる方向に並ぶ２対のマイクを用いることで、２つの音源方向の交点を音源の位置として特定する。

なお、音源探査部１９は、典型的には、プログラムを保持するＲＯＭ、ＲＡＭ、プログラムを実行するプロセッサ、及び、周辺回路と接続するための入出力回路等で構成されたシステム回路又はマイクロコンピュータによって、ソフトウェア的に実現される。ただし、これらは、それぞれの処理を実現するＡＳＩＣ、ゲートアレイ等の専用の論理回路によって、ハードウェア的に実現されてもよい。

収音部１１ａは、音源探査部１９で探査された音源の方向を特定の方向からの音として収音する。具体的には、収音部１１ａを構成する指向性処理部１３ａは、４つのマイク１２ａ～１２ｄからの音信号に対して、音源探査部１９で探査された音源の方向からの音だけを収音するための信号処理を施すことによって、音源探査部１９で探査された音源の方向からの音だけを収音する。信号処理は、例えば、実施の形態の収音部１１と同様である。

図７は、本変形例に係るヘッドマウントディスプレイ１０ｂの動作（つまり、ヘッドマウントディスプレイ１０ｂの制御方法）を示すフローチャートである。この動作は、基本的には実施の形態に係る図３に示されるフローチャートと同様であるが、ステップＳ２２が追加されている点で、実施の形態と異なる。以下、実施の形態と異なる点を中心に説明する。

音源探査部１９は、指向性処理部１３ａによる指向性処理（Ｓ１０）に先立ち、音源を探査する（Ｓ２２）。例えば、音源探査部１９は、４つのマイク１２ａ～１２ｄを用いて、音源の位置（３次元空間における座標）を探査する。なお、音源が探査されなかった場合は（Ｓ２２でＮＯ）、処理は終了される。

一方、音源が探査された場合は（Ｓ２２でＹＥＳ）、収音部１１ａの指向性処理部１３ａは、音源探査部１９で探査された音源の位置を向く方向を特定の方向からの音として収音する（Ｓ１０）。具体的には、指向性処理部１３ａは、４つのマイク１２ａ～１２ｄからの音信号に対して、音源探査部１９で探査された音源の方向からの音だけを収音するための信号処理を施すことによって、音源探査部１９で探査された音源の方向からの音だけを収音する。以降の処理（Ｓ１１～）は、実施の形態と同様である。

このように、本変形例に係るヘッドマウントディスプレイ１０ｂは、実施の形態の構成に加えて、音源を探査する音源探査部１９を備える。収音部１１ａは、音源探査部１９で探査された音源の方向を特定の方向からの音として収音する。

これにより、音源の方向が音源探査部１９で探査されるので、外部の人の音声が特定の方向からの音声に固定される必要がなくなる。つまり、あらゆる方向からの音声に対して装着者が応答した場合にそのことが外部ディスプレイ１６に表示され、ヘッドマウントディスプレイ１０ｂの利便性が向上される。

（変形例３）
次に、実施の形態の変形例３に係るヘッドマウントディスプレイについて説明する。

図８は、実施の形態の変形例３に係るヘッドマウントディスプレイ１０ｃの構成を示すブロック図である。ヘッドマウントディスプレイ１０ｃは、映像再生に伴う音に外部の人からの音声を重畳させてヘッドホン３５に出力する機能を有するヘッドマウントディスプレイであり、収音部１１ａ、音声検出部１４、音源探査部１９、音声重畳部２０、頭部動作検知部１５、外部ディスプレイ１６、応答検知部１７、映像再生部３０、内部ディスプレイ３４、及び、ヘッドホン３５を備える。

本変形例に係るヘッドマウントディスプレイ１０ｃは、基本的には実施の形態の変形例２に係るヘッドマウントディスプレイ１０ｂと同様の構成を備えるが、新たな構成要素として音声重畳部２０を備える点で、実施の形態の変形例２と異なる。以下、実施の形態の変形例２と異なる点を中心に説明する。

音声重畳部２０は、音声検出部１４で検出された音声を映像に伴う音に重畳させてヘッドホン３５に出力する処理部である。このとき、音声重畳部２０は、音声検出部１４で検出された音声が特定の方向に対応する方向から聞こえるように音像定位を行ったうえで、映像に伴う音に重畳させる。具体的には、音声重畳部２０は、音声検出部１４で検出された音声に対して、その音声が立体的に（つまり、音源探査部１９で探査された方向から）聞こえるように、音像定位の信号処理を施したうえで、ヘッドホン３５の再生チャネルに割り当てて出力する。例えば、音声重畳部２０は、人の頭部の形を考慮して（つまり、頭部伝達関数を用いて）、音声検出部１４で検出された音声に対して音像定位の信号処理を施すことにより、ヘッドホン３５が２ｃｈであっても、外部の人の音声が立体的に聞こえるようにする。

なお、本変形例では、ヘッドホン３５は、外部の人の音声がヘッドマウントディスプレイ１０の装着者に聞こえるので、密閉型のヘッドホンであってもよい。

また、音声重畳部２０は、典型的には、プログラムを保持するＲＯＭ、ＲＡＭ、プログラムを実行するプロセッサ、及び、周辺回路と接続するための入出力回路等で構成されたシステム回路又はマイクロコンピュータによって、ソフトウェア的に実現される。ただし、これらは、それぞれの処理を実現するＡＳＩＣ、ゲートアレイ等の専用の論理回路によって、ハードウェア的に実現されてもよい。

図９は、本変形例に係るヘッドマウントディスプレイ１０ｃの動作（つまり、ヘッドマウントディスプレイ１０ｃの制御方法）を示すフローチャートである。この動作は、基本的には実施の形態の変形例２に係る図７に示されるフローチャートと同様であるが、ステップＳ２４及びＳ２６が追加されている点で、実施の形態の変形例２と異なる。以下、実施の形態の変形例２と異なる点を中心に説明する。

本変形例では、音声検出部１４によって音声が検出されると（Ｓ１１）、音声重畳部２０は、音声検出部１４で検出された音声に対して、その音声が音源探査部１９で探査された方向から聞こえるように、音像定位の信号処理を施し（Ｓ２４）、映像再生部３０で再生された音に重畳したうえで、ヘッドホン３５に出力する（Ｓ２６）。

以降の処理（Ｓ１３～）は、実施の形態と同様である。

このように、本変形例に係るヘッドマウントディスプレイ１０ｃは、実施の形態の構成に加えて、音声検出部１４で検出された音声を映像に伴う音に重畳させてヘッドホン３５に出力する音声重畳部２０を備える。

これにより、外部の人（例えば、客室乗務員）の音声が、映像に伴う音に重畳されてヘッドホン３５から出力されるので、ヘッドマウントディスプレイ１０ｃの装着者は、再生しているコンテンツの音声を視聴しながら、外部の人の音声も聞くことができる。よって、装着者と外部の人との間で、より円滑なコミュニケーションが可能になる。

また、音声重畳部２０は、音声検出部１４で検出された音声が特定の方向に対応する方向から聞こえるように音像定位を行ったうえで、映像に伴う音に重畳させる。

これにより、音像定位により、ヘッドマウントディスプレイ１０ｃの装着者は、外部の人（例えば、客室乗務員）の音声が、現実の音源方向、あるいは、それに対応した音源方向から聞こえるので、ヘッドマウントディスプレイ１０ｃを装着していないときと同様に、音声を発した外部の人がいる方向を容易に察知できる。

なお、本変形例では、図９のフローチャートにおいて、頭部動作の検知（Ｓ１２）の後に、音像定位重畳（Ｓ２４）及び再生（Ｓ２６）が行われたが、この順序に限定されない。頭部動作の検知（Ｓ１２）と、音像定位重畳（Ｓ２４）及び再生（Ｓ２６）とは、順序が入れ替わってもよいし、並行して行われてもよい。

（変形例４）
次に、実施の形態の変形例４として、本開示に係るヘッドマウントディスプレイを自動車の遠隔操縦システムに応用した例について説明する。遠隔操縦システムは、遠隔で自動車を操縦するための運転装置と、運転装置と無線通信によって接続され、運転装置によって遠隔操縦される自動車とで構成される。

図１０Ａは、実施の形態の変形例４に係る遠隔操縦システム４０を構成する運転装置４１の外観図である。図１０Ｂは、実施の形態の変形例４に係る遠隔操縦システム４０を構成する自動車４５の外観図である。

図１０Ａに示されるように、運転装置４１は、屋内等に設置され、自動車４５の運転席を模擬した装置である。運転装置４１は、遠隔で自動車４５を操縦するためのハンドル、アクセル、ブレーキ等で構成される。

運転装置４１の前面には、実施の形態に係るヘッドマウントディスプレイの内部ディスプレイ３４に相当するもの（ここでは、内部ディスプレイ３４と記す）が設けられている。本変形例では、この内部ディスプレイ３４には、自動車４５に設置されて自動車４５の前方を撮像するカメラから送られてきた映像が表示される。また、運転装置４１には、実施の形態に係るヘッドマウントディスプレイのヘッドホンに相当するスピーカ３６が設けられている。本変形例では、スピーカ３６は、自動車４５の前面に取り付けられたマイク１２ａ～１２ｄで収音された音をマルチスピーカで再生する。

図１０Ｂに示されるように、自動車４５は、運転装置４１によって遠隔操縦され、無人で走行することができる。自動車４５の前面の４箇所には、実施の形態に係るヘッドマウントディスプレイのマイク１２ａ～１２ｄに相当するもの（ここでは、マイク１２ａ～１２ｄと記す）が取り付けられている。また、自動車４５のフロントガラスの前面は、実施の形態に係るヘッドマウントディスプレイの外部ディスプレイ１６に相当するもの（ここでは、外部ディスプレイ１６と記す）が設けられている。

図１１は、本変形例に係る遠隔操縦システム４０の主要な構成を示すブロック図である。ここでは、遠隔操縦システム４０の構成要素のうち、実施の形態に係るヘッドマウントディスプレイを応用した箇所の構成要素だけが示されている。

遠隔操縦システム４０は、収音部１１ａ、音声検出部１４、音源探査部１９、音声重畳部２０、頭部動作検知部１５、外部ディスプレイ１６、応答検知部１７、映像再生部３０、内部ディスプレイ３４、及び、スピーカ３６を備える。この構成は、図８に示される実施の形態の変形例３に係るヘッドマウントディスプレイ１０ｃにおけるヘッドホン３５をスピーカ３６に置き換えたものに相当する。ただし、本変形例では、映像再生部３０は、自動車４５に設置される上述したカメラである。また、音声検出部１４は、図１０Ｂに示される自転車４６のブレーキ音等の危険を予知する音として予め登録された車両周囲音を検出する。また、頭部動作検知部１５は、運転装置４１で操縦する遠隔操縦者の頭に装着される加速度センサ又は遠隔操縦者の頭部の動きを撮影して検出するカメラ等である。また、典型的には、収音部１１ａ、映像再生部３０及び外部ディスプレイ１６は、自動車４５に設けられ、他の構成要素は、運転装置４１に設けられるか、あるいは、遠隔操縦者に取り付けられる。

この遠隔操縦システム４０は、上述したように、基本的な機能として実施の形態の変形例３に係るヘッドマウントディスプレイ１０ｃと同様の構成を備えるので、実施の形態の変形例３と同様の効果が奏される。つまり、遠隔操縦システム４０には、音声検出部１４で検出された自転車４６のブレーキ音等の車両周囲音を音像定位させることで現実の音源方向に近い方向から危険を予知する音が聞こえるように信号処理をする音声重畳部２０が設けられている。よって、遠隔操縦者の頭部が、自転車４６のブレーキ音等の車両周囲音の音源方向を向いた場合に、図１０Ｂに示されるように、遠隔操縦者が車両周囲音に気付いた旨が自動車４５の外部ディスプレイ１６に表示される。

この際、自動車４５の外部ディスプレイ１６は自転車４６の運転者以外も見る。外部ディスプレイ１６の表示が、自転車４６の運転者に気付いたことを表す表示であることを自転車４６の運転者に直感的に示すために、自転車４６に近い位置に表示する、または、自転車４６の方向に矢印や眼球アイコンを向けて表示する、または、自転車４６をカメラで撮影した映像を鏡面表示する、などの表示を行う。

これにより、自転車４６の運転者は、自分に接近してきた自動車４５が、自分の自転車４６のブレーキ音に気付いてくれたことを、目視により、知ることができる。よって、このようなヘッドマウントディスプレイを応用した遠隔操縦システム４０によれば、遠隔操縦者と自動車及びその周囲とは距離が離れているにもかかわらず、遠隔操縦者と外部の人（ここでは、自転車４６の運転者）との間で、円滑なコミュニケーションが可能になる。

（変形例５）
次に、実施の形態の変形例５に係るヘッドマウントディスプレイについて説明する。

図１２は、実施の形態の変形例５に係るヘッドマウントディスプレイ１０ｄの構成を示すブロック図である。ヘッドマウントディスプレイ１０ｄは、ヘッドホンに提供される音の音量を自動で下げる機能を有するヘッドマウントディスプレイであり、収音部１１、音声検出部１４、頭部動作検知部１５、外部ディスプレイ１６、応答検知部１７ｂ、映像再生部３０、内部ディスプレイ３４、ヘッドホン３５、及び、音増幅器３７を備える。

本変形例に係るヘッドマウントディスプレイ１０ｄは、基本的には実施の形態に係るヘッドマウントディスプレイ１０と同様の構成を備えるが、新たな構成要素として音増幅器３７を備える点、及び、変形例に係る応答検知部１７ｂを備える点で、実施の形態と異なる。以下、実施の形態と異なる点を中心に説明する。

音増幅器３７は、映像再生部３０から出力された音信号を、応答検知部１７ｂからの制御指示に従って増幅又は減衰させて、ヘッドホン３５に出力する音量調整器であり、例えば、可変ゲインアンプで構成される。

応答検知部１７ｂは、基本的には実施の形態に係る応答検知部１７と同様の機能を有し、本変形例では、さらに、装着者が音声に応答したことを示す情報を外部ディスプレイ１６に表示するときに、ヘッドホン３５に提供される音の音量を下げるように音増幅器３７を制御する。

図１３は、本変形例に係るヘッドマウントディスプレイ１０ｄの動作（つまり、ヘッドマウントディスプレイ１０ｄの制御方法）を示すフローチャートである。この動作は、基本的には実施の形態に係る図３に示されるフローチャートと同様であるが、ステップＳ２８が追加されている点で、実施の形態と異なる。以下、実施の形態と異なる点を中心に説明する。

応答検知部１７ｂは、頭部動作検知部１５によって、収音部１１が収音する特定の方向に装着者の頭部が向くような動きが検知された場合に（Ｓ１３でＹＥＳ）、ヘッドホン３５に提供される音の音量を下げるように音増幅器３７を制御したうえで（Ｓ２８）、装着者が音声に応答したことを示す情報を外部ディスプレイ１６に表示する（応答検知ステップＳ１４）。

このように、本変形例に係るヘッドマウントディスプレイ１０ｄは、実施の形態の構成に加えて、映像再生部３０から出力された音の音量を調整する音増幅器３７を備える。応答検知部１７ｂは、装着者が音声に応答したことを示す情報を外部ディスプレイ１６に表示するときに、ヘッドホン３５に提供される音の音量を下げるように音増幅器３７を制御する。

これにより、外部の人が装着者に向けて音声を発したときに、ヘッドホン３５に提供される音の音量が下がる。よって、ヘッドマウントディスプレイ１０ｄの装着者は、ヘッドマウントディスプレイ１０ｄを装着したまま、外部の人の音声を聞き取ることができる。

（変形例６）
次に、実施の形態の変形例６に係るヘッドマウントディスプレイについて説明する。

図１４は、実施の形態の変形例６に係るヘッドマウントディスプレイ１０ｅの構成を示すブロック図である。ヘッドマウントディスプレイ１０ｅは、外部の人だけでなく装着者が発する音声も収音する機能を有するヘッドマウントディスプレイであり、収音部１１ｂ、音声検出部１４、頭部動作検知部１５、外部ディスプレイ１６、応答検知部１７ｃ、映像再生部３０、内部ディスプレイ３４、及び、ヘッドホン３５を備える。

本変形例に係るヘッドマウントディスプレイ１０ｅは、基本的には実施の形態に係るヘッドマウントディスプレイ１０と同様の構成を備えるが、変形例に係る収音部１１ｂ及び応答検知部１７ｃを備える点で、実施の形態と異なる。以下、実施の形態と異なる点を中心に説明する。

収音部１１ｂは、基本的には実施の形態に係る収音部１１と同様の機能を有するが、本変形例では、変形例に係る指向性処理部１３ｂを有する。指向性処理部１３ｂは、実施の形態に係る指向性処理部１３と同様に、４つのマイク１２ａ～１２ｄからの音信号に対して信号処理を施すことによって特定の方向からの音だけを収音する機能を有するが、本変形例では、さらに、応答検知部１７ｃからの制御指示に従って、装着者が発する音声を収音するように収音する方向を変更する機能を有する。具体的には、指向性処理部１３ｂは、応答検知部１７ｃからの制御指示に従って、信号処理として、４つのマイク１２ａ～１２ｄからの音信号の遅延をずらすことで、予め定められた特定の方向、又は、装着者の方向からの音を強調する遅延型ビームフォーマ等を行う。

応答検知部１７ｃは、基本的には実施の形態に係る応答検知部１７と同様の機能を有し、本変形例では、さらに、音声検出部１４によって音声が検出され、かつ、頭部動作検知部１５によって装着者の頭部が特定の方向を向くような動きが検知された場合に、装着者が発する音声を収音するように、収音部１１ｂに対して収音する方向を変更させる制御をする。

図１５は、本変形例に係るヘッドマウントディスプレイ１０ｅの動作（つまり、ヘッドマウントディスプレイ１０ｅの制御方法）を示すフローチャートである。図１６は、本変形例に係るヘッドマウントディスプレイ１０ｅの外部ディスプレイ１６における表示例を示す図である。

図１５に示される動作は、基本的には実施の形態に係る図３に示されるフローチャートと同様であるが、外部ディスプレイ１６への表示（Ｓ３０、Ｓ３３、Ｓ３５）、及び、収音部１１ｂに対する制御（Ｓ３１、Ｓ３２）等が追加されている点で、実施の形態と異なる。以下、実施の形態と異なる点を中心に説明する。

音声検出部１４によって音声が検出されると（Ｓ１１でＹＥＳ）、応答検知部１７ｃは、図１６の（ｂ）の表示例のように、音声検出部１４によって音声が検出されたことを示す画像、つまり、客室乗務員がヘッドマウントディスプレイ１０ｅの装着者に呼びかけているときにマイク１２ａ～１２ｄが機能していることを示す画像（ここでは、マイク等を示す画像）を、外部ディスプレイ１６に表示する（Ｓ３０）。これにより、外部ディスプレイ１６は、平常時の表示状態（ここでは、図１６の（ａ）に示される無表示）から、マイク１２ａ～１２ｄが機能していることを示す画像の表示（図１６の（ｂ））に変化する。よって、客室乗務員は、自分の呼びかけがヘッドマウントディスプレイ１０ｅのマイク１２ａ～１２ｄによって検知されたことを知ることができる。

続いて、収音部１１ｂが収音する特定の方向に装着者の頭部が向くような動きが検知された場合に（Ｓ１３でＹＥＳ）、応答検知部１７ｃは、装着者が発する音声を収音するように、収音部１１ｂに対して収音する方向を変更させる制御をする（Ｓ３１）。その結果、収音部１１ｂは、装着者の音声を収音するように指向性処理を行うことになる（Ｓ３２）。

そして、応答検知部１７ｃは、図１６の（ｃ）の表示例のように、装着者が応答したことを示す画像（ここでは、クエッションマーク）を外部ディスプレイ１６に表示する（Ｓ３３）。これにより、客室乗務員は、自分の呼びかけに対してヘッドマウントディスプレイ１０ｅの装着者が気付いてくれたことを知ることができる。

その後、応答検知部１７ｃは、処理の終了条件が満たされるか否かを判断し（Ｓ１５）、満たされない場合には（Ｓ１５でＮＯ）、収音部１１ｂ及び音声検出部１４を介して、装着者の音声が検出されたか否かを判断し（Ｓ３４）、装着者の音声が検出されない場合には（Ｓ３４でＮＯ）、応答表示（Ｓ３３）と終了判定（Ｓ１５）とを繰り返す。

一方、装着者の音声が検出された場合には（Ｓ３４でＹＥＳ）、応答検知部１７ｃは、図１６の（ｄ）の表示例のように、装着者が発話したこと、つまり、装着者が客室乗務員の呼びかけに対して返事をしたことを示す画像（ここでは、エクスクラメーションマーク）を外部ディスプレイ１６に表示する（Ｓ３３）。これにより、客室乗務員は、自分の呼びかけに対してヘッドマウントディスプレイ１０ｅの装着者が返事をしてくれたことを知ることができる。

なお、応答検知部１７ｃは、図１６の（ｄ）に示される表示をした後は、客室乗務員からの呼びかけに対してヘッドマウントディスプレイ１０ｅの装着者が返事を返す一連の会話が終了したとみなして、図１６の（ｅ）の表示例のように、外部ディスプレイ１６を、図１６の（ａ）と同じ平常時の表示状態に戻し、処理を終了する。

このように、本変形例に係るヘッドマウントディスプレイ１０ｅでは、応答検知部１７ｃは、音声検出部１４によって音声が検出され、かつ、頭部動作検知部１５によって装着者の頭部が特定の方向を向くような動きが検知された場合に、装着者が発する音声を収音するように、収音部１１ｂに対して収音する方向を変更させる制御をする。

これにより、外部の人から音声に対して装着者が顔を向ける応答をした後に、装着者からの音声を収音するように収音方向が変更されるので、続いて装着者が発する音声が収音される。よって、装着者と外部の人との間で、より円滑なコミュニケーションが可能になる。

（変形例７）
次に、実施の形態の変形例７に係るヘッドマウントディスプレイについて説明する。

図１７は、実施の形態の変形例７に係るヘッドマウントディスプレイ１０ｆの構成を示すブロック図である。ヘッドマウントディスプレイ１０ｆは、装着者がヘッドマウントディスプレイ１０ｆを装着したまま外部の人と双方の意思を確認し合える程度の円滑なコミュニケーションを図ることを可能にしたヘッドマウントディスプレイであり、収音部１１、音声検出部１４、身体動作検知部１５Ａ、外部ディスプレイ１６、応答検知部１７、映像再生部３０、内部ディスプレイ３４、及び、ヘッドホン３５を備える。

本変形例に係るヘッドマウントディスプレイ１０ｆは、基本的には実施の形態に係るヘッドマウントディスプレイ１０と同様の構成を備えるが、頭部動作検知部１５にかえて、新たな構成要素として身体動作検知部１５Ａを備える点が実施の形態と異なる。以下、実施の形態と異なる点を中心に説明する。

身体動作検知部１５Ａは、身体の向きを検知して音声への応答を判断する。身体の向きを検知する手段として、ヘッドマウントディスプレイ１０ｆの装着者に向けたカメラの画像を利用して画像認識する手段や、ヘッドマウントディスプレイ１０ｆの装着者の身体に加速度センサやジャイロセンサを装着する手段がある。また、手にリモコンを持っている場合には、リモコン内に搭載した加速度センサやジャイロセンサを利用できる。身体動作検知部１５Ａによって身体が特定の方向を向いたことで音声へ応答したことを判断する。

図１８は、本変形例に係るヘッドマウントディスプレイ１０ｆの動作（つまり、ヘッドマウントディスプレイ１０ｆの制御方法）を示すフローチャートである。この動作は、基本的には実施の形態に係る図３に示されるフローチャートと同様であるが、ステップＳ１２がＳ１２Ａへかわっている点で、実施の形態と異なる。以下、実施の形態と異なる点を中心に説明する。

応答検知部１７は、音声検出部１４によって音声が検出された場合には（Ｓ１１でＹＥＳ）、ステップＳ１２Ａ以降の処理に進み、そうでない場合には（Ｓ１１でＮＯ）、処理を終了する。

身体動作検知部１５Ａでは、ヘッドマウントディスプレイ１０ｆの装着者の身体の動きが検知され、検知された結果を示す信号が応答検知部１７に出力している（身体動作検知ステップＳ１２Ａ）。

応答検知部１７は、身体動作検知部１５Ａから出力される信号を解析することで、ヘッドマウントディスプレイ１０の装着者（ここでは、乗客）が客室乗務員からの話しかけに応答したか否かを判断する（Ｓ１３）。

具体的には、応答検知部１７は、身体動作検知部１５Ａによって、収音部１１が収音する特定の方向に装着者の身体が特定の方向を向いたことが検知された場合に（Ｓ１３でＹＥＳ）、装着者が客室乗務員からの話しかけに応答したと判断し、装着者が音声に応答したことを示す情報を外部ディスプレイ１６に表示する（応答検知ステップＳ１４）。

その後、応答検知部１７は、処理の終了条件が満たされるか否かを判断し（Ｓ１５）、満たされるまで、装着者が音声に応答したことを示す情報を外部ディスプレイ１６に表示し続ける。なお、「処理の終了条件」とは、装着者が音声に応答しなくなることであり、例えば、身体動作検知部１５Ａによって、装着者の身体が、収音部１１が収音する特定の方向を向くような動きが検知されなくなることである。

一方、応答検知部１７は、身体動作検知部１５Ａによって、装着者の身体が、収音部１１が収音する特定の方向を向くような動きが検知されなかった場合には（Ｓ１３でＮＯ）、装着者が客室乗務員からの話しかけに応答しなかったと判断し、処理を終了する。

このように、本実施の形態に係るヘッドマウントディスプレイ１０ｆは、映像を提示するヘッドマウントディスプレイであって、特定の方向からの音を収音する収音部１１と、収音部１１で収音された音から音声を検出する音声検出部１４と、ヘッドマウントディスプレイ１０の装着者の身体の向きを検知する身体動作検知部１５Ａと、外部から視認可能な情報を表示する外部ディスプレイ１６と、音声検出部１４によって音声が検出され、かつ、身体動作検知部１５Ａによって装着者の身体が特定の方向を向いたことが検知された場合に、装着者が音声に応答したことを示す情報を外部ディスプレイ１６に表示する応答検知部１７とを備える。

また、本実施の形態に係るヘッドマウントディスプレイ１０の制御方法は、映像を提示するヘッドマウントディスプレイ１０の制御方法であって、特定の方向からの音を収音する収音ステップＳ１０と、収音ステップＳ１０で収音された音から音声を検出する音声検出ステップＳ１１と、ヘッドマウントディスプレイ１０の装着者の身体の向きを検知する身体動作検知ステップＳ１２Ａと、音声検出ステップＳ１１によって音声が検出され、かつ、身体動作検知ステップＳ１２Ａによって装着者の身体が前記特定の方向を向いたことが検知された場合に、装着者が音声に応答したことを示す情報を、外部から視認可能な情報を表示する外部ディスプレイ１６に表示する応答検知ステップＳ１４とを含む。

これにより、ヘッドマウントディスプレイ１０の装着者の身体が、外部の人が発する音声の音源方向に設定された特定の方向を向くことが検知された場合に、装着者が音声に応答したことを示す情報が外部ディスプレイ１６に表示される。よって、装着者が、外部の人の音声に応答する意思を示した場合に、そのことが外部ディスプレイ１６に表示されるので、装着者と外部の人とが双方の意思を確認し合える程度の円滑なコミュニケーションが可能になる。

なお、本実施の形態では、図１８のフローチャートにおいて、指向性処理（Ｓ１０）及び音声検出（Ｓ１１）の後に、身体動作の検知（Ｓ１２Ａ）が行われたが、このような順序に限定されない。指向性処理（Ｓ１０）及び音声検出（Ｓ１１）と、身体動作の検知（Ｓ１２Ａ）とは、順序が入れ替わってもよいし、並行して行われてもよい。

（変形例８）
次に、実施の形態の変形例８に係るヘッドマウントディスプレイについて説明する。

図１９は、実施の形態の変形例８に係るヘッドマウントディスプレイ１０ｇの構成を示すブロック図である。ヘッドマウントディスプレイ１０ｇは、装着者がヘッドマウントディスプレイ１０ｇを装着したまま外部の人と双方の意思を確認し合える程度の円滑なコミュニケーションを図ることを可能にしたヘッドマウントディスプレイであり、収音部１１、音声検出部１４、手腕動作検知部１５Ｂ、外部ディスプレイ１６、応答検知部１７、映像再生部３０、内部ディスプレイ３４、及び、ヘッドホン３５を備える。

本変形例に係るヘッドマウントディスプレイ１０ｇは、基本的には実施の形態に係るヘッドマウントディスプレイ１０と同様の構成を備えるが、頭部動作検知部１５にかえて、新たな構成要素として手腕動作検知部１５Ｂを備える点が実施の形態と異なる。以下、実施の形態と異なる点を中心に説明する。

手腕動作検知部１５Ｂは、手又は腕の動きを検知して音声への応答を判断する。手又は腕の動きを検知する手段として、ヘッドマウントディスプレイ１０ｇの装着者に向けたカメラの画像を利用して画像認識する手段や、ヘッドマウントディスプレイ１０ｇの装着者の身体に加速度センサやジャイロセンサを装着する手段がある。また、手にリモコンを持っている場合には、リモコン内に搭載した加速度センサやジャイロセンサを利用できる。手腕動作検知部１５Ｂによって手又は腕の所定の動き（例えば上に手を挙げるなど）をすることで音声へ応答したことを判断する。

図２０は、本変形例に係るヘッドマウントディスプレイ１０ｇの動作（つまり、ヘッドマウントディスプレイ１０ｇの制御方法）を示すフローチャートである。この動作は、基本的には実施の形態に係る図３に示されるフローチャートと同様であるが、ステップＳ１２がＳ１２Ｂへかわっている点で、実施の形態と異なる。以下、実施の形態と異なる点を中心に説明する。

応答検知部１７は、音声検出部１４によって音声が検出された場合には（Ｓ１１でＹＥＳ）、ステップＳ１２Ｂ以降の処理に進み、そうでない場合には（Ｓ１１でＮＯ）、処理を終了する。

手腕動作検知部１５Ｂでは、ヘッドマウントディスプレイ１０ｇの装着者の手腕の動きが検知され、検知された結果を示す信号が応答検知部１７に出力している（手腕動作検知ステップＳ１２Ｂ）。

応答検知部１７は、手腕動作検知部１５Ｂから出力される信号を解析することで、ヘッドマウントディスプレイ１０の装着者（ここでは、乗客）が客室乗務員からの話しかけに応答したか否かを判断する（Ｓ１３）。

具体的には、応答検知部１７は、手腕動作検知部１５Ｂによって、収音部１１が収音する特定の方向に装着者の手又は腕の所定の動きが検知された場合に（Ｓ１３でＹＥＳ）、装着者が客室乗務員からの話しかけに応答したと判断し、装着者が音声に応答したことを示す情報を外部ディスプレイ１６に表示する（応答検知ステップＳ１４）。

その後、応答検知部１７は、処理の終了条件が満たされるか否かを判断し（Ｓ１５）、満たされるまで、装着者が音声に応答したことを示す情報を外部ディスプレイ１６に表示し続ける。なお、「処理の終了条件」とは、装着者が音声に応答しなくなることであり、例えば、手腕動作検知部１５Ｂによって、装着者の手又は腕の所定の動きが検知されなくなることである。

一方、応答検知部１７は、手腕動作検知部１５Ｂによって、装着者の手又は腕の所定の動きが検知されなかった場合には（Ｓ１３でＮＯ）、装着者が客室乗務員からの話しかけに応答しなかったと判断し、処理を終了する。

このように、本実施の形態に係るヘッドマウントディスプレイ１０ｇは、映像を提示するヘッドマウントディスプレイであって、特定の方向からの音を収音する収音部１１と、収音部１１で収音された音から音声を検出する音声検出部１４と、ヘッドマウントディスプレイ１０の装着者の手又は腕の動きを検知する手腕動作検知部１５Ｂと、外部から視認可能な情報を表示する外部ディスプレイ１６と、音声検出部１４によって音声が検出され、かつ、手腕動作検知部１５Ｂによって装着者の手又は腕の所定の動きが検知された場合に、装着者が音声に応答したことを示す情報を外部ディスプレイ１６に表示する応答検知部１７とを備える。

また、本実施の形態に係るヘッドマウントディスプレイ１０の制御方法は、映像を提示するヘッドマウントディスプレイ１０の制御方法であって、特定の方向からの音を収音する収音ステップＳ１０と、収音ステップＳ１０で収音された音から音声を検出する音声検出ステップＳ１１と、ヘッドマウントディスプレイ１０の装着者の手又は腕の動きを検知する手腕動作検知ステップＳ１２Ｂと、音声検出ステップＳ１１によって音声が検出され、かつ、手腕動作検知ステップＳ１２Ｂによって装着者の手又は腕の所定の動きが検知された場合に、装着者が音声に応答したことを示す情報を、外部から視認可能な情報を表示する外部ディスプレイ１６に表示する応答検知ステップＳ１４とを含む。

これにより、ヘッドマウントディスプレイ１０の装着者の身体が、外部の人が発する音声の音源方向に設定された特定の方向を向くことが検知された場合に、装着者が音声に応答したことを示す情報が外部ディスプレイ１６に表示される。よって、装着者が、外部の人の音声に応答する意思を示した場合に、そのことが外部ディスプレイ１６に表示されるので、装着者と外部の人とが双方の意思を確認し合える程度の円滑なコミュニケーションが可能になる。

なお、本実施の形態では、図２０のフローチャートにおいて、指向性処理（Ｓ１０）及び音声検出（Ｓ１１）の後に、手腕動作の検知（Ｓ１２Ｂ）が行われたが、このような順序に限定されない。指向性処理（Ｓ１０）及び音声検出（Ｓ１１）と、手腕動作の検知（Ｓ１２Ｂ）とは、順序が入れ替わってもよいし、並行して行われてもよい。

以上、本開示に係るヘッドマウントディスプレイ及びその制御方法について、実施の形態及び変形例に基づいて説明したが、本開示は、これらの実施の形態及び変形例に限定されるものではない。本開示の主旨を逸脱しない限り、当業者が思いつく各種変形を実施の形態及び変形例に施したものや、実施の形態及び変形例における一部の構成要素を組み合わせて構築される別の形態も、本開示の範囲内に含まれる。

例えば、実施の形態の変形例１に係るヘッドマウントディスプレイ１０ａに対して、変形例２に係る音源探査部１９、変形例３に係る音声重畳部２０、変形例５に係る音増幅器３７を追加し、応答検知部が、これらの変形例に係る機能を備えてもよい。これにより、各変形例に係る効果を奏する高機能なヘッドマウントディスプレイが実現される。

また、実施の形態及び変形例において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスク又は半導体メモリ等の記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。ここで、実施の形態及び変形例に係るヘッドマウントディスプレイ等を実現するソフトウェアは、次のようなプログラムである。

すなわち、このプログラムは、コンピュータに、映像を提示するヘッドマウントディスプレイの制御方法を実行させるものである。その制御方法は、映像を提示するヘッドマウントディスプレイ１０の制御方法であって、特定の方向からの音を収音する収音ステップＳ１０と、収音ステップＳ１０で収音された音から音声を検出する音声検出ステップＳ１１と、ヘッドマウントディスプレイ１０の装着者の頭部の動きを検知する頭部動作検知ステップＳ１２と、音声検出ステップＳ１１によって音声が検出され、かつ、頭部動作検知ステップＳ１２によって装着者の頭部が特定の方向を向くような動きが検知された場合に、装着者が音声に応答したことを示す情報を、外部から視認可能な情報を表示する外部ディスプレイ１６に表示する応答検知ステップＳ１４とを含む。

また、このプログラムは、ヘッドマウントディスプレイ１０の装着者の頭部の動きを検知する頭部動作検知ステップＳ１２にかえて、ヘッドマウントディスプレイ１０ｆの装着者の身体の向きを検知する身体動作検知ステップＳ１２Ａ、または、ヘッドマウントディスプレイ１０ｇの装着者の手又は腕の所定の動きを検知する手腕動作検知ステップＳ１２Ｂを利用してもよい。

本発明は、ヘッドマウントディスプレイ及び遠隔操縦システムとして、特に、ヘッドマウントディスプレイの装着者と外部の人とが双方の意思を確認し合える程度の円滑なコミュニケーションを図ることを可能にするヘッドマウントディスプレイ及び遠隔操縦システムとして、利用できる。

１０、１０ａ～１０ｇ ヘッドマウントディスプレイ
１１、１１ａ、１１ｂ 収音部
１２ａ～１２ｄ マイク
１３、１３ａ、１３ｂ 指向性処理部
１４ 音声検出部
１５ 頭部動作検知部
１５Ａ 身体動作検知部
１５Ｂ 手腕動作検知部
１６ 外部ディスプレイ
１７、１７ａ～１７ｃ 応答検知部
１８ 話者識別部
１９ 音源探査部
２０ 音声重畳部
３０ 映像再生部
３１ コンテンツ記憶部
３４ 内部ディスプレイ
３５ ヘッドホン
３６ スピーカ
３７ 音増幅器
４０ 遠隔操縦システム
４１ 運転装置
４５ 自動車
４６ 自転車

Claims (13)

1. 映像を提示するヘッドマウントディスプレイであって、
   特定の方向からの音を収音する収音部と、
   前記収音部で収音された音から音声を検出する音声検出部と、
   前記ヘッドマウントディスプレイの装着者の頭部の動きを検知する頭部動作検知部と、
   外部から視認可能な情報を表示する外部ディスプレイと、
   前記音声検出部によって音声が検出され、かつ、前記頭部動作検知部によって前記装着者の頭部が前記特定の方向を向くような動きが検知された場合に、前記装着者が前記音声に応答したことを示す情報を前記外部ディスプレイに表示する応答検知部と
   を備えるヘッドマウントディスプレイ。
2. さらに、前記音声検出部で検出された音声が予め定められた人の音声であるか否かを判定する話者識別部を備え、
   前記応答検知部は、前記話者識別部によって前記音声が予め定められた人の音声であると判定され、かつ、前記頭部動作検知部によって前記装着者の頭部が前記特定の方向を向くような動きが検知された場合に、前記情報を前記外部ディスプレイに表示する
   請求項１記載のヘッドマウントディスプレイ。
3. さらに、音源を探査する音源探査部を備え、
   前記収音部は、前記音源探査部で探査された音源の方向を前記特定の方向からの音として収音する
   請求項１又は２記載のヘッドマウントディスプレイ。
4. さらに、前記映像に伴う音を前記装着者に提供するヘッドホンと、
   前記音声検出部で検出された音声を前記映像に伴う音に重畳させて前記ヘッドホンに出力する音声重畳部とを備える
   請求項１～３のいずれか１項に記載のヘッドマウントディスプレイ。
5. 前記音声重畳部は、前記音声検出部で検出された音声が前記特定の方向に対応する方向から聞こえるように音像定位を行ったうえで、前記映像に伴う音に重畳させる
   請求項４記載のヘッドマウントディスプレイ。
6. さらに、前記映像に伴う音を前記装着者に提供するヘッドホンを備え、
   前記応答検知部は、前記情報を前記外部ディスプレイに表示するときに、前記ヘッドホンに提供される音の音量を下げる
   請求項１～３のいずれか１項に記載のヘッドマウントディスプレイ。
7. 前記応答検知部は、前記音声検出部によって音声が検出され、かつ、前記頭部動作検知部によって前記装着者の頭部が前記特定の方向を向くような動きが検知された場合に、前記装着者が発する音声を収音するように、前記収音部に対して収音する方向を変更させる制御をする
   請求項１～６のいずれか１項に記載のヘッドマウントディスプレイ。
8. 映像を提示するヘッドマウントディスプレイの制御方法であって、
   特定の方向からの音を収音する収音ステップと、
   前記収音ステップで収音された音から音声を検出する音声検出ステップと、
   前記ヘッドマウントディスプレイの装着者の頭部の動きを検知する頭部動作検知ステップと、
   前記音声検出ステップによって音声が検出され、かつ、前記頭部動作検知ステップによって前記装着者の頭部が前記特定の方向を向くような動きが検知された場合に、前記装着者が前記音声に応答したことを示す情報を、外部から視認可能な情報を表示する外部ディスプレイに表示する応答検知ステップと
   を含む制御方法。
9. 請求項８記載の制御方法に含まれるステップをコンピュータに実行させるプログラム。
10. 映像を提示するヘッドマウントディスプレイであって、
    特定の方向からの音を収音する収音部と、
    前記収音部で収音された音から音声を検出する音声検出部と、
    前記ヘッドマウントディスプレイの装着者の身体の向きを検知する身体動作検知部と、
    外部から視認可能な情報を表示する外部ディスプレイと、
    前記音声検出部によって音声が検出され、かつ、前記身体動作検知部によって前記装着者の身体が前記特定の方向を向いたことが検知された場合に、前記装着者が前記音声に応答したことを示す情報を前記外部ディスプレイに表示する応答検知部と
    を備えるヘッドマウントディスプレイ。
11. 映像を提示するヘッドマウントディスプレイの制御方法であって、
    特定の方向からの音を収音する収音ステップと、
    前記収音ステップで収音された音から音声を検出する音声検出ステップと、
    前記ヘッドマウントディスプレイの装着者の身体の向きを検知する身体動作検知ステップと、
    前記音声検出ステップによって音声が検出され、かつ、前記身体動作検知ステップによって前記装着者の身体が前記特定の方向を向いたことが検知された場合に、前記装着者が前記音声に応答したことを示す情報を、外部から視認可能な情報を表示する外部ディスプレイに表示する応答検知ステップと
    を含む制御方法。
12. 映像を提示するヘッドマウントディスプレイであって、
    特定の方向からの音を収音する収音部と、
    前記収音部で収音された音から音声を検出する音声検出部と、
    前記ヘッドマウントディスプレイの装着者の手又は腕の動きを検知する手腕動作検知部と、
    外部から視認可能な情報を表示する外部ディスプレイと、
    前記音声検出部によって音声が検出され、かつ、前記手腕動作検知部によって前記装着者の手又は腕の所定の動きが検知された場合に、前記装着者が前記音声に応答したことを示す情報を前記外部ディスプレイに表示する応答検知部と
    を備えるヘッドマウントディスプレイ。
13. 映像を提示するヘッドマウントディスプレイの制御方法であって、
    特定の方向からの音を収音する収音ステップと、
    前記収音ステップで収音された音から音声を検出する音声検出ステップと、
    前記ヘッドマウントディスプレイの装着者の手又は腕の動きを検知する手腕動作検知ステップと、
    前記音声検出ステップによって音声が検出され、かつ、前記手腕動作検知部によって前記装着者の手又は腕の所定の動きが検知された場合に、前記装着者が前記音声に応答したことを示す情報を、外部から視認可能な情報を表示する外部ディスプレイに表示する応答検知ステップと
    を含む制御方法。

Images