JP6757420B2 - 音声制御装置、音声制御方法及びプログラム - Google Patents

Description

本発明は、音声制御装置、音声制御方法及びプログラムに関する。

ユーザが頭部に装着することにより眼前に表示される映像を鑑賞できるヘッドマウントディスプレイ（ＨＭＤ）が存在する。このようなＨＭＤでは一般的に、ＨＭＤに内蔵されているスピーカやＨＭＤとは別体であるヘッドホンを介してユーザは映像と連携した音声を聴くことができるようになっている。

またこのようなＨＭＤに対応したゲーム等のコンテンツのなかには、ＨＭＤを装着しているユーザが動いたり頭部の向きを変えたりすることに応じて表示されている映像が変化するものがある。そしてこのようなコンテンツを楽しんでいるユーザがＨＭＤを装着したまま動くと、障害物や壁などといったユーザの周辺に存在する物体にユーザが接近することがある。

ここで物体に接近していることをユーザに知らせるために、ユーザが物体に接近した際にスピーカやヘッドホンから警告音が出力されるようにしたり接近している物体に相当するオブジェクトがＨＭＤに表示されるようにしたりすることが考えられる。

しかしこのようにするとＨＭＤを装着しているユーザの没入感が低減されるおそれがある。

本発明は上記実情に鑑みてなされたものであって、その目的の一つは、ユーザの没入感が低減されることなく物体に接近していることをユーザに知らせることができる音声制御装置、音声制御方法及びプログラムを提供することにある。

上記課題を解決するために、本発明に係る音声制御装置は、ユーザに音声が出力されるよう制御する音声出力制御部と、ヘッドマウントディスプレイを装着しているユーザと当該ユーザの周辺に存在する物体との間の距離を特定する距離特定部と、前記ユーザに前記音声が出力されている際に発生する前記距離の変化に応じて、前記ユーザに出力されている前記音声の出力態様を変化させる変化部と、を含む。

本発明の一態様では、前記変化部は、前記ユーザにより設定される音量で前記音声が出力されている際に発生する前記距離の変化に応じて、前記ユーザに出力されている前記音声の出力態様を変化させる。

また、本発明の一態様では、前記変化部は、前記ユーザに音声が出力されている際に発生する前記距離の変化に応じて、前記ユーザに出力されている前記音声の音量を変化させる。

この態様では、前記変化部は、前記ユーザにより設定される音量に前記距離に応じた倍率を乗じた大きさの音量で出力されるよう、前記ユーザに出力されている前記音声の音量を変化させてもよい。

また、本発明の一態様では、前記変化部は、前記ユーザに音声が出力されている際に発生する前記距離の変化に応じて、前記ユーザに出力されている前記音声の周波数特性を変化させる。

また、本発明の一態様では、前記変化部は、前記ユーザと前記物体との距離が所定距離よりも短くなった場合に、前記ユーザに出力されている前記音声の出力態様を変化させる。

また、本発明の一態様では、前記音声出力制御部は、記憶されている音声ファイル又は受信する音声ストリームを再生し、前記変化部は、前記音声ファイル又は前記音声ストリームが再生されている際に発生する前記距離の変化に応じて、前記音声出力制御部が再生している前記音声ファイル又は前記音声ストリームの再生音量を変化させる。

また、本発明に係る音声制御方法は、ユーザに音声が出力されるよう制御するステップと、ヘッドマウントディスプレイを装着しているユーザと当該ユーザの周辺に存在する物体との間の距離を特定するステップと、前記ユーザに前記音声が出力されている際に発生する前記距離の変化に応じて、前記ユーザに出力されている前記音声の出力態様を変化させるステップと、を含む。

また、本発明に係るプログラムは、ユーザに音声が出力されるよう制御する手順、ヘッドマウントディスプレイを装着しているユーザと当該ユーザの周辺に存在する物体との間の距離を特定する手順、前記ユーザに前記音声が出力されている際に発生する前記距離の変化に応じて、前記ユーザに出力されている前記音声の出力態様を変化させる手順、をコンピュータに実行させる。

本発明の一実施形態に係るエンタテインメントシステムの全体構成の一例を示す図である。 本発明の一実施形態に係るヘッドマウントディスプレイの構成の一例を示す図である。 本発明の一実施形態に係るエンタテインメント装置の構成の一例を示す図である。 本発明の一実施形態に係る中継装置の構成の一例を示す図である。 参照距離と出力されている音声の音量の倍率との関係の一例を示す図である。 参照距離と出力されている音声の音量の倍率との関係の別の一例を示す図である。 参照距離と出力されている音声の音量の倍率との関係のさらに別の一例を示す図である。 本発明の一実施形態に係るエンタテインメント装置で実装される機能の一例を示す機能ブロック図である。 本発明の一実施形態に係るエンタテインメント装置において行われる処理の流れの一例を示すフロー図である。

以下、本発明の一実施形態について、図面を参照しながら説明する。

図１は、本発明の一実施形態に係るエンタテインメントシステム１０の全体構成の一例を示す図である。図２Ａは、本実施形態に係るヘッドマウントディスプレイ（ＨＭＤ）１２の構成の一例を示す図である。図２Ｂは、本実施形態に係るエンタテインメント装置１４の構成の一例を示す図である。図２Ｃは、本実施形態に係る中継装置１６の構成の一例を示す図である。

図１に示すように、本実施形態に係るエンタテインメントシステム１０は、ＨＭＤ１２とエンタテインメント装置１４と中継装置１６とディスプレイ１８とカメラマイクユニット２０とコントローラ２２とを含んでいる。

本実施形態に係るＨＭＤ１２には、例えば図２Ａに示すように、プロセッサ３０、記憶部３２、２つの通信部３４（第１通信部３４ａ及び第２通信部３４ｂ）、入出力部３６、表示部３８、センサ部４０、音声出力部４２、カメラ部４４、視線検出部４６が含まれる。

プロセッサ３０は、例えばＨＭＤ１２にインストールされるプログラムに従って動作するマイクロプロセッサ等のプログラム制御デバイスである。なお、ＨＭＤ１２に、プロセッサ３０の代わりに、プロセッサ３０によって実行される処理の実装が可能な制御回路が含まれるようにしてもよい。

記憶部３２は、例えばＲＯＭやＲＡＭ等の記憶素子などである。記憶部３２には、プロセッサ３０によって実行されるプログラムなどが記憶される。

第１通信部３４ａ及び第２通信部３４ｂは、それぞれ例えば無線ＬＡＮモジュールなどの通信インタフェースである。本実施形態では図１に示すように、第１通信部３４ａ及び第２通信部３４ｂは、ＨＭＤ１２の前側上方に配置されている。

本実施形態では第１通信部３４ａで行われる通信の通信規格と第２通信部３４ｂで行われる通信の通信規格とは異なっている。例えば第１通信部３４ａでは６０ＧＨｚ帯での通信が行われ、第２通信部３４ｂでは５ＧＨｚ帯又は２．４ＧＨｚ帯での通信が行われる。以下、第１通信部３４ａによる通信で用いられる周波数帯を高周波数帯と呼び、第２通信部３４ｂによる通信で用いられる周波数帯を低周波数帯と呼ぶこととする。

そして高周波数帯での通信の方が低周波数帯での通信よりも通信可能な最大レートは高い。また高周波数帯での通信の方が低周波数帯での通信よりも直進性が強く、また通信可能距離は短い。

入出力部３６は、例えばＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）ポート、ＵＳＢポート、ＡＵＸポートなどの入出力ポートである。

表示部３８は、ＨＭＤ１２の前側に配置されている、例えば液晶ディスプレイや有機ＥＬディスプレイ等のディスプレイであり、エンタテインメント装置１４が生成する映像などを表示させる。また表示部３８は、ＨＭＤ１２の筐体に収容される。表示部３８は、例えばエンタテインメント装置１４が出力して中継装置１６で中継される映像信号を受信して、当該映像信号が表す映像を出力するようにしてもよい。本実施形態に係る表示部３８は、例えば左目用の画像と右目用の画像を表示することによって三次元画像を表示させることができるようになっている。なお表示部３８は三次元画像の表示ができず二次元画像の表示のみができるものであっても構わない。

センサ部４０は、例えば加速度や角速度を検出可能なモーションセンサなどといったセンサである。センサ部４０は、ＨＭＤ１２の回転量、移動量などの検出結果を所定のサンプリングレートで、プロセッサ３０に出力する。またセンサ部４０が、ユーザによるＨＭＤ１２の装着を検出可能な近接センサを含んでいてもよい。

音声出力部４２は、例えばヘッドホンやスピーカ等であり、エンタテインメント装置１４が生成する音声データが表す音声などを出力する。音声出力部４２は、例えばエンタテインメント装置１４が出力して中継装置１６で中継される音声信号を受信して、当該音声信号が表す音声を出力する。

カメラ部４４は、例えばデジタルカメラなどのカメラであり、所定のフレームレートでＨＭＤ１２を装着するユーザの周辺の様子を撮影する。図１に示すように、本実施形態に係るカメラ部４４は、表示部３８の上方に、表示部３８の前方を撮影できるように２つ配置されている。そのため本実施形態に係るカメラ部４４は、ＨＭＤ１２を装着するユーザの前方を撮影できることとなる。また本実施形態に係るカメラ部４４は、例えば左目用の画像を撮影するためのレンズ及び右目用の画像を生成するためのレンズを備えたステレオカメラである。

視線検出部４６は、ＨＭＤ１２を装着したユーザの視線を検出するセンサである。視線検出部４６は、例えば、ＨＭＤ１２の筐体の内側に配置される。また視線検出部４６は、ＨＭＤ１２を装着したユーザの視線方向を検出する赤外線カメラを含んでいてもよい。

本実施形態に係るエンタテインメント装置１４は、例えばゲームコンソール、ＤＶＤプレイヤ、Ｂｌｕ−ｒａｙ（登録商標）プレイヤなどといったコンピュータである。本実施形態に係るエンタテインメント装置１４は、例えば記憶されているゲームプログラムの実行や光ディスクに記録されたコンテンツの再生などによって映像や音声を生成する。そして本実施形態に係るエンタテインメント装置１４は、生成される映像を表す映像信号や生成される音声を表す音声信号を、中継装置１６を経由して、ＨＭＤ１２やディスプレイ１８に出力する。

本実施形態に係るエンタテインメント装置１４には、例えば図２Ｂに示すように、プロセッサ５０、記憶部５２、通信部５４、入出力部５６が含まれる。

プロセッサ５０は、例えばエンタテインメント装置１４にインストールされるプログラムに従って動作するＣＰＵ等のプログラム制御デバイスである。本実施形態に係るプロセッサ５０には、ＣＰＵから供給されるグラフィックスコマンドやデータに基づいてフレームバッファに画像を描画するＧＰＵ（Graphics Processing Unit）も含まれている。なお、エンタテインメント装置１４に、プロセッサ５０の代わりに、プロセッサ５０によって実行される処理の実装が可能な制御回路が含まれるようにしてもよい。

記憶部５２は、例えばＲＯＭやＲＡＭ等の記憶素子やハードディスクドライブなどである。記憶部５２には、プロセッサ５０によって実行されるプログラムなどが記憶される。また、本実施形態に係る記憶部５２には、ＧＰＵにより画像が描画されるフレームバッファの領域が確保されている。

通信部５４は、例えば無線ＬＡＮモジュールなどの通信インタフェースである。

入出力部５６は、ＨＤＭＩポート、ＵＳＢポートなどの入出力ポートである。

本実施形態に係る中継装置１６は、エンタテインメント装置１４から出力される映像信号や音声信号を中継してＨＭＤ１２やディスプレイ１８に出力するコンピュータである。

本実施形態に係る中継装置１６には、例えば図２Ｃに示すように、プロセッサ６０、記憶部６２、２つの通信部６４（第１通信部６４ａ及び第２通信部６４ｂ）、入出力部６６が含まれる。

プロセッサ６０は、例えば中継装置１６にインストールされるプログラムに従って動作するＣＰＵ等のプログラム制御デバイスである。なお、中継装置１６に、プロセッサ６０の代わりに、プロセッサ６０によって実行される処理の実装が可能な制御回路が含まれるようにしてもよい。

記憶部６２は、例えばＲＯＭやＲＡＭ等の記憶素子などである。記憶部６２には、プロセッサ６０によって実行されるプログラムなどが記憶される。

第１通信部６４ａ及び第２通信部６４ｂは、例えば無線ＬＡＮモジュールなどの通信インタフェースである。本実施形態では、図１に示すように、中継装置１６の前側に、第１通信部６４ａ及び第２通信部６４ｂが含まれている。

本実施形態では第１通信部６４ａで行われる通信の通信規格と第２通信部６４ｂで行われる通信の通信規格とは異なっている。例えば第１通信部６４ａでは高周波数帯（例えば６０ＧＨｚ帯）での通信が行われ、第２通信部６４ｂでは低周波数帯（例えば５ＧＨｚ帯又は２．４ＧＨｚ帯）での通信が行われる。

入出力部６６は、ＨＤＭＩポート、ＵＳＢポートなどの入出力ポートである。

本実施形態に係るディスプレイ１８は、例えば液晶ディスプレイ等であり、エンタテインメント装置１４から出力される映像信号が表す映像などを表示させる。

本実施形態に係るカメラマイクユニット２０は、例えば被写体を撮像した画像などといったカメラマイクユニット２０の周辺の様子を表すデータをエンタテインメント装置１４に出力するカメラ２０ａを含んでいる。また本実施形態に係るカメラ２０ａはステレオカメラである。また本実施形態に係るカメラマイクユニット２０は、周囲の音声を取得して当該音声を音声データに変換してエンタテインメント装置１４に出力するマイク２０ｂを含んでいる。

ＨＭＤ１２と中継装置１６とは、例えば、無線通信によるデータの送受信が互いに可能になっている。エンタテインメント装置１４と中継装置１６とは、例えば、ＨＤＭＩケーブルやＵＳＢケーブルなどを介して接続されている。中継装置１６とディスプレイ１８とは、例えば、ＨＤＭＩケーブルなどを介して接続されている。エンタテインメント装置１４とカメラマイクユニット２０とは、例えば、ＡＵＸケーブルなどを介して接続されている。

本実施形態に係るコントローラ２２は、エンタテインメント装置１４に対する操作入力を行うための操作入力装置である。ユーザは、コントローラ２２が備える方向キーやボタンを押下したり、操作スティックを傾けたりすることで、コントローラ２２を用いて各種の操作入力を行うことができる。そして本実施形態では、コントローラ２２は、操作入力に対応付けられる入力データをエンタテインメント装置１４に出力する。また本実施形態に係るコントローラ２２は、ＵＳＢポートを備えている。そしてコントローラ２２は、ＵＳＢケーブルでエンタテインメント装置１４と接続することで、有線で入力データをエンタテインメント装置１４に出力することができる。また本実施形態に係るコントローラ２２は、無線通信モジュール等を備えており、無線で入力データをエンタテインメント装置１４に出力することができるようにもなっている。

本実施形態では、ＨＭＤ１２のユーザがゲームをプレイしており、ゲームプログラムを実行するエンタテインメント装置１４が生成してＨＭＤ１２に出力される映像が表示部３８に表示されていることとする。またゲームプログラムを実行するエンタテインメント装置１４が生成してＨＭＤ１２に出力される音声が音声出力部４２から出力されていることとする。

また本実施形態では、ユーザはコントローラ２２を操作することなどにより、音声出力部４２から出力されている音声の音量を設定できることとする。

そして本実施形態では、カメラ２０ａやカメラ部４４が撮影する画像や、センサ部４０による検出結果に基づいて、ＨＭＤ１２を装着しているユーザと、壁や障害物などといったユーザの周辺の物体と、の間の距離が特定される。ここでＨＭＤ１２と、ＨＭＤ１２を装着しているユーザの周辺の物体と、の間の距離が特定されてもよい。また例えば、ＨＭＤ１２とＨＭＤ１２に最も近い物体との間の距離が特定されてもよい。以下、このようにして特定される、ＨＭＤ１２を装着しているユーザと、当該ユーザの周辺の物体との間の距離を、参照距離と呼ぶこととする。

そして本実施形態では、参照距離の変化に応じて、音声出力部４２から出力されている音声の出力態様（例えば音量や周波数特性など）が変化する。

図３Ａは、参照距離と出力されている音声の音量の倍率との関係の一例を示す図である。図３Ｂは、参照距離と出力されている音声の音量の倍率との関係の別の一例を示す図である。図３Ｃは、参照距離と出力されている音声の音量の倍率との関係のさらに別の一例を示す図である。

ここで例えば、参照距離が短くなるほど大きな音量で音声が出力されるようにしてもよい。例えば図３Ａに示すように、参照距離がｄ１より短くなると、ユーザにより設定されている音量よりも大きな音量で音声が出力されるようにしてもよい。例えば最大でユーザにより設定されている音量の３００％の音量で音声が出力されるようにしてもよい。

また例えば、参照距離が短くなるほど小さな音量で音声が出力されるようにしてもよい。例えば図３Ｂに示すように、参照距離がｄ１より短くなると、ユーザにより設定されている音量よりも小さな音量で音声が出力されるようにしてもよい。例えば最小でユーザにより設定されている音量の２０％の音量で音声が出力されるようにしてもよい。

また例えば、参照距離が短くなるに従って段階的に音量が変化するようにしてもよい。例えば図３Ｃに示すように、参照距離がｄ１より短くなると、ユーザにより設定されている音量の１５０％の音量で音声が出力されるようにしてもよい。そして参照距離がｄ２より短くなると、ユーザにより設定されている音量の２００％の音量で音声が出力されるようにしてもよい。そして参照距離がｄ３より短くなると、ユーザにより設定されている音量の３００％の音量で音声が出力されるようにしてもよい。ここで距離ｄ２は距離ｄ１より短く、距離ｄ３は距離ｄ２よりも短いこととする。

また公知の画像認識技術を用いることにより、特定の物体（例えば壁）とＨＭＤ１２との間の距離の変化に応じて、音声出力部４２から出力されている音声の出力態様が変化してもよい。ここで例えば特定の物体（例えば壁）とＨＭＤ１２との間の距離の変化に応じて、音声出力部４２から出力されている音声の出力態様が変化してもよい。この場合、特定の物体（例えば壁）とＨＭＤ１２との間の距離が上述の参照距離に相当することとなる。

またＨＭＤ１２を装着しているユーザと当該ユーザの周辺に存在する物体との間の距離の変化に応じて全体の音量が変化するのではなく、例えば周波数特性が変化するようにしてもよい。例えばＨＭＤ１２と物体との間の距離の変化に応じて出力される音声をイコライジングして所定の周波数以上の周波数成分の音量が変化するようにしてもよい。

また例えば特定方向（例えば前方方向や左右方向など）に存在する物体とＨＭＤ１２との間の距離の変化に応じて、出力されている音声の出力態様が変化してもよい。この場合、例えば特定方向に存在する物体とＨＭＤ１２との間の距離が上述の参照距離に相当することとなる。

以上のように本実施形態では、ゲームの音声などといった音声がユーザに出力されている際に発生する、ＨＭＤ１２を装着しているユーザと当該ユーザの周辺に存在する物体との間の距離の変化に応じて、ユーザに出力されている音声の出力態様が変化する。そのため警告音が出力される場合や接近している物体に相当するオブジェクトがＨＭＤ１２に表示される場合よりも、ユーザの没入感が低減されることなく物体に接近していることをユーザに知らせることができることとなる。

以下、本実施形態に係るエンタテインメント装置１４の機能並びに本実施形態に係るエンタテインメント装置１４で実行される処理についてさらに説明する。

図４は、本実施形態に係るエンタテインメント装置１４で実装される機能の一例を示す機能ブロック図である。なお、本実施形態に係るエンタテインメント装置１４で、図４に示す機能のすべてが実装される必要はなく、また、図４に示す機能以外の機能が実装されていても構わない。

図４に示すように、本実施形態に係るエンタテインメント装置１４は、機能的には例えば、音声出力制御部７０、音声変化データ記憶部７２、基準データ記憶部７４、基準設定部７６、距離特定部７８、倍率決定部８０、音声変化部８２、を含んでいる。

音声出力制御部７０は、プロセッサ５０、入出力部５６を主として実装される。音声変化データ記憶部７２、基準データ記憶部７４は、記憶部５２を主として実装される。基準設定部７６は、プロセッサ５０、通信部５４、入出力部５６を主として実装される。距離特定部７８、倍率決定部８０、音声変化部８２は、プロセッサ５０を主として実装される。

以上の機能は、コンピュータであるエンタテインメント装置１４にインストールされた、以上の機能に対応する指令を含むプログラムをプロセッサ５０で実行することにより実装されてもよい。このプログラムは、例えば、光ディスク、磁気ディスク、磁気テープ、光磁気ディスク、フラッシュメモリ等のコンピュータ読み取り可能な情報記憶媒体を介して、あるいは、インターネットなどを介してエンタテインメント装置１４に供給されてもよい。

音声出力制御部７０は、本実施形態では例えば、ユーザに音声が出力されるよう制御する。音声出力制御部７０は、例えば、ＨＭＤ１２の音声出力部４２から出力される音声の音声データをＨＭＤ１２に送信してもよい。この場合に、ＨＭＤ１２の音声出力部４２は、エンタテインメント装置１４から受信する音声データが表す音声を出力してもよい。

ここで音声出力制御部７０は、記憶部５２や光ディスク等の情報記憶媒体に記憶されている音声ファイル又はインターネット等の通信ネットワークを介して受信する音声ストリームを再生するようにしてもよい。

音声変化データ記憶部７２は、本実施形態では例えば、出力される音声の出力態様を変化させるための音声変化データを記憶する。ここで音声変化データは、例えば、ＨＭＤ１２を装着しているユーザと当該ユーザの周辺に存在する物体との間の距離の変化に応じた、ユーザに出力される音声の音量や周波数特性などといった出力態様の変化を示すデータであってもよい。例えば図３Ａ、図３Ｂ、及び、図３Ｃに示すような、参照距離とユーザに出力される音声の音量の倍率との関係を示すデータが、音声変化データとして音声変化データ記憶部７２に記憶されていてもよい。

基準データ記憶部７４は、ユーザに出力される音声の出力態様の基準値を示す基準データを記憶する。ここで基準データは、ユーザに出力される音声の音量の基準値を示すデータであってもよい。また基準データは、複数の周波数のそれぞれについての音声の音量の基準値を示すデータであってもよい。

基準設定部７６は、本実施形態では例えば、基準データ記憶部７４に記憶されている基準データの値を設定する。ここで基準設定部７６は、ユーザが指定する値となるよう基準データの値を設定してもよい。例えば基準設定部７６は、コントローラ２２からの操作信号の受付に応じて、基準データ記憶部７４に記憶されている基準データの値を変化させてもよい。

距離特定部７８は、本実施形態では例えば、ＨＭＤ１２を装着しているユーザと当該ユーザの周辺に存在する物体との間の距離を特定する。ここで距離特定部７８は、ＨＭＤ１２とＨＭＤ１２を装着しているユーザの周辺に存在する物体との間の距離を特定してもよい。また距離特定部７８は、上述の参照距離を特定してもよい。

ここで例えば距離特定部７８は、所定の時間間隔で、カメラ部４４が撮影する、ＨＭＤ１２を装着しているユーザの周辺（例えばユーザの前方）の画像を取得してもよい。また例えば距離特定部７８は、所定の時間間隔で、カメラ２０ａが撮影する、ＨＭＤ１２を装着しているユーザが存在する空間の画像を取得してもよい。そして距離特定部７８は、これらの取得する画像に基づいて、上述の参照距離などといった、ＨＭＤ１２とＨＭＤ１２を装着しているユーザの周辺に存在する物体との間の距離を特定してもよい。

また例えば距離特定部７８は、所定の時間間隔で、センサ部４０による検出結果を取得してもよい。また例えば距離特定部７８は、所定の時間間隔で、ＨＭＤ１２を装着しているユーザが存在する部屋に配置された物体の位置、ユーザの位置、ＨＭＤ１２の位置などを特定可能なセンサの検出結果を取得してもよい。そして距離特定部７８は、取得する検出結果に基づいて、上述の参照距離などといった、ＨＭＤ１２を装着しているユーザと当該ユーザの周辺に存在する物体との間の距離を特定してもよい。

なお距離特定部７８による距離の特定方法は上述のものに限定されない。

倍率決定部８０は、本実施形態では例えば、ユーザに出力される音声の音量の倍率を決定する。例えば倍率決定部８０が、音声変化データ記憶部７２に記憶されている音声変化データと、距離特定部７８が特定する参照距離と、に基づいて、出力されるよう制御される音声の音量の倍率を決定してもよい。

音声変化部８２は、本実施形態では例えば、ＨＭＤ１２を装着しているユーザに音声が出力されている際に発生する、距離特定部７８が特定する距離の変化に応じて、ユーザに出力されている音声の出力態様を変化させる。例えば音声変化部８２は、音声出力制御部７０が出力制御している音声の出力態様を変化させる。

ここで音声変化部８２は、音声出力制御部７０が再生している音声ファイル又は音声ストリームの再生音量を変化させてもよい。

また音声変化部８２は、ユーザにより設定される音量で音声が出力されている際に発生する、ＨＭＤ１２を装着しているユーザと当該ユーザの周辺に存在する物体との間の距離の変化に応じて、ユーザに出力されている音声の出力態様を変化させてもよい。例えば音声変化部８２は、ユーザにより設定される音量で音声が出力されている際に発生する参照距離の変化に応じて、ユーザに出力されている音声の音量や周波数特性などを変化させてもよい。

また音声変化部８２は、ユーザにより設定される音量に、参照距離に応じた倍率を乗じた大きさの音量で出力されるよう、ユーザに出力されている音声の音量を変化させてもよい。例えば音声変化部８２は、ユーザに出力されている音声の音量を、基準データ記憶部７４に記憶されている基準データが示す音量に倍率決定部８０が決定した倍率を乗じた音量に変化させてもよい。

また音声変化部８２は、図３Ａ、図３Ｂ、及び、図３Ｃに示すように、参照距離が所定距離（例えば距離ｄ１）より短くなった場合に、ユーザに出力されている音声の出力態様を変化させてもよい。この場合、参照距離が所定距離以上（例えば距離ｄ１以上）である際には、音声出力制御部７０は、基準データ記憶部７４が記憶している基準データが示す出力態様の音声が出力されるよう制御する。

以下、本実施形態に係るエンタテインメント装置１４で実行される処理の流れの一例を、図５に例示するフロー図を参照しながら説明する。なお本処理例では、以下に示すＳ１０１〜Ｓ１０５に示す処理が繰り返し実行される。

まず距離特定部７８が、上述のようにして参照距離を特定する（Ｓ１０１）。すると倍率決定部８０が、音声変化データ記憶部７２に記憶されている音声変化データと、Ｓ１０１に示す処理で特定された参照距離と、に基づいて、ユーザに出力されている音声の音量の倍率を決定する（Ｓ１０２）。

そして音声変化部８２が、基準データ記憶部７４に記憶されている基準データの値が示す音量にＳ１０２に示す処理で決定された倍率を乗じることで、音声出力制御部７０によって出力制御されている音声が出力されるべき音量を決定する（Ｓ１０３）。

そして音声変化部８２は、前回のループにおいてＳ１０３に示す処理で決定された音量と今回のループにおいてＳ１０３に示す処理で決定された音量が同じであるか否かを判定する（Ｓ１０４）。

ここで同じであると判定された場合は（Ｓ１０４：Ｙ）、Ｓ１０１に示す処理に戻る。

一方、同じでないと判定された場合は（Ｓ１０４：Ｎ）、音声変化部８２は、音声出力制御部７０によって出力制御されている音声の音量を、今回のループにおいてＳ１０３に示す処理で決定された音量に変化させて（Ｓ１０５）、Ｓ１０１に示す処理に戻る。

このようにして本処理例では、所定の時間間隔で、上述のＳ１０１〜Ｓ１０５に示す処理が実行されることとなる。

なお上述の処理において、Ｓ１０４に示す処理が実行される必要はない。例えば、Ｓ１０３に示す処理で音量が決定される度に、音声変化部８２が、決定された音量で音声が出力されるよう音声出力制御部７０を制御してもよい。

なお、本発明は上述の実施形態に限定されるものではない。

例えば距離特定部７８が特定する距離の変化に応じて、ユーザに出力されている音声の出力態様だけでなく、表示部３８に表示されている映像が変化するようにしてもよい。

例えば距離ｄ１よりも距離ｄ２が短いこととした場合、参照距離がｄ１より短くなると、ユーザに出力されている音声の出力態様が変化し、参照距離がｄ２より短くなると、さらに表示部３８に表示されている映像が変化するようにしてもよい。

また例えば、参照距離がｄ１より短くなると、表示部３８に表示されている映像が変化するようにしてもよい。この場合に、参照距離がｄ２より短くなると、さらにユーザに出力されている音声の出力態様が変化するようにしてもよい。あるいはこの場合に、参照距離がｄ２より短くなると、参照距離がｄ１以上である際の状況に表示部３８に表示されている映像が戻るとともに、ユーザに出力されている音声の出力態様が変化するようにしてもよい。

また例えばユーザに出力されている音声の出力態様は、音量や周波数特性には限定されない。例えば、ユーザが装着しているＨＭＤ１２と、壁や障害物などといったユーザの周辺の物体と、の間の距離の変化に応じて、ユーザ出力されている音声に、例えばディレイやエコーなどといったエフェクトがかかるようにしてもよい。

また以上の説明における図４に示す機能の一部又は全部が、ＨＭＤ１２や中継装置１６において実装されても構わない。

また、上記の具体的な文字列や数値及び図面中の具体的な文字列や数値は例示であり、これらの文字列や数値には限定されない。

Claims (5)

1. ユーザに音声が出力されるよう制御する音声出力制御部と、
   ヘッドマウントディスプレイを装着しているユーザと当該ユーザの周辺に存在する物体との間の距離を特定する距離特定部と、
   前記ユーザに前記音声が出力されている際に発生する前記距離の変化に応じて、前記ヘッドマウントディスプレイの表示部に前記物体に相当する映像を表示させることなく前記ユーザに出力されている前記音声の出力態様を変化させる変化部と、を含み、
   前記音声出力制御部は、記憶されている音声ファイル又は受信する音声ストリームを再生し、
   前記変化部は、前記音声ファイル又は前記音声ストリームが再生されている際に発生する前記距離の変化に応じて、前記音声出力制御部が再生している前記音声ファイル又は前記音声ストリームの再生音量を、前記距離が短いほど大きくなるよう変化させる、
   ことを特徴とする音声制御装置。
2. 前記変化部は、前記ユーザに音声が出力されている際に発生する前記距離の変化に応じて、前記ユーザに出力されている前記音声の周波数特性を変化させる、
   ことを特徴とする請求項１に記載の音声制御装置。
3. 前記変化部は、前記ユーザと前記物体との距離が所定距離よりも短くなった場合に、前記ユーザに出力されている前記音声の出力態様を変化させる、
   ことを特徴とする請求項１又は２に記載の音声制御装置。
4. ユーザに音声が出力されるよう制御する音声出力制御ステップと、
   ヘッドマウントディスプレイを装着しているユーザと当該ユーザの周辺に存在する物体との間の距離を特定する距離特定ステップと、
   前記ユーザに前記音声が出力されている際に発生する前記距離の変化に応じて、前記ヘッドマウントディスプレイの表示部に前記物体に相当する映像を表示させることなく前記ユーザに出力されている前記音声の出力態様を変化させる変化ステップと、を含み、
   前記音声出力制御ステップでは、記憶されている音声ファイル又は受信する音声ストリームを再生し、
   前記変化ステップでは、前記音声ファイル又は前記音声ストリームが再生されている際に発生する前記距離の変化に応じて、前記音声出力制御ステップで再生している前記音声ファイル又は前記音声ストリームの再生音量を、前記距離が短いほど大きくなるよう変化させる、
   ことを特徴とする音声制御方法。
5. ユーザに音声が出力されるよう制御する音声出力制御手順、
   ヘッドマウントディスプレイを装着しているユーザと当該ユーザの周辺に存在する物体との間の距離を特定する距離特定手順、
   前記ユーザに前記音声が出力されている際に発生する前記距離の変化に応じて、前記ヘッドマウントディスプレイの表示部に前記物体に相当する映像を表示させることなく前記ユーザに出力されている前記音声の出力態様を変化させる変化手順、をコンピュータに実行させ、
   前記音声出力制御手順では、記憶されている音声ファイル又は受信する音声ストリームを再生し、
   前記変化手順では、前記音声ファイル又は前記音声ストリームが再生されている際に発生する前記距離の変化に応じて、前記音声出力制御手順で再生している前記音声ファイル又は前記音声ストリームの再生音量を、前記距離が短いほど大きくなるよう変化させる、
   ことを特徴とするプログラム。

Images