JP6207691B1 - 情報処理方法および当該情報処理方法をコンピュータに実行させるためのプログラム - Google Patents

Abstract

【課題】没入感を損なわずに、周囲から作用を受けたことを容易に認識させることができる方法を提供する。【解決手段】方法はＨＭＤと音声出力部とを備え、以下のステップを含む。仮想カメラ３００と、対象オブジェクトＥＣと、対象オブジェクトＥＣに関連付けられた音声データを生成する音源オブジェクトＭＣと、音声データを収集する集音オブジェクトＴＣとを含む仮想空間を定義する仮想空間データを生成する。仮想カメラ３００の視野および仮想空間データに基づいてＨＭＤに視野画像を表示させる。対象オブジェクトＥＣと集音オブジェクトＴＣとの間の相対位置関係および距離を特定する。特定された相対位置関係に基づいて、音源オブジェクトＭＣの位置を決定する。特定された距離に基づいて、音声データの音量を調整する。集音オブジェクトＴＣにより収集された音声データに対応する音声を出力させる。【選択図】図９

Description

本開示は、情報処理方法および当該情報処理方法をコンピュータに実行させるためのプログラムに関する。

特許文献１には、ＦＰＳゲーム（Ｆｉｒｓｔ Ｐｅｒｓｏｎ Ｓｈｏｏｔｅｒ）において、プレイヤキャラクタが相手キャラクタから攻撃を受けた際に、プレイヤキャラクタの周囲に、攻撃を受けた方向を示すダメージマークを表示させる方法が開示されている。

特開２０１０−２４６８５１号公報

近年、ヘッドマウントディスプレイ（ＨＭＤ：Ｈｅａｄ‐Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）を装着して仮想現実（ＶＲ：Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）空間に没入できるゲーム（以下、ＶＲゲームと称することがある）が知られている。
しかしながら、特許文献１の方法をＶＲゲームに採用した場合、ダメージマークの表示態様が現実離れしているため、ＶＲ空間へのユーザの没入体験を損なう恐れがある。

本開示は、ユーザの没入感を損なうことなく、周囲から何らかの作用を受けたことをユーザに容易に認識させることができる情報処理方法を提供することを目的とする。また、本開示は、当該情報処理方法をコンピュータに実行させるためのプログラムを提供することを目的とする。

本開示が示す一態様によれば、ヘッドマウントディスプレイと音声出力部とを備えたシステムにおける情報処理方法であって、
当該情報処理方法は、
（ａ）仮想カメラと、対象オブジェクトと、前記対象オブジェクトに関連付けられた音声データを生成する音源オブジェクトと、前記音声データを収集する集音オブジェクトとを含む仮想空間を定義する仮想空間データを生成するステップと、
（ｂ）前記仮想カメラの視野および前記仮想空間データに基づいて前記ヘッドマウントディスプレイに視野画像を表示させるステップと、
（ｃ）前記対象オブジェクトと前記集音オブジェクトとの間の相対位置関係および距離を特定するステップと、
（ｄ）前記特定された相対位置関係に基づいて、前記音源オブジェクトの位置を決定するステップと、
（ｅ）前記特定された距離に基づいて、前記音声データの音量を調整するステップと、
（ｆ）前記集音オブジェクトにより収集された前記音声データに対応する音声を前記音声出力部に出力させるステップと、
を含む。

本開示によれば、ユーザの没入感を損なうことなく、周囲から何らかの作用を受けたことをユーザに容易に認識させることができる情報処理方法を提供することができる。

本実施形態に係るヘッドマウントディスプレイ（ＨＭＤ）システムを示す概略図である。 ＨＭＤを装着したユーザの頭部を示す図である。 制御装置のハードウェア構成を示す図である。 視野画像をＨＭＤに表示する処理を示すフローチャートである。 仮想空間の一例を示すｘｙｚ空間図である。 （ａ）は、図５に示す仮想空間のｙｘ平面図であり、（ｂ）は、図５に示す仮想空間のｚｘ平面図である。 本実施形態に係る情報処理方法を説明するためのフローチャートである。 本実施形態に係る情報処理方法を説明するための模式図である。 本実施形態に係る情報処理方法の具体的構成を示す図である。 本実施形態の変形例１に係る情報処理方法を説明するための模式図である。 本実施形態の変形例２に係る情報処理方法を説明するための模式図である。

［本開示が示す実施形態の説明］
本開示が示す実施形態の概要を説明する。
（１）ヘッドマウントディスプレイと音声出力部とを備えたシステムにおける情報処理方法であって、
当該情報処理方法は、
（ａ）仮想カメラと、対象オブジェクトと、前記対象オブジェクトに関連付けられた音声データを生成する音源オブジェクトと、前記音声データを収集する集音オブジェクトとを含む仮想空間を定義する仮想空間データを生成するステップと、
（ｂ）前記仮想カメラの視野および前記仮想空間データに基づいて前記ヘッドマウントディスプレイに視野画像を表示させるステップと、
（ｃ）前記対象オブジェクトと前記集音オブジェクトとの間の相対位置関係および距離を特定するステップと、
（ｄ）前記特定された相対位置関係に基づいて、前記音源オブジェクトの位置を決定するステップと、
（ｅ）前記特定された距離に基づいて、前記音声データの音量を調整するステップと、
（ｆ）前記集音オブジェクトにより収集された前記音声データに対応する音声を前記音声出力部に出力させるステップと、
を含む。

上記方法によれば、ユーザの没入感を損なうことなく、周囲から何らかの作用を受けたことをユーザに容易に認識させることができる。

（２）前記ステップ（ｅ）では、前記距離が小さいほど前記音量を大きくし、前記距離が大きいほど前記音量を小さくしても良い。

上記方法によれば、音量の大小によって、ユーザは対象オブジェクトとの距離を容易に把握することができる。

（３）前記ステップ（ｄ）では、前記音源オブジェクトを、前記集音オブジェクトから前記対象オブジェクトへの位置ベクトル上において前記集音オブジェクトから一定距離の位置に配置しても良い。

上記方法によれば、集音オブジェクトと対象オブジェクトとの相対位置関係が変化した場合でも、音源オブジェクトと集音オブジェクトとの距離が一定であるため、音声データ生成時等の情報処理量を抑制することができる。

（４）前記集音オブジェクトは、前記仮想カメラと一体的に構成されていても良い。

上記方法によれば、特に一人称視点の場合に、よりリアルな音声を提供することができる。

（５）前記仮想空間は、前記ヘッドマウントディスプレイのユーザに関連付けられたアバターオブジェクトをさらに含み、
前記集音オブジェクトは、前記アバターオブジェクトと一体的に構成されていても良い。

上記方法によれば、ユーザの感覚により近い音声を提供することができ、直感的にユーザが状況を把握することができる。

（６）上記（１）から（５）のいずれかに記載の情報処理方法をコンピュータに実行させるためのプログラムである。

この構成によれば、ユーザの没入感を損なうことなく、周囲から何らかの作用を受けたことをユーザに容易に認識させることができるプログラムを提供することができる。

［本開示が示す実施形態の詳細］
以下、本開示が示す実施形態について図面を参照しながら説明する。なお、本実施形態の説明において既に説明された部材と同一の参照番号を有する部材については、説明の便宜上、その説明は繰り返さない。

図１は、本開示が示す実施形態（以下、単に本実施形態という。）に係る情報処理方法を実現するヘッドマウントディスプレイ（以下、単にＨＭＤという。）システム１を示す概略図である。図１に示すように、ＨＭＤシステム１は、ユーザＵの頭部に装着されたＨＭＤ１１０と、位置センサ１３０と、制御装置１２０と、外部コントローラ３２０とを備える。

ＨＭＤ１１０は、表示部１１２と、ＨＭＤセンサ１１４と、ヘッドホン１１６（音声出力部の一例）とを備えている。

表示部１１２は、ＨＭＤ１１０を装着したユーザＵの視界（視野）を覆うように構成された非透過型の表示装置を備えている。ＨＭＤ１１０は、透過型表示装置を備えており、当該透過型表示装置の透過率を調整することにより、一時的に非透過型の表示装置として構成可能であってもよい。これにより、ユーザＵは、表示部１１２に表示された視野画像のみを見ることで仮想空間に没入することができる。なお、表示部１１２は、ユーザＵの左眼に投影される左眼用の表示部とユーザＵの右眼に投影される右眼用の表示部とから構成されてもよい。

ＨＭＤセンサ１１４は、ＨＭＤ１１０の表示部１１２の近傍に搭載される。ＨＭＤセンサ１１４は、地磁気センサ、加速度センサ、傾きセンサ（角速度センサやジャイロセンサ等）のうちの少なくとも１つを含み、ユーザＵの頭部に装着されたＨＭＤ１１０の各種動きを検出することができる。

ヘッドホン１１６は、ユーザＵの左耳と右耳にそれぞれ装着されている。ヘッドホン１１６は、制御装置１２０から音声データ（電気信号）を受信し、当該受信した音声データに基づいて音声を出力するように構成されている。ヘッドホン１１６の右耳用のスピーカに出力される音声は、ヘッドホン１１６の左耳用のスピーカに出力される音声と異なってもよい。例えば、制御装置１２０は、頭部伝達関数に基づいて、右耳用スピーカに入力される音声データと、左耳用スピーカに入力される音声データを取得し、当該異なる２つの音声データをヘッドホン１１６の左耳用スピーカと右耳用スピーカのそれぞれに出力してもよい。なお、ＨＭＤ１１０にヘッドホン１１６を設けずに、ＨＭＤ１１０とは独立したスピーカ（例えば、２つの据置型スピーカ）やイヤホンを設けてもよい。

位置センサ１３０は、例えば、ポジション・トラッキング・カメラにより構成され、ＨＭＤ１１０の位置を検出するように構成されている。位置センサ１３０は、制御装置１２０に無線または有線により通信可能に接続されており、ＨＭＤ１１０に設けられた図示しない複数の検知点の位置、傾きまたは発光強度に関する情報を検出するように構成されている。また、位置センサ１３０は、赤外線センサや複数の光学カメラを含んでもよい。

制御装置１２０は、位置センサ１３０から取得された情報に基づいて、ＨＭＤ１１０の位置情報を取得し、当該取得された位置情報に基づいて、仮想空間における仮想カメラの位置と、現実空間におけるＨＭＤ１１０を装着したユーザＵの位置を正確に対応付けることができる。

次に、図２を参照して、ＨＭＤ１１０の位置や傾きに関する情報を取得する方法について説明する。図２は、ＨＭＤ１１０を装着したユーザＵの頭部を示す図である。ＨＭＤ１１０を装着したユーザＵの頭部の動きに連動したＨＭＤ１１０の位置や傾きに関する情報は、位置センサ１３０および／またはＨＭＤ１１０に搭載されたＨＭＤセンサ１１４により検出可能である。図２に示すように、ＨＭＤ１１０を装着したユーザＵの頭部を中心として、３次元座標（ｕｖｗ座標）が規定される。ユーザＵが直立する垂直方向をｖ軸として規定し、ｖ軸と直交し表示部１１２の中心とユーザＵとを結ぶ方向をｗ軸として規定し、ｖ軸およびｗ軸と直交する方向をｕ軸として規定する。位置センサ１３０および／またはＨＭＤセンサ１１４は、各ｕｖｗ軸回りの角度（すなわち、ｖ軸を中心とする回転を示すヨー角、ｕ軸を中心とした回転を示すピッチ角、ｗ軸を中心とした回転を示すロール角で決定される傾き）を検出する。制御装置１２０は、検出された各ｕｖｗ軸回りの角度変化に基づいて、視野情報を定義する仮想カメラの視軸を制御するための角度情報を決定する。

次に、図３を参照して、制御装置１２０のハードウェア構成について説明する。図３に示すように、制御装置１２０は、制御部１２１と、記憶部１２３と、Ｉ／Ｏ（入出力）インターフェース１２４と、通信インターフェース１２５と、バス１２６とを備える。制御部１２１と、記憶部１２３と、Ｉ／Ｏインターフェース１２４と、通信インターフェース１２５とは、バス１２６を介して互いに通信可能に接続されている。

制御装置１２０は、ＨＭＤ１１０とは別体に、パーソナルコンピュータ、タブレットまたはウェアラブルデバイスとして構成されてもよいし、ＨＭＤ１１０の内部に搭載されていてもよい。また、制御装置１２０の一部の機能がＨＭＤ１１０に搭載されると共に、制御装置１２０の残りの機能がＨＭＤ１１０とは別体の他の装置に搭載されてもよい。

制御部１２１は、メモリとプロセッサを備えている。メモリは、例えば、各種プログラム等が格納されたＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）やプロセッサにより実行される各種プログラム等が格納される複数ワークエリアを有するＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等から構成される。プロセッサは、例えばＣＰＵ(Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ)、ＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）および／またはＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）であって、ＲＯＭに組み込まれた各種プログラムから指定されたプログラムをＲＡＭ上に展開し、ＲＡＭとの協働で各種処理を実行するように構成されている。

特に、プロセッサが本実施形態に係る情報処理方法をコンピュータに実行させるための情報処理プログラム（後述する）をＲＡＭ上に展開し、ＲＡＭとの協働で当該プログラムを実行することで、制御部１２１は、制御装置１２０の各種動作を制御してもよい。制御部１２１は、メモリや記憶部１２３に格納された所定のアプリケーション（ゲームプログラム）を実行することで、ＨＭＤ１１０の表示部１１２に仮想空間（視野画像）を提供する。これにより、ユーザＵは、表示部１１２に提供された仮想空間に没入することができる。

記憶部（ストレージ）１２３は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）、ＵＳＢフラッシュメモリ等の記憶装置であって、プログラムや各種データを格納するように構成されている。記憶部１２３には、情報処理プログラムが組み込まれてもよい。また、ユーザの認証プログラムや各種画像やオブジェクトに関するデータを含むゲームプログラム等が格納されてもよい。さらに、記憶部１２３には、各種データを管理するためのテーブルを含むデータベースが構築されてもよい。

Ｉ／Ｏインターフェース１２４は、位置センサ１３０と、ＨＭＤ１１０と、ヘッドホン１１６と、外部コントローラ３２０と、をそれぞれ制御装置１２０に通信可能に接続するように構成されており、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）端子、ＤＶＩ（Ｄｉｇｉｔａｌ Ｖｉｓｕａｌ Ｉｎｔｅｒｆａｃｅ）端子、ＨＤＭＩ（登録商標）（Ｈｉｇｈ―Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）端子等により構成されている。なお、制御装置１２０は、位置センサ１３０と、ＨＭＤ１１０と、ヘッドホン１１６と、外部コントローラ３２０とのそれぞれと無線接続されていてもよい。

通信インターフェース１２５は、制御装置１２０をＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）またはインターネット等の通信ネットワーク３に接続させるように構成されている。通信インターフェース１２５は、通信ネットワーク３を介して外部装置と通信するための各種有線接続端子や、無線接続のための各種処理回路を含んでおり、通信ネットワーク３を介して通信するための通信規格に適合するように構成されている。

次に、図４から図６を参照することで視野画像をＨＭＤ１１０に表示するための処理について説明する。図４は、視野画像をＨＭＤ１１０に表示するための処理を示すフローチャートである。図５は、仮想空間２００の一例を示すｘｙｚ空間図を示す。図６（ａ）は、図５に示す仮想空間２００のｙｘ平面図であって、図６（ｂ）は、図５に示す仮想空間２００のｚｘ平面図である。

図４に示すように、ステップＳ１において、制御部１２１（図３参照）は、仮想カメラ３００を含む仮想空間２００を定義する仮想空間データを生成する。図５および図６に示すように、仮想空間２００は、中心位置２１を中心とした全天球として規定される（図５および図６では、上半分の天球のみが図示されている）。また、仮想空間２００には、中心位置２１を原点とするｘｙｚ座標系が設定されている。ＨＭＤシステム１の初期状態では、仮想カメラ３００が仮想空間２００の中心位置２１に配置されている。
仮想カメラ３００の視野を定義するｕｖｗ座標系は、現実空間におけるユーザＵの頭部を中心として規定されたｕｖｗ座標系に連動するように決定される。また、ＨＭＤ１１０を装着したユーザＵの現実空間における移動に連動して、仮想カメラ３００を仮想空間２００内で移動させてもよい。

次に、ステップＳ２において、制御部１２１は、仮想カメラ３００の視野ＣＶ（図６参照）を特定する。具体的には、制御部１２１は、位置センサ１３０および／またはＨＭＤセンサ１１４から送信されたＨＭＤ１１０の状態を示すデータに基づいて、ＨＭＤ１１０の位置や傾きに関する情報を取得する。次に、制御部１２１は、ＨＭＤ１１０の位置や傾きに関する情報に基づいて、仮想空間２００内における仮想カメラ３００の位置や向きを決定する。次に、制御部１２１は、仮想カメラ３００の位置や向きから仮想カメラ３００の視軸に相当する基準視線Ｌを決定し、決定された基準視線Ｌから仮想カメラ３００の視野ＣＶを特定する。ここで、仮想カメラ３００の視野ＣＶは、ＨＭＤ１１０を装着したユーザＵが視認可能な仮想空間２００の一部の領域と一致する。換言すれば、視野ＣＶは、ＨＭＤ１１０に表示される仮想空間２００の一部の領域に一致する。また、視野ＣＶは、図６（ａ）に示すｘｙ平面において、基準視線Ｌを中心とした極角θαの角度範囲として設定される第１領域ＣＶａと、図６（ｂ）に示すｘｚ平面において、基準視線Ｌを中心とした方位角θβの角度範囲として設定される第２領域ＣＶｂとを有する。

このように、制御部１２１は、位置センサ１３０および／またはＨＭＤセンサ１１４からのデータに基づいて、仮想カメラ３００の視野ＣＶを特定することができる。ここで、ＨＭＤ１１０を装着したユーザＵが動くと、制御部１２１は、位置センサ１３０および／またはＨＭＤセンサ１１４から送信されたＨＭＤ１１０の動きを示すデータに基づいて、仮想カメラ３００の視野ＣＶを特定することができる。つまり、制御部１２１は、ＨＭＤ１１０の動きに応じて、視野ＣＶを移動させることができる。

次に、ステップＳ３において、制御部１２１は、ＨＭＤ１１０の表示部１１２に表示される視野画像を示す視野画像データを生成する。具体的には、制御部１２１は、仮想空間２００を規定する仮想空間データと、仮想カメラ３００の視野ＣＶとに基づいて、視野画像データを生成する。すなわち、仮想カメラ３００の視野ＣＶにより、仮想空間データのうち視野画像データとして描画される範囲が定まる。

次に、ステップＳ４において、制御部１２１は、視野画像データに基づいて、ＨＭＤ１１０の表示部１１２に視野画像を表示する。このように、ＨＭＤ１１０を装着しているユーザＵの動きに応じて、仮想カメラ３００の視野ＣＶが変化し、ＨＭＤ１１０に表示される視野画像Ｖが変化するので、ユーザＵは仮想空間２００に没入することができる。

次に、本実施形態に係る情報処理方法について図７から図９を参照して説明する。図７は、本実施形態に係る情報処理方法を説明するためのフローチャートである。図８は、本実施形態に係る情報処理方法を説明するための模式図である。図９は、本実施形態に係る情報処理方法の具体的構成を示す図である。

最初に、図８に示すように、仮想空間２００は、仮想カメラ３００と、自己アバターオブジェクトＳＣと、相手アバターオブジェクトＥＣと、を含む。制御部１２１は、これらのオブジェクトを含む仮想空間２００を規定する仮想空間データを生成している。

仮想カメラ３００は、ユーザＵが操作するＨＭＤシステム１に関連付けられている。すなわち、ユーザＵが装着するＨＭＤ１１０の動きに応じて仮想カメラ３００の位置や向き（すなわち、仮想カメラ３００の視野ＣＶ）が変更される。

自己アバターオブジェクトＳＣは、ユーザＵが操作するＨＭＤシステム１に関連付けられている。すなわち、自己アバターオブジェクトＳＣは、ユーザＵに関連付けられたアバターオブジェクトであって、ユーザＵの操作により制御される。本実施形態では、自己アバターオブジェクトＳＣは、仮想カメラ３００と一体的に構成されている。図９に示すように、仮想カメラ３００は、例えば、自己アバターオブジェクトＳＣの頭部の位置に配置されていることが好ましい。

相手アバターオブジェクトＥＣは、ユーザ同士の対戦型ゲームの場合にはユーザＵとは異なる他のユーザにより制御され、ユーザ対コンピュータの対戦型ゲームの場合には制御装置１２０（制御部１２１）により制御される。

図９に示すように、仮想空間２００は、さらに、音源オブジェクトＭＣと、集音オブジェクトＴＣとを含む。
音源オブジェクトＭＣは、相手アバターオブジェクトＥＣの動作に起因する所定の作用に関連付けられた音声の音源として規定されている。例えば、相手アバターオブジェクトＥＣから攻撃を受けた場合や、相手アバターオブジェクトＥＣが声を発した場合などに、音源オブジェクトＭＣは、所定の音声データを生成する。図９に示すように、集音オブジェクトＴＣの周囲には、音源オブジェクトＭＣが配置される範囲である経路４００が規定されている。経路４００は、例えば、集音オブジェクトＴＣを中心に所定径を有する球形から構成されている。なお、音源オブジェクトＭＣや経路４００は、透明な要素であって、視野画像Ｖ内には表示されない。また、音源オブジェクトＭＣは、常に仮想空間２００に置かれていて、音を鳴らすときに経路４００上の規定の位置に移動する場合のほか、必要な時にのみに経路４００上に生成される場合もある。

集音オブジェクトＴＣは、仮想空間２００上を伝搬する音声、例えば音源オブジェクトＭＣが生成する音声データを収集する集音器として機能する。集音オブジェクトＴＣは、仮想カメラ３００に付随するオブジェクトである。集音オブジェクトＴＣは、仮想カメラ３００と一体的に構成され、例えば、仮想カメラ３００の略中心位置に配置されている。

次に、自己アバターオブジェクトＳＣが相手アバターオブジェクトＥＣから所定の作用を受けた場合に、相手アバターオブジェクトＥＣに関連付けられた音声がどのようにユーザＵのヘッドホン１１６から出力されるかについて図７を参照して説明する。

まず、図７に示すように、制御部１２１は、仮想カメラ３００と一体的に構成されている集音オブジェクトＴＣと、相手アバターオブジェクトＥＣとの間の相対位置関係を特定する（ステップＳ１０）。すなわち、制御部１２１は、集音オブジェクトＳＣに対して、相手アバターオブジェクトＥＣが仮想空間２００内のどの方向に位置しているかを特定する。

次に、制御部１２１は、ステップＳ１０で特定された相対位置関係に基づいて、音源オブジェクトＭＣの位置を決定する（ステップＳ１２）。ここでは、制御部１２１は、音源オブジェクトＭＣを、集音オブジェクトＴＣから相手アバターオブジェクトＥＣへ向かう位置ベクトルＶ上において集音オブジェクトＴＣから一定距離の位置に配置する。具体的には、図９に示すように、音源オブジェクトＭＣは、位置ベクトルＶと、経路４００との交点Ｐに配置される。

次に、制御部１２１は、音源オブジェクトＭＣに、相手アバターオブジェクトＥＣに関連付けられた音声データを生成させる（ステップＳ１４）。すなわち、音源オブジェクトＭＣは、相手アバターオブジェクトＥＣの動作に起因する何らかの作用に関連付けられた音声データを生成する。例えば、音源オブジェクトＭＣは、相手アバターオブジェクトＥＣが自己アバターオブジェクトＳＣを攻撃したときの攻撃音や、相手アバターオブジェクトＥＣが発する声に相当する音声データを生成する。

次に、制御部１２１は、集音オブジェクトＴＣに、音源オブジェクトＭＣで生成された音声データを収集させる（ステップＳ１６）。そして、集音オブジェクトＴＣは、収集した音声データを制御部１２１に送信する（ステップＳ１８）。

次に、制御部１２１は、集音オブジェクトＴＣと相手アバターオブジェクトＥＣとの間の距離（例えば、最短距離）を特定する（ステップＳ２０）。本実施形態では、仮想カメラ３００と集音オブジェクトＴＣとが一体的に構成されているため、集音オブジェクトＴＣと相手アバターオブジェクトＥＣとの間の距離は、仮想カメラ３００と相手アバターオブジェクトＥＣとの間の距離に相当する。

次に、ステップＳ２０で特定された距離に基づいて、制御部１２１は、集音オブジェクトＴＣから取得した音声データの音量を調整する（ステップＳ２２）。制御部１２１は、集音オブジェクトＴＣと相手アバターオブジェクトＥＣとの間の距離が小さいほど音量を大きくし、この距離が大きいほど音量を小さくするように音声データを加工する。具体的には、音声データの音量Ｌは、以下の式（１）に基づいて決定され得る。

Ｌ＝α／Ｄ・・・（１）

Ｄ：集音オブジェクトＴＣと相手アバターオブジェクトＥＣとの間の距離
Ｌ：距離Ｄにおける音声データの音量
α：比例係数

なお、式（１）はあくまでも一例であって、他の式を用いて音声データの音量Ｌを決定しても良い。例えば、既知の距離減衰式等を用いて音量Ｌを決定しても良い。

次に、制御部１２１は、仮想カメラ３００の向きを特定する（ステップＳ２４）。そして、制御部１２１は、ステップＳ２４で特定された仮想カメラ３００の向きに基づいて、仮想カメラ３００に対する音源オブジェクトＭＣの方向を特定する（ステップＳ２６）。最後に、制御部１２１は、集音オブジェクトＴＣから取得して音量Ｌが調整された音声データに対応する音声を、ステップＳ２６で特定された方向に基づいて、ＨＭＤシステム１のヘッドホン１１６から出力させる（ステップＳ２８）。

以上説明したように、本実施形態によれば、制御部１２１は、相手アバターオブジェクトＥＣと集音オブジェクトＴＣとの間の相対位置関係および距離を特定し、特定された相対位置関係に基づいて、音源オブジェクトＭＣの位置を決定するとともに、特定された距離に基づいて、音源オブジェクトＭＣに関連付けられた音声データの音量を調整する。そして、制御部１２１は、集音オブジェクトＴＣにより収集された当該音声データに対応する音声をヘッドホン１１６に出力させる。これにより、例えば、ユーザＵは、ヘッドホン１１６から出力される音声の方向に基づいて相手アバターオブジェクトＥＣから受けた作用（攻撃）の方向を直感的に認識することができるとともに、ヘッドホン１１６から出力される音声の音量により相手アバターオブジェクトＥＣとの距離感を直感的に認識することができる。このように、本実施形態の構成によれば、ユーザＵの没入感を損なうことなく、相手アバターオブジェクトＥＣから攻撃等の何らかの作用を受けたことをユーザＵに容易に認識させることができる。

また、ステップＳ１２で説明したように、制御部１２１は、音源オブジェクトＭＣを、集音オブジェクトＴＣから相手アバターオブジェクトＥＣへの位置ベクトルＶ上において集音オブジェクトＴＣから一定距離の位置に配置する（すなわち、経路４００上に配置する）。これにより、集音オブジェクトＴＣと相手アバターオブジェクトＥＣとの相対位置関係が変化した場合でも、音源オブジェクトＭＣと集音オブジェクトＴＣとの距離は一定範囲内となるため、音声データを生成したり取得する際の情報処理量を抑制することができる。

また、集音オブジェクトＴＣは、仮想カメラ３００と一体的に構成されている。そのため、ユーザＵに、よりリアルな音声を提供することができる。

（変形例１）
図１０は、上記実施形態の変形例１に係る情報処理方法を説明するための模式図である。変形例１では、集音オブジェクトＴＣは、自己アバターオブジェクトＳＣと一体的に構成されている。また、音源オブジェクトＭＣの配置可能範囲である経路４５０が、自己アバターオブジェクトＳＣの全体を囲む楕円体状に規定されている。経路４５０は、相手アバターオブジェクトＥＣから受ける作用（攻撃等）と自己アバターオブジェクトＳＣとのコリジョン判定（当たり判定）に供されるコリジョンエリアに相当する。なお、自己アバターオブジェクトＳＣと一体的に構成される集音オブジェクトＴＣの位置は任意であるが、本例では、自己アバターオブジェクトＳＣ全体を取り囲む経路４５０の中心に配置されている。

次に、変形例１に係る情報処理方法について図７を参照して説明する。以下では、既に説明した上記実施形態に係る情報処理方法と変形例１に係る情報処理方法との間の相違点についてのみ詳細に説明する。
変形例１に係る情報処理方法では、ステップＳ１０において、制御部１２１は、自己アバターオブジェクトＳＣと一体的に構成されている集音オブジェクトＴＣと相手アバターオブジェクトＥＣとの間の相対位置関係を特定する。そして、ステップＳ１２において、制御部１２１は、ステップＳ１０で特定された相対位置関係に基づいて、音源オブジェクトＭＣを、集音オブジェクトＴＣから相手アバターオブジェクトＥＣへ向かう位置ベクトルＶと経路４５０との交点Ｑに配置する。上記実施の形態においては、仮想空間２００内において相手アバターオブジェクトＥＣが自己アバターオブジェクトＳＣの下方に位置するような場合には、音源オブジェクトＭＣは、自己アバターオブジェクトＳＣの頭部の下方側の経路４５０上に配置される。一方、変形例１においては、相手アバターオブジェクトＥＣが自己アバターオブジェクトＳＣの下方に位置する場合には、図１０に示すように、音源オブジェクトＭＣは、自己アバターオブジェクトＳＣの足元側の経路４５０上に配置されることとなる。
次いで、制御部１２１は、上記実施形態と同様に、図７に示すステップＳ１４からＳ２８の処理を実行し、経路４５０上の所定位置に配置された音源オブジェクトＭＣから取得した音声データに基づきヘッドホン１１６から音声を出力する。

このように、変形例１によれば、制御部１２１は、音源オブジェクトＭＣを、自己アバターオブジェクトＳＣと一体的に構成される集音オブジェクトＴＣから相手アバターオブジェクトＥＣへの位置ベクトルＶと、自己アバターオブジェクトＳＣ全体を取り囲む経路４５０との交点Ｑに配置する。そして、経路４５０上の音源オブジェクトＭＣから音声データが生成され、当該音声データは、集音オブジェクトＳＣと相手アバターオブジェクトＥＣとの距離に応じて音量が調整される。この方法によれば、ユーザＵの感覚により近い音声を提供することができ、ユーザＵがより直感的に状況を把握することができる。

（変形例２）
図１１は、本実施形態の変形例２に係る情報処理方法を説明するための模式図である。
変形例２では、仮想カメラ３００と自己アバターオブジェクトＳＣとが離隔して配置される。すなわち、仮想空間２００は、仮想カメラ３００の視野画像内に自己アバターオブジェクトＳＣが表示される三人称視点用の空間として構成されている。この場合、自己アバターオブジェクトＳＣは、仮想カメラ３００の動きと連動して制御されても良く、仮想カメラ３００と連動せずに制御されても良い。

本例では、変形例１と同様に、集音オブジェクトＴＣが自己アバターオブジェクトＳＣと一体的に構成され、音源オブジェクトＭＣの配置可能範囲である経路４５０が、自己アバターオブジェクトＳＣの全体を囲むように規定されている。そして、音源オブジェクトＭＣは、集音オブジェクトＴＣから相手アバターオブジェクトＥＣへ向かう位置ベクトルＶと、自己アバターオブジェクトＳＣ全体を取り囲む経路４５０との交点Ｑに配置される。

変形例２によれば、仮想カメラ３００と離隔して配置された集音オブジェクトＳＣと相手アバターオブジェクトＥＣとの相対位置関係に基づいて経路４５０上に配置された音源オブジェクトＭＣから音声データが生成され、当該音声データは、集音オブジェクトＳＣと相手アバターオブジェクトＥＣとの距離に応じて音量が調整される。これにより、三人称視点の場合であっても、ユーザＵの感覚に近い音声を提供することができる。なお、制御部１２１は、仮想カメラ３００と自己アバターオブジェクトＳＣとの間の相対位置関係から所定の頭部伝達関数を決定し、決定された頭部伝達関数と音声データとに基づいて、音声データをさらに加工してもよい。

以上、本開示の実施形態について説明をしたが、本発明の技術的範囲が本実施形態の説明によって限定的に解釈されるべきではない。本実施形態は一例であって、特許請求の範囲に記載された発明の範囲内において、様々な実施形態の変更が可能であることが当業者によって理解されるところである。本発明の技術的範囲は特許請求の範囲に記載された発明の範囲およびその均等の範囲に基づいて定められるべきである。

制御部１２１によって実行される各種処理をソフトウェアによって実現するために、本実施形態に係る情報処理方法をコンピュータ（プロセッサ）に実行させるための情報処理プログラムが記憶部１２３またはＲＯＭに予め組み込まれていてもよい。または、情報処理プログラムは、磁気ディスク（ＨＤＤ、フロッピーディスク）、光ディスク（ＣＤ−ＲＯＭ，ＤＶＤ−ＲＯＭ、Ｂｌｕ−ｒａｙディスク等）、光磁気ディスク（ＭＯ等）、フラッシュメモリ（ＳＤカード、ＵＳＢメモリ、ＳＳＤ等）等のコンピュータ読取可能な記憶媒体に格納されていてもよい。この場合、記憶媒体が制御装置１２０に接続されることで、当該記憶媒体に格納されたプログラムが、記憶部１２３に組み込まれる。そして、記憶部１２３に組み込まれた情報処理プログラムがＲＡＭ上にロードされて、プロセッサがロードされた当該プログラムを実行することで、制御部１２１は本実施形態に係る情報処理方法を実行する。

また、情報処理プログラムは、通信ネットワーク３上のコンピュータから通信インターフェース１２５を介してダウンロードされてもよい。この場合も同様に、ダウンロードされた当該プログラムが記憶部１２３に組み込まれる。

１：ＨＭＤシステム
３：通信ネットワーク
２１：中心位置
１１０：ヘッドマウントディスプレイ（ＨＭＤ）
１１２：表示部
１１４：ＨＭＤセンサ
１１６：ヘッドホン
１２０：制御装置
１２１：制御部
１２３：記憶部
１２４：Ｉ／Ｏインターフェース
１２５：通信インターフェース
１２６：バス
１３０：位置センサ
２００：仮想空間
３００：仮想カメラ
４００，４５０：経路
ＣＶ：視野
Ｕ：ユーザ
ＳＣ：自己アバターオブジェクト
ＥＣ：相手アバターオブジェクト（対象オブジェクト）
ＭＣ：音源オブジェクト
ＴＣ：集音オブジェクト

Claims (4)

1. 非透過型ヘッドマウントディスプレイと音声出力部と制御部とを備えたシステムにおける情報処理方法であって、
   （ａ）仮想カメラと、前記非透過型ヘッドマウントディスプレイを装着したユーザとは異なる他ユーザあるいは前記制御部により前記ユーザに対して所定の作用を与えるべく動作されるよう制御される対象オブジェクトと、前記所定の作用に関連付けられた音声データを生成する音源オブジェクトと、前記音声データを収集する集音オブジェクトとを含む仮想空間を定義する仮想空間データを生成するステップと、
   （ｂ）前記仮想カメラの視野および前記仮想空間データに基づいて前記非透過型ヘッドマウントディスプレイに視野画像を表示させるステップと、
   （ｃ）前記対象オブジェクトと前記集音オブジェクトとの間の相対位置関係および距離を特定するステップと、
   （ｄ）前記特定された相対位置関係に基づいて、前記音源オブジェクトの位置を決定するステップと、
   （ｅ）前記特定された距離に基づいて、前記音声データの音量を調整するステップと、
   （ｆ）前記集音オブジェクトにより収集された前記音声データに対応する音声を前記音声出力部に出力させるステップと、
   を含み、
   前記仮想空間は、前記非透過型ヘッドマウントディスプレイを装着した前記ユーザに関連付けられたアバターオブジェクトをさらに含み、
   前記集音オブジェクトは、前記アバターオブジェクトと一体的に構成されており、
   前記ステップ（ｄ）では、前記音源オブジェクトを、前記アバターオブジェクトの全体を囲むように規定されている経路上に配置し、
   前記経路は、前記対象オブジェクトから受ける前記所定の作用と前記アバターオブジェクトとの当たり判定に供されるコリジョンエリアに基づいて特定され、
   前記対象オブジェクトから前記アバターオブジェクトへ向かう位置ベクトルにおける前記経路上に、前記音源オブジェクトを配置する、情報処理方法。
2. 前記ステップ（ｅ）では、前記距離が小さいほど前記音量を大きくし、前記距離が大きいほど前記音量を小さくする、請求項１に記載の情報処理方法。
3. 前記集音オブジェクトは、前記仮想カメラと一体的に構成されている、請求項１または２に記載の情報処理方法。
4. 請求項１から３のいずれか一項に記載の情報処理方法をコンピュータに実行させるためのプログラム。

Images