JP6741873B2 - バーチャルリアリティ分野における装置および関連する方法 - Google Patents

Description

本開示はバーチャルリアリティ分野に関する。関連する方法、コンピュータプログラム、および装置も開示される。開示される特定の態様／例は携帯電子デバイスに関する。

背景

ユーザに提示されるビジュアルコンテンツに対応するように、空間オーディオ表現が特定の方向から生じているように知覚されることが重要である場合がある。

本明細書における公開済み文献または背景の列挙や議論は、こうした文献や背景が当該技術分野の最新状況の一部であること、または一般知識であることとして必ずしも理解されなくてもよい。本開示の１つ以上の態様／例は、背景にある１つ以上の課題を解決してもよく、そうでなくてもよい。

摘要

第１の例示的態様において、装置が提供される。前記装置は、
少なくとも１つのプロセッサと、
コンピュータプログラムコードを含む少なくとも１つのメモリと、を備え、
前記少なくとも１つのメモリおよび前記コンピュータプログラムコードは、前記少なくとも１つのプロセッサによって、少なくとも
バーチャルリアリティ視聴用のバーチャルリアリティ空間においてユーザに提示するシーンをキャプチャしたバーチャルリアリティコンテンツに関し、前記バーチャルリアリティコンテンツは、前記シーン内のオーディオキャプチャ場所に配置された少なくとも１つのオーディオキャプチャデバイスによってキャプチャされた空間オーディオを含み、前記空間オーディオは、前記オーディオキャプチャ場所から前記オーディオの１つ以上の音の音源への１つ以上の方向を定める方向情報を含む、前記シーンからのオーディオを含み、
前記シーン内の前記オーディオキャプチャ場所に対応する前記バーチャルリアリティ空間内の仮想オーディオキャプチャ場所に対する、前記バーチャルリアリティ空間内のユーザの仮想場所に基づき、
前記仮想場所が前記仮想オーディオキャプチャ場所から閾値距離内である場合、前記方向情報に対応する前記バーチャルリアリティ空間内の１つ以上の方向から前記１つ以上の音が生じていると知覚されるような空間オーディオ効果によって、前記空間オーディオの可聴提示を行うことと、
前記仮想場所が前記仮想オーディオキャプチャ場所から前記閾値距離外である場合、前記空間オーディオ効果なしで、かつ、前記音が特定の発生方向なしで知覚されるような周囲オーディオ効果によって、前記１つ以上の音の少なくともサブセットが可聴提示されるように、前記空間オーディオの可聴提示を行うことと、
を前記装置に実行させるように構成される。

１つ以上の実施形態において、前記周囲オーディオ効果は、前記ユーザ周囲の全方向と、複数の方向とのいずれかから、前記空間オーディオの前記１つ以上の音が生じていると知覚されるように、前記１つ以上の音を可聴提示するように構成される。１つ以上の例において、前記周囲オーディオ効果による前記空間オーディオは、波及的な背景オーディオとして知覚されるように提示される。

１つ以上の実施形態において、前記バーチャルリアリティ（Virtual Reality：ＶＲ）コンテンツは、前記シーン内の特定の音源からのオーディオを含む個別オーディオを含み、前記空間オーディオも、前記シーン内の同じ特定の音源からのオーディオを少なくとも部分的に含み、前記装置は、前記仮想場所が前記閾値距離内である場合に対して前記仮想場所が前記閾値距離外である場合、前記空間オーディオより大きいボリュームで前記個別オーディオの可聴提示を実行させられる。

１つ以上の実施形態において、前記個別オーディオは、前記シーン内の前記特定の音源の場所を定める特定音源場所情報に関連付けられ、前記特定音源場所情報と、前記ユーザの現在の視方向と、前記仮想場所とに基づいて、前記個別オーディオは、前記特定音源場所情報に対応する前記バーチャルリアリティ空間内の一方向から前記オーディオが生じていると知覚されるように、前記オーディオを前記バーチャルリアリティ空間内に配置するように構成された前記空間オーディオ効果によって可聴提示用に提供される。

１つ以上の実施形態において、前記閾値距離は、バーチャルリアリティ空間の領域を含む遷移領域を定め、前記遷移領域内では、前記空間オーディオ効果による可聴提示用に提供される空間オーディオと、前記周囲オーディオ効果による可聴提示用に提供される前記空間オーディオとの割合が、前記仮想オーディオキャプチャ場所からの距離の関数として変化する。

１つ以上の実施形態において、前記空間オーディオ効果による可聴提示用に提供される前記空間オーディオに適用されるゲインは、前記仮想オーディオキャプチャ場所からのユーザの前記仮想場所の距離が増加するにつれて減少する。

１つ以上の実施形態において、前記周囲オーディオ効果による可聴提示用に提供される前記空間オーディオに適用されるゲインは、前記仮想オーディオキャプチャ場所からのユーザの前記仮想場所の距離が増加するにつれて増大する。

１つ以上の実施形態において、前記空間オーディオ効果は、前記空間オーディオを可聴提示するために、頭部伝達関数とベクトルベース振幅パンニングのいずれかを用いる。

１つ以上の実施形態において、前記装置は、前記仮想場所が前記仮想オーディオキャプチャ場所から前記閾値距離外である場合、前記空間オーディオキャプチャデバイスによってキャプチャされた前記１つ以上の音すべてが
ｉ）前記空間オーディオ効果なしで、かつ
ｉｉ）前記音が特定の発生方向なしで知覚されるような周囲オーディオ効果によって
可聴提示されるように、前記空間オーディオの可聴提示を実行させられる。

１つ以上の実施形態において、前記仮想場所が前記仮想オーディオキャプチャ場所から前記閾値距離外であるときに、前記オーディオの前記サブセット以外の前記１つ以上の音の前記方向情報が、前記ユーザの前記仮想場所および仮想オーディオキャプチャ場所から延びる方向の方向閾値内の一方向を示している場合、前記装置は、前記１つ以上の音の可聴提示を前記空間オーディオ効果によって実行させられる。

したがって、１つ以上の例において、前記空間オーディオ効果は、前記ユーザの前記仮想場所に対して前記仮想オーディオキャプチャ場所の反対側の場所（前述の閾値によって定められる）から生じる音にも用いることができる。これは、それらの音源へと向かう方向は、前記ユーザの仮想場所において依然として有効であるからである。しかしながら、それ以外の方向からの音は、前記ＶＲコンテンツ内の前記音源の視覚的場所に正しく対応しない場合があるため、そのような音には前記周囲オーディオ効果が用いられる。

第２の例示的態様において、方法が提供される。前記方法は、
バーチャルリアリティ視聴用のバーチャルリアリティ空間においてユーザに提示するシーンをキャプチャしたバーチャルリアリティコンテンツに関し、前記バーチャルリアリティコンテンツは、前記シーン内のオーディオキャプチャ場所に配置された少なくとも１つのオーディオキャプチャデバイスによってキャプチャされた空間オーディオを含み、前記空間オーディオは、前記オーディオキャプチャ場所から前記オーディオの１つ以上の音の音源への１つ以上の方向を定める方向情報を含む、前記シーンからのオーディオを含み、
前記シーン内の前記オーディオキャプチャ場所に対応する前記バーチャルリアリティ空間内の仮想オーディオキャプチャ場所に対する、前記バーチャルリアリティ空間内のユーザの仮想場所に基づき、
前記仮想場所が前記仮想オーディオキャプチャ場所から閾値距離内である場合、前記方向情報に対応する前記バーチャルリアリティ空間内の１つ以上の方向から前記１つ以上の音が生じていると知覚されるような空間オーディオ効果によって、前記空間オーディオの可聴提示を行うことと、
前記仮想場所が前記仮想オーディオキャプチャ場所から前記閾値距離外である場合、前記空間オーディオ効果なしで、かつ、前記音が特定の発生方向なしで知覚されるような周囲オーディオ効果によって、前記１つ以上の音の少なくともサブセットが可聴提示されるように、前記空間オーディオの可聴提示を行うことと、を含む。

第３の例示的態様において、コンピュータ可読媒体が提供される。前記コンピュータ可読媒体は、コンピュータプログラムコードを格納し、前記コンピュータ可読媒体および前記コンピュータプログラムコードは、少なくとも１つのプロセッサ上で実行されると、
バーチャルリアリティ視聴用のバーチャルリアリティ空間においてユーザに提示するシーンをキャプチャしたバーチャルリアリティコンテンツに関し、前記バーチャルリアリティコンテンツは、前記シーン内のオーディオキャプチャ場所に配置された少なくとも１つのオーディオキャプチャデバイスによってキャプチャされた空間オーディオを含み、前記空間オーディオは、前記オーディオキャプチャ場所から前記オーディオの１つ以上の音の音源への１つ以上の方向を定める方向情報を含む、前記シーンからのオーディオを含み、
前記シーン内の前記オーディオキャプチャ場所に対応する前記バーチャルリアリティ空間内の仮想オーディオキャプチャ場所に対する、前記バーチャルリアリティ空間内のユーザの仮想場所に基づき、
前記仮想場所が前記仮想オーディオキャプチャ場所から閾値距離内である場合、前記方向情報に対応する前記バーチャルリアリティ空間内の１つ以上の方向から前記１つ以上の音が生じていると知覚されるような空間オーディオ効果によって、前記空間オーディオの可聴提示を行うことと、
前記仮想場所が前記仮想オーディオキャプチャ場所の前記閾値距離外である場合、前記空間オーディオ効果なしで、かつ、前記音が特定の発生方向なしで知覚されるような周囲オーディオ効果によって、前記１つ以上の音の少なくともサブセットが可聴提示されるように、前記空間オーディオの可聴提示を行うことと、
を含む方法を実行するように構成される。

さらなる態様において、装置が提供される。前記装置は、
バーチャルリアリティ視聴用のバーチャルリアリティ空間においてユーザに提示するシーンをキャプチャしたバーチャルリアリティコンテンツに関し、前記バーチャルリアリティコンテンツは、前記シーン内のオーディオキャプチャ場所に配置された少なくとも１つのオーディオキャプチャデバイスによってキャプチャされた空間オーディオを含み、前記空間オーディオは、前記オーディオキャプチャ場所から前記オーディオの１つ以上の音源への１つ以上の方向を定める方向情報を含む、前記シーンからのオーディオを含み、
前記シーン内の前記オーディオキャプチャ場所に対応する前記バーチャルリアリティ空間内の仮想オーディオキャプチャ場所に対する、前記バーチャルリアリティ空間内のユーザの仮想場所に基づき、
前記仮想場所が前記仮想オーディオキャプチャ場所から閾値距離内である場合、前記方向情報に対応する前記バーチャルリアリティ空間内の１つ以上の方向から前記１つ以上の音が生じていると知覚されるような空間オーディオ効果によって、前記空間オーディオの可聴提示を行い、
前記仮想場所が前記仮想オーディオキャプチャ場所から前記閾値距離外である場合、前記空間オーディオ効果なしで、かつ、前記音が特定の発生方向なしで知覚されるような周囲オーディオ効果によって、前記１つ以上の音の少なくともサブセットが可聴提示されるように、前記空間オーディオの可聴提示を行う
ように構成された手段を備える。

本開示は、１つ以上の対応する態様、例、または特徴を個別に、または様々な組合せで含んでいる。こうした事項は、その組合せや個別で具体的に（特許請求の範囲を含めて）記載されているかどうかを問わない。記載された機能の１つ以上を実行する対応する手段および機能ユニット（例えば、機能実現部、視点特定部、表示デバイス、オーディオレンダラ）もまた、本開示の範囲内である。

開示される方法の１つ以上を実行するための対応するコンピュータプログラムもまた本開示の範囲内であり、記載された１つ以上の例に含まれる。

前述の摘要は、単なる例示かつ非限定的事項であることが意図されている。

以下の添付図面を参照して、単なる一例として説明を行う。
図１は、装置の例示的実施形態を示す図である。 図２は、ＶＲコンテンツがキャプチャされる例示的実世界シーンをオーディオキャプチャデバイスを含めて示す図である。 図３は、オーディオ源とユーザの仮想場所とを表現している、図２のシーンに基づく例示的バーチャルリアリティ空間を示す図である。 図４は、ＶＲコンテンツがキャプチャされる別の例示的実世界シーンをオーディオキャプチャデバイスと２つのオーディオ源とを含めて示す図である。 図５は、オーディオ源の仮想表現と、閾値距離に対するユーザの仮想場所とを示し、装置の機能を説明している、図４のシーンに基づく例示的バーチャルリアリティ空間を示す図である。 図６は、装置の例示的実施形態を示すブロック図である。 図７は、例示的方法を示すフローチャートである。 図８は、コンピュータ可読媒体を示す図である。

例示的態様の説明

バーチャルリアリティ（Virtual Reality：ＶＲ）では、眼鏡、ゴーグル、仮想網膜ディスプレイなどのヘッドセットを備えるＶＲディスプレイや、ユーザを取り囲んでユーザに没入的仮想体験を提供する１つ以上のディスプレイスクリーンを用いることができる。ＶＲディスプレイを用いるバーチャルリアリティ装置は、シーンを表現するマルチメディアＶＲコンテンツをユーザに提示して、ユーザがそのシーン内に仮想的に存在するようにシミュレートすることができる。バーチャルリアリティシーンは、実世界シーンを複製して、ユーザが実世界の場所に物理的に存在するようにシミュレートしても、コンピュータにより生成されても、コンピュータ生成されたコンテンツと撮像された実世界マルチメディアコンテンツの組合せであってもよい。バーチャルリアリティシーンは、広い視野、あるいは３６０°の視野（またはそれより広い、水平方向の視野より上および／または下など）を有するビデオを含む、パノラマビデオ（パノラマの生放送や事前に録画されたコンテンツなど）により提供されてもよい。ユーザにはそのシーンのＶＲビューが提示されてもよく、ＶＲディスプレイ（すなわちヘッドセット）の移動などによって、ＶＲビューを動かしてＶＲコンテンツでそのシーンを見回してもよい。このように、バーチャルリアリティコンテンツが表示される三次元バーチャルリアリティ空間であって、ユーザがそのＶＲ空間内を見回すことができ、任意で、例えば移動により探索することができる、三次元バーチャルリアリティ空間が提供されうる。

ユーザに提供されるＶＲコンテンツは、例えばＶＲコンテンツキャプチャデバイスによってキャプチャされた実世界のライブ画像または記録された画像を含んでもよい。ＶＲコンテンツキャプチャデバイスは、１人以上のユーザに表示するＶＲコンテンツをキャプチャするように構成されてもよい。ＶＲコンテンツキャプチャデバイスは、周囲の視聴覚シーンを一視点からキャプチャするように構成された１つ以上のカメラおよび１つ以上の（例えば、指向性および／またはアンビエント）マイクロフォンを備えてもよい。例示的なＶＲコンテンツキャプチャデバイスとして、Ｎｏｋｉａ Ｔｅｃｈｎｏｌｏｇｉｅｓ ＯｙのＮｏｋｉａ ＯＺＯカメラが挙げられる。したがって、ＶＲコンテンツキャプチャデバイス（ステージ上に配置されてもよい）によって、演奏者達がデバイスの周りを動いている状態で、または観客の視点から、音楽演奏をキャプチャ（および記録）してもよい。いずれの場合も、ＶＲコンテンツの消費者は、ＶＲ装置のＶＲディスプレイを用いて周囲を見回し、消費者がまるでその場にいるようにキャプチャ場所の視点でパフォーマンスを体験することが可能になりうる。

ＶＲシーンは通常、任意の一時点にＶＲディスプレイに提示されるＶＲビューでユーザが見ることができる部分よりも空間的に大きいため、ＶＲ装置はユーザの頭部や眼の動きに基づいて、ＶＲシーン内のＶＲビューをパンさせることができる。例えば、ＶＲディスプレイの水平面における視野が約１２０°であっても、ＶＲコンテンツは３６０°ビデオ映像を提供することができる。したがって、ＶＲディスプレイによって提供されるＶＲビューの視野は、ＶＲコンテンツの合計空間範囲より小さくてもよい。

１つ以上の例において、ＶＲコンテンツは、ＶＲシーンを見回すためにユーザがＶＲビューの視方向を変えることができるが、ユーザの視点の場所はユーザが制御できず、そのシーンをキャプチャしたときのＶＲコンテンツキャプチャデバイスの場所における視点に依存するようなものであってもよい。１つ以上の例において、場合によっては「自由視点」ＶＲと呼ばれるように、ユーザはＶＲ空間を探索することができる。探索可能なＶＲ空間は、三次元モデルからのレンダリングのようにコンピュータで生成されても、１つ以上のＶＲコンテンツキャプチャデバイスからのシーンの視覚映像から生成されても、またはそれらの組合せであってもよい。したがって、自由視点ＶＲコンテンツは、ＶＲ空間内におけるユーザの視点の場所およびユーザのＶＲビューの視方向をユーザが自由に制御して、ＶＲ空間を見回すことができるようなものであってもよい。シーン内のＶＲコンテンツがキャプチャされた場所に対応するＶＲ空間内の仮想場所にユーザがいる場合、そのユーザに、そのコンテンツキャプチャデバイスからのＶＲコンテンツが提供されてもよい。ユーザがそのＶＲコンテンツキャプチャデバイスの場所から仮想的に離れると、ＶＲ装置は、別の場所にある別のＶＲコンテンツキャプチャデバイスからのＶＲコンテンツの表示、または複数のコンテンツキャプチャデバイスからの映像の組合せの表示を提供して、ユーザが現在の仮想場所で見るであろうビューをシミュレートしてもよい。シーン内の１つ以上のＶＲコンテンツキャプチャ場所においてキャプチャされたＶＲコンテンツに基づいて、バーチャルリアリティ空間内の一点においてユーザが受信することができるビューをシミュレートする技術は多様であることを理解されるであろう。これらの技術には、異なる場所にあるＶＲコンテンツキャプチャデバイスからのＶＲコンテンツを用いること、異なる場所にあるＶＲコンテンツキャプチャデバイスからの映像の組合せを用いること、異なる場所にある１つ以上のＶＲコンテンツキャプチャデバイスからの視覚映像を補間すること、シーンのコンピュータモデルを用いてＶＲコンテンツキャプチャデバイス間の視点の場所をシミュレートすることが含まれる。

バーチャルリアリティコンテンツは、ＶＲ空間内の一点から生じていると知覚されるような方向性を有する空間オーディオを含んでもよい。この方向性は、ＶＲコンテンツの映像にリンクされてもよい。このオーディオの空間配置は、マルチチャネルオーディオ構成の各チャネルにオーディオが提示される程度により、および、３Ｄオーディオ効果によって、行ってもよい。３Ｄオーディオ効果は、頭部伝達関数（Head Related Transfer Function：ＨＲＴＦ）またはベクトルベース振幅パンニング（Vector-Base Amplitude Panning：ＶＢＡＰ）を用いて、ユーザへの提示用にオーディオを配置できる空間オーディオ空間すなわち「聴覚シーン」を作成するようなものを含む。

装置１００は、ＶＲコンテンツをユーザに提示するＶＲ装置１０１の一部であるか、ＶＲ装置１０１と通信してもよい。格納装置１０２は、格納媒体に格納されているＶＲコンテンツ、または、ＶＲコンテンツがＶＲ装置１０１によってキャプチャされ受信された際にデータ伝送バス上に一時的に存在するＶＲコンテンツを表している。ＶＲコンテンツは、少なくとも１つのＶＲコンテンツキャプチャデバイスによってキャプチャされてもよく、ライブであっても記録されたものであってもよい。ユーザは、ＶＲコンテンツを見るために、ＶＲヘッドセット１０３または他のＶＲディスプレイを用いてもよい。ＶＲディスプレイ１０３、またはより一般的にＶＲ装置１０１は、空間オーディオと、発生方向が知覚されない周囲オーディオとを表現するために、ヘッドフォン１０４あるいは他のマルチチャネル音生成構成に関連付けられてもよい。別の実施形態において、ＶＲ装置１０１は装置１００から遠隔であってもよく、インターネットなどのネットワークを介して接続されてもよい。ＶＲ装置１０１は格納装置１０２の一部であってもよく、１つ以上の例において、ＶＲコンテンツをＶＲディスプレイ１０３およびヘッドフォン１０４に伝送してもよい。別の実施形態において、ＶＲ装置１０１はＶＲディスプレイ１０３および／またはヘッドフォン１０４と一体化されていてもよく、したがって装置１００はそれらと一体化されていても、遠隔であってＶＲ装置１０１と通信していてもよい。

本実施形態において、前述の装置１００は、１つのプロセッサ１０１Ａおよび１つのメモリ１０１Ｂのみを備えるか、それらに接続されてもよいが、別の実施形態では、２つ以上のプロセッサおよび／または２つ以上のメモリ（例えば、同じまたは異なるタイプのプロセッサ／メモリ）を用いてもよいことを理解されるであろう。また、装置１００は、特定用途向け集積回路（Application Specific Integrated Circuit：ＡＳＩＣ）であってもよい。装置１００は、ＶＲ装置１０１とは別個であってＶＲ装置１０１と通信しているか、または図１に示すようにＶＲ装置１０１と一体化されていてもよい。装置１００およびＶＲ装置１０１は、プロセッサ１０１Ａおよび／またはメモリ１０１Ｂを共有してもよく、個別のプロセッサおよび／またはメモリを備えてもよい。

プロセッサ１０１Ａは、コンピュータプログラムコードの形式でメモリに格納された命令に従い、ＶＲ装置１０１や装置１００などの他の構成要素から受信された情報の実行／処理を専門に行う汎用プロセッサであってもよい。プロセッサのそのような動作によって生成される出力シグナリングは、以下に詳述する必要な映像を表示するためにＶＲ装置１０１などのさらなる構成要素へと提供される。

メモリ１０１Ｂ（単一のメモリユニットである必要はない）は、コンピュータプログラムコードを格納するコンピュータ可読媒体（この例ではソリッドステートメモリであるが、ハードドライブ、ＲＯＭ、ＲＡＭ、フラッシュなどの他のタイプのメモリであってもよい）である。このコンピュータプログラムコードは、プロセッサで実行されたときにプロセッサによって実行可能な命令を格納している。メモリとプロセッサ間の内部接続は、１つ以上の例示的実施形態において、メモリに格納されたコンピュータプログラムコードにプロセッサがアクセスできるようにするための、プロセッサとメモリ間のアクティブな接続を提供するものとして理解することができる。

この例において、プロセッサ１０１Ａおよびメモリ１０１Ｂは内部で互いに電気的に接続されて、各構成要素間の電気通信を可能にしている。この例において、構成要素は共にＡＳＩＣを形成するように、換言すれば、電子デバイスに取付け可能な単一のチップ／回路として一体化されるように、すべて互いに近接して配置される。別の例では、構成要素の１つ以上またはすべてが互いに個別に配置されてもよい。

図２および図３は、特に自由視点バーチャルリアリティにおける、空間オーディオ提示の潜在的な問題を示している。

図２は、実世界シーン２００の平面図を示している。シーン２００はオーディオキャプチャデバイス２０１を含んでいる。このデバイスはＮｏｋｉａ ＯＺＯ ＶＲカメラであってもよい。オーディオキャプチャデバイス２０１は、この例において、シーン２００のＶＲ視覚映像もキャプチャし、この目的で異なる方向を指す複数のカメラ２０２を備える。このように、オーディオキャプチャデバイス２０１、より一般的にＶＲカメラ２０１は、シーンのＶＲコンテンツをキャプチャする。オーディオキャプチャデバイス２０１は、シーン内のオーディオキャプチャ場所２０３に物理的に配置されている。オーディオキャプチャ場所２０３は、シーンの音がキャプチャされる、シーン２００の「リスニング」場所である。

シーン２００は演奏家２０４も含む。演奏家２０４は、オーディオキャプチャデバイス２０１がキャプチャするオーディオの発生源である。オーディオキャプチャデバイス２０１によってキャプチャされた空間オーディオは、演奏家２０４によって作り出された音の方向２０５を識別する情報を含む。このように、ＶＲカメラ２０１によって生成されたＶＲコンテンツは、演奏家２０４の音がシーン２００内の方向２０５からキャプチャされたことを示す方向情報を含む。別の例において、オーディオキャプチャデバイス２０１はＶＲカメラの一部でなくてもよく、シーン２００内のＶＲカメラと物理的に別個および／または異なる位置に配置されてもよいことを理解されるであろう。オーディオキャプチャデバイス２０１は、複数の方向フォーカスマイクロフォンを含むマイクロフォン配列を備えてもよい。オーディオキャプチャデバイス２０１は、シーン２００内のオーディオキャプチャデバイスおよび１つ以上のオーディオ源の場所情報のキャプチャを提供または支援するために、シーン内のオーディオキャプチャデバイスおよび音源に関連付けられたタグの位置を検出する測位システムに関連付けられてもよい。

シーンは、それぞれから音が発生する１つ以上のオーディオ源を含んでもよく、したがって空間オーディオは、オーディオキャプチャ場所２０３から１つ以上の音の１つ以上の音源への１つ以上の方向を定める方向情報を含む、シーンからのオーディオを含んでもよいことを理解されるであろう。

図３は、シーン２００の実世界空間を表現する仮想三次元環境を含むバーチャルリアリティ空間３００を示している。ＶＲコンテンツは、ＶＲコンテンツの視覚映像が視聴用に提示されるようにバーチャルリアリティ空間３００に提示される。これにおいて、演奏家２０４の映像３０４は他の背景視覚映像（単純にするために図示しない）と共に示される。

ＶＲ装置１０１によって提供されるＶＲ空間およびＶＲ映像は、この例において自由視点ＶＲであるため、ユーザは、ＶＲ空間３００におけるユーザの視方向ならびにユーザの視点の場所を変更してもよい。ユーザの視点の場所は、ユーザ３０６の平面図によって示されている。ユーザ３０６は、空間内でユーザが見ている場所に応じてＶＲ空間３００のＶＲビューを表示するＶＲディスプレイヘッドセット１０３と、空間オーディオ（および周囲オーディオ）をユーザ３０６に提示するヘッドフォン１０４とを装着している。

図３は、ＶＲ空間３００内のユーザ３０６を２つの異なる視点場所、すなわち「視聴位置」３０３、３０７に示している。第１視聴位置３０３では、ユーザ３０６は、オーディオキャプチャ場所２０３に対応するＶＲ空間３００内の仮想場所、すなわち演奏家２０４の映像３０４の前、からＶＲコンテンツを見ている。したがって、図２と図３を比較すると、視聴位置３０３はオーディオキャプチャ場所２０３と実質的に同じであることが理解されるであろう。ユーザ３０６に提示される空間オーディオでは、方向情報に基づいて、演奏家２０４の音が、ＶＲ空間３００における演奏家の視覚映像３０４の場所に対応する方向３０５から聞こえるように適切に提供される。

第２視聴位置３０７では、ユーザに提示される空間オーディオは、方向情報に従って提供され続けるとすれば方向３０８から聞こえるが、方向３０８は、第２視聴位置３０７から演奏家２０４の映像３０４への方向に対応しておらず、不適切である。オーディオキャプチャ場所２０３に対応するＶＲ空間３００内の場所３０３からユーザが仮想的に離れると、「聴覚シーン」が第２視聴位置３０７におけるＶＲ視覚映像に対応しなくなるため、混乱が生じる場合がある。

図４および図５は、装置が動作しうる構成例を示している。

図４は図２と同様の実世界シーンを示しており、同じ参照符号を用いている。ただし、図４ではシーン４００内に歌手４０４が追加されている。歌手４０４は、オーディオキャプチャデバイス２０１が方向情報と共にキャプチャする音の発生源である。図４において、演奏家２０４は小型マイクロフォン４１０も身に着けている。マイクロフォン４１０は演奏家２０４に物理的に取り付けられるか、または演奏家２０４を追跡するように構成されることによって演奏家２０４に関連付けられているため、演奏家２０４の個別オーディオをキャプチャするとみなしてもよい。シーン４００内の音は波及的でありうるため、小型マイクロフォン４１０はシーン４００内の他のオーディオ源からの音をキャプチャする可能性があるが、基本的には、演奏家２０４からのオーディオをキャプチャするとみなされることを理解されるであろう。

したがって、この例において、シーンからキャプチャされたＶＲコンテンツは、空間オーディオキャプチャデバイス２０１によってオーディオキャプチャ場所２０３からキャプチャされた空間オーディオを含んでもよい。この空間オーディオは、方向情報を有する演奏家２０４からの音と、方向情報を有する歌手４０４からの音とを含む。ＶＲコンテンツは、小型マイクロフォン４１０によってキャプチャされた演奏家２０４からの個別オーディオをさらに含んでもよい。

図２および図３について上述したのと同様に、図５は、図４の実世界シーン４００を表現するバーチャルリアリティ空間５００を示している。したがって、演奏家２０４の映像３０４および歌手４０４の映像５０４が表示用に提供されている。オーディオキャプチャ場所２０３に対応するＶＲ空間５００内の場所は「仮想オーディオキャプチャ場所」５１３と呼ばれ、破線で示すオーディオキャプチャデバイス２０１によって示されている。図５は、ＶＲ空間５００内のユーザ３０６を２つの異なる視点場所、すなわち「視聴位置」に示している。第１視聴位置５０３では、ユーザ３０６は閾値仮想距離５１１内で、ＶＲ空間５００内の仮想場所からＶＲコンテンツを見ている。閾値仮想距離５１１は、オーディオキャプチャ場所２０３に対応する仮想オーディオキャプチャ場所周囲の領域を画定する破線の円５１２によって示されている。第２視聴位置５０７では、ユーザ３０６は閾値仮想距離５１１外で、ＶＲ空間５００内の仮想場所からＶＲコンテンツを見ている。

この例において、装置１００は、シーン４００内のオーディオキャプチャ場所２０３に対応するバーチャルリアリティ空間内の仮想オーディオキャプチャ場所５１３を基準とした、バーチャルリアリティ空間５００内のユーザ３０６の仮想場所５０３、５０７に基づいて異なる方法で、空間オーディオの可聴提示を実行させられる。

具体的には、装置１００は、仮想場所５０３が仮想オーディオキャプチャ場所５１３から閾値距離内である場合、オーディオキャプチャデバイス２０１からの空間オーディオを空間オーディオ効果によって可聴提示するように構成される。空間オーディオ効果は、方向情報に対応する、バーチャルリアリティ空間５００内の１つ以上の方向から（演奏家２０４および歌手４０４からの）１つ以上の音が生じていると知覚されるような効果である。したがって、ユーザの仮想場所５０３が仮想オーディオキャプチャ場所に近い（閾値内である）場合、その空間オーディオは、方向情報を用いて、音の方向が演奏家の映像３０４および歌手の映像５０４の場所に対応しているように知覚されるような空間オーディオとして可聴提示される。

仮想場所５０７が仮想オーディオキャプチャ場所５１３から閾値距離５１１外である場合、装置１００は、空間オーディオ効果なしで、かつ、周囲オーディオ効果によって１つ以上の音の少なくともサブセットが可聴提示されるように、空間オーディオの可聴提示を行うように構成される。周囲オーディオ効果は、音が特定の発生方向なしで知覚されるような効果である。したがって、ユーザの仮想場所５０７が仮想オーディオキャプチャ場所から離れている（閾値外である）場合、空間オーディオを構成する音の少なくとも一部が空間オーディオではなく周囲オーディオとして可聴提示される。したがって、空間オーディオのオーディオコンテンツは用いられるが、それに関連付けられた方向情報は少なくとも部分的に無視される。

したがって、ユーザが自由にバーチャルリアリティ空間を探索する１つ以上の例において、ユーザが聞く聴覚シーンは、ユーザの仮想場所５０３、５０７からユーザに提示される視覚的な仮想シーンと一貫していることが望ましい。ＶＲコンテンツは、シーン内のあらゆる可能な場所にマイクロフォンまたは他のオーディオキャプチャデバイスを備えていない場合があるため、オーディオが特定のオーディオキャプチャ場所からの空間オーディオを含む場合は特に、聴覚シーンのレンダリングが難しいことがある。特定のオーディオキャプチャデバイスからの空間オーディオの提示は、ユーザがオーディオキャプチャ場所に仮想的に近い場合は方向情報が空間オーディオ効果によってレンダリングされ、ユーザがオーディオキャプチャ場所から仮想的に遠い場合は周囲オーディオ効果によってレンダリングされると、有効でありうる。これによって、ユーザの仮想場所によって、空間オーディオに関連付けられた方向情報の利用が不適切になる場合でも、その空間オーディオを使用できる場合がある。ユーザの仮想場所、仮想オーディオキャプチャ場所、仮想オーディオキャプチャ場所とユーザの場所との間の距離、の１つ以上は、ＶＲ装置１０１によって報告されても、ＶＲ装置１００によって計算されてもよい。仮想オーディオキャプチャ場所は、ＶＲコンテンツに関連付けられた情報から特定されてもよい。

したがって、仮想場所５０３では、ユーザには、オーディオキャプチャデバイス２０１によってキャプチャされた演奏家２０４の音が空間オーディオとして、すなわち空間オーディオ効果によって、映像３０４に従ってユーザ３０６の前から音が生じていると知覚されるように可聴提示されてもよい。個別オーディオマイクロフォン４１０からのオーディオは、可聴提示され、空間オーディオと第１の割合でミキシングされてもよい。ユーザ３０６には、オーディオキャプチャデバイス２０１によってキャプチャされた歌手４０４の音が空間オーディオとして、すなわち空間オーディオ効果によって、映像５０４に従ってユーザの左側約４５°から音が生じていると知覚されるように可聴提示されてもよい。

仮想場所５０７では、ユーザには、オーディオキャプチャデバイス２０１によって空間オーディオとしてキャプチャされた演奏家２０４の音が周囲オーディオとして、すなわち周囲オーディオ効果によって、音が特定の方向から生じていると知覚されるのではなく、周囲すなわち「全方向オーディオ」として知覚されるように可聴提示されてもよい。個別オーディオマイクロフォン４１０からのオーディオは、可聴提示され、周囲オーディオとして可聴提示された空間オーディオと、第１の割合と異なる第２の割合でミキシングされてもよい。ユーザ３０６には、オーディオキャプチャデバイス２０１によってキャプチャされた歌手４０４の音が周囲オーディオとして、すなわち周囲オーディオ効果によって、音が特定の方向から生じていると知覚されるのではなく、周囲すなわち全方向オーディオとして知覚されるように可聴提示されてもよい。

空間オーディオ効果では、シーン４００内のオーディオ源２０４、４０４の方向に対応するＶＲ空間５００内の個別の方向から音が生じていると知覚されるように空間オーディオを可聴提示するために、頭部伝達関数（ＨＲＴＦ）とベクトルベース振幅パンニング（ＶＢＡＰ）のいずれかを用いて空間オーディオの可聴提示を実行してもよい。空間オーディオは、他の方法で、および異なる技術を用いて、ユーザへの可聴提示用にレンダリングされてもよい。空間オーディオ効果の例としてＨＲＴＦとＶＢＡＰを挙げたが、空間オーディオ効果は、空間オーディオが意図されたように聞こえるように、すなわち指向性のある音によって、レンダリングする任意の技術を含むとみなしてもよい。

周囲オーディオ効果は、空間オーディオの１つ以上の音がユーザ周囲の全方向から生じている、または、一部の例において、空間オーディオ効果よりも広い範囲の方向から生じていると知覚されるように、それらの音を可聴提示するように構成されてもよい。したがって、空間オーディオのオーディオコンテンツは用いられるが、方向情報に従って音の指向性を提示するために頭部伝達関数またはベクトルベース振幅パンニングを用いてなくてもよい。

一例示的実装において、空間オーディオキャプチャデバイスは複数のマイクロフォンを備えてもよく、したがってマルチマイクロフォン信号をキャプチャしてもよい。空間オーディオキャプチャデバイスによってキャプチャされたマルチマイクロフォン信号は、直接音、すなわち、音源からリスナーに直接届く音を表す１つ以上の信号を特定するために分析されてもよい。同様に、空間オーディオキャプチャデバイスによってキャプチャされたマルチマイクロフォン信号は、周囲音または残響音、すなわち、明らかな到着方向がない音（周囲音）、または壁を通した反響か一般的な残響である音を表す１つ以上の信号を特定するために分析されてもよい。指向性空間オーディオの提示には、直接音を表す１つ以上の信号を、例えば、ＨＲＴＦレンダリングまたはＶＢＡＰを含む空間オーディオ効果によってレンダリングすることが含まれてもよい。空間オーディオの周囲音の提示には、周囲音を表す１つ以上の信号を、ＨＲＴＦレンダリングまたはＶＢＡＰによらない可聴提示である周囲オーディオ効果によってレンダリングすることが含まれてもよい。レンダリングされた直接信号と周囲信号とをミキシングすることで、完全な空間オーディオシーンが提示されてもよい。したがって、空間オーディオは、特定の方向からの音と、特定の方向がない周囲音とのオーディオを含んでもよい。装置１００は、ユーザの仮想場所が閾値距離外である場合、特定の方向からの音のオーディオの少なくとも一部を周囲音と同じように提示するように構成されてもよい。

第１の割合および第２の割合は、ユーザが仮想オーディオキャプチャ場所５１３から閾値距離５１１内に仮想的に配置された場合と比較して、ユーザが値距離５１１より遠くに仮想的に配置された場合に、空間オーディオのボリュームより大きいボリュームで個別オーディオを提示するように設定されてもよい。

１つ以上の例において、個別オーディオをキャプチャするマイクロフォン４１０の場所は、当業者に既知であるように、位置検出タグを用いてシーンをモニタする測位システムなどから既知であってもよい。個別オーディオのオーディオキャプチャ場所を含むそのような特定音源場所情報により、装置１００は、ユーザの現在の視方向に基づいて、空間オーディオ効果によって個別オーディオを可聴提示するように構成されてもよい。この空間オーディオ効果は、特定音源場所情報に対応するバーチャルリアリティ空間内の一方向からオーディオが生じていると知覚されるように、すなわち演奏家２０４の映像３０４の位置に従って、バーチャルリアリティ空間５００内にオーディオを配置するように構成される。したがって、演奏家２０４の音は個別オーディオの大部分を占めているため、特定音源場所情報に従い空間オーディオ効果によって聴覚シーン内に配置されてもよい。

１つ以上の例において、空間オーディオ効果による空間オーディオの提示が可聴提示から除去されると（閾値距離５１１外へと移動すると）、より高い指向性を提供する空間オーディオ効果による個別オーディオの提示が増加してもよい。

前述の例において、閾値距離５１１は、空間オーディオとしての空間オーディオの提示と、周囲オーディオとしての空間オーディオの提示との遷移点を定めてもよい。しかしながら、別の例では、空間オーディオとしての空間オーディオの提示と、周囲オーディオとしての空間オーディオの提示との遷移は、あまり明確ではなく、閾値距離５１１によって定められる遷移領域にわたって生じもよい。したがって、１つ以上の例において、空間オーディオのオーディオコンテンツは、ユーザが閾値距離内にいるときは、空間オーディオ効果によって完全に空間オーディオとして提示されてもよい。閾値距離外ではオーディオミキシングが提供されてもよい。このオーディオミキシングでは、仮想オーディオキャプチャ場所５１３からの距離が増加するにつれて、空間オーディオ効果によって提示され個別の発生方向が知覚される空間オーディオのレベルが減少し、周囲オーディオ効果によって提示される空間オーディオのレベルが増加する。１つ以上の例において、このレベルの増加と減少は、空間オーディオ効果による空間オーディオと周囲オーディオ効果による同じ空間オーディオとのオーディオボリュームミキシングによって達成されてもよい。したがって、空間的に提示される空間オーディオのボリュームが距離に応じて減少してもよく、周囲的に提示される空間オーディオのボリュームが距離に応じて増大してもよい。別の１つ以上の例において、遷移領域は、場所５１３からの距離が増加するにつれて、空間オーディオのオーディオコンテンツが全方向から生じているように聞こえて周囲オーディオとなるまで、そのオーディオコンテンツが生じていると認知される方向の範囲を広げるように構成される空間オーディオ効果によって提供される。

仮想オーディオキャプチャ場所からの距離に応じた、周囲オーディオ効果によって提示される空間オーディオの増加は、第１関数によって制御されてもよい。仮想オーディオキャプチャ場所からの距離に応じた、空間オーディオ効果によって提示される空間オーディオの減少は、第２関数によって制御されてもよい。空間オーディオレベルの増減量の制御に用いられる関数は、空間／周囲オーディオ効果による空間オーディオの提示を仮想オーディオキャプチャ場所５１３からの仮想距離とマッピングする、線形関数または他の任意の連続関数であってもよい。空間オーディオ効果による空間オーディオの提示の減少に用いられる第１／第２関数は、周囲オーディオ効果による空間オーディオの提示の増加に用いられる関数と同じであっても異なってもよい。

前述の例において、空間オーディオは、方向情報によって、仮想オーディオキャプチャ場所から異なる方向に関連付けられた音を含む。図５を参照すると、ユーザが第１視聴位置５０３から第２視聴位置５０７へと矢印５１４の方向に移動すると、映像３０４および映像５０４への方向が右にシフトする。したがって、演奏家２０４および歌手４０４からの音は、前述のとおり空間オーディオから周囲オーディオへと有効に変更される。しかしながら、場所５１５（図４のシーン４００内の実世界および図５のＶＲ空間５００に示す）から生じている音への方向は、矢印５１４の方向への移動において変化しない。したがって、ユーザの仮想場所５０７から仮想オーディオキャプチャ場所５１５の反対側にある音源については、それらの音の方向はあまり変わらず、そこへの方向の変化閾値未満などである。このように、前述の例では、空間オーディオを構成するすべての音が、閾値距離５１１に基づいて（遷移領域における任意のオーディオミキシングを伴って）空間オーディオ効果または周囲オーディオ効果によって提示されたが、この例では、空間オーディオの音のサブセットのみがこの方法で提示されてもよい。したがって、１つ以上の例において、ユーザの現在の仮想場所が仮想オーディオキャプチャ場所５１３からの閾値距離５１１より離れていても、方向情報により示される音の発生源が、ユーザの現在の仮想場所から、正対方向の閾値内で、仮想オーディオキャプチャ場所の反対側である空間オーディオの音は、空間オーディオ効果によって提示され、空間オーディオの残りの音は、周囲オーディオ効果によって提示される。換言すると、ユーザの仮想場所が仮想オーディオキャプチャ場所からの閾値距離外である場合、前述のサブセット以外の音の方向情報は、それらの音が、ユーザの仮想場所５０７から仮想オーディオキャプチャ場所５１３へと延びる方向５１６の方向閾値（円弧５１７によって示される）内の発生方向を有していることを示している。

図６は、空間オーディオミキシングを提供する装置１００の少なくとも一部の例示的実施形態を示すブロック図である。１つ以上の例において、装置１００は、６０１においてユーザの現在の仮想場所を受信するように構成された制御ロジック６００を含む。ＶＲ装置１０１が現在の仮想場所を提供してもよい。装置１００は、空間オーディオ処理ブロック６０２と個別オーディオ処理ブロック６０３とをさらに備える。空間オーディオ処理ブロックは、６０４において空間オーディオのオーディオコンテンツと方向情報とを受信する。個別オーディオ処理ブロック６０３は、６０５において、個別マイクロフォン４１０から取得したＶＲコンテンツのオーディオコンテンツを受信する。６０６において特定音源場所情報が受信されてもよい。したがって、空間オーディオ処理ブロック６０２からのオーディオはゲインコントローラ６０９によってゲインが制御され、ゲインコントローラ６１０によってゲインが制御された個別オーディオ処理ブロック６０３からのオーディオと組み合わされる。この組合せはミキサー６０７によって行われ、ミキシングされたオーディオ６０８がＶＲ装置１０１による提示用に提供される。制御ロジック６００は、空間オーディオ効果によって提示される空間オーディオと、周囲オーディオ効果によって提示される空間オーディオ（および他の任意の個別オーディオ）からの遷移を提供するための、ゲインコントローラ６０９、６１０による制御を規定する。このように、装置１００は、閾値５１１を参照し、仮想場所５０３、５０７と仮想オーディオキャプチャ場所５１３との間の距離に基づいて、空間オーディオ効果によって提示される空間オーディオのゲインと、周囲オーディオ効果によって提示される空間オーディオのゲインとの制御を実行してもよい。

図７は、以下のステップを示すフロー図を示している。このステップは、バーチャルリアリティ視聴用のバーチャルリアリティ空間においてユーザに提示するシーンをキャプチャしたバーチャルリアリティコンテンツに関し、バーチャルリアリティコンテンツは、シーン内のオーディオキャプチャ場所に配置された少なくとも１つのオーディオキャプチャデバイスによってキャプチャされた空間オーディオを含み、空間オーディオは、オーディオキャプチャ場所からオーディオの１つ以上の音の音源への１つ以上の方向を定める方向情報を含む、シーンからのオーディオを含み、
シーン内のオーディオキャプチャ場所に対応するバーチャルリアリティ空間内の仮想オーディオキャプチャ場所に対する、バーチャルリアリティ空間内のユーザの仮想場所に基づき７００、
仮想場所が仮想オーディオキャプチャ場所から閾値距離内である場合、方向情報に対応するバーチャルリアリティ空間内の１つ以上の方向から１つ以上の音が生じていると知覚されるような空間オーディオ効果によって、空間オーディオの可聴提示を行うことと、仮想場所が仮想オーディオキャプチャ場所から閾値距離外である場合、空間オーディオ効果なしで、かつ、音が特定の発生方向なしで知覚されるような周囲オーディオ効果によって、１つ以上の音の少なくともサブセットが可聴提示されるように、空間オーディオの可聴提示を行うことと７０１、を含む。

図８は、一例に係るプログラムを提供するコンピュータ／プロセッサ可読媒体８００の模式図である。この例においては、コンピュータ／プロセッサ可読媒体は、デジタルバーサタイルディスク（Digital Versatile Disc：ＤＶＤ）またはコンパクトディスク（Compact Disc：ＣＤ）などのディスクである。一部の実施形態においては、コンピュータ／プロセッサ可読媒体は、発明の機能を実行するようにプログラムされた任意の媒体であってもよい。コンピュータプログラムコードは、同じタイプの複数のメモリ間、またはＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、フラッシュ、ハードディスク、ソリッドステートなどの異なるタイプの複数のメモリ間で分散されてもよい。

前述の例に示した装置は、携帯電子デバイス、ラップトップコンピュータ、携帯電話、スマートフォン、タブレットコンピュータ、携帯情報端末（Personal Digital Assistant：ＰＤＡ）、デジタルカメラ、スマートウォッチ、スマートアイウェア、ペンコンピュータ、非携帯電子デバイス、デスクトップコンピュータ、モニタ、家電機器、スマートテレビ、サーバ、ウェアラブル装置、バーチャルリアリティ装置、または上記の１つ以上のもののモジュール／回路であってもよい。

任意の記載された装置、および／または特定の記載された装置の他の特徴は、例えばスイッチがオン状態のときなど、これらが動作可能状態のときのみ望ましい動作を実行するように装置が構成されることにより提供されうる。そのような場合は、非動作可能状態（例えばスイッチオフ状態）では適切なソフトウェアがアクティブメモリに必ずしもロードされなくてもよく、動作可能状態（例えばオン状態）でのみ適切なソフトウェアがロードされてもよい。該装置は、ハードウェア回路および／またはファームウェアを含んでいてもよい。該装置はメモリにロードされたソフトウェアを含んでいてもよい。そのようなソフトウェア／コンピュータプログラムは、同じメモリ／プロセッサ／機能ユニットおよび／または１つ以上のメモリ／プロセッサ／機能ユニット上に記録されていてもよい。

いくつかの例においては、記載された特定の装置は、望ましい動作を実行するように適切なソフトウェアにより事前にプログラムされていてもよく、該適切なソフトウェアは、ユーザが「鍵」をダウンロードして例えば該ソフトウェアおよび関連機能のロックを解除する／それらを実行可能にすることにより使用可能にすることもできる。そのような例による効果には、デバイスにさらなる機能が必要になった際にデータをダウンロードする必要性が少なくなることが含まれうる。これはまた、ユーザに実行可能にされないかもしれないが、機能のために事前にプログラムされたソフトウェアを記憶するのに十分な容量をデバイスが有すると考えられる例においても有用でありうる。

記載された任意の装置／回路／素子／プロセッサは、記載された機能に加えて他の機能を有していてもよく、これらの機能は同じ装置／回路／素子／プロセッサにより実行されてもよい。１つ以上の開示された態様は、関連するコンピュータプログラムの電子的配信、および適切な担体（例えばメモリや信号）に記録されたコンピュータプログラム（ソース／トランスポート符号化されてもよい）を含んでいてもよい。

本明細書に記載する任意の「コンピュータ」は、同じ回路基板上、回路基板の同じ領域／位置、または同じデバイス上に位置していてもいなくてもよい１つ以上の個々のプロセッサ／処理要素の集合を含んでいてもよい。いくつかの例においては、１つ以上の記載されたプロセッサは、複数のデバイス上に分散されていてもよい。同じまたは異なるプロセッサ／処理要素により、本明細書に記載された１つ以上の機能を実行してもよい。

「シグナリング」という用語は、送信および／または受信される一連の電気／光信号として伝送される１つ以上の信号を意味しうる。該一連の信号は、上記のシグナリングを構成する１つ、２つ、３つ、４つ、またはより多くの個々の信号成分または個別信号を含んでいてもよい。これらの個々の信号の一部または全部を、無線通信または有線通信により、同時に、順番に、および／または時間的に相互に重なるように送信／受信してもよい。

記載したコンピュータおよび／またはプロセッサおよびメモリ（例えばＲＯＭ、ＣＤ−ＲＯＭなどを含む）の議論について、これらは、発明の機能を実行するようにプログラムされた、コンピュータプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（Field-Programmable Gate Array：ＦＰＧＡ）、および／または他のハードウェア要素を含んでいてもよい。

出願人はここに、本明細書に記載した個々の特徴およびそれらの特徴の２以上のあらゆる組合せを、それらの特徴や特徴の組合せが本明細書に開示したいずれかの問題を解決するかどうかにかかわらず、また請求項の範囲に限定されず、当業者の一般的な知識に照らせばそれらの特徴や組合せを本明細書全体に基づいて実施可能な程度に、別々に開示している。出願人は、開示された態様／例が、そのような個々の特徴または特徴の組合せから構成されうることを示唆している。上記の記載に鑑みて、開示の範囲内で様々な変形がなされうることは当業者には明らかであろう。

例に適用された基礎的な新規特徴を図示、記載、および指摘してきたが、記載されたデバイスおよび方法の形態および詳細については様々な省略、置換、変更が、本開示の範囲を逸脱することなく当業者によりなされうることは理解されるであろう。例えば、実質的に同じ機能を実質的に同じやり方で実行して同じ結果を得るような要素および／または方法ステップのすべての組合せが本開示の範囲内にあることは、明示的に表現されている。さらに、開示された形態または例に関連して図示および／または記載された構造および／または要素および／または方法ステップは、設計上の選択の一般的な事項として、他の開示された、記載された、または示唆された形態または例に組み込まれうると認識されるべきである。さらに、特許請求の範囲においては、ミーンズプラスファンクションの節は、本明細書に記載の構造が記載の機能を実行するものを含み、構造的等価物のみならず等価な構造物を含むものと意図されている。よって、木製部品同士を固定するのに釘は円筒状の表面を用いるがねじは螺旋状の表面を用いる点において、釘とねじは構造的等価物ではないかもしれないが、木製部品を固定する環境において、釘とねじは等価な構造物でありうる。

Claims (12)

1. バーチャルリアリティ視聴用のバーチャルリアリティ空間においてユーザに提示するシーンをキャプチャしたバーチャルリアリティコンテンツに関し、前記バーチャルリアリティコンテンツは、前記シーン内のオーディオキャプチャ場所に配置された少なくとも１つのオーディオキャプチャデバイスによってキャプチャされた空間オーディオを含み、前記空間オーディオは、前記オーディオキャプチャ場所から前記オーディオの１つ以上の音の音源への１つ以上の方向を定める方向情報を含む、前記シーンからのオーディオを含み、
   前記シーン内の前記オーディオキャプチャ場所に対応する前記バーチャルリアリティ空間内の仮想オーディオキャプチャ場所に対する、前記バーチャルリアリティ空間内のユーザの仮想場所に基づき、
   前記仮想場所が前記仮想オーディオキャプチャ場所から閾値距離内である場合、前記方向情報に対応する前記バーチャルリアリティ空間内の１つ以上の方向から前記１つ以上の音が生じていると知覚されるような空間オーディオ効果によって、前記空間オーディオの可聴提示を行う手段と、
   前記仮想場所が前記仮想オーディオキャプチャ場所から前記閾値距離外である場合、前記空間オーディオ効果なしで、かつ、前記音が特定の発生方向なしで知覚されるような周囲オーディオ効果によって、前記１つ以上の音の少なくともサブセットが可聴提示されるように、前記空間オーディオの可聴提示を行う手段と、
   を備える、装置。
2. 前記周囲オーディオ効果は、前記ユーザ周囲の全方向と、複数の方向とのいずれかから、前記空間オーディオの前記１つ以上の音が生じていると知覚されるように、前記１つ以上の音を可聴提示するように構成される、請求項１に記載の装置。
3. 前記バーチャルリアリティ（Virtual Reality：ＶＲ）コンテンツは、前記シーン内の特定の音源からのオーディオを含む個別オーディオを含み、前記空間オーディオも、前記シーン内の同じ特定の音源からのオーディオを少なくとも部分的に含み、
   前記装置は、前記仮想場所が前記閾値距離内である場合に対して前記仮想場所が前記閾値距離外である場合、前記空間オーディオより大きいボリュームで前記個別オーディオの可聴提示を実行させられる、請求項１または２に記載の装置。
4. 前記個別オーディオは、前記シーン内の前記特定の音源の場所を定める特定音源場所情報に関連付けられ、前記特定音源場所情報と、前記ユーザの現在の視方向と、前記仮想場所とに基づいて、前記個別オーディオは、前記特定音源場所情報に対応する前記バーチャルリアリティ空間内の一方向から前記オーディオが生じていると知覚されるように、前記オーディオを前記バーチャルリアリティ空間内に配置するように構成された前記空間オーディオ効果によって可聴提示用に提供される、請求項３に記載の装置。
5. 前記閾値距離は、バーチャルリアリティ空間の領域を含む遷移領域を定め、前記遷移領域内では、前記空間オーディオ効果による可聴提示用に提供される空間オーディオと、前記周囲オーディオ効果による可聴提示用に提供される前記空間オーディオとの割合が、前記仮想オーディオキャプチャ場所からの距離の関数として変化する、請求項１から４のいずれかに記載の装置。
6. 前記空間オーディオ効果による可聴提示用に提供される前記空間オーディオのゲインは、前記仮想オーディオキャプチャ場所からのユーザの前記仮想場所の距離が増加するにつれて減少する、請求項１から５のいずれかに記載の装置。
7. 前記周囲オーディオ効果による可聴提示用に提供される前記空間オーディオのゲインは、前記仮想オーディオキャプチャ場所からのユーザの前記仮想場所の距離が増加するにつれて増大する、請求項１から６のいずれかに記載の装置。
8. 前記空間オーディオ効果は、前記空間オーディオを可聴提示するために、頭部伝達関数とベクトルベース振幅パンニングのいずれかを用いる、請求項１から７のいずれかに記載の装置。
9. 前記装置は、前記仮想場所が前記仮想オーディオキャプチャ場所から前記閾値距離外である場合、前記空間オーディオキャプチャデバイスによってキャプチャされた前記１つ以上の音すべてが
   ｉ）前記空間オーディオ効果なしで、かつ
   ｉｉ）前記音が特定の発生方向なしで知覚されるような前記周囲オーディオ効果によって
   可聴提示されるように、前記空間オーディオの可聴提示を実行させられる、
   請求項１から８のいずれかに記載の装置。
10. 前記仮想場所が前記仮想オーディオキャプチャ場所から前記閾値距離外であるときに、前記オーディオの前記サブセット以外の前記１つ以上の音の前記方向情報が、前記ユーザの前記仮想場所および仮想オーディオキャプチャ場所から延びる方向の方向閾値内の一方向を示している場合、前記装置は、前記１つ以上の音の可聴提示を前記空間オーディオ効果によって実行させられる、請求項１から８のいずれかに記載の装置。
11. バーチャルリアリティ視聴用のバーチャルリアリティ空間においてユーザに提示するシーンをキャプチャしたバーチャルリアリティコンテンツに関し、前記バーチャルリアリティコンテンツは、前記シーン内のオーディオキャプチャ場所に配置された少なくとも１つのオーディオキャプチャデバイスによってキャプチャされた空間オーディオを含み、前記空間オーディオは、前記オーディオキャプチャ場所から前記オーディオの１つ以上の音の音源への１つ以上の方向を定める方向情報を含む、前記シーンからのオーディオを含み、
    前記シーン内の前記オーディオキャプチャ場所に対応する前記バーチャルリアリティ空間内の仮想オーディオキャプチャ場所に対する、前記バーチャルリアリティ空間内のユーザの仮想場所に基づき、
    前記仮想場所が前記仮想オーディオキャプチャ場所から閾値距離内である場合、前記方向情報に対応する前記バーチャルリアリティ空間内の１つ以上の方向から前記１つ以上の音が生じていると知覚されるような空間オーディオ効果によって、前記空間オーディオの可聴提示を行うことと、
    前記仮想場所が前記仮想オーディオキャプチャ場所から前記閾値距離外である場合、前記空間オーディオ効果なしで、かつ、前記音が特定の発生方向なしで知覚されるような周囲オーディオ効果によって、前記１つ以上の音の少なくともサブセットが可聴提示されるように、前記空間オーディオの可聴提示を行うことと、
    を含む方法。
12. 装置の少なくとも１つのプロセッサ上で実行されると、
    バーチャルリアリティ視聴用のバーチャルリアリティ空間においてユーザに提示するシーンをキャプチャしたバーチャルリアリティコンテンツに関し、前記バーチャルリアリティコンテンツは、前記シーン内のオーディオキャプチャ場所に配置された少なくとも１つのオーディオキャプチャデバイスによってキャプチャされた空間オーディオを含み、前記空間オーディオは、前記オーディオキャプチャ場所から前記オーディオの１つ以上の音源への１つ以上の方向を定める方向情報を含む、前記シーンからのオーディオを含み、
    前記シーン内の前記オーディオキャプチャ場所に対応する前記バーチャルリアリティ空間内の仮想オーディオキャプチャ場所に対する、前記バーチャルリアリティ空間内のユーザの仮想場所に基づき、
    前記仮想場所が前記仮想オーディオキャプチャ場所から閾値距離内である場合、前記方向情報に対応する前記バーチャルリアリティ空間内の１つ以上の方向から前記１つ以上の音が生じていると知覚されるような空間オーディオ効果によって、前記空間オーディオの可聴提示を行うことと、
    前記仮想場所が前記仮想オーディオキャプチャ場所から前記閾値距離外である場合、前記空間オーディオ効果なしで、かつ、前記音が特定の発生方向なしで知覚されるような周囲オーディオ効果によって、前記１つ以上の音の少なくともサブセットが可聴提示されるように、前記空間オーディオの可聴提示を行うことと、
    を含む方法を前記装置に実行させるように構成されるプログラム命令を備える、コンピュータプログラム。

Images