JP6670361B2 - レンダリングする音響オブジェクトをユーザが選択するためのユーザインタフェース、および／またはレンダリングする音響オブジェクトをユーザが選択するためのユーザインタフェースをレンダリングする方法 - Google Patents

Description

本発明の実施形態は、レンダリングする音響オブジェクトをユーザが選択するためのユーザインタフェースに関する。

背景

空間（またはボリュメトリック）オーディオは、様々な音響オブジェクトを様々な３次元の場所でレンダリングすることを要する。各音響オブジェクトは個別に制御することができる。例えば、音響オブジェクトの強さや、場所または位置を制御したり、音響オブジェクトのその他の特性を個別に制御したりすることができる。これにより、ユーザに対してレンダリングされる音響シーン内で音源を再配置することが可能になる。また、その音響シーンを加工することが可能になる。

空間オーディオは、例えば、複数のスピーカ、例えば、５．１または７．１サラウンドサウンドによってユーザに対してレンダリングすることも、ヘッドフォン、例えば、両耳レンダリングによってユーザに対してレンダリングすることもできる。

空間オーディオは、オーディオコンテンツをユーザに対してレンダリングするために用いることも、マルチメディアコンテンツのオーディオ部分をユーザに対してレンダリングするために用いることもできる。マルチメディアコンテンツがレンダリングされる場合、ビジュアルコンテンツは、例えば、仮想現実や拡張現実などの媒介現実によってレンダリングすることができる。場合によっては、例えば、コンテンツ消費者またはコンテンツエンジニアでありうるユーザに、音響シーンを完全にはレンダリングしないで、その音響シーンのコンテンツを理解させることが望ましいことがある。

摘要

本発明の様々な、ただし必ずしもすべてではない実施形態によれば、方法が提供される。前記方法は、３次元音響空間内の場所にそれぞれ関連付けられた音響オブジェクトを、レンダリングのためにユーザが選択するためのユーザインタフェースをレンダリングすることと、音響オブジェクトを選択するユーザ操作に応じて、少なくとも前記選択された音響オブジェクトを、前記３次元音響空間内で関連付けられた場所にレンダリングすることと、を含み、前記ユーザインタフェースは、音響オブジェクトを少なくとも１つの形状にマッピングし、前記形状上の音響オブジェクトを、前記形状上の一連の場所で識別し、前記形状上の場所は、前記識別された音響オブジェクトの関連付けられた場所とは異なる。

必ずしもすべてではないがいくつかの例において、第１のユーザ操作に応じて、音響オブジェクトのセットのサブセットの音響オブジェクトをそれぞれ、前記３次元音響空間内で関連付けられた場所にレンダリングすることを含む縮小音響シーンのレンダリングによって、前記セットの音響オブジェクトを含む音響シーンの没入的オーディオプレビューをレンダリングする。

必ずしもすべてではないがいくつかの例において、第２のユーザ操作に応じて、前記セットの音響オブジェクトをそれぞれ、前記３次元音響空間内で関連付けられた場所にレンダリングすることで、前記セットの音響オブジェクトを含む音響シーンをレンダリングする。

必ずしもすべてではないがいくつかの例において、前記ユーザインタフェースは、音響オブジェクトの特性の少なくとも１つまたは複数を示す、各音響オブジェクトのコンテンツを用いて、前記形状上の異なる場所で前記音響オブジェクトを識別し、前記音響オブジェクトの特性は、相対的な重要度、音声、音の大きさ、期間からなる群からのものである。

必ずしもすべてではないがいくつかの例において、前記ユーザインタフェースは、音響オブジェクトの前記セット内の前記音響オブジェクトの少なくともいくつかを、１つまたは複数の形状上の異なる場所で識別し、音響オブジェクトの場所は、音響オブジェクトの前記セット内の当該音響オブジェクトの重要度に基づく。

必ずしもすべてではないがいくつかの例において、前記方法は、前記セットの音響オブジェクトを、前記ユーザインタフェースの形状の一部上の音響オブジェクトとして選択するために、前記形状の当該一部を選択することを含む。

必ずしもすべてではないがいくつかの例において、前記方法は、前記第１のユーザ操作の前に、前記セットの前記サブセットの音響オブジェクトのすべてではなく、ゼロ、１つ、または複数を、空間場所なしで前記３次元音響空間にレンダリングすることを含む。

必ずしもすべてではないがいくつかの例において、前記第１のユーザ操作は、前記セットの前記サブセットの音響オブジェクトを選択する。

必ずしもすべてではないがいくつかの例において、第１の前記サブセットは、少なくとも、前記ユーザインタフェースの形状に対する前記第１のユーザ操作の第１の場所と、音響オブジェクトの前記セット内の、前記第１の場所に隣接する前記音響オブジェクトの配置と、に基づく。

必ずしもすべてではないがいくつかの例において、前記方法は、前記没入的オーディオプレビューのレンダリング中に、変更のためのユーザ相互作用に応じて前記サブセットを新しいサブセットへと変化させ、音響オブジェクトの前記セットの前記新しいサブセット内の前記音響オブジェクトをそれぞれ、３次元音響空間内で関連付けられた場所にレンダリングすることを含む、新しい縮小音響シーンのレンダリングを行うことを含む。

必ずしもすべてではないがいくつかの例において、前記ユーザインタフェースは、集約されたビジュアルプレビューユーザインタフェースであり、前記集約されたビジュアルプレビューユーザインタフェースは、音響オブジェクトを、少なくとも１つの形状にマッピングし、前記形状上の音響オブジェクトを、前記形状上の一連の場所で視覚的に識別し、前記形状上の場所は、前記識別された音響オブジェクトの関連付けられた場所とは異なる。

必ずしもすべてではないがいくつかの例において、前記形状は、可視形式で前記ユーザインタフェースに表示され、前記ユーザインタフェースは、前記形状上の音響オブジェクトを視覚的に識別する。

必ずしもすべてではないがいくつかの例において、前記方法は、前記第２のユーザ操作の後、前記ユーザインタフェースをレンダリングしなくなることを含む。

必ずしもすべてではないがいくつかの例において、前記方法は、前記第２のユーザ操作に応じて、前記レンダリングされた音響シーンに対応する視覚シーンをレンダリングし、前記レンダリングされた視覚シーンおよび前記対応するレンダリングされた音響シーンを、少なくとも前記ユーザの向きの変更に基づいて、自動的に変化させることを含む。

装置は、３次元音響空間内の場所にそれぞれ関連付けられた音響オブジェクトを、レンダリングのためにユーザが選択するためのユーザインタフェースをレンダリングするユーザインタフェースレンダリング手段と、音響オブジェクトを選択するユーザ操作に応じて、少なくとも前記選択された音響オブジェクトを、前記３次元音響空間内で関連付けられた場所にレンダリングする音響レンダリング手段と、を備え、前記ユーザインタフェースは、音響オブジェクトを少なくとも１つの形状にマッピングし、前記形状上の音響オブジェクトを、前記形状上の一連の場所で識別し、前記形状上の場所は、前記識別された音響オブジェクトの関連付けられた場所とは異なる。

必ずしもすべてではないがいくつかの例において、前記音響レンダリング手段は、第１のユーザ操作に応じて、音響オブジェクトのセットのサブセットの音響オブジェクトをそれぞれ、前記３次元音響空間内で関連付けられた場所にレンダリングすることを含む縮小音響シーンのレンダリングによって、前記セットの音響オブジェクトを含む音響シーンの没入的オーディオプレビューをレンダリングする手段を備える。

必ずしもすべてではないがいくつかの例において、前記音響レンダリング手段は、第２のユーザ操作に応じて、前記セットの音響オブジェクトをそれぞれ、前記３次元音響空間内で関連付けられた場所にレンダリングすることで、前記セットの音響オブジェクトを含む音響シーンをレンダリングする手段を備える。

必ずしもすべてではないがいくつかの例において、前記ユーザインタフェースレンダリング手段は、音響オブジェクトの特性の少なくとも１つまたは複数を示す、各音響オブジェクトのコンテンツを用いて、前記形状上の異なる場所で前記音響オブジェクトを識別する手段を備え、前記音響オブジェクトの特性は、相対的な重要度、音声、音の大きさ、期間からなる群からのものである。

必ずしもすべてではないがいくつかの例において、前記ユーザインタフェースレンダリング手段は、音響オブジェクトの前記セット内の前記音響オブジェクトの少なくともいくつかを、１つまたは複数の形状上の異なる場所で識別する手段を備え、音響オブジェクトの場所は、音響オブジェクトの前記セット内の当該音響オブジェクトの重要度に基づく。

必ずしもすべてではないがいくつかの例において、前記装置は、前記セットの音響オブジェクトを、前記ユーザインタフェースの形状の一部上の音響オブジェクトとして選択するために、前記形状の当該一部を選択する手段を備える。

必ずしもすべてではないがいくつかの例において、前記装置は、前記第１のユーザ操作の前に、前記セットの前記サブセットの音響オブジェクトのすべてではなく、ゼロ、１つ、または複数を、空間場所なしで前記３次元音響空間にレンダリングする手段を備える。

必ずしもすべてではないがいくつかの例において、前記ユーザインタフェースレンダリング手段は、前記第１のユーザ操作によって、前記セットの前記サブセットの音響オブジェクトを選択できるようにする手段を備える。第１の前記サブセットは、少なくとも、前記ユーザインタフェースの形状に対する前記第１のユーザ操作の第１の場所と、音響オブジェクトの前記セット内の、前記第１の場所に隣接する前記音響オブジェクトの配置と、に基づいてもよい。

必ずしもすべてではないがいくつかの例において、前記装置は、前記没入的オーディオプレビューのレンダリング中に、変更のためのユーザ相互作用に応じて前記サブセットを新しいサブセットへと変化させ、音響オブジェクトの前記セットの前記新しいサブセット内の前記音響オブジェクトをそれぞれ、３次元音響空間内で関連付けられた場所にレンダリングすることを含む、新しい縮小音響シーンのレンダリングを行う手段を備える。

必ずしもすべてではないがいくつかの例において、前記ユーザインタフェースは、集約されたビジュアルプレビューユーザインタフェースであり、前記集約されたビジュアルプレビューインタフェースは、音響オブジェクトを、少なくとも１つの形状にマッピングするように構成され、かつ、前記形状上の音響オブジェクトを、前記形状上の一連の場所で視覚的に識別するように構成され、前記形状上の場所は、前記識別された音響オブジェクトの関連付けられた場所とは異なる。

必ずしもすべてではないがいくつかの例において、前記形状は、可視形式で前記ユーザインタフェースに表示され、前記ユーザインタフェースは、前記形状上の音響オブジェクトを視覚的に識別するように構成される。

必ずしもすべてではないがいくつかの例において、前記ユーザインタフェースレンダリング手段は、前記第２のユーザ操作の後、前記ユーザインタフェースをレンダリングしなくなる。

必ずしもすべてではないがいくつかの例において、前記装置は、前記第２のユーザ操作に応じて、前記レンダリングされた音響シーンに対応する視覚シーンをレンダリングする手段と、前記レンダリングされた視覚シーンおよび前記対応するレンダリングされた音響シーンを、少なくとも前記ユーザの向きの変更に基づいて、自動的に変化させる手段とを備える。

前記装置は、少なくとも１つのプロセッサと、コンピュータプログラムコードを備えた少なくとも１つのメモリと、を備え、前記少なくとも１つのメモリおよび前記コンピュータプログラムコードは、前記少なくとも１つのプロセッサとともに前記装置に少なくとも、３次元音響空間内の場所にそれぞれ関連付けられた音響オブジェクトを、レンダリングのためにユーザが選択するためのユーザインタフェースをレンダリングすることと、音響オブジェクトを選択するユーザ操作に応じて、前記少なくとも選択された音響オブジェクトを、前記３次元音響空間内で関連付けられた場所にレンダリングすることと、を実行させるように構成され、前記ユーザインタフェースは、音響オブジェクトを少なくとも１つの形状にマッピングし、前記形状上の音響オブジェクトを、前記形状上の一連の場所で識別し、前記形状上の場所は、前記識別された音響オブジェクトの関連付けられた場所とは異なる。

コンピュータプログラムは、プロセッサによって実行された場合、前記プロセッサが、３次元音響空間内の場所にそれぞれ関連付けられた音響オブジェクトを、レンダリングのためにユーザが選択するためのユーザインタフェースをレンダリングすることと、音響オブジェクトを選択するユーザ操作に応じて、少なくとも前記選択された音響オブジェクトを、前記３次元音響空間内で関連付けられた場所にレンダリングすることと、を可能にし、前記ユーザインタフェースは、音響オブジェクトを少なくとも１つの形状にマッピングし、前記形状上の音響オブジェクトを、前記形状上の一連の場所で識別し、前記形状上の場所は、前記識別された音響オブジェクトの関連付けられた場所とは異なる。

本発明の様々な、ただし必ずしもすべてではない実施形態によれば、添付の特許請求の範囲に記載されるような例が提供される。

詳細な説明の理解に有用な様々な例をより良く理解するために、単なる例として添付の図面を参照する。
図１は、レンダリングする音響オブジェクトをユーザが選択するためのユーザインタフェースをレンダリングする方法の例を示す図である。 図２Ａは、複数の音響オブジェクトを含む音響空間の例を示す図である。 図２Ｂは、レンダリングする音響オブジェクトをユーザが選択するためのユーザインタフェースの例を示す図である。 図３は、音響オブジェクトのサブセットを含むプレビュー縮小音響空間のレンダリングの例を示す図である。 図４Ａは、音響オブジェクトのサブセットを含むプレビュー縮小音響空間のレンダリングの例を示す図である。 図４Ｂは、音響オブジェクトの完全なセットを含む音響空間全体のレンダリングの例を示す図である。 図５Ａは、音響オブジェクトの新しいサブセットを含む新しいプレビュー縮小音響空間のレンダリングの例を示す図である。 図５Ｂは、音響オブジェクトの新しいサブセットを含む新しいプレビュー縮小音響空間のレンダリングの例を示す図である。 図６は、ビジュアルユーザインタフェースの例を示す図である。 図７は、マッピングされた音響オブジェクトの複数の形状を含むユーザインタフェースの例を示す図である。 図８Ａ、図８Ｂは、一人称視点媒介現実のレンダリングの状況に当該方法を適用する例を示す図である。 図９Ａ、図９Ｂは、一人称視点媒介現実のレンダリングの状況に当該方法を適用する例を示す図である。 図１０Ａ、図１０Ｂは、一人称視点媒介現実のレンダリングの状況に当該方法を適用する例を示す図である。 図１１Ａは、音響オブジェクトを異なるグループにグループ化し、各グループをユーザインタフェースの異なる形状にマッピングする例を示す図である。 図１１Ｂは、音響オブジェクトを異なるグループにグループ化し、各グループをユーザインタフェースの異なる形状にマッピングする例を示す図である。 図１１Ｃは、音響オブジェクトを異なるグループにグループ化し、各グループをユーザインタフェースの異なる形状にマッピングする例を示す図である。 図１２Ａは、コントローラの例を示す図であり、図１２Ｂは、コンピュータプログラムの例を示す図である。

定義

「人工環境」は、記録または生成された任意のものでありうる。

「仮想視覚空間」は、視覚可能な完全または部分的な人工環境を指す。これは３次元でありうる。
「仮想視覚シーン」は、仮想視覚空間内の特定の視点（位置）から見た仮想視覚空間の表現を指す。
「仮想視覚オブジェクト」は、仮想視覚シーン内の可視の仮想オブジェクトである。

「音響空間」（または「仮想音響空間」）は、３次元空間内の音源の配置を指す。音響空間は、音響の録音（録音された音響空間）に関連して、および音響のレンダリング（レンダリングされた音響空間）に関連して、定義される場合がある。
「音響シーン」（または「仮想音響シーン」）は、音響空間内の特定の視点（位置）から聴いた音響空間の表現を指す。
「音響オブジェクト」は、音響空間内に配置されうる音源を指す。音源オブジェクトは、仮想視覚空間内のオブジェクトに関連付けられた音源とは対照的に、音響空間内の音源を表す。録音された音響オブジェクトは、特定のマイクまたは場所で録音された音響を表す。レンダリングされた音響オブジェクトは、特定の場所からレンダリングされた音響を表す。

「仮想空間」は、仮想視覚空間を意味する場合も、音響空間を意味する場合も、仮想視覚空間と対応する音響空間との組合せを意味する場合もある。いくつかの例において、仮想空間は、水平方向に３６０^ｏまで延在してもよく、垂直方向に１８０^ｏまで延在してもよい。
「仮想シーン」は、仮想視覚シーンを意味する場合も、音響シーンを意味する場合も、仮想視覚シーンと対応する音響シーンとの組合せを意味する場合もある。
「仮想オブジェクト」は、仮想シーン内のオブジェクトであり、人工仮想オブジェクト（例えば、コンピュータが生成した仮想オブジェクト）や、ライブの、または記録された現実空間内の実際のオブジェクトの画像でありうる。仮想オブジェクトは、音響オブジェクトおよび／または仮想視覚オブジェクトでありうる。
「仮想位置」は、仮想空間内の位置である。仮想位置は、仮想場所および／または仮想向きを用いて定義されうる。仮想位置は、移動可能な「視点」とみなされうる。

「対応」または「対応する」は、音響空間および仮想視覚空間と関連して用いられる場合、音響空間と仮想視覚空間との時間および空間が一致している、すなわちそれらが同じ時間の同じ空間であることを意味する。
「対応」または「対応する」は、音響シーンおよび仮想視覚シーン（または視覚シーン）と関連して用いられる場合、音響空間と仮想視覚空間（または視覚シーン）とが対応しており、音響シーンを定める視点を有する概念的（仮想）リスナーと、仮想視覚シーン（または視覚シーン）を定める視点を有する概念的（仮想）ビューアとが、同じ場所に同じ向きでおり、すなわち、当該リスナーと当該ビューアの視点は同じ（同じ仮想位置）であることを意味する。

「現実空間」（または「物理空間」）は、現実環境を指す。これは３次元でありうる。
「現実シーン」は、現実空間内の特定の視点（位置）からの現実空間の表現を指す。
「現実視覚シーン」は、現実空間内の特定の現実の視点（位置）から見た現実空間の視覚表現を指す。

本明細書における「媒介現実」は、完全または部分的な人工環境（仮想空間）を、装置によってユーザに対して少なくとも部分的にレンダリングされた仮想シーンとして、例えば視覚的に経験するユーザを指す。仮想シーンは、仮想空間内の視点（仮想位置）によって決定される。仮想シーンの表示は、ユーザが知覚できる形式で仮想視覚シーンを提示することを意味する。
本明細書における「拡張現実」は、媒介現実の一形式を指し、ユーザは、部分的な人工環境（仮想空間）を、装置によってユーザに対してレンダリングされた１つまたは複数の視覚またはオーディオ要素によって補足された、物理的現実環境（現実空間）の現実シーンを含む仮想シーンとして経験する。拡張現実という用語は、複合現実またはハイブリッドリアリティを意味し、（現実に対する）仮想の度合いや媒介の度合いを必ずしも意味するものではない。
本明細書における「仮想現実」は、媒介現実の一形式を指し、ユーザは、完全な人工環境（仮想視覚空間）を、装置によってユーザに対して表示された仮想シーンとして経験する。

「仮想コンテンツ」は、現実シーンからの現実コンテンツ（存在する場合）加えて、例えば、１つまたは複数の人工仮想オブジェクトを提示することによって媒介現実を可能にするコンテンツである。
「媒介現実コンテンツ」は、ユーザが、完全または部分的な人工環境（仮想空間）を仮想シーンとして、例えば視覚的に経験できるようにするコンテンツである。媒介現実コンテンツは、ビデオゲームなどのインタラクティブコンテンツや、動画などの非インタラクティブコンテンツを含むことができる。
「拡張現実コンテンツ」は、媒介現実コンテンツの一形式であり、ユーザが、部分的な人工環境（仮想空間）を仮想シーンとして、例えば視覚的に経験できるようにする。拡張現実コンテンツは、ビデオゲームなどのインタラクティブコンテンツや、動画などの非インタラクティブコンテンツを含むことができる。
「仮想現実コンテンツ」は、媒介現実コンテンツの一形式であり、ユーザが、完全な人工環境（仮想空間）を仮想シーンとして、例えば視覚的に経験できるようにする。仮想現実コンテンツは、ビデオゲームなどのインタラクティブコンテンツや、動画などの非インタラクティブコンテンツを含むことができる。

媒介現実、拡張現実、または仮想現実に適用される「視点媒介」は、ユーザの動作が、仮想空間内の視点（仮想位置）を決定し、仮想シーンを変更することを意味する。
媒介現実、拡張現実、または仮想現実に適用される「一人称視点媒介」は、ユーザの実際の視点（場所および／または向き）が、仮想空間内の視点（仮想位置）を決定するという制約が追加された視点媒介を意味する。
媒介現実、拡張現実、または仮想現実に適用される「三人称視点媒介」は、ユーザの実際の視点が、仮想空間内の視点（仮想位置）を決定しないという制約が追加された視点媒介を意味する。
媒介現実、拡張現実、または仮想現実に適用される「ユーザインタラクティブ」は、ユーザの動作が、仮想空間内で起こることを少なくとも部分的に決定することを意味する。

「表示」は、ユーザによって視覚的に知覚される（見られる）形式で提示することを意味する。
「レンダリング」は、ユーザによって知覚される形式で提示することを意味する。

「仮想ユーザ」は、視点媒介音響シーンおよび／または視覚シーンの生成に用いられる、仮想空間内における視点（仮想位置―場所および／または向き）を定める。
「概念的リスナー」は、ユーザが実際に聴いているかどうかに関係なく、視点媒介音響シーンの生成に用いられる、仮想空間内における視点（仮想位置―場所および／または向き）を定める。
「概念的ビューア」は、ユーザが実際に見ているかどうかに関係なく、視点媒介視覚シーンの生成に用いられる、仮想空間内における視点（仮想位置―場所および／または向き）を定める。

３自由度（Three Degrees of Freedom：３ＤｏＦ）は、仮想位置が向き（例えば、３次元の向きの３つの自由度）のみによって決定される媒介現実を表す。一人称視点媒介現実に関しては、ユーザの向きのみによって仮想位置が決定される。

６自由度（Six Degrees of Freedom：６ＤｏＦ）は、仮想位置が向き（例えば、３次元の向きの３つの自由度）と場所（３次元の場所の３つの自由度）の両方によって決定される媒介現実を表す。一人称視点媒介現実に関しては、現実空間におけるユーザの向きとユーザの場所の両方によって仮想位置が決定される。

詳細説明

図１は、レンダリングする音響オブジェクトをユーザが選択するためのユーザインタフェースをレンダリングする方法１００の例を示す図である。

ブロック１０２において、方法１００は、３次元音響空間内の場所にそれぞれ関連付けられた音響オブジェクトを、レンダリングのためにユーザが選択するためのユーザインタフェースをレンダリングすることを含み、当該ユーザインタフェースは、音響オブジェクトを少なくとも１つの形状にマッピングし、当該形状上の音響オブジェクトを、当該形状上の一連の場所で識別し、当該形状上の場所は、識別された音響オブジェクトの関連付けられた場所とは異なる。

ブロック１０４において、方法１００は、音響オブジェクトを選択するユーザ操作が発生したかどうかを決定する。

ブロック１０６において、方法１００は、音響オブジェクトを選択するユーザ操作に応じて、少なくとも選択された音響オブジェクトを、３次元音響空間内で関連付けられた場所にレンダリングすることを含む。

図２Ａは、複数の音響オブジェクト２２を含む音響空間２０の例を示す図である。各音響オブジェクト２２は、３次元音響空間２０内の場所２４に関連付けられる。音響空間２０が図示のとおりにレンダリングされる場合、各音響オブジェクト２２はそれぞれ対応する場所２４でレンダリングされ、空間オーディオを作り出す。

図２Ｂは、レンダリングする音響オブジェクト２２をユーザが選択するためのユーザインタフェース２００のレンダリングを示す図である。ユーザインタフェース２００は、オーディオ専用ユーザインタフェースであってもよく、他の例ではオーディオビジュアルユーザインタフェースであってもよい。

ユーザインタフェース２００は、（音響空間２０内の）音響オブジェクト２２を、（マッピングされた空間３０内の）少なくとも１つの形状４０に、マッピングされた音響オブジェクト３２としてマッピングする。ユーザインタフェース２００は音響オブジェクト２２を、形状４０上で、形状４０上の一連の場所３４で識別する。一連の場所３４は、音響オブジェクト２２の関連付けられた場所２４とは異なる。

したがって、ある音響オブジェクト２２の場所２４が、マッピングされた音響オブジェクト３２の場所３４と同じである可能性はあるが、すべての音響オブジェクト２２がそのようである可能性はない。場所２４にある少なくともいくつかの音響オブジェクト２２は、当該場所２４とは異なる場所３４にあるマッピングされた音響オブジェクト３２にマッピングされる_。

そのため、このマッピングにより、音響オブジェクト２２の分散された配置（図２Ａ）が、形状４０上のマッピングされた音響オブジェクト３２の規則正しい配置（図２Ｂ）へと「集約」される。したがってユーザインタフェース２００は、音響空間２０とその音響オブジェクトとを１つまたは複数の形状４０に集約したものを表現する。

形状４０は、任意の適切な形状であってもよい。この形状は、１次元、２次元、または３次元の形状であってもよい。例えば、直線もしくは曲線、または平面であってもよい。また、三角形、円形、楕円形であってもよい。また、球体の表面またはその他の３次元形状であってもよい。いくつかの例において、最適な形状４０は、音響空間２０内の音響オブジェクト２２の配置（図２Ａ）に基づいて決定してもよい。例えば、音響オブジェクト２２の配置内の音響オブジェクト２２の場所２４と、推定上の形状４０上のマッピングされた音響オブジェクト３２の相当する推定上の場所３４との間で、最小二乗当てはめを決定してもよい。場所２４と、推定上の形状４０上の相当する推定上の場所３４との間の距離の二乗に対して最小の総累積値を有する形状を、最適な形状として選択してもよい。

ユーザインタフェース２００は、形状４０に沿った場所３４に、複数のマッピングされた音響オブジェクト３２を有する。これらの場所３４は、音響空間２０内の音響オブジェクトの場所２４に必ずしも対応している必要はない。ユーザインタフェース２００は、各音響オブジェクト２２の、音響オブジェクト特性の少なくとも１つまたは複数を示すコンテンツを用いて、形状４０上の異なる場所３４で音響オブジェクト２２を識別してもよい。音響オブジェクト特性は、例えば、相対的な重要度、音声、音の大きさ、期間からなる群からのものである。これによって、ユーザがユーザインタフェース２００において音響オブジェクト２２を選択する際に情報が提供される。

ユーザインタフェース２００は、マッピングされた空間３０が音響空間２０である音響ベースのユーザインタフェース、および／または、マッピングされた空間３０が音響空間２０に対応する視覚空間である視覚ベースのユーザインタフェースであってもよい。

音響ベースのユーザインタフェース２００において、マッピングされた音響オブジェクト３２はそれぞれ、場所３４でレンダリングされた音響オブジェクトである。そのような音響オブジェクトは、選択的にのみレンダリング、すなわち、ユーザが、例えば視線を向けることによって選択する場合にのみレンダリングされてもよい。これによって、ユーザは、音響ベースのユーザインタフェース２００内のマッピングされた音響オブジェクト３２をサンプリングし、その後にマッピングされた音響オブジェクト３２の１つを選択することが可能になる。

ユーザインタフェース２００は、（音響空間２０内の）音響オブジェクト２２を、（マッピングされた空間３０内の）少なくとも１つの形状４０に、マッピングされた音響オブジェクト３２としてマッピングする。ユーザは、マッピングされた音響オブジェクト３２の１つを、その音響オブジェクト３２および／または形状４０に対する相互作用を実行することで選択１０４してもよい。

図３に示すとおり、方法１００は、音響オブジェクト２２_ｍを選択するユーザ操作１０４に応じて、少なくとも選択された音響オブジェクト２２_ｍを、３次元音響空間２０内で関連付けられた場所２４_ｍにレンダリングする。これによって、音響オブジェクト２２_ｍは、図２Ａに示す音響空間２０がレンダリングされた場合にレンダリングされるであろうように、ユーザにとって外部化された音響としてレンダリングされる。しかしながら、当然のこととして、この例示では音響オブジェクト２２_ｍのみがレンダリングされることを理解されたい。レンダリングされた音響オブジェクト２２は黒いアイコンとして図示され、レンダリングされていない音響オブジェクト２２は白いアイコンとして図示されている。

しかしながら、他の例では、音響オブジェクトを選択するユーザ操作１０４に応じて、１つより多くの選択された音響オブジェクト２２_ｍをレンダリングすることができる。例として、図４Ａに示すとおり、方法１００は、第１のユーザ操作１０４に応じて、音響空間２０の没入的オーディオプレビュー２５をレンダリングする。音響空間２０は、音響オブジェクト２２のセット２３を含む（図４Ｂを参照）。プレビュー２５は縮小音響空間２７であり、この空間では、３次元音響空間２０内のセット２３のサブセット２１の音響オブジェクト２２が、それぞれ関連付けられた場所２４にレンダリングされる。レンダリングされた音響オブジェクト２２は黒いアイコンとして図示され、レンダリングされていない音響オブジェクト２２は白いアイコンとして図示されている。

したがって、ユーザインタフェースの形状４０の一部を選択することで、すなわち、選択された音響オブジェクト２２_ｍを選択することによって、音響オブジェクトのサブセット２１が選択される。サブセット２１の音響オブジェクトは、形状４０の該当する部分上の音響オブジェクトであってもよい。

図４Ｂは、方法１００について、例えば図４Ａからの続きを示している。方法１００は、第２のユーザ操作１０８に応じて、セット２３の音響オブジェクト２２をそれぞれ、３次元音響空間２０内で関連付けられた場所２４にレンダリングすることで、セット２３の音響オブジェクト２２を含む音響空間２０をレンダリングすることを含む。レンダリングされた音響オブジェクト２２は黒いアイコンとして図示されている。

この例において、場所２４でレンダリングされた、セット２３の音響オブジェクト２２は、図２Ａに示す音響オブジェクトと同じ配置であることを理解されたい。他の例では、音響オブジェクト２２のセット２３は、より小さくてもよい。

この例において、第１のユーザ操作１０４はユーザ操作の最初の部分であってもよく、第２のユーザ操作１０８は当該ユーザ操作の範囲全体までの続きであってもよい。例えば、第１のユーザ操作１０４は、第１の方向におけるユーザの頭部のわずかなまたは小さな動きであってもよく、第２のユーザ操作１０８は、同じく第１の方向におけるユーザの頭部の大きな動きであってもよい。したがって、ユーザは、ユーザインタフェース２００に向かって体を傾けることによってプレビュー２５を取得し、例えば図３または図４Ａのプレビュー２５を確認した後で、ユーザインタフェース２００に向かってさらに体を傾けることで、図４Ｂに示す全体のレンダリングに入ることができてもよい。

もちろん、他の例において、ユーザは、異なるユーザ操作１０４、１０８を実行して同じ効果を得ることができる。

図３に示す例のプレビュー２５は、図４Ａのプレビュー２５の例においてサブセット２１の構成要素が１つのみである場合に相当することを理解されたい。

図３、図４Ａ、図４Ｂ、図５Ａ、および図５Ｂにおいて、仮想ユーザの仮想位置は一定である。音響空間２０がレンダリングされる視点は一定に維持される。他の例において、仮想ユーザの仮想位置は、プレビュー２５中にユーザによって変更されてもよく、および／または、プレビューから全体レンダリング（図４Ｂ）へと遷移させるユーザ操作１０８を実行する際にユーザによって変更されてもよい。例えば、ユーザ操作１０４、１０８の方向によって、仮想ユーザの少なくとも仮想向きを制御してもよい。これによってユーザは、例えば、ユーザ操作１０４、１０８を定められた方法で実行するだけで、大規模なボリュメトリック（空間）音響シーンの簡潔な要約を取得して制御することができる。

図４Ａおよび図４Ｂの例において、２つの個別の遷移が行われている。第１の遷移は、ユーザインタフェース２００（図２Ｂ）から図４Ａのプレビュー２５へである。第２の遷移は、図４Ａのプレビュー２５から、すべての音響オブジェクト２２をレンダリングした音響空間２０全体のレンダリングへである。他の例（図５Ａ、図５Ｂ）において、初期プレビュー２５のレンダリング（図４Ａ）と音響空間２０全体のレンダリング（図４Ｂ）との間に、より詳細なプレビュー２５を介した連続的な遷移があってもよい。

例えば、没入的オーディオプレビュー２５は、１つまたは少数の音響オブジェクト２２のみを含む縮小音響空間のレンダリングによって開始されてもよい。すなわち、サブセット２１が小さい場合である。その場合、方法１００は、サブセット２１のサイズを徐々に大きくして、より多くの音響オブジェクト２２がレンダリングされるようにして継続してもよい。レンダリングされるサブセット２１への音響オブジェクトの追加は、第１のユーザ操作１０４の後に徐々に時間をかけて行われてもよい。その場合、音響空間２０全体のレンダリングは事前に定められた期間の後に達成されるため、第２のユーザ操作１０８によって全体のレンダリングに到達する必要はない。他の例では、サブセット２１を変化させるために、ユーザが第１のユーザ操作１０４を維持する必要があるようにしてもよい。他の例において、ユーザが別のユーザ操作を実行する必要があるようにしてもよい。例えば、第１のユーザ操作１０４を繰り返すか、または第１のユーザ操作１０４を繰り返し延長し、繰り返しごとにサブセット２１を大きくする。

したがって、没入的オーディオプレビュー２５のレンダリング中に、変更のためのユーザ相互作用に応じてサブセット２１を新しいサブセット２１'へと変化させてもよい。これによって、新しい縮小音響空間２７'のレンダリングが行われる。このレンダリングには、音響オブジェクト２２のセットの新しいサブセット２１'内の音響オブジェクト２２をそれぞれ、３次元音響空間２０内で関連付けられた場所２４にレンダリングすることが含まれる。図５Ａおよび図５Ｂは、新しいサブセット２１'の音響オブジェクト２２それぞれをレンダリングすることを含む、そのような新しい縮小音響空間２７'の例を示す図である。図５Ａの例では、サブセット２１を変化させることには、図４Ａと比較して１つの音響オブジェクト２２を追加することが含まれることを理解されたい。図５Ａの後に実行されてもよい図５Ｂの例では、この例のサブセット２１を変化させることには、図５Ａと比較して２つの音響オブジェクト２２を追加することが含まれる。

したがって、ある時点で、方法は、縮小音響シーン２７のレンダリングを含み、このレンダリングには、音響オブジェクト２２のセットのサブセット２１内の音響オブジェクト２２をそれぞれ、３次元音響空間３０内で関連付けられた場所２４にレンダリングすることが含まれ（図４Ａ）、その後のある時点で、方法１００は、新しい縮小音響シーン２７'のレンダリングを含み、このレンダリングには、音響オブジェクト２２のセットの新しいサブセット２１'内の音響オブジェクト２２をそれぞれ、３次元空音響空間２０内で関連付けられた場所２４にレンダリングすることが含まれる。

音響オブジェクトを新しいサブセット２１'に追加する順序は、任意の適切な基準に基づいてもよい。

例えば、プレビュー２５としての新しい縮小音響シーン２７'のレンダリングは、新しい名目上のユーザ場所および／またはユーザの聴力の向上（聴こえる範囲の拡大）に基づいてもよい。ユーザに関連付けられた名目上のボリューム（空間）は、新しい音響オブジェクト２２を包含するようにサイズが増大および／または場所が変更される。これらの新しい音響オブジェクト２２は、この名目上のボリューム（空間）に包含されると、新しいサブセット２１'内に含まれる。必ずしもすべてではないが、一例において、図４Ａに示すプレビュー２５としての縮小音響空間２７のレンダリングは、ユーザおよび／またはユーザの場所への距離によって決定される新しいサブセット２１'に基づく。距離は固定であっても可変であってもよく、場所も固定であっても可変であってもよい。音響オブジェクトを新しいサブセット２１'に追加する順序は、ユーザの動き（名目上のユーザ場所の変化）のシミュレーションに基づいてもよい。

代替として、または追加として、音響オブジェクト２２は、ユーザへの距離ではなく、例えば重要度などの他の基準に基づいて、新しいサブセット２１'に含まれてもよい。

図４Ａにおいて、サブセット２１内の音響オブジェクト２２は必ずしも、選択された音響オブジェクト２２_ｍの場所２４_ｍに最も近い場所２４を有する音響オブジェクト２２である必要はない。図５Ａおよび図５Ｂにおいて、新しいサブセット２１'の新しく追加された音響オブジェクト２２は必ずしも、選択された音響オブジェクト２２_ｍの場所２４_ｍに最も近い場所２４を有する、サブセット２１内に存在しない音響オブジェクト２２である必要はない。

図６は、ユーザインタフェース２００の視覚的部分を提示する、ビジュアルユーザインタフェース２０２の例を示す図である。視覚的／ビジュアルとは、インタフェース、オブジェクト、または空間が、ユーザから可視であるように表示されることを意味する。この例では、マッピングされた空間３０は仮想視覚空間６０である。マッピングされた音響オブジェクト３２はそれぞれ、ビジュアルユーザインタフェース２０２内の仮想視覚オブジェクトとしてレンダリングされる。また、必ずしもすべてではないが、この例では、形状４０も仮想視覚空間６０内の仮想視覚オブジェクトとして視覚的に表現される。

ユーザは、マッピングされた音響オブジェクト３２の１つを、そのマッピングされた音響オブジェクト３２を表現する仮想視覚オブジェクトに対する相互作用を実行することで選択１０４してもよい。このような相互作用は既知であり、例えば、その仮想視覚オブジェクトをタッチすることや選択することが含まれうる。

ユーザインタフェース２００は、集約されたビジュアルプレビューインタフェース２０２であってもよい。集約されたビジュアルプレビューインタフェース２０２は、音響オブジェクト２２を、少なくとも１つの形状４０にマッピングし、形状４０上の音響オブジェクト２２を、形状４０上の一連の場所３４で、マッピングされた音響オブジェクト３２として視覚的に識別する。形状４０上の場所３４は、識別された音響オブジェクト２２の関連付けられた場所２４とは異なる。形状４０は、可視形式でユーザインタフェース２０２に表示されてもよく、ユーザインタフェース２０２は、形状４０上のマッピングされた音響オブジェクト３２を視覚的に識別してもよい。ユーザインタフェース２０２は、音響オブジェクトのセット内の音響オブジェクト２２の少なくともいくつかを、１つまたは複数の形状４０上の異なる場所３４において視覚的に識別してもよい。

音響オブジェクト２２の場所は、音響オブジェクトのセット内の当該音響オブジェクトの重要度に基づいてもよい。例えば、最も重要な音響オブジェクト２２を形状４０の中央に配置してもよく、最も重要な音響オブジェクト（単数または複数）を取り囲む音響オブジェクト２２を形状４０の端から端まで、例えば左から右へと配置してもよい。いくつかの例において、最も関連性の低い音響オブジェクト２２はユーザインタフェース４０から除外される。ボリュメトリックコンテンツに入る場所（仮想向き）は、ユーザ操作１０４の対象となる箇所を取り囲む場所における複数の音響オブジェクト２２の中央点によって決定されてもよい。

ユーザインタフェース２００の種類に関係なく、ユーザは、複数の異なる種類のユーザ操作１０４、１０８を実行してもよい。前述のとおり、適切な相互作用の１つは、ユーザがユーザインタフェース２００に向かって体を傾けることである。別の適切な相互作用は、ユーザが形状４０をつかむ動作を行い、形状４０をユーザのほうに引き寄せることである。つかむ動作を用いる場合、ユーザは、両手でつかむことで、縮小音響シーン２７にレンダリングされる音響オブジェクト２２を選択することができてもよい。例えば、ユーザが伸ばした両手の間にあるマッピングされた音響オブジェクト３２を、縮小音響シーン２７としてレンダリングされるサブセット２１の相当する音響オブジェクト２２を識別するための基準として用いてもよい。

したがって、第１のユーザ操作１０４によって、音響オブジェクト２２のサブセット２１を選択できる。第１のサブセット２１は、例えば、少なくとも、ユーザインタフェース２００の形状４０に対する第１のユーザ操作１０４の第１の場所と、その第１の場所に隣接する複数のマッピングされた音響オブジェクト３２の配置と、に基づく。

いくつかの例において、ユーザは、形状４０と相互作用することでその形状４０を再配置またはサイズ変更することができてもよい。

図７は、複数の形状４０を含むユーザインタフェース２００の例を示す図である。マッピングされた音響オブジェクト３２は、第１の形状４０_１および第２の形状４０_２の上に配置される。ユーザインタフェース２００は、一方の形状４０上の異なる場所で、音響オブジェクト２２のセット２３内のいくつかの音響オブジェクトを識別し、他方の形状４０上の異なる場所で、当該セット内の別の音響オブジェクトを識別する。しかしながら、前述のとおり、マッピングされた空間３０内のマッピングされた音響オブジェクト３２の場所３４は、音響空間２０内の相当する音響オブジェクト２２の場所とは異なる。

マッピングされた音響オブジェクト３２の場所は、その重要度に基づいてもよい。例えば、図６の例において、１つの形状４０上のマッピングされた音響オブジェクト３２の場所３４は、そのマッピングされた音響オブジェクト３２を作成するためにマッピングされた音響オブジェクト２２の重要度に基づいてもよい。例えば、最も重要な音響オブジェクトに相当するマッピングされた音響オブジェクト３２を中央の場所３４に有してもよい。

図７の例において、一方の形状４０_２は、より重要度の高い音響オブジェクト２２に関連付けられ、他方の形状４０_１は、より重要度の低いまたは背景の音響オブジェクト２２に関連付けられてもよい。

一実施形態において、いずれの形状４０の音響オブジェクトも、同じ方法でユーザによりプレビューされる。ユーザインタフェース２００内の形状４０_１と４０_２との間の距離は、形状４０_１に関連付けられた音響オブジェクトと形状４０_２に関連付けられた音響オブジェクト２２との混合比を定めるために用いられてもよい。

ユーザインタフェース２００のレンダリング中であって、第１のユーザ操作１０４の前に、方法は、セットのサブセット２１の音響オブジェクト２２のすべてではなく、ゼロ、１つ、または複数を、空間場所なしで３次元音響空間２０にレンダリングすることを含んでもよい。すなわち、ユーザインタフェース２００が提示されているとき、音響オブジェクトのすべてではなくいくつかを聴くことはできるが、空間オーディオとしてではないようにしてもよい。したがって、ユーザは、空間の態様なしでオーディオコンテンツをサンプリングできるようにしてもよい。したがって、図３と図４Ａ（および図５Ａと図５Ｂ）に示すプレビュー２５は、ユーザインタフェース２００のレンダリング中には存在しなかった空間次元を音響オブジェクト２２のレンダリングに提供する。

図４Ｂと関連して、第２のユーザ操作１０８の後、ユーザインタフェース２００はレンダリングされなくなることに留意されたい。実際、図３、図４Ａ、図５Ａ、および図５Ｂに示す例において、第１のユーザ操作１０４の後は、ユーザインタフェース２００はレンダリングされなくなる。

第１のユーザ操作１０４によって実行された動作は、取り消されてもよい。この取消は、第１のユーザ操作１０４が停止された場合に自動的に実行されても（取消は、直ちに開始されても、タイムアウト期間後に開始されてもよい）、および／または、第１のユーザ操作１０４が取り消された場合に自動的に実行されてもよい。

第２のユーザ操作１０８によって実行された動作は、取り消されてもよい。この取消は、第１のユーザ操作１０４が停止された場合に自動的に実行されても（取消は、直ちに開始されても、タイムアウト期間後に開始されてもよい）、および／または、第１のユーザ操作１０４が取り消された場合に自動的に実行されてもよい。

図８Ａ、図８Ｂ、図９Ａ、図９Ｂ、図１０Ａ、および図１０Ｂは、媒介現実のレンダリングがある状況への方法１００の適用を示す図である。この状況において、媒介現実は、例えば、拡張現実や仮想現実などの媒介現実を達成するための、媒介現実のレンダリングを意味する。これらの例において、媒介現実は一人称視点媒介現実である。これはユーザインタラクティブであってもそうでなくてもよい。また、３ＤｏＦまたは６ＤｏＦであってもよい。

図８Ａ、図９Ａ、および図１０Ａは、第１の時間における現実空間５０、音響空間２０、および視覚空間６０を示す図である。現実空間５０内のユーザ５１は、場所５２および向き５３を有する。この場所は３次元の場所であり、この向きは３次元の向きである。

３ＤｏＦの媒介現実において、ユーザ５０の向き５３は、仮想ユーザ７１の仮想向き７３を制御する。向き５２と仮想向き７３とは、向き５２が変わると仮想向き７３も同様に変わるように対応付けられている。仮想ユーザ７１の仮想向き７３は、仮想視野７４と組み合わされて、仮想視覚空間６０内の仮想視覚シーン７５を画定してもよい。いくつかの例において、これは仮想音響シーン７６も画定してもよい。仮想視覚シーン７５は、仮想視覚空間６０のユーザに表示される部分である。仮想音響シーン７６は、仮想音響空間２０のユーザに表示される部分である。仮想音響空間２０と仮想視覚空間６０とは、仮想音響空間２０内の位置が仮想視覚空間６０内の位置に相当するという点で、対応している。

６ＤｏＦの媒介現実の例では、３ＤｏＦの例で説明した状況に加えて、ユーザ５１の場所５２の移動によって、レンダリングされた仮想音響シーン７６と表示された仮想視覚シーン７５とを変更することができる。例えば、ユーザ５１の場所５２と仮想ユーザ７１の仮想場所７２とをマッピングしてもよい。ユーザ５１の場所５２を変更すると、仮想ユーザ７１の仮想場所７２も対応して変更される。仮想ユーザ７１の仮想場所７２を変更すると、レンダリングされた音響シーン７６が変更され、レンダリングされた視覚シーン７５も変更される。

このことは、図８Ｂ、図９Ｂ、および図１０Ｂから理解されるであろう。これらの図は、ユーザ５１の場所５２および向き５３の変更の結果を、レンダリングされた音響シーン７６（図９Ｂ）およびレンダリングされた視覚シーン７５（図１０Ｂ）についてそれぞれ示している。

方法１００の実施形態は、様々な状況に適用することができる。例えば、選択的な産業用通信の状況における、オーディオの選択的なレンダリングに有用でありうる。ユーザは、例えば異なる方向を見ることにより、様々な操作を実行して、聴くものや聴かないものを制御することができる。

図１１Ａ、図１１Ｂ、および図１１Ｃは、音響オブジェクト２２を異なるグループにグループ化し、各グループをユーザインタフェース２００の異なる形状４０にマッピングする例を示す図である。

図１１Ａにおいて、音響オブジェクト２２のグループは、音響空間２０内の任意の点からの各音響オブジェクト２２の相対距離に基づく。第１のグループ内の音響オブジェクト２２は最も遠くにあり（背景）、第１の形状４０_１上のマッピングされた音響オブジェクト３２にマッピングされる。第２のグループ内の音響オブジェクト２２は最も遠くでも最も近くでもなく（中景）、第２の形状４０_２上のマッピングされた音響オブジェクト３２にマッピングされる。第３のグループ内の音響オブジェクト２２は最も近くにあり（前景）、第３の形状４０_３上のマッピングされた音響オブジェクト３２にマッピングされる。

図１１Ｂの例において、音響オブジェクト２２は、相対距離の測定値、この場合は音響空間２０内のそれぞれの高さに基づいてグループ化される。第１のグループ内の音響オブジェクト２２は最も高く、第１の形状４０_１上のマッピングされた音響オブジェクト３２にマッピングされる。第２のグループ内の音響オブジェクト２２は次に高く、第２の形状４０_２上のマッピングされた音響オブジェクト３２にマッピングされる。第３のグループ内の音響オブジェクト２２は最も低く、第３の形状４０_３上のマッピングされた音響オブジェクト３２にマッピングされる。

図１１Ｃの例において、音響オブジェクト２２はオーディオコンテンツに基づいてグループ化される。この例では、音響オブジェクトの第１のセットは音楽に関係するとして検出され、オーケストラとしてグループ化され、形状４０_２上のマッピングされた音響オブジェクト３２にマッピングされる。他の音響オブジェクトは互いに話をしている人としてグループ化され、形状４０_１上のマッピングされた音響オブジェクト３２にマッピングされる。

前述の例には多くの利点がある。例えば、新しいユーザに、ボリュメトリック（空間）音響空間２０を単純化する簡易なユーザインタフェース２００が提示され、音響空間２０をより容易に操作することが可能になる。方法１００により、コンテンツ作成者は、空間オーディオコンテンツの異なる部分を素早く聴くことができるようになる。方法１００は、媒介現実コンテンツを閲覧またはレンダリングするための他のサードパーティアプリケーションに組み込まれてもよい。

ユーザインタフェース２００は、複雑性を低減し、要約を提示する。これによって、ユーザは、音響空間２０の特定の部分を、音響オブジェクトの元の空間分布（図４Ｂ）で詳細に体験したいかどうかを、プレビュー（図４Ａ、図３）から容易に決定することができる。

一例において、ユーザは、ユーザ操作１０４に応じて音響空間２０（図４Ａ、図３）をプレビューしている。このプレビューにおいて、ユーザは、（マッピングされた空間３０内のユーザインタフェース２００上の場所３４とは異なる）適切な場所２４にある、第１のサブセット２１の音響オブジェクト２２を聴く。したがって、ユーザ操作１０４により、第１のサブセット２１の音響オブジェクト２２はユーザの頭部を取り囲み始める（図４Ａ、図３）。ユーザは、実際のボリュメトリック（空間）音響シーンがその場所でどのように聴こえるかについての詳細なプレビュー（図４Ａ）を聴くことができる。ユーザが続けてユーザ操作１０８を実行すると、その仮想場所（図４Ｂ）において完全なボリュメトリック（空間）オーディオ体験を得る。

コントローラ９２の実装は、コントローラ回路構成としてなされてもよい。コントローラ９２は、ハードウェアのみとして実装されてもよく、特定の側面をファームウェアのみを含めソフトウェアとして有してもよく、またはハードウェアとソフトウェア（ファームウェアを含む）との組合せとすることもできる。

図１２Ａに示されているとおり、コントローラ９２は、ハードウェアの機能性を使用可能にする命令を使用して実装されてもよい。例えばコントローラ９２は、汎用または専用プロセッサ９４においてコンピュータプログラム９８の実行可能な命令を使用して実装されてもよい。これらの命令は、そのようなプロセッサ９４により実行されるよう、コンピュータ可読記憶媒体（ディスク、メモリなど）に記憶されてもよい。

プロセッサ９４は、メモリ９６に対し読取りおよび書込みを行うように構成される。プロセッサ９４は、出力インタフェースと入力インタフェースを備えてもよい。データおよび／またはコマンドは、プロセッサ９４によって出力インタフェースを介して出力され、入力インタフェースを介してプロセッサ９４に入力される。

メモリ９６は、プロセッサ９４にロードされると装置９０の動作を制御するコンピュータプログラム命令（コンピュータプログラムコード）を備えるコンピュータプログラム９８を記憶する。コンピュータプログラム９８のコンピュータプログラム命令は、装置が図１から図１１に示されている方法を実行できるようにするロジックおよびルーチンを提供する。プロセッサ９４は、メモリ９６を読み取ることによってコンピュータプログラム９８をロードし実行することができる。

したがって、装置９０は、少なくとも１つのプロセッサ９４と、コンピュータプログラムコードを備えた少なくとも１つのメモリ９６と、を備え、少なくとも１つのメモリ９６およびコンピュータプログラムコードは、少なくとも１つのプロセッサ９４とともに装置９０に少なくとも、３次元音響空間２０内の場所２４にそれぞれ関連付けられた音響オブジェクト２２を、レンダリングのためにユーザが選択するためのユーザインタフェース２００をレンダリングすることと、音響オブジェクト２２を選択するユーザ操作１０４に応じて、少なくとも選択された音響オブジェクト２２を、３次元音響空間２０内で関連付けられた場所２４にレンダリングすることと、を実行させるように構成され、ユーザインタフェース２００は、音響オブジェクト２２を、少なくとも１つの形状４０に、マッピングされた音響オブジェクト３２としてマッピングし、音響オブジェクト２２を、形状４０上の一連の場所３４で識別し、形状４０上の場所３４は、識別された音響オブジェクト２２の関連付けられた場所２４とは異なる。

図１２Ｂに示されているとおり、コンピュータプログラム９８は、任意の適切な配信メカニズム９９を介して装置９０に到達してもよい。配信メカニズム９９は、例えば、非一時的コンピュータ可読記憶媒体、コンピュータプログラム製品、メモリデバイス、コンパクトディスク読取り専用メモリ（Compact Disc Read-Only Memory：ＣＤ−ＲＯＭ）またはデジタルバーサタイルディスク（Digital Versatile Disc：ＤＶＤ）などの記録媒体、コンピュータプログラム９８を有形に体現する製品であってもよい。配信メカニズムは、コンピュータプログラム９８を確実に伝送するよう構成された信号であってもよい。装置９０は、コンピュータプログラム９８をコンピュータデータ信号として伝搬または送信してもよい。

メモリ９６は、単一のコンポーネント／回路構成として示されているが、１つまたは複数の別々のコンポーネント／回路構成として実装されてもよく、その一部または全部が一体型／取り外し可能であってもよく、さらに／または永久／半永久／動的／キャッシュの記憶を提供してもよい。

プロセッサ９４は、単一のコンポーネント／回路構成として示されているが、１つまたは複数の別々のコンポーネント／回路構成として実装されてもよく、その一部または全部が一体型／取り外し可能であってもよい。プロセッサ９４は、シングルコアまたはマルチコアプロセッサであってもよい。

「コンピュータ可読記憶媒体」、「コンピュータプログラム製品」、「有形に体現されたコンピュータプログラム」など、または「コントローラ」、「コンピュータ」、「プロセッサ」などへの言及は、シングル／マルチプロセッサアーキテクチャおよび順次（ノイマン型）／並列アーキテクチャなどの種々のアーキテクチャを有するコンピュータのみでなく、フィールドプログラマブルゲートアレイ（Field-Programmable Gate Array：ＦＰＧＡ）、特定用途向け集積回路（Application Specific Circuit：ＡＳＩＣ）、信号処理デバイス、およびその他の処理回路構成などの特殊回路も含むと理解すべきである。コンピュータプログラム、命令、コードなどへの言及は、プログラマブルプロセッサのソフトウェア、または例えばプロセッサのための命令であるか、固定機能デバイス、ゲートアレイ、もしくはプログラマブル論理デバイスなどの構成設定であるかを問わない、ハードウェアデバイスのプログラマブルコンテンツなどのファームウェア、を含むと理解されるべきである。

本願において使用される「回路構成」という用語は、以下のすべてを指す：
（ａ）ハードウェアのみの回路実装（アナログおよび／またはデジタル回路構成のみでの実装など）、
（ｂ）回路とソフトウェア（および／またはファームウェア）との組合せ、例えば（該当する場合）、（ｉ）プロセッサ（単数または複数）の組合せ、または（ｉｉ）携帯電話またはサーバなどの装置に様々な機能を実行させるべく協働する、プロセッサ（単数または複数）／ソフトウェア（デジタル信号プロセッサ（単数または複数）を含む）、ソフトウェア、およびメモリ（単数または複数）の一部、
（ｃ）回路、例えばソフトウェアまたはファームウェアが物理的に存在しなくても動作のためにソフトウェアまたはファームウェアを必要とするマイクロプロセッサ（単数または複数）またはマイクロプロセッサ（単数または複数）の一部。

「回路構成」のこの定義は、任意の請求項を含め本願におけるこの用語の使用すべてに当てはまる。さらなる例として、本願において使用される「回路構成」という用語は、プロセッサ（または複数のプロセッサ）のみ、またはプロセッサの一部およびその（もしくはそれらの）付随するソフトウェアおよび／またはファームウェアの実装も対象とするであろう。「回路構成」という用語は、該当する場合、例えば特定の請求項の要素、携帯電話のベースバンド集積回路もしくはアプリケーションプロセッサ集積回路、またはサーバ、セルラネットワークデバイス、もしくはその他ネットワークデバイス内の同様の集積回路も対象とするであろう。

図１から図１１に示されたブロックは、方法のステップおよび／またはコンピュータプログラム９８のコードのセクションを表現しうる。示されたブロックの特定の順序は、それらのブロックに対して必要な順序または好ましい順序が存在することを必ずしも意味するものではなく、ブロックの順序および配置は変更されてもよい。さらに、いくつかのブロックを省略することも可能である。

構造的特徴が記載されている場合、その構造的特徴は、構造的特徴の機能のうちの１つまたは複数を実行する手段で置き換えられてもよく、その１つまたは複数の機能が明示的に記載されているか黙示的に記載されているかを問わない。

本願に記載する「モジュール」という用語は、ユニットまたは装置であって、エンドメーカーやユーザによって追加される部品／コンポーネントを除いたものを表す。装置９０、コントローラ９２、またはコンピュータプログラム９８は、モジュールであってもよい。

本文書内の「含む、備える（ｃｏｍｐｒｉｓｅ）」という用語は、限定的な意味ではなく、非限定的な意味で使用される。したがって、「Ｙを含むＸ」に関してはすべて、「Ｘは１つのＹを含んでもよい」と「複数のＹを含んでもよい」の両方を意味する。限定的な意味を有する「含む、備える（ｃｏｍｐｒｉｓｅ）」を意図する場合は、「〜を１つのみ含む」などと言及することにより、文脈内で明確にするであろう。

本発明の簡単な説明では、様々な例について言及した。例に関する特徴または機能の説明は、これらの特徴または機能が、その例に存在することを示す。本明細書中で「例（ｅｘａｍｐｌｅ）」、「例えば（ｆｏｒ ｅｘａｍｐｌｅ）」、「〜てもよい、〜できる、〜場合がある（ｍａｙ）」として明確に言及されている場合でも、明確に言及されていない場合でも、このような特徴および機能が、少なくとも記載された例には存在することを意味する。すなわち、例として記載されている、記載されていないにかかわらず、これら特徴および機能が、他のいくつかの例またはすべての例に存在する可能性があり、また必ずしもそうではないことを意味する。このように、「例」、「例えば」、「〜てもよい、〜できる、〜の場合がある」は、ある例示群における特定の例であることを指す。上記特定の例の特性は、その特定の例のみの特性、上記例示群の特性、または上記例示群に属する一群の特性である場合がある。ここで、この上記例示群に属する一群は、上記例示群に属する全例示ではなく、一部の例示を含む。したがって、黙示に開示されているのは、一例を参照して記載されたが別の例を参照しては記載されなかった特徴は、可能であればその別の例において使用できるが、その別の例で必ずしも使用される必要はないということである。

本発明の実施形態を、様々な例を参照して上記の各段落に記載したが、請求される本発明の範囲から逸脱することなく、与えられた例に対して変更を加えうることを理解されたい。

先行する記載において説明された特徴は、明示的に記載された組合せ以外の組合せで用いられてもよい。

特定の特徴を参照して種々の機能を記述してきたが、こうした機能は、記述の有無を問わずその他の特徴によって実行される場合がある。

特定の実施形態を参照して種々の特徴を記述してきたが、こうした特徴は、記述の有無を問わずその他の実施形態にも含まれる場合がある。

前述のように本明細書において、とりわけ重要であると考えられる本発明の特徴に注目を集めるように努めてきた。しかし、前述の記載にて言及され、さらに／あるいは添付の図面に示された特許されうるすべての特徴およびそれらの組合せに対して、そうした特徴が特段強調されていたかどうかにかかわらず、本出願人はその保護を求めるものである点を理解されたい。

Claims (13)

1. ３次元音響空間内の場所にそれぞれ関連付けられた音響オブジェクトを、レンダリングのためにユーザが選択するためのユーザインタフェースをレンダリングすることと、
   前記ユーザインフェース内の音響オブジェクトを選択するユーザ操作に応じて、少なくとも前記選択された音響オブジェクトに対応する音響オブジェクトを、前記３次元音響空間内の関連付けられた場所にレンダリングすることと、
   を含む方法であって、
   前記ユーザインタフェースは、前記３次元音響空間内の音響オブジェクトを、前記ユーザインタフェース内の少なくとも１つの形状上の音響オブジェクトにマッピングし、前記３次元音響空間内の音響オブジェクトを、前記形状上の場所で識別し、前記形状上の場所は、前記識別された前記３次元音響空間内の音響オブジェクトが前記３次元音響空間内で関連付けられている場所とは異なる、方法。
2. 前記ユーザ操作は第１及び第２のユーザ操作を含み、
   前記第１のユーザ操作に応じて、前記３次元音響空間の音響シーンであって、複数の音響オブジェクトのセットを含む音響シーンのプレビューをレンダリングし、
   前記第２のユーザ操作に応じて、前記プレビューに対応する音響シーンをレンダリングする、
   請求項１に記載の方法。
3. 前記第１のユーザ操作は、前記形状の一部を選択することを含む、請求項２に記載の方法。
4. 前記セットは、少なくとも、前記ユーザインタフェースの前記形状に対する前記第１のユーザ操作の第１の場所と、前記ユーザインフェース内の音響オブジェクトであって前記第１の場所に隣接する音響オブジェクトの配置と、に基づく、
   請求項２又は３に記載の方法。
5. 前記プレビューのレンダリング中に、変更のためのユーザ相互作用に応じて前記セットを新しいセットへと変化させることを含む、
   請求項２から４のいずれかに記載の方法。
6. 前記第２のユーザ操作の後、前記ユーザインタフェースをレンダリングしなくなる、
   請求項２から５のいずれかに記載の方法。
7. 前記第２のユーザ操作の後、前記レンダリングした視覚シーンを、少なくとも前記ユーザの向きの変更に基づいて、自動的に変化させることを含む、
   請求項２から６のいずれかに記載の方法。
8. 前記ユーザインタフェースは、前記３次元音響空間内の音響オブジェクトの特性を用いて、前記形状上の場所で該音響オブジェクトを識別し、
   前記特性は、相対的な重要度、音声、音の大きさ、期間の少なくともいずれかに関連する、
   請求項１から７のいずれかに記載の方法。
9. 前記形状上の前記場所は、前記場所に関連付けられている前記３次元音響空間内の音響オブジェクトの重要度に関連する、
   請求項１から８のいずれかに記載の方法。
10. 前記ユーザインタフェースは、集約されたビジュアルプレビューユーザインタフェースであり、前記集約されたビジュアルプレビューユーザインタフェースは、前記３次元音響空間内の複数の音響オブジェクトを前記ユーザインタフェース内の少なくとも１つの形状にマッピングし、前記複数の音響オブジェクトを、前記形状上の一連の場所で視覚的に識別し、前記形状上の場所は、前記複数の音響オブジェクトが前記３次元音響空間内で関連付けられている場所とは異なる、
    請求項１から９のいずれかに記載の方法。
11. 前記形状は、可視形式で前記ユーザインタフェースに表示され、前記ユーザインタフェースは、前記形状上の音響オブジェクトを視覚的に識別する、
    請求項１から１０のいずれかに記載の方法。
12. 処理手段及び記憶手段を備える装置であって、前記記憶手段はプログラム命令を格納し、前記プログラム命令は、前記処理手段に実行されると、前記装置に、請求項１から１１のいずれかに記載の方法を遂行させるように構成される、装置。
13. 装置の処理手段に実行されると、前記装置に、請求項１から１１のいずれかに記載の方法を遂行させるように構成されるプログラム命令を備える、コンピュータプログラム。

Images