JP5882552B2 - 協調的サウンドシステム - Google Patents

Description

[0001]本出願は、２０１２年１１月２８日に出願された米国仮出願第６１／７３０，９１１号の利益を主張する。

[0002]本開示はマルチチャンネルサウンドシステムに関し、より具体的には、協調的マルチチャンネルサウンドシステムに関する。

[0003]典型的なマルチチャンネルサウンドシステム（「マルチチャンネルサラウンドサウンドシステム」とも呼ばれ得る）は通常、オーディオ／ビデオ（ＡＶ）受信機と２つ以上のスピーカーとを含む。ＡＶ受信機は通常、スピーカーとインターフェースをとるいくつかの出力と、オーディオおよび／またはビデオ信号を受け取るためのいくつかの入力とを含む。しばしば、オーディオおよび／またはビデオ信号は、テレビセット、デジタルビデオディスク（ＤＶＤ）プレーヤー、高精細度ビデオプレーヤー、ゲームシステム、レコードプレーヤー、コンパクトディスク（ＣＤ）プレーヤー、デジタルメディアプレーヤー、セットトップボックス（ＳＴＢ）、ラップトップコンピュータ、タブレットコンピュータなどのような、様々なホームシアターコンポーネントまたはオーディオコンポーネントによって生成される。

[0004]ＡＶ受信機は、ビデオ信号を処理してアップコンバージョンまたは他のビデオ処理機能を提供することができるが、通常は、ＡＶ受信機は、適切なチャンネルを適切なスピーカー（「ラウドスピーカー」とも呼ばれ得る）に提供するためにオーディオ処理を実行するために、サラウンドサウンドシステムで利用される。サウンドのステージまたはエリアを再現し、それによってより没入感のあるサウンド体験をさらに提供するために、多数の異なるサラウンドサウンドフォーマットが存在する。５．１サラウンドサウンドシステムでは、ＡＶ受信機は、センターチャンネルと、レフトチャンネルと、ライトチャンネルと、リアライトチャンネルと、リアレフトチャンネルとを含む、５つのオーディオのチャンネルを処理する。５．１の「．１」をなす追加のチャンネルは、サブウーファーまたはバスチャンネルを対象とする。他のサラウンドサウンドフォーマットは、７．１サラウンドサウンドフォーマット（追加のリアレフトチャンネルとリアライトチャンネルが加わる）と２２．２サラウンドサウンドフォーマット（追加のフォワードチャンネルおよびリアチャンネルと、別のサブウーファーまたはバスチャンネルに加えて、様々な高さにある追加のチャンネルが加わる）とを含む。

[0005]５．１サラウンドサウンドフォーマットの状況では、ＡＶ受信機は、これらの５つのチャンネルを処理して、５つのチャンネルを５つのラウドスピーカーおよびサブウーファーに分配することができる。ＡＶ受信機は、サラウンドサウンドシステムが動作する特定の部屋においてサラウンドサウンドオーディオを適切に再現するために、信号を処理して音量レベルと信号の他の特性とを変えることができる。すなわち、元のサラウンドサウンドオーディオ信号は取り込まれ、所与の部屋、たとえば１５×１５フィートの部屋に適合するようにレンダリングされている可能性がある。ＡＶ受信機は、この信号を、サラウンドサウンドシステムが動作する部屋に適合するようにレンダリングすることができる。ＡＶ受信機は、このレンダリングを実行して、より良好なサウンドステージを作成し、これによって、より良好な、またはさらに没入感のある聴取体験を提供することができる。

[0006]サラウンドサウンドはより没入感のある聴取体験（および、ビデオとともに、視覚的体験）を提供することができるが、納得のいくサラウンドサウンドを再生するのに必要とされるＡＶ受信機およびラウドスピーカーは高価であることが多い。その上、ラウドスピーカーに適切に電力供給するために、ＡＶ受信機は、ラウドスピーカーに（通常はスピーカー配線を介して）物理的に結合されていなければならないことが多い。サラウンドサウンドが通常、少なくとも２つのスピーカーが聴取者の後ろに配置されることを必要とすることを考慮すると、ＡＶ受信機をサラウンドサウンドシステムのレフトリアスピーカーおよびライトリアスピーカーに物理的に接続するために、スピーカー配線または他の物理的接続が部屋全体を這うことを、ＡＶ受信機は必要とすることが多い。これらの配線を這わせるのは見栄えが悪いことがあり、５．１、７．１、およびさらに高次元のサラウンドサウンドシステムの消費者による導入を妨げる。

[0007]全般に、本開示は、サラウンドサウンドスピーカーとして、またはいくつかの例では、フロントレフトスピーカー、センタースピーカー、および／もしくはフロントライトスピーカーとして利用可能なモバイルデバイスを利用する、協調的サラウンドサウンドシステムを可能にするための技法を説明する。ヘッドエンドデバイスは、本開示で説明される技法を実行するように構成され得る。ヘッドエンドデバイスは、１つまたは複数のモバイルデバイスとインターフェースをとって協調的サウンドシステムを形成するように構成され得る。ヘッドエンドデバイスは、１つまたは複数のモバイルデバイスとインターフェースをとって、協調的サウンドシステムのスピーカーとしてこれらのモバイルデバイスのスピーカーを利用することができる。しばしば、ヘッドエンドデバイスは、ワイヤレス接続を介してこれらのモバイルデバイスと通信することがあり、サウンドシステムのリアレフトスピーカー、リアライトスピーカー、または他の後ろに配置されたスピーカーについてモバイルデバイスのスピーカーを利用する。

[0008]このようにして、ヘッドエンドデバイスは、一般に利用可能であるが従来のサウンドシステムでは利用されないモバイルデバイスのスピーカーを使用して協調的サウンドシステムを形成することができ、これによって、ユーザが専用のスピーカーを購入することと関連付けられる費用をなくし、または減らすことを可能にする。加えて、モバイルデバイスがヘッドエンドデバイスにワイヤレスに結合され得ることを考慮すると、本開示で説明される技法に従って形成される協調的サラウンドサウンドシステムは、スピーカーに電力を供給するためにスピーカー配線または他の物理的接続を這わせる必要なく、リアサウンドを実現できる。したがって、本技法は、専用のスピーカーを購入することおよびそのようなスピーカーの設置と関連付けられる費用をなくすことに関する費用の節減と、リアスピーカーをヘッドエンドデバイスに結合する専用の物理的接続を提供する必要をなくすことによる構成の容易さおよび柔軟性との両方を、促すことができる。

[0009]一態様では、方法は、協調的サラウンドサウンドシステムに加わるモバイルデバイスに対して、協調的サラウンドサウンドシステムの仮想スピーカーの規定された位置を特定することと、モバイルデバイスによるオーディオソースからレンダリングされたオーディオ信号の再生に影響を与える制約を決定することと、モバイルデバイスによるオーディオ信号の再生の間の決定された制約の影響を減らすようにオーディオ信号をレンダリングするために、決定された制約とともにオーディオソースの動的空間レンダリングを実行することとを備える。

[0010]別の態様では、ヘッドエンドデバイスは、協調的サラウンドサウンドシステムに加わるモバイルデバイスに対して、協調的サラウンドサウンドシステムの仮想スピーカーの規定された位置を特定し、モバイルデバイスによるオーディオソースからレンダリングされたオーディオ信号の再生に影響を与える制約を決定し、モバイルデバイスによるオーディオ信号の再生の間の決定された制約の影響を減らすようにオーディオ信号をレンダリングするために、決定された制約とともにオーディオソースの動的空間レンダリングを実行するように構成される、１つまたは複数のプロセッサを備える。

[0011]別の態様では、ヘッドエンドデバイスは、協調的サラウンドサウンドシステムに加わるモバイルデバイスに対して、協調的サラウンドサウンドシステムの仮想スピーカーの規定された位置を特定するための手段と、モバイルデバイスによるオーディオソースからレンダリングされたオーディオ信号の再生に影響を与える制約を決定するための手段と、モバイルデバイスによるオーディオ信号の再生の間の決定された制約の影響を減らすようにオーディオ信号をレンダリングするために、決定された制約とともにオーディオソースの動的空間レンダリングを実行するための手段とを備える。

[0012]別の態様では、非一時的コンピュータ可読記憶媒体は命令を記憶しており、この命令は実行されると、１つまたは複数のプロセッサに、協調的サラウンドサウンドシステムに加わるモバイルデバイスに対して、協調的サラウンドサウンドシステムの仮想スピーカーの規定された位置を特定させ、モバイルデバイスによるオーディオソースからレンダリングされたオーディオ信号の再生に影響を与える制約を決定させ、モバイルデバイスによるオーディオ信号の再生の間の決定された制約の影響を減らすようにオーディオ信号をレンダリングするために、決定された制約とともにオーディオソースの動的空間レンダリングを実行させる。

[0013]本技法の１つまたは複数の実施形態の詳細は、添付の図面および以下の説明において記載される。本技法の他の特徴、目的、および利点は、説明および図面から、また特許請求の範囲から明らかであろう。

[0014]本開示で説明された技法に従って形成された例示的な協調的サラウンドサウンドシステムを示すブロック図。 [0015]図１の協調的サラウンドサウンドシステムの様々な態様をより詳細に示すブロック図。 [0016]本開示で説明される協調的サラウンドサウンドシステムの技法を実行する際のヘッドエンドデバイスおよびモバイルデバイスの例示的な動作を示すフローチャート。 本開示で説明される協調的サラウンドサウンドシステムの技法を実行する際のヘッドエンドデバイスおよびモバイルデバイスの例示的な動作を示すフローチャート。 本開示で説明される協調的サラウンドサウンドシステムの技法を実行する際のヘッドエンドデバイスおよびモバイルデバイスの例示的な動作を示すフローチャート。 [0017]本開示で説明される技法に従って形成された協調的サラウンドサウンドシステムのさらなる態様を示すブロック図。 [0018]図１の協調的サラウンドサウンドシステムの別の態様をより詳細に示すブロック図。 [0019]本開示で説明される技法の様々な態様による、モバイルデバイスによって表示されるような例示的な画像をより詳細に示す図。 本開示で説明される技法の様々な態様による、モバイルデバイスによって表示されるような例示的な画像をより詳細に示す図。 本開示で説明される技法の様々な態様による、モバイルデバイスによって表示されるような例示的な画像をより詳細に示す図。 [0020]本開示で説明される技法の様々な態様による、ヘッドエンドデバイスに結合されるデバイスによって表示されるような例示的な画像をより詳細に示す図。 本開示で説明される技法の様々な態様による、ヘッドエンドデバイスに結合されるデバイスによって表示されるような例示的な画像をより詳細に示す図。 本開示で説明される技法の様々な態様による、ヘッドエンドデバイスに結合されるデバイスによって表示されるような例示的な画像をより詳細に示す図。 [0021]本開示で説明される協調的サラウンドサウンドシステムの技法の様々な態様を実行する際のヘッドエンドデバイスおよびモバイルデバイスの例示的な動作を示すフローチャート。 本開示で説明される協調的サラウンドサウンドシステムの技法の様々な態様を実行する際のヘッドエンドデバイスおよびモバイルデバイスの例示的な動作を示すフローチャート。 本開示で説明される協調的サラウンドサウンドシステムの技法の様々な態様を実行する際のヘッドエンドデバイスおよびモバイルデバイスの例示的な動作を示すフローチャート。 [0022]本開示で説明される技法に従って形成される協調的サラウンドサウンドシステムの様々な構成を示すブロック図。 本開示で説明される技法に従って形成される協調的サラウンドサウンドシステムの様々な構成を示すブロック図。 本開示で説明される技法に従って形成される協調的サラウンドサウンドシステムの様々な構成を示すブロック図。 [0023]本開示で説明される技法の様々な電力適合の態様を実施する際のヘッドエンドデバイスの例示的な動作を示すフローチャート。 [0024]様々な次数または副次数の球面調和ベースの関数を示す図。 様々な次数または副次数の球面調和ベースの関数を示す図。 様々な次数または副次数の球面調和ベースの関数を示す図。

[0025]図１は、本開示で説明される技法に従って形成される例示的な協調的サラウンドサウンドシステム１０を示すブロック図である。図１の例では、協調的サラウンドサウンドシステム１０は、オーディオソースデバイス１２と、ヘッドエンドデバイス１４と、フロントレフトスピーカー１６Ａと、フロントライトスピーカー１６Ｂと、モバイルデバイス１８Ａ〜１８Ｎ（「モバイルデバイス１８」）とを含む。専用のフロントレフトスピーカー１６Ａと専用のフロントライトスピーカー１６Ｂとを含むものとして示されるが、本技法は、モバイルデバイス１８がフロントレフトスピーカー、センタースピーカー、およびフロントライトスピーカーとしても使用される例で、実行され得る。したがって、本技法は、図１の例に示される例協調的サラウンドサウンドシステム１０に限定されるべきではない。その上、協調的サラウンドサウンドシステム１０に関して以下で説明されるが、本開示の技法は、協調的サウンドシステムを提供するために任意の形態のサウンドシステムによって実装され得る。

[0026]オーディオソースデバイス１２は、ソースオーディオデータを生成することが可能な任意のタイプのデバイスを表し得る。たとえば、オーディオソースデバイス１２は、テレビセット（「インターネットアクセスを特徴とする、かつ／または、アプリケーションの実行をサポートすることが可能なオペレーティングシステムを実行する、いわゆる「スマートテレビ」または「スマートＴＶ」を含む」）、デジタルセットトップボックス（ＳＴＢ）、デジタルビデオディスク（ＤＶＤ）プレーヤー、高精細度ディスクプレーヤー、ゲームシステム、マルチメディアプレーヤー、ストリーミングマルチメディアプレーヤー、レコードプレーヤー、デスクトップコンピュータ、ラップトップコンピュータ、タブレットもしくはスレートコンピュータ、携帯電話（いわゆる「スマートフォンを含む）、または、ソースオーディオデータを生成することが可能な、もしくは別様に提供することが可能な、任意の他のタイプのデバイスもしくはコンポーネントを表し得る。いくつかの例では、オーディオソースデバイス１２は、オーディオソースデバイス１２がテレビ、デスクトップコンピュータ、ラップトップコンピュータ、タブレットもしくはスレートコンピュータ、または携帯電話を表す例などにおいては、ディスプレイを含み得る。

[0027]ヘッドエンドデバイス１４は、オーディオソースデバイス１２によって生成された、または別様に提供されたソースオーディオデータを処理する（または言い換えると、レンダリングする）ことが可能な任意のデバイスを表す。いくつかの例では、ヘッドエンドデバイス１４は、たとえば、オーディオソースデバイス１２がヘッドエンドデバイス１４の内部にあるように、またはその一部であるように、単一のデバイスを形成するようにオーディオソースデバイス１２と統合され得る。例示すると、オーディオソースデバイス１２が、いくつか例を与えると、テレビ、デスクトップコンピュータ、ラップトップコンピュータ、スレートもしくはタブレットコンピュータ、ゲームシステム、携帯電話、または高精細度ディスクプレーヤーを表すとき、オーディオソースデバイス１２はヘッドエンドデバイス１４と統合され得る。すなわち、ヘッドエンドデバイス１４は、テレビ、デスクトップコンピュータ、ラップトップコンピュータ、スレートもしくはタブレットコンピュータ、ゲームシステム、携帯電話、または高精細度ディスクプレーヤーなどのような、種々のデバイスのいずれであってもよい。ヘッドエンドデバイス１４は、オーディオソースデバイス１２と統合されないとき、オーディオソースデバイス１２、フロントレフトスピーカー１６Ａ、フロントライトスピーカー１６Ｂ、および／またはモバイルデバイス１８との有線接続とワイヤレス接続のいずれかを介して通信するためのいくつかのインターフェースを提供する、オーディオ／ビデオ受信機（一般に「Ａ／Ｖ受信機」と呼ばれる）を表し得る。

[0028]フロントレフトスピーカー１６Ａおよびフロントライトスピーカー１６Ｂ（「スピーカー１６」）は、１つまたは複数のトランスデューサを有するラウドスピーカーを表し得る。通常、フロントレフトスピーカー１６Ａは、フロントライトスピーカー１６Ｂと類似しており、またはほとんど同じである。スピーカー１６は、ヘッドエンドデバイス１４と通信するための、有線インターフェース、および／または、いくつかの例ではワイヤレスインターフェースを備え得る。スピーカー１６は、能動的に電力供給されることがあり、または受動的に電力供給されることがあり、ここで、受動的に電力供給されるとき、ヘッドエンドデバイス１４がスピーカー１６の各々を駆動し得る。上で述べられたように、本技法は、専用のスピーカー１６を伴わずに実行されることが可能であり、専用のスピーカー１６はモバイルデバイス１８の１つまたは複数によって置き換えられ得る。いくつかの例では、専用のスピーカー１６は、オーディオソースデバイス１２に組み込まれてよく、または別様に統合されてよい。

[0029]モバイルデバイス１８は通常、携帯電話（いわゆる「スマートフォン」を含む）、タブレットもしくはスレートコンピュータ、ネットブック、ラップトップコンピュータ、デジタルピクチャフレーム、または、アプリケーションを実行することが可能な、かつ／もしくはヘッドエンドデバイス１４とワイヤレスにインターフェースをとることが可能な、任意の他のタイプのモバイルデバイスを表す。モバイルデバイス１８は各々、スピーカー２０Ａ〜２０Ｎ（「スピーカー２０」）を備え得る。これらのスピーカー２０は各々、オーディオ再生のために構成されてよく、いくつかの例では、声のオーディオ再生のために構成されてよい。例示を簡単にするために、本開示では携帯電話に関して説明されるが、本技法は、スピーカーを提供し、ヘッドエンドデバイス１４との有線通信またはワイヤレス通信が可能な、任意のポータブルデバイスに関して実装され得る。

[0030]通常のマルチチャンネルサウンドシステム（「マルチチャンネルサラウンドサウンドシステム」または「サラウンドサウンドシステム」とも呼ばれ得る）では、一例としてヘッドエンドデバイスを表し得るＡ／Ｖ受信機は、専用のフロントレフトスピーカー、フロントセンタースピーカー、フロントライトスピーカー、バックレフトスピーカー（「サラウンドレフトスピーカー」とも呼ばれ得る）、およびバックライトスピーカー（「サラウンドライトスピーカー」とも呼ばれ得る）の配置に適合するようにソースオーディオデータを処理する。Ａ／Ｖ受信機は、より良好なオーディオ品質を提供し、スピーカーに電力供給し、干渉を低減するために、これらのスピーカーの各々に対する専用の有線接続を備えることが多い。Ａ／Ｖ受信機は、適切なチャンネルを適切なスピーカーに提供するように構成され得る。

[0031]サウンドのステージまたはエリアを再現し、それによってより没入感のあるサウンド体験をさらに提供するために、多数の異なるサラウンドサウンドフォーマットが存在する。５．１サラウンドサウンドシステムでは、Ａ／Ｖ受信機は、センターチャンネルと、レフトチャンネルと、ライトチャンネルと、リアライトチャンネルと、リアレフトチャンネルとを含む、５つのオーディオのチャンネルをレンダリングする。５．１の「．１」をなす追加のチャンネルは、サブウーファーまたはバスチャンネルを対象とする。他のサラウンドサウンドフォーマットは、７．１サラウンドサウンドフォーマット（追加のリアレフトチャンネルとリアライトチャンネルが加わる）と２２．２サラウンドサウンドフォーマット（追加のフォワードチャンネルおよびリアチャンネルと、別のサブウーファーまたはバスチャンネルに加えて、様々な高さにある追加のチャンネルが加わる）とを含む。

[0032]５．１サラウンドサウンドフォーマットの状況では、Ａ／Ｖ受信機は、５つのラウドスピーカーに対するこれらの５つのチャンネルと、サブウーファーに対するバスチャンネルとをレンダリングすることができる。Ａ／Ｖ受信機は、サラウンドサウンドシステムが動作する特定の部屋においてサラウンドサウンドオーディオを適切に再現するために、信号をレンダリングして音量レベルと信号の他の特性とを変えることができる。すなわち、元のサラウンドサウンドオーディオ信号は取り込まれ、所与の部屋、たとえば１５×１５フィートの部屋に適合するように処理されていることがある。Ａ／Ｖ受信機は、この信号を、サラウンドサウンドシステムが動作する部屋に適合するように処理することができる。Ａ／Ｖ受信機は、このレンダリングを実行して、より良好なサウンドステージを作成し、これによって、より良好な、またはさらに没入感のある聴取体験を提供することができる。

[0033]サラウンドサウンドはより没入感のある聴取体験（および、ビデオとともに、視覚的体験）を提供することができるが、納得のいくサラウンドサウンドを再生するのに必要とされるＡ／Ｖ受信機およびスピーカーは高価であることが多い。その上、スピーカーに適切に電力供給するために、Ａ／Ｖ受信機は、上で述べられた理由で、ラウドスピーカーに（通常はスピーカー配線を介して）物理的に結合されていなければならないことが多い。サラウンドサウンドが通常、少なくとも２つのスピーカーが聴取者の後ろに配置されることを必要とすることを考慮すると、Ａ／Ｖ受信機をサラウンドサウンドシステムのレフトリアスピーカーおよびライトリアスピーカーに物理的に接続するために、スピーカー配線または他の物理的接続が部屋全体を這うことを、Ａ／Ｖ受信機は必要とすることが多い。これらの配線を這わせるのは見栄えが悪いことがあり、５．１、７．１、およびさらに高次元のサラウンドサウンドシステムの消費者による導入を妨げる。

[0034]本開示で説明される技法によれば、ヘッドエンドデバイス１４は、モバイルデバイス１８とインターフェースをとり、協調的サラウンドサウンドシステム１０を形成することができる。ヘッドエンドデバイス１４は、モバイルデバイス１８とインターフェースをとり、協調的サラウンドサウンドシステム１０のサラウンドサウンドスピーカーとしてこれらのモバイルデバイスのスピーカー２０を利用することができる。しばしば、ヘッドエンドデバイス１４は、ワイヤレス接続を介してこれらのモバイルデバイス１８と通信することができ、図１の例に示されるように、サラウンドサウンドシステム１０のリアレフトスピーカー、リアライトスピーカー、または他の後ろに配置されたスピーカーについて、モバイルデバイス１８のスピーカー２０を利用する。

[0035]このようにして、ヘッドエンドデバイス１４は、一般に利用可能であるが従来のサラウンドサウンドシステムでは利用されないモバイルデバイス１８のスピーカー２０を使用して協調的サラウンドサウンドシステム１０を形成することができ、これによって、ユーザが専用のサラウンドサウンドスピーカーを購入することと関連付けられる費用をなくすことを可能にする。加えて、モバイルデバイス１８がヘッドエンドデバイス１４にワイヤレスに結合され得ることを考慮すると、本開示で説明される技法に従って形成される協調的サラウンドサウンドシステム１０は、スピーカーに電力を供給するためにスピーカー配線または他の物理的接続を這わせる必要なく、リアサラウンドサウンドを実現できる。したがって、本技法は、専用のサラウンドサウンドスピーカーを購入することおよびそのようなスピーカーの設置と関連付けられる費用をなくすことに関する費用の節減と、リアスピーカーをヘッドエンドデバイスに結合する専用の物理的接続を提供する必要をなくすことによる構成の容易さとの両方を、促すことができる。

[0036]動作において、ヘッドエンドデバイス１４は最初に、スピーカー２０の対応する１つを含み協調的サラウンドサウンドシステム１０に加わることが可能なモバイルデバイス１８（たとえば、電源が入っている、または動作可能なモバイルデバイス１８）を特定することができる。いくつかの例では、モバイルデバイス１８は各々、アプリケーション（一般に「アプリ」と呼ばれ得る）を実行することができ、このアプリは、ヘッドエンドデバイス１８が、アプリを実行するモバイルデバイス１８を、協調的サラウンドサウンドシステム１０に加わることが可能であるものとして特定することを可能にする。

[0037]ヘッドエンドデバイス１４は次いで、協調的サラウンドサウンドシステム１０の１つまたは複数のスピーカーとしてスピーカー２０の対応する１つを利用するように、特定されたモバイルデバイス１８を構成することができる。いくつかの例では、ヘッドエンドデバイス１４は、協調的サラウンドサウンドシステム１０の構成を助けるために、オーディオデータソース１２によって生成されるソースオーディオデータ（ここで、そのようなソースオーディオデータは、いくつかの例では、「マルチチャンネルオーディオデータ」とも呼ばれ得る）のオーディオ再生に影響を与える特定されたモバイルデバイス１８の対応する１つの態様を規定するモバイルデバイスデータを、モバイルデバイス１８が提供することをポーリングすることができ、または別様に要求することができる。モバイルデバイス１８は、いくつかの例では、ヘッドエンドデバイス１４と通信すると、このモバイルデバイスデータを自動的に提供し、ヘッドエンドデバイス１４によるこの情報の要求を伴わずに、この情報に対する変更に応答してモバイルデバイスデータを定期的に更新することができる。モバイルデバイス１８は、たとえば、モバイルデバイスデータのいくつかの態様が変化したとき、更新されたモバイルデバイスデータを提供することができる。

[0038]図１の例では、モバイルデバイス１８は、「ワイヤレスセッション２２」とも呼ばれ得るセッション２２Ａ〜２２Ｎ（「セッション２２」）の対応する１つを介して、ヘッドエンドデバイス１４とワイヤレスに結合する。ワイヤレスセッション２２は、米国電気電子学会（ＩＥＥＥ）８０２．１１ａ規格、ＩＥＥＥ ８０２．１１ｂ規格、ＩＥＥＥ ８０２．１１ｇ規格、ＩＥＥＥ ８０２．１１ｎ規格、ＩＥＥＥ ８０２．１１ａｃ規格、８０２．１１ａｄ規格、さらには、任意のタイプのパーソナルエリアネットワーク（ＰＡＮ）規格などに従って形成される、ワイヤレスセッションを備え得る。いくつかの例では、ヘッドエンドデバイス１４は、上で説明された規格の１つに従ってワイヤレスネットワークに結合し、モバイルデバイス１８は、同じワイヤレスネットワークに結合し、そうすると、モバイルデバイス１８は、多くの場合はアプリケーションを実行しワイヤレスネットワーク内のヘッドエンドデバイス１４を見つけることによって、ヘッドエンドデバイス１４に登録することができる。

[0039]ヘッドエンドデバイス１４とのワイヤレスセッション２２を確立した後で、モバイルデバイス１８は、上で言及されたモバイルデバイスデータを収集することができ、このモバイルデバイスデータをワイヤレスセッション２２のそれぞれ１つを介してヘッドエンドデバイス１４に提供する。このモバイルデバイスデータは、任意の数の特性を含み得る。モバイルデバイスデータによって規定される例示的な特性または態様は、特定されたモバイルデバイスの対応する１つの位置（利用可能であればＧＰＳまたはワイヤレスネットワーク三角測量を使用した）、特定されたモバイルデバイス１８の各々に含まれるスピーカー２０の対応する１つの周波数応答、特定されたモバイルデバイス１８の対応する１つに含まれるスピーカー２０の最大の許容可能なサウンド再生レベル、特定されたモバイルデバイス１８の対応する１つのバッテリー状態またはバッターの電力レベル、特定されたモバイルデバイス１８の対応する１つの同期状態（たとえば、モバイルデバイス１８がヘッドエンドデバイス１４と同期しているかどうか）、および、特定されたモバイルデバイス１８の対応する１つのヘッドフォン状態の、１つまたは複数を含み得る。

[0040]このモバイルデバイスデータに基づいて、ヘッドエンドデバイス１４は、協調的サラウンドサウンドシステム１０の１つまたは複数のスピーカーとしてこれらのモバイルデバイス１８の各々のスピーカー２０を利用するように、モバイルデバイス１８を構成することができる。たとえば、モバイルデバイスデータがモバイルデバイス１８の各々の位置を規定すると仮定すると、ヘッドエンドデバイス１４は、特定されたモバイルデバイス１８の１つがマルチチャンネルオーディオソースデータを再生するのに最適な位置にないことを、対応するモバイルデバイスデータによって規定されるモバイルデバイス１８の１つの位置に基づいて判定することができる。

[0041]いくつかの例では、ヘッドエンドデバイス１４は、モバイルデバイス１８の１つまたは複数が「最適な位置」として特徴付けられ得る位置にないと判定したことに応答して、モバイルデバイス１８の１つまたは複数の準最適な位置に適合する方式で、オーディオソースからレンダリングされたオーディオ信号の再生を制御するように、協調的サラウンドサウンドシステム１０を構成することができる。すなわち、ヘッドエンドデバイス１４は、特定されたモバイルデバイス１８の現在の位置に適合するように、かつ、ユーザがわざわざモバイルデバイスを移動する必要なくより没入感のあるサラウンドサウンド体験を提供するように、ソースオーディオデータをレンダリングするための１つまたは複数の前処理関数を構成することができる。

[0042]さらに説明すると、ヘッドエンドデバイス１４は、レンダリングされたオーディオ信号の再生の間に、オーディオが発生しているように見える場所を効果的に変えるように、ソースオーディオデータからオーディオ信号をレンダリングすることができる。この意味で、ヘッドエンドデバイス１４は、位置がずれていると判定されるモバイルデバイス１８の１つの適切なまたは最適な位置を特定することができ、協調的サラウンドサウンドシステム１０の仮想スピーカーと呼ばれ得るものを確立する。ヘッドエンドデバイス１４は、たとえば、スピーカー１６と２０の２つ以上の間で、ソースオーディオデータからレンダリングされたオーディオ信号をクロスミックスし、または別様に分配して、ソースオーディオデータの再生の間にそのような仮想スピーカーの出現を生み出すことができる。仮想スピーカーの出現を作り出すためにこのオーディオソースデータがどのようにレンダリングされるかについてのさらなる詳細が、図４の例に関して以下で与えられる。

[0043]このようにして、ヘッドエンドデバイス１４は、スピーカー２０のそれぞれの１つを各々含み、協調的サラウンドサウンドシステム１０に加わることが可能な、モバイルデバイス１８を特定することができる。ヘッドエンドデバイス１４は次いで、協調的サラウンドサウンドシステムの１つまたは複数の仮想スピーカーとして対応するスピーカー２０の各々を利用するように、特定されたモバイルデバイス１８を構成することができる。ヘッドエンドデバイス１４は次いで、オーディオ信号がモバイルデバイス１８のスピーカー２０によって再生されるときに、オーディオ信号のオーディオ再生が協調的サラウンドサウンドシステム１０の１つまたは複数の仮想スピーカーから発生しているように見えるように、オーディオソースデータからオーディオ信号をレンダリングすることができ、それらの１つまたは複数の仮想スピーカーは、モバイルデバイス１８の少なくとも１つ（およびスピーカー２０の対応する１つ）の位置とは異なる位置に配置されることが多い。ヘッドエンドデバイス１４は次いで、レンダリングされたオーディオ信号を、協調的サラウンドサウンドシステム１０のスピーカー１６および２０に送信することができる。

[0044]いくつかの例では、ヘッドエンドデバイス１４は、モバイルデバイス１８の１つまたは複数によってマルチチャンネルソースオーディオデータからレンダリングされるオーディオ信号の再生を効果的に「最適化する」ようにモバイルデバイス１８の１つまたは複数を再配置するように、モバイルデバイス１８の１つまたは複数のユーザに促すことができる。

[0045]いくつかの例では、ヘッドエンドデバイス１４は、モバイルデバイスデータに基づいて、ソースオーディオデータからオーディオ信号をレンダリングすることができる。例示すると、モバイルデバイスデータは、モバイルデバイスの電力レベル（「バッテリー状態」とも呼ばれ得る）を規定することができる。この電力レベルに基づいて、ヘッドエンドデバイス１４は、オーディオ信号のいくつかの部分が（オーディオを再生するための電力消費に関して）より負荷の低いオーディオ再生を有するように、ソースオーディオデータからオーディオ信号をレンダリングすることができる。ヘッドエンドデバイス１４は次いで、これらのより負荷の低いオーディオ信号を、電力レベルの低下したモバイルデバイス１８に提供することができる。その上、ヘッドエンドデバイス１４は、モバイルデバイス１８の２つ以上の電力レベルがソースオーディオデータの既知の期間のもとでは割り当てられたチャンネルの再生を完了するには不十分であるとき、仮想スピーカーを形成するオーディオ信号の再生の間の電力消費を低減するために協調的サラウンドサウンドシステム１０の単一のスピーカーを形成するようにモバイルデバイス１８のそれら２つ以上が協調すべきであると、判定することができる。上記の電力レベルの適合は、図９Ａ〜図９Ｃおよび図１０に関してより詳細に説明される。

[0046]ヘッドエンドデバイス１４は、加えて、協調的サラウンドサウンドシステム１０のスピーカーの各々が配置されるべきスピーカー領域を決定することができる。ヘッドエンドデバイス１４は次いで、準最適な位置にあり得るモバイルデバイス１８の対応する１つを再配置するように、多数の様々な方法でユーザに促すことができる。１つの方法では、ヘッドエンドデバイス１４は、再配置されるべきモバイルデバイス１８のうち準最適に配置されたものとインターフェースをとり、モバイルデバイス１８のうちのそれらをより最適な位置に（割り当てられたスピーカー領域内などに）再配置するために、モバイルデバイスが移動されるべき方向を示すことができる。あるいは、ヘッドエンドデバイス１８は、テレビのようなディスプレイとインターフェースをとり、モバイルデバイスの現在の位置と、モバイルデバイスが移動されるべきより最適な位置と特定する画像を提示することができる。準最適に配置されたモバイルデバイスを再配置するようにユーザに促すための以下の代替形態が、図５、図６Ａ〜図６Ｃ、図７Ａ〜図７Ｃ、および図８Ａ〜図８Ｃに関してより詳細に説明される。

[0047]このようにして、ヘッドエンドデバイス１４は、協調的サラウンドサウンドシステム１０の複数のスピーカーのスピーカーとして協調的サラウンドサウンドシステム１０に加わるモバイルデバイス１８の位置を決定するように構成され得る。ヘッドエンドデバイス１４はまた、協調的サラウンドサウンドシステム１０の複数の他のスピーカーに対する、協調的サラウンドサウンドシステム１０に加わるモバイルデバイス１８の位置を示す、画像を生成するように構成され得る。

[0048]しかしながら、ヘッドエンドデバイス１４は、各種のモバイルデバイスと状況とに適合するように、前処理関数を構成することができる。たとえば、ヘッドエンドデバイス１４は、モバイルデバイス１８のスピーカー２０の１つまたは複数の特性、たとえば、スピーカー２０の周波数応答および／またはスピーカー２０の最大の許容可能なサウンド再生レベルに基づいてソースオーディオデータをレンダリングするための、オーディオ前処理関数を構成することができる。

[0049]さらに別の例として、ヘッドエンドデバイス２０は、上で述べられたように、協調的サラウンドサウンドシステム１０においてスピーカーとして利用されているモバイルデバイス１８のバッテリー状態または電力レベルを示す、モバイルデバイスデータを受信することができる。ヘッドエンドデバイス１４は、このモバイルデバイスデータによって規定されるこれらのモバイルデバイス１８の１つまたは複数の電力レベルがソースオーディオデータの再生を完了するのに不十分であると、判定することができる。ヘッドエンドデバイス１４は次いで、これらのモバイルデバイス１８の電力レベルがマルチチャンネルソースオーディオデータの再生を完了するのに不十分であるという判定に基づいて、マルチチャンネルソースオーディオデータからレンダリングされるオーディオ信号を再生するためにモバイルデバイスのうちのそれらによって必要とされる電力の量を減らすようにソースオーディオデータをレンダリングするように、前処理関数を構成することができる。

[0050]ヘッドエンドデバイス１４は、一例として、これらのモバイルデバイス１８による再生のためにマルチチャンネルソースオーディオデータからレンダリングされたオーディオ信号の音量を調整することによって、これらのモバイルデバイス１８における電力消費を減らすように前処理関数を構成することができる。別の例では、ヘッドエンドデバイス１４は、これらのモバイルデバイス１８によって再生されるべきマルチチャンネルソースオーディオデータからレンダリングされたオーディオ信号を、他のモバイルデバイス１８によって再生されるべきマルチチャンネルソースオーディオデータからレンダリングされたオーディオ信号とクロスミックスするように、前処理関数を構成することができる。さらに別の例として、ヘッドエンドデバイス１４は、再生を完了するのに十分な電力を欠いているモバイルデバイス１８によって再生されるべきマルチチャンネルソースオーディオデータからレンダリングされたオーディオ信号の周波数の少なくともいくつかの範囲を減らす（例として、低い方の周波数を除くために）ように、前処理関数を構成することができる。

[0051]このようにして、ヘッドエンドデバイス１４は、ユーザの様々な要望に合うように、かつ、種々のモバイルデバイス１８とそれらの対応するオーディオ能力とに適合するように、このソースオーディオデータの再生を適合させ、適応させ、または別様に動的に構成するように、ソースオーディオデータに前処理関数を適用することができる。

[0052]協調的サラウンドサウンドシステム１０が上で説明された様々な方法で構成されると、ヘッドエンドシステム１４は次いで、協調的サラウンドサウンドシステム１０の１つまたは複数のスピーカーの各々に、レンダリングされたオーディオ信号を送信し始めることができ、ここで、モバイルデバイス１８のスピーカー２０および／またはスピーカー１６の１つまたは複数が再び、協調的サラウンドサウンドシステム１０の単一のスピーカーを形成するように協調することができる。

[0053]ソースオーディオデータの再生の間、モバイルデバイス１８の１つまたは複数は、更新されたモバイルデバイスデータを提供することができる。いくつかの例では、モバイルデバイス１８は、協調的サラウンドサウンドシステム１０のスピーカーとして加わるのを止めることができ、モバイルデバイス１８の対応する１つが協調的サラウンドサウンドシステム１０にもはや加わらないことを示すための更新モバイルデバイスデータを提供する。モバイルデバイス１８は、電力の制約、モバイルデバイス１８で実行されるアプリケーションを介した選好の設定、音声通話の受信、電子メールの受信、テキストメッセージの受信、プッシュ通知の受信、または任意の数の他の理由によって、参加を止めることができる。ヘッドエンドデバイス１４は次いで、協調的サラウンドサウンドシステム１０に加わっているモバイルデバイス１８の数の変化に適合するように、前処理関数を再編成することができる。一例では、ヘッドエンドデバイス１４は、再生の間に対応するモバイルデバイス１８を移動するようにユーザに促さないことがあり、代わりに、上で説明された方式で仮想スピーカーの出現を模擬するオーディオ信号を生成するように、マルチチャンネルソースオーディオデータをレンダリングすることができる。

[0054]このようにして、本開示の技法は、アドホックネットワーク（上で述べられたように、一般に８０２．１１またはＰＡＮである）の形成を調整する中央デバイスまたはヘッドエンドシステム１４とのアドホックネットワークを形成することによって、モバイルデバイス１８が協調的サラウンドサウンドシステム１０に加わることを効果的に可能にする。上で説明されたように、ヘッドエンドデバイス１４は、スピーカー２０の１つを含み、マルチチャンネルソースオーディオデータからレンダリングされたオーディオ信号を再生するためにモバイルデバイス１８のアドホックワイヤレスネットワークに加わることが可能な、モバイルデバイス１８を特定することができる。ヘッドエンドデバイス１４は次いで、マルチチャンネルソースオーディオデータからレンダリングされたオーディオ信号のオーディオ再生に影響を与え得る、特定されたモバイルデバイス１８の対応する１つの態様または特性を規定するモバイルデバイスデータを、特定されたモバイルデバイス１８の各々から受信することができる。ヘッドエンドデバイス１４は次いで、マルチチャンネルソースオーディオデータのオーディオ再生に影響を与える特定されたモバイルデバイス１８の態様に適合する方式で、マルチチャンネルソースオーディオデータからレンダリングされたオーディオ信号の再生を制御するために、モバイルデバイスデータに基づいてモバイルデバイス１８のアドホックワイヤレスネットワークを構成することができる。

[0055]モバイルデバイス１８と専用のスピーカー１６とを含む協調的サラウンドサウンドシステム１０を対象とするものとして上で説明されたが、本技法は、モバイルデバイス１８および／または専用のスピーカー１６の任意の組合せに関して実行され得る。いくつかの例では、本技法は、モバイルデバイスのみを含む協調的サラウンドサウンドシステムに関して実行され得る。したがって、本技法は図１の例に限定されるべきではない。

[0056]その上、マルチチャンネルソースオーディオデータに関して実行されるものとして説明全体で説明されるが、本技法は、オブジェクトベースのオーディオデータおよび高次アンビソニックス（ＨＯＡ：higher order ambisonic）オーディオデータ（球面調和係数（ＳＨＣ：spherical harmonic coefficient）のような階層的要素の形でオーディオデータを規定し得る）を含む、任意のタイプのソースオーディオデータに関して実行され得る。ＨＯＡオーディオデータは、図１１〜図１３に関してより詳細に以下で説明される。

[0057]図２は、図１の協調的サラウンドサウンドシステム１０の一部分をより詳細に示すブロック図である。図２に示される協調的サラウンドサウンドシステム１０の部分は、ヘッドエンドデバイス１４とモバイルデバイス１８Ａとを含む。例示を簡単にするために、単一のモバイルデバイス、すなわち図２の例ではモバイルデバイス１８Ａに関して以下で説明されるが、本技法は、複数のモバイルデバイス、たとえば図１の例に示されるモバイルデバイス１８に関して実施され得る。

[0058]図２の例に示されるように、ヘッドエンドデバイス１４は制御ユニット３０を含む。制御ユニット３０（一般にプロセッサとも呼ばれ得る）は、ソフトウェア命令を実行する１つまたは複数の中央処理装置および／またはグラフィカルプロセッシングユニット（これらの両方が図２には示されない）を表すことができ、このソフトウェア命令はたとえば、ソフトウェアまたはコンピュータプログラムを定義するために使用され、本明細書で説明される技法を１つまたは複数のプロセッサに実行させるための命令を記憶する非一時的コンピュータ可読記憶媒体（やはり図２には示されない）、たとえば、ストレージデバイス（たとえば、ディスクドライブまたは光学ドライブ）、またはメモリ（フラッシュメモリ、ランダムアクセスメモリすなわちＲＡＭのような）、または任意の他のタイプの揮発性メモリもしくは非揮発性メモリに記憶される。あるいは、制御ユニット３０は、本明細書で説明される技法を実行するための、１つまたは複数の集積回路、１つまたは複数の特定用途向け集積回路（ＡＳＩＣ）、１つまたは複数の特定用途向け特別プロセッサ（ＡＳＳＰ）、１つまたは複数のフィールドプログラマブルゲートアレイ（ＦＰＧＡ）、または、専用のハードウェアの前述の例の１つまたは複数の任意の組合せのような、専用のハードウェアを表し得る。

[0059]制御ユニット３０は、データ取り出しエンジン３２と、電力分析モジュール３４と、オーディオレンダリングエンジン３６とを実行することができ、またはそうでなければ、それらを実装するように構成され得る。データ取り出しエンジン３２は、モバイルデバイス１８Ａ（さらには、残りのモバイルデバイス１８Ｂ〜１８Ｎ）からモバイルデバイスデータ６０を取り出すように、または別様に受信するように構成される、モジュールまたはユニットを表し得る。データ取り出しエンジン３２は、位置がモバイルデバイスデータ６２を介してモバイルデバイス１８Ａによって提供されないとき、ヘッドエンドデバイス１４に対してモバイルデバイス１８Ａの位置を決定する、位置モジュール３８を含み得る。データ取り出しエンジン３２は、この決定された位置を含めるようにモバイルデバイスデータ６０を更新することができ、これによって、更新されたモバイルデバイスデータ６４を生成する。

[0060]電力分析モジュール３４は、モバイルデバイスデータ６０の一部としてモバイルデバイス１８によって報告される電力消費データを処理するように構成される、モジュールまたはユニットを表す。電力消費データは、モバイルデバイス１８Ａのバッテリーサイズと、オーディオ増幅器の定格電力と、スピーカー２０Ａのモデルおよび効率と、異なる処理（ワイヤレスオーディオチャンネルの処理を含む）に対するモバイルデバイス１８Ａの電力プロファイルとを含み得る。電力分析モジュール３４は、この電力消費データを処理して精緻化された電力データ６２を決定することができ、この精緻化された電力データ６２はデータ取り出しエンジン３２に戻される。精緻化された電力データ６２は、現在の電力レベルまたは容量、所与の長さの時間における意図される電力消費率などを規定することができる。データ取り出しエンジン３２は次いで、この精緻化された電力データ６２を含めるようにモバイルデバイスデータ６０を更新することができ、これによって、更新されたモバイルデバイスデータ６４を生成する。いくつかの例では、電力分析モジュール３４は、オーディオレンダリングエンジン３６に直接、精緻化された電力データ６２を提供し、オーディオレンダリングエンジン３６は、この精緻化された電力データ６２を更新されたモバイルデバイスデータ６４と組み合わせて、更新されたモバイルデバイスデータ６４をさらに更新する。

[0061]オーディオレンダリングエンジン３６は、更新されたモバイルデバイスデータ６４を受信し、更新されたモバイルデバイスデータ６４に基づいてソースオーディオデータ３７を処理するように構成される、モジュールまたはユニットを表す。オーディオレンダリングエンジン３６は、以下でより詳細に説明される任意の数の方法で、ソースオーディオデータ３７を処理することができる。単一のモバイルデバイス、すなわち図２の例ではモバイルデバイス１８Ａからの、更新されたモバイルデバイスデータ６４に関して、ソースオーディオデータ３７のみを処理するものとして示されるが、データ取り出しエンジン３２および電力分析モジュール６４は、モバイルデバイス１８の各々からモバイルデバイスデータ６０を取り出して、モバイルデバイス１８の各々に対する更新されたモバイルデバイスデータ６４を生成することができ、そうすると、オーディオレンダリングエンジン３６は、更新されたモバイルデバイスデータ６４の各々の例または複数の例の組合せ（モバイルデバイス１８の２つ以上が協調的サラウンドサウンドシステム１０の単一のスピーカーを形成するために利用されるときなど）に基づいて、ソースオーディオデータ３７をレンダリングすることができる。オーディオレンダリングエンジン３６は、モバイルデバイス１８による再生のために、レンダリングオーディオ信号６６を出力する。

[0062]図２にさらに示されるように、モバイルデバイス１８Ａは、制御ユニット４０とスピーカー２０Ａとを含む。制御ユニット４０は、ヘッドエンドデバイス１４の制御ユニット３０と同様であり、または実質的に同様であり得る。スピーカー２０Ａは、処理されたオーディオ信号６６の再生を介してモバイルデバイスがソースオーディオデータ３７をそれによって再生できる、１つまたは複数のスピーカーを表す。

[0063]制御ユニット４０は、協調的サウンドシステムアプリケーション４２とオーディオ再生モジュール４４とを実行することができ、またはそうでなければ、これらを実装するように構成され得る。協調的サウンドシステムアプリケーション４２は、ヘッドエンドデバイス１４とのワイヤレスセッション２２Ａを確立し、次いでこのワイヤレスセッション２２Ａを介してヘッドエンドデバイス１４にモバイルデバイスデータ６０を通信するように構成される、モジュールまたはユニットを表し得る。協調的サウンドシステムアプリケーション４２はまた、レンダリングされたオーディオ信号６６の再生に影響を与え得るモバイルデバイス６０の状態の変化を協調的サウンドシステムアプリケーション４２が検出するとき、モバイルデバイスデータ６０を定期的に送信することができる。オーディオ再生モジュール４４は、オーディオデータまたは信号を再生するように構成される、モジュールまたはユニットを表し得る。オーディオ再生モジュール４４は、レンダリングされたオーディオ信号６６を再生のためにスピーカー２０Ａに提供することができる。

[0064]協調的サウンドシステムアプリケーション４２は、モバイルデバイスデータ６０を収集するように構成されるモジュールまたはユニットを表す、データ収集エンジン４６を含み得る。データ収集エンジン４６は、位置モジュール４８と、電力モジュール５０と、スピーカーモジュール５２とを含み得る。位置モジュール４８は、可能であれば、全地球測位システム（ＧＰＳ）を使用して、またはワイヤレスネットワーク三角測量を通じて、ヘッドエンドデバイス１４に対するモバイルデバイス１８Ａの位置を決定することができる。しばしば、位置モジュール４８は、本開示で説明された技法をヘッドエンドデバイス１４が適切に実行することを可能にするのに十分な精度で、ヘッドエンドデバイス１４に対するモバイルデバイス１８Ａの位置を突き止めることが不可能であることがある。

[0065]この場合、位置モジュール４８は次いで、ヘッドエンドデバイス１４の制御ユニット３０によって実行または実装される位置モジュール３８と協調することができる。位置モジュール３８は、トーン６１または他の音を位置モジュール４８に送信することができ、位置モジュール４８は、オーディオ再生モジュール４４がスピーカー２０Ａにこのトーン６１を再生させるように、オーディオ再生モジュール４４とインターフェースをとることができる。トーン６１は、所与の周波数のトーンを備え得る。しばしば、トーン６１は、人の聴覚系によって知覚されることのケーブルである周波数範囲にない。位置モジュール３８は次いで、モバイルデバイス１８Ａのスピーカー２０Ａによるこのトーン６１の再生を検出することができ、このトーン６１の再生に基づいて、モバイルデバイス１８Ａの位置を導出し、または別様に決定することができる。

[0066]電力モジュール５０は、上で述べられた電力消費データを決定するように構成されるユニットまたはモジュールを表し、この電力消費データはやはり、モバイルデバイス１８Ａのバッテリーのサイズと、オーディオ再生モジュール４４によって利用されるオーディオ増幅器の定格電力と、スピーカー２０Ａのモデルおよび電力効率と、モバイルデバイス１８Ａの制御ユニット４０によって実行される様々な処理の電力プロファイル（ワイヤレスオーディオチャンネルの処理を含む）とを含み得る。電力モジュール５０は、システムファームウェアから、制御ユニット４０によって実行されるオペレーティングシステムから、または、様々なシステムデータを調査することから、この情報を決定することができる。いくつかの例では、電力モジュール５０は、ネットワーク（インターネットのような）においてアクセス可能なファイルサーバまたは何らかの他のデータソースにアクセスすることができ、この電力消費データの様々な態様を取り出すために、タイプ、バージョン、製造業者、またはモバイルデバイス１８Ａを特定する他のデータをファイルサーバに提供する。

[0067]スピーカーモジュール５２は、スピーカーの特性を決定するように構成される、モジュールまたはユニットを表す。電力モジュール５０と同様に、スピーカーモジュール５２は、スピーカー２０Ａの周波数範囲、スピーカー２０Ａの最大音量レベル（デシベル（ｄＢ）で表されることが多い）、スピーカー２０Ａの周波数応答などを含む、スピーカー２０Ａの様々な特性を収集し、または別様に決定することができる。スピーカーモジュール５２は、システムファームウェアから、制御ユニット４０によって実行されるオペレーティングシステムから、または、様々なシステムデータを調査することから、この情報を決定することができる。いくつかの例では、スピーカーモジュール５２は、ネットワーク（インターネットのような）においてアクセス可能なファイルサーバまたは何らかの他のデータソースにアクセスすることができ、このスピーカー特性データの様々な態様を取り出すために、タイプ、バージョン、製造業者、またはモバイルデバイス１８Ａを特定する他のデータをファイルサーバに提供する。

[0068]最初に、上で説明されたように、モバイルデバイス１８Ａのユーザまたは他の操作者は、制御ユニット４０とインターフェースをとり、協調的サウンドシステムアプリケーション４２を実行する。制御ユニット４０は、このユーザ入力に応答して、協調的サウンドシステムアプリケーション４２を実行する。協調的サウンドシステムアプリケーション４２がヘッドエンドデバイスデバイス１４を見つけられると仮定すると、ユーザは、協調的サウンドシステムアプリケーション４２を実行すると、協調的サウンドシステムアプリケーション４２とインターフェースをとり（しばしば、例示を簡単にするために図２の例では示されないグラフィカルユーザインターフェースを提示するタッチディスプレイを介して）ヘッドエンドデバイス１４にモバイルデバイス１８Ａを登録することができる。ヘッドエンドデバイス１４を見つけることができない場合、協調的サウンドシステムアプリケーション４２は、ヘッドエンドデバイス１４を見つけることに関するあらゆる課題をユーザが解決するのを助けることができ、場合によっては、たとえばヘッドエンドデバイス１４とモバイルデバイス１８Ａの両方が同じワイヤレスネットワークまたはＰＡＮに接続されることを確実にするための、トラブルシューティング情報を提供する。

[0069]いずれにしても、協調的サウンドシステムアプリケーション４２がヘッドエンドデバイス１４を見つけ、ヘッドエンドデバイス１４にモバイルデバイス１８Ａを登録するのに成功すると仮定すると、協調的サウンドシステムアプリケーション４２は、データ収集エンジン４６を呼び出してモバイルデバイスデータ６０を取り出すことができる。データ収集エンジン４６を呼び出す際に、位置モジュール４８は、ヘッドエンドデバイス１４に対するモバイルデバイス１８Ａの位置を決定するのを試みることができ、場合によっては、上で説明された方式でヘッドエンドデバイス１４がヘッドエンドデバイス１４に対するモバイルデバイス１８Ａの位置を突き止めることを可能にするために、トーン６１を使用して位置モジュール３８と協調する。

[0070]上で述べられたようなトーン６１は、モバイルデバイス１８Ａを、ヘッドエンドデバイス１４に対するそれぞれの位置を決定するために位置モジュール３８と協調することも試みている可能性のある協調的サラウンドサウンドシステム１０に加わっている他のモバイルデバイス１８Ｂ〜１８Ｎと区別するために、所与の周波数であり得る。言い換えると、ヘッドエンドデバイス１４は、第１の周波数を有するトーン６１とモバイルデバイス１８Ａを関連付けることができ、第２の異なる周波数を有するトーンとモバイルデバイス１８Ｂを関連付けることができ、第３の周波数を有するトーンとモバイルデバイス１８Ｃを関連付けることができ、以下同様である。このようにして、ヘッドエンドデバイス１４は、モバイルデバイス１８の各々を順次見つけるのではなく、モバイルデバイス１８の複数を同時に並行して見つけることができる。

[0071]電力モジュール５０およびスピーカーモジュール５２は、上で説明された方式で、電力消費データとスピーカー特性データとを収集することができる。データ収集エンジン４６は、このデータを集約して、モバイルデバイスデータ６０を形成することができる。データ収集エンジン４６は、モバイルデバイスデータ６０が、モバイルデバイス１８Ａの位置（可能であれば）、スピーカー２０Ａの周波数応答、スピーカー２０Ａの最大の許容可能なサウンド再生レベル、モバイルデバイス１８Ａに含まれるバッテリーのバッテリー状態とモバイルデバイス１８Ａへの電力供給、モバイルデバイス１８Ａの同期状態、およびモバイルデバイス１８Ａのヘッドフォン状態（たとえば、ヘッドフォンジャックが現在使用されていてスピーカー２０Ａの使用を妨げるかどうか）のうちの１つまたは複数を規定するように、モバイルデバイスデータ６０を生成することができる。データ収集エンジン４６は次いで、ヘッドエンドデバイス１４の制御ユニット３０によって実行されるデータ取り出しエンジン３２に、このモバイルデバイスデータ６０を送信する。

[0072]データ取り出しエンジン３２は、このモバイルデバイスデータ６０を解析して、電力消費データを電力分析モジュール３４に提供することができる。上で説明されたように、電力分析モジュール３４は、この電力消費データを処理して精緻化された電力データ６２を生成することができる。データ取り出しエンジン３２はまた、位置モジュール３８を呼び出して、上で説明された方式で、ヘッドエンドデバイス１４に対するモバイルデバイス１８Ａの位置を決定することができる。データ取り出しエンジン３２は次いで、決定された位置（必要であれば）と精緻化された電力データ６２とを含めるようにモバイルデバイスデータ６０を更新することができ、この更新されたモバイルデバイスデータ６０をオーディオレンダリングエンジン３６に渡す。

[0073]オーディオレンダリングエンジン３６は次いで、更新されたモバイルデバイスデータ６４に基づいて、ソースオーディオデータ３７をレンダリングすることができる。オーディオレンダリングエンジン３６は次いで、協調的サラウンドサウンドシステム１０の１つまたは複数の仮想スピーカーとしてモバイルデバイス１８のスピーカー２０Ａを利用するように、協調的サラウンドサウンドシステム１０を構成することができる。オーディオレンダリングエンジン３６はまた、モバイルデバイス１８Ａのスピーカー２０Ａがレンダリングされたオーディオ信号６６を再生するときに、レンダリングされたオーディオ信号６６のオーディオ再生が、モバイルデバイス１８Ａのようなモバイルデバイス１８の少なくとも１つの決定された位置とは異なる位置に配置されているように見えることがやはり多い、協調的サラウンドサウンドシステム１０の１つまたは複数の仮想スピーカーから発生しているように見えるように、ソースオーディオデータ３７からオーディオ信号６６をレンダリングすることができる。

[0074]例示すると、オーディオレンダリングエンジン３６は、協調的サラウンドサウンドシステム１０の仮想スピーカーの各々がソースオーディオデータ３７を発生させているように見えるべきである、スピーカー領域を特定することができる。ソースオーディオデータ３７をレンダリングするとき、オーディオレンダリングエンジン３６は次いで、レンダリングされたオーディオ信号６６がモバイルデバイス１８のスピーカー２０によって再生されるときに、レンダリングされたオーディオ信号６６のオーディオ再生が、スピーカー領域の対応する特定された１つの中の位置にある協調的サラウンドサウンドシステム１０の仮想スピーカーから発生しているように見えるように、ソースオーディオデータ３７からオーディオ信号６６をレンダリングすることができる。

[0075]この方式でソースオーディオデータ３７をレンダリングするために、オーディオレンダリングエンジン３６は、モバイルデバイス１８Ａを移動するようにユーザに促すのを避けるために、モバイルデバイス１８の１つ、たとえばモバイルデバイス１８Ａの位置に基づいてソースオーディオデータ３７をレンダリングするためのオーディオ前処理関数を構成することができる。モバイルデバイスの移動が部屋の中の他の聴取者を妨害することがあることを考慮すると、デバイスを移動するようにユーザに促すのを避けることは、オーディオデータの再生が開始した後のような、いくつかの例では必要であり得る。オーディオレンダリングエンジン３６は次いで、ソースオーディオデータ３７の少なくとも一部分をレンダリングするときに構成されたオーディオ前処理関数を使用して、モバイルデバイス１８Ａの位置に適合するような方式でソースオーディオデータの再生を制御することができる。

[0076]加えて、オーディオレンダリングエンジン３６は、モバイルデバイスデータ６０の他の態様に基づいて、ソースオーディオデータ３７をレンダリングすることができる。たとえば、オーディオレンダリングエンジン３６は、１つまたは複数のスピーカー特性に基づいて（たとえばモバイルデバイス１８Ａのスピーカー２０Ａの周波数範囲に、または、別の例としてモバイルデバイス１８Ａのスピーカー２０Ａの最大音量に適合するように）、ソースオーディオデータ３７をレンダリングするときに使用するためのオーディオ前処理関数を構成することができる。オーディオレンダリングエンジン３６は次いで、構成されたオーディオ前処理関数に基づいてソースオーディオデータ３７の少なくとも一部分をレンダリングして、モバイルデバイス１８Ａのスピーカー２０Ａによるレンダリングされたオーディオ信号６６の再生を制御することができる。

[0077]オーディオレンダリングエンジン３６は次いで、レンダリングされたオーディオ信号６６またはその一部分をモバイルデバイス１８に送り、または別様に送信することができる。

[0078]図３Ａ〜図３Ｃは、本開示で説明される協調的サラウンドサウンドシステムの技法を実行する際の、ヘッドエンドデバイス１４およびモバイルデバイス１８の例示的な動作を示すフローチャートである。モバイルデバイス１８の特定の１つ、すなわち図２および図３Ａ〜図３Ｃの例ではモバイルデバイス１８Ａに関して以下では説明されるが、本技法は、モバイルデバイス１８Ａに関して本明細書で説明されたものと同様の方式で、モバイルデバイス１８Ｂ〜１８Ｎによって実行され得る。

[0079]最初に、モバイルデバイス１８Ａの制御ユニット４０が、協調的サウンドシステムアプリケーション４２を実行することができる（８０）。協調的サウンドシステムアプリケーション４２はまず、ワイヤレスネットワーク上でヘッドエンドデバイス１４の存在を見つけることを試みることができる（８２）。協調的サウンドシステムアプリケーション４２がネットワーク上でヘッドエンドデバイス１４を見つけることができない場合（「いいえ」８４）、モバイルデバイス１８Ａは、ネットワーク上でヘッドエンドデバイス１４を見つけることを試み続けることができ、一方でまた、場合によっては、ヘッドエンドデバイス１４を見つける際にユーザを支援するためのトラブルシューティング情報を提示する（８２）。しかしながら、協調的サウンドシステムアプリケーション４２がヘッドエンドデバイス１４を見つける場合（「はい」８４）、協調的サウンドシステムアプリケーション４２は、セッション２２Ａを確立し、セッション２２Ａを介してヘッドエンドデバイス１４に登録することができ（８６）、スピーカー２０Ａを含み協調的サラウンドサウンドシステム１０に加わることが可能なデバイスとしてヘッドエンドデバイス１４がモバイルデバイス１８Ａを特定することを効果的に可能にする。

[0080]ヘッドエンドデバイス１４に登録した後で、協調的サウンドシステムアプリケーション４２は、データ収集エンジン４６を呼び出すことができ、データ収集エンジン４６は上で説明された方式でモバイルデバイスデータ６０を収集する（８８）。データ収集エンジン４６は次いで、モバイルデバイスデータ６０をヘッドエンドデバイス１４に送信することができる（９０）。ヘッドエンドデバイス１４のデータ取り出しエンジン３２は、モバイルデバイスデータ６０を受信し（９２）、このモバイルデバイスデータ６０がヘッドエンドデバイス１４に対するモバイルデバイス１８Ａの位置を規定する位置データを含むかどうかを判定する（９４）。ヘッドエンドデバイス１４がモバイルデバイス１８Ａを正確に位置決定することを可能にするには位置データが不十分である場合（３０フィートの精度しかないＧＰＳデータなど）、または、位置データがモバイルデバイスデータ６０の中に存在しない場合（「いいえ」９４）、データ取り出しエンジン３２は、位置モジュール３８を呼び出すことができ、位置モジュール３８は、協調的サウンドシステムアプリケーション４２によって呼び出されるデータ収集エンジン４６の位置モジュール４８とインターフェースをとり、トーン６１をモバイルデバイス１８Ａの位置モジュール４８に送信する（９６）。モバイルデバイス１８Ａの位置モジュール４８は次いで、このトーン６１をオーディオ再生モジュール４４に渡し、オーディオ再生モジュール４４は、スピーカー２０Ａとインターフェースをとってトーン６１を再生する（９８）。

[0081]一方、ヘッドエンドデバイス１４の位置モジュール３８は、トーン６１を送信した後で、マイクロフォンとインターフェースをとり、スピーカー２０Ａによるトーン６１の再生を検出することができる（１００）。ヘッドエンドデバイス１４の位置モジュール３８は次いで、トーン６１の検出された再生に基づいて、モバイルデバイス１８Ａの位置を決定することができる（１０２）。トーン６１を使用してモバイルデバイス１８Ａの位置を決定した後で、ヘッドエンドデバイス１８のデータ取り出しモジュール３２は、決定された位置を含めるようにモバイルデバイスデータ６０を更新することができ、これによって、更新されたモバイルデバイスデータ６４を生成する（図３Ｂ、１０４）。

[0082]位置データがモバイルデバイスデータ６０の中に存在すると（または、ヘッドエンドデバイス１４がヘッドエンドデバイス１４に対してモバイルデバイス１８Ａを位置決定することを可能にするのに、位置データが十分正確であると）データ取り出しモジュール３２が判定する場合、または、決定された位置を含めるように更新されたモバイルデバイスデータ６４を生成した後で、データ取り出しモジュール３２は、ヘッドエンドデバイス１４に登録されたモバイルデバイス１８の各々からモバイルデバイスデータ６０を取り出すのを終了したかどうかを判定することができる（１０６）。ヘッドエンドデバイス１４のデータ取り出しモジュール３２がモバイルデバイス１８の各々からモバイルデバイスデータ６０を取り出すのを終了していない場合（「いいえ」１０６）、データ取り出しモジュール３２は、上で説明された方式で（９２〜１０６）、モバイルデバイスデータ６０を取り出すことと、更新されたモバイルデバイスデータ６４を生成することとを続ける。しかしながら、データ取り出しモジュール３２が、モバイルデバイスデータ６０を収集することと更新されたモバイルデバイスデータ６４を生成することとを終了したと判定する場合（「はい」１０６）、データ取り出しモジュール３２は、更新されたモバイルデバイスデータ６４をオーディオレンダリングエンジン３６に渡す。

[0083]オーディオレンダリングエンジン３６は、この更新されたモバイルデバイスデータ６４を受信したことに応答して、ソースオーディオデータ３７を取り出すことができる（１０８）。オーディオレンダリングエンジン３６は、ソースオーディオデータ３７をレンダリングするとき、まず、マルチチャンネルソースオーディオデータ３７の再生に適合するためにスピーカーが配置されるべきである領域を表す、スピーカー領域を決定することができる（１１０）。たとえば、５．１チャンネルのソースオーディオデータは、フロントレフトチャンネルと、センターチャンネルと、フロントライトチャンネルと、サラウンドレフトチャンネルと、サラウンドライトチャンネルと、サブウーファーチャンネルとを含む。サブウーファーチャンネルは、低い周波数が通常はヘッドエンドデバイスに対するサブウーファーの位置とは無関係に十分な効果を与えることを考慮すると、指向的ではなく、または考慮に値しない。しかしながら、他の５つのチャンネルは、しかしながら、没入感のあるオーディオ再生のための最良のサウンドステージを提供するための、特定の位置に対応し得る。オーディオレンダリングエンジン３６は、いくつかの例では、位置モジュール３８とインターフェースをとって部屋の境界を導き出すことができ、これによって、位置モジュール３８は、壁、人々、家具などの位置を特定するために、スピーカー１６および／またはスピーカー２０の１つまたは複数にトーンまたは音を放出させ得る。この部屋または物体の位置情報に基づいて、オーディオレンダリングエンジン３６は、フロントレフトスピーカー、センタースピーカー、フロントライトスピーカー、サラウンドレフトスピーカー、およびサラウンドライトスピーカーの各々に対するスピーカー領域を決定することができる。

[0084]これらのスピーカー領域に基づいて、オーディオレンダリングエンジン３６は、協調的サラウンドサウンドシステム１０の仮想スピーカーの位置を決定することができる（１１２）。すなわち、オーディオレンダリングエンジン３６は、部屋または物体の位置情報に対して最適または準最適な位置にあることが多いスピーカー領域の各々の中に仮想スピーカーを配置することができる。オーディオレンダリングエンジン３６は次いで、モバイルデバイスデータ１８に基づいて、モバイルデバイス１８を各仮想スピーカーに割り当てることができる（１１４）。

[0085]たとえば、オーディオレンダリングエンジン３６はまず、更新されたモバイルデバイスデータ６０において規定されるモバイルデバイス１８の各々の位置を考慮することができ、それらのデバイスを、モバイルデバイス１８の決定された位置に最も近い仮想位置を有する仮想スピーカーに割り当てる。オーディオレンダリングエンジン３６は、モバイルデバイス１８の２つ以上を仮想スピーカーに割り当てるべきかどうかを、現在割り当てられているモバイルデバイス１８が仮想スピーカーの位置にどの程度近いかに基づいて、判定することができる。その上、上で説明されたように、オーディオレンダリングエンジン３６は、２つ以上のモバイルデバイス１８の１つと関連付けられる精緻化された電力データ６２がソースオーディオデータ３７の全体を再生するのには不十分であるとき、モバイルデバイス１８の２つ以上を同じ仮想スピーカーに割り当てると決定することができる。やはり上で説明されたように、オーディオレンダリングエンジン３６はまた、スピーカー特性を含むモバイルデバイスデータ６０の他の態様に基づいて、これらのモバイルデバイス１８を割り当てることができる。

[0086]オーディオレンダリングエンジン３６は次いで、スピーカー１６およびスピーカー２０の各々について上で説明された方式でソースオーディオデータ３７からオーディオ信号をレンダリングすることができ、仮想スピーカーの位置および／またはモバイルデバイスデータ６０に基づいて、オーディオ信号を効果的にレンダリングする（１１６）。言い換えると、オーディオレンダリングエンジン３６は次いで、上でより詳細に説明されたように、ソースオーディオデータ３７をレンダリングするように前処理関数をインスタンス化し、または別様に定義することができる。このようにして、オーディオレンダリングエンジン３６は、仮想スピーカーの位置およびモバイルデバイスデータ６０に基づいて、ソースオーディオデータ３７をレンダリングし、または別様に処理することができる。上で述べられたように、オーディオレンダリングエンジン３６は、このオーディオデータを処理するとき、モバイルデバイス１８の各々からのモバイルデバイスデータ６０を総体または全体として考え、それでも、オーディオソースデータ６０からレンダリングされた別々のオーディオ信号をモバイルデバイス１８の各々に送信することができる。したがって、オーディオレンダリングエンジン３６は、レンダリングされたオーディオ信号６６をモバイルデバイス１８に送信する（図３Ｃ、１２０）。

[0087]このレンダリングされたオーディオ信号６６を受信したことに応答して、協調的サウンドシステムアプリケーション４２は、オーディオ再生モジュール４４とインターフェースをとり、オーディオ再生モジュール４４は次いで、スピーカー２０Ａとインターフェースをとってレンダリングされたオーディオ信号６６を再生する（１２２）。上で述べられたように、協調的サウンドシステムアプリケーション４２は、データ収集エンジン４６を定期的に呼び出して、モバイルデバイスデータ６０のいずれかが変化したか、または更新されたかどうかを判定することができる（１２４）。モバイルデバイスデータ６０が変化していない場合（「いいえ」１２４）、モバイルデバイス１８Ａは、レンダリングされたオーディオ信号６６を再生し続ける（１２２）。しかしながら、モバイルデバイスデータ６０が変化した、または更新されている場合（「はい」１２４）、データ収集エンジン４６は、この変更されたモバイルデバイスデータ６０をヘッドエンドデバイス１４のデータ取り出しエンジン３２に送信することができる（１２６）。

[0088]データ取り出しエンジン３２は、この変更されたモバイルデバイスデータをオーディオレンダリングエンジン３６に渡すことができ、オーディオレンダリングエンジン３６は、変更されたモバイルデバイスデータ６０に基づいて、仮想スピーカーの構築を介してモバイルデバイス１８Ａが割り当てられているオーディオ信号をレンダリングするための前処理関数を修正することができる。以下でより詳細に説明されるように、一般的に更新されるまたは変更されるモバイルデバイスデータ６０は、一例として、電力消費の変化により、または、オーディオ再生を中断させる音声呼のような別のタスクのためにモバイルデバイス１８Ａが前から使用されていたことが原因で、変化する。

[0089]いくつかの例では、データ取り出しエンジン３２は、データ取り出しモジュール３２の位置モジュール３８がモバイルデバイス１８の位置の変化を検出し得るという意味で、モバイルデバイスデータ６０が変化したと判定することができる。言い換えると、データ取り出しモジュール３２は、位置モジュール３８を定期的に呼び出して、モバイルデバイス１８の現在の位置を決定することができる（または代替的に、位置モジュール３８はモバイルデバイス１８の位置を継続的に監視することができる）。位置モジュール３８は次いで、モバイルデバイス１８の１つまたは複数が移動されたかどうかを判定することができ、これによって、オーディオレンダリングエンジン３６が、モバイルデバイス１８の位置の進行中の変化（たとえば、ユーザがテキストメッセージを見るためにモバイルデバイスを手に取り、次いでモバイルデバイスを異なる位置に置く場合に起こり得るような）に適合するように前処理関数を動的に修正することを可能にする。したがって、本技法は、モバイルデバイス１８が再生の間に移動または再配置され得るとしても、再生全体の間、最適な位置の少なくとも近くに仮想スピーカーがとどまることを場合によっては確実にするために、動的な場面において適用され得る。

[0090]図４は、本開示で説明される技法に従って形成される、別の協調的サラウンドサウンドシステム１４０を示すブロック図である。図４の例では、オーディオソースデバイス１４２、ヘッドエンドデバイス１４４、フロントレフトスピーカー１４６Ａ、フロントライトスピーカー１４６Ｂ、およびモバイルデバイス１４８Ａ〜１４８Ｃは、図１、図２、図３Ａ〜図３Ｃに関してそれぞれ上で説明された、オーディオソースデバイス１２、ヘッドエンドデバイス１４、フロントレフトスピーカー１６Ａ、フロントライトスピーカー１６Ｂ、およびモバイルデバイス１８Ａ〜１８Ｎと実質的に同様であり得る。

[0091]図４の例に示されるように、ヘッドエンドデバイス１４４は、協調的サラウンドサウンドシステム１４０が動作する部屋を、５つの別々のスピーカー領域１５２Ａ〜１５２Ｅ（「領域１５２」）に分割する。これらの領域１５２を決定した後で、ヘッドエンドデバイス１４４は、領域１５２の各々に対して仮想スピーカー１５４Ａ〜１５４Ｅ（「仮想スピーカー１５４」）の位置を決定することができる。

[0092]領域１５２Ａおよび１５２Ｂの各々に対して、ヘッドエンドデバイス１４４は、仮想スピーカー１５４Ａおよび１５４Ｂの位置がフロントレフトスピーカー１４６Ａおよびフロントライトスピーカー１４６Ｂの位置にそれぞれ近い、または一致すると判定する。領域１５２Ｃに対して、ヘッドエンドデバイス１４４は、仮想スピーカー１５４Ｃの位置がモバイルデバイス１４８Ａ〜１４８Ｃ（「モバイルデバイス１４８」）のいずれとも重複しないと判定する。結果として、ヘッドエンドデバイス１４４は、領域１５２Ｃを探索して、領域１５２Ｃの中に位置する、またはその中に部分的に位置するあらゆるモバイルデバイス１４８を特定する。この探索を実行する際、ヘッドエンドデバイス１４４は、モバイルデバイス１４８Ａおよび１４８Ｂが領域１５２Ｃの中に位置する、またはその中に少なくとも部分的に位置すると判定する。ヘッドエンドデバイス１４４は次いで、これらのモバイルデバイス１４８Ａと１４８Ｂとを、仮想スピーカー１５４Ｃに割り当てる。ヘッドエンドデバイス１４４は次いで、音が仮想スピーカー１５４Ｃから発生しているかのように見えるように、モバイルデバイス１４８Ａによる再生のためにソースオーディオデータからサラウンドレフトチャンネルをレンダリングするように第１の前処理関数を定義する。ヘッドエンドデバイス１４４はまた、音が仮想スピーカー１５４Ｃから発生しているかのように、モバイルデバイス１４８Ｂによる再生のためにソースオーディオデータからサラウンドライトチャンネルの第２の実体をレンダリングするように第２の前処理関数を定義する。

[0093]ヘッドエンドデバイス１４４は次いで、仮想スピーカー１５４Ｄを考慮することができ、モバイルデバイス１４８Ｃの位置が仮想スピーカー１５４Ｄの位置と重複する（しばしば、定義された、または設定された閾値の範囲内にある）という点で、モバイルデバイス１４８Ｃが領域１５２Ｄの中の最適に近い位置に配置されていると判定する。ヘッドエンドデバイス１４４は、モバイルデバイス１４８Ｃと関連付けられるモバイルデバイスデータの他の態様に基づいて、サラウンドライトチャンネルをレンダリングするための前処理関数を定義することができるが、このサラウンドライトチャンネルが発生しているように見える箇所を修正するように前処理関数を定義する必要はないことがある。

[0094]ヘッドエンドデバイス１４４は次いで、仮想スピーカー１５４Ｅを支援できるセンタースピーカーがセンタースピーカー領域１５２Ｅ内にないと判定することができる。結果として、ヘッドエンドデバイス１４４は、フロントレフトスピーカー１４６Ａおよびフロントライトスピーカー１４６Ｂがそれら両方のそれぞれのフロントレフトチャンネルとフロントライトチャンネルとセンターチャンネルとを再生するように、ソースオーディオデータからセンターチャンネルをレンダリングしてフロントレフトチャンネルとフロントライトチャンネルの両方とセンターチャンネルをクロスミックスする、前処理関数を定義することができる。この前処理関数は、音が仮想スピーカー１５４Ｅの位置から再生されているかのように見えるように、センターチャンネルを修正することができる。

[0095]ソースオーディオデータが仮想スピーカー１５４Ｃおよび仮想スピーカー１５４Ｅのような仮想スピーカーから発生しているように見えるようにソースオーディオデータを処理する前処理関数を定義するとき、スピーカー１５０の１つまたは複数がこれらの仮想スピーカーの意図される位置に位置していないとき、ヘッドエンドデバイス１４４は、本開示で説明される技法のうちの、拘束ベクトルに基づく動的振幅パンニングの態様を実行することができる。ペアのスピーカー（２次元に対しては２つのスピーカー、かつ３次元に対しては３つのスピーカー）のみに基づく、ベクトルに基づく振幅パンニング（ＶＢＡＰ）を実行するのではなく、ヘッドエンドデバイス１４４は、３つ以上のスピーカーに対して、拘束ベクトルに基づく動的振幅パンニングの技法を実行することができる。拘束ベクトルに基づく動的振幅パンニングの技法は、現実的な制約に基づき得るので、ＶＢＡＰと比較して高い自由度をもたらす。

[0096]例示すると、３つのラウドスピーカーが左後の角に（かつ、したがって、サラウンドレフトスピーカー領域１５２Ｃに）位置し得る、以下の例を考える。この例では、［ｐ₁ ｐ₂］^Tが与えられると、ベクトルは、仮想ソースの電力と位置とを表す、［ｌ₁₁ ｌ₁₂］^T、［ｌ₂₁ ｌ₂₂］^T、［ｌ₃₁ ｌ₃₂］^T、によって示され得る、３つのベクトルが定義され得る。ヘッドエンドデバイス１４４は次いで、次の式を解くことができる。

ここで、

は、ヘッドエンドデバイス１４４が計算する必要のあり得る未知数である。

[0097]

を解くことは、典型的な多未知数の問題であり、通常の解法は、ヘッドエンドデバイス１４４が最小ノルムの解を求めることを伴う。ヘッドエンドデバイス１４４がＬ２ノルムを使用してこの方程式を解くと仮定すると、ヘッドエンドデバイス１４４は次の式を解く。

[0098]ヘッドエンドデバイス１４４は、制約に基づいてベクトルを操作することによって、ｇ₁と、ｇ₂と、ｇ₃とをある方法で制約することができる。ヘッドエンドデバイス１４４は次いで、次のように、スカラー電力係数ａ₁と、ａ₂と、ａ₃とを加算することができる。

、かつ

[0099]サラウンドレフト領域１５２Ｃの中に位置する３つのスピーカーの各々に対する適切な利得を提供する解である、Ｌ２ノルムの解を使用するとき、ヘッドエンドデバイス１４４は、仮想的に配置されたラウドスピーカーを生成することができ、同時に、利得のべき和は、ヘッドエンドデバイス１４４が固有の電力消費の限度に対する制約のもとですべての利用可能な３つのラウドスピーカーに対する電力消費を適切に分配できるように、最小限であることに留意されたい。

[0100]例示すると、第２のデバイスのバッテリー電力がなくなりつつある場合、ヘッドエンドデバイス１４４は、他の電力ａ₁およびａ₃と比較して、ａ₂を小さくすることができる。より具体的な例として、ヘッドエンドデバイス１４４が３つのラウドスピーカーベクトル［１ ０］^T、

、［１ ０］^Tを求め、ヘッドエンドデバイス１４４がその解において

を有するように制約されると仮定する。ａ₁＝ａ₂＝ａ₃＝１を意味する制約がない場合、

である。しかしながら、バッテリー、またはラウドスピーカーごとの固有の最大音量のような、いくつかの理由で、ヘッドエンドデバイス１４４は、第２のラウドスピーカーの音量を下げる必要があることがあり、第２のベクトルは

だけ縮小され、そして

となる。この例では、ヘッドエンドデバイス１４４は第２のラウドスピーカーの利得を下げ得るが、それでも仮想画像は同じままであり、またはほとんど同じ位置にとどまる。

[0101]上で説明されたこれらの技法は、次のように一般化され得る。

１．スピーカーの１つまたは複数が周波数に依存する制約を有するとヘッドエンドデバイス１４４が判定する場合、ヘッドエンドデバイスは、短時間フーリエ変換を含む任意の種類のフィルタバンク分析と合成とを介して、

に依存するように上の式を定義することができ、ｋは周波数インデックスである。

２．ヘッドエンドデバイス１４４は、検出された位置に基づいてベクトルを割り振ることによって、これを任意のＮ≧２個のラウドスピーカーの場合に拡張することができる。

３．ヘッドエンドデバイス１４４は、適切な電力利得の制約との任意の組合せを任意にグループ化することができ、この電力利得の制約は重複していることも重複していないこともある。いくつかの例では、ヘッドエンドデバイス１４４は、すべてのラウドスピーカーを同時に使用して、５つ以上の異なる位置に基づく音を生成することができる。いくつかの例では、ヘッドエンドデバイス１４４は、各々の指定された領域、たとえば、図４に示される５つのスピーカー領域１５２の中のラウドスピーカーをグループ化することができる。１つの領域の中に１つしかない場合、ヘッドエンドデバイス１４４は、その領域に対するグループを次の領域に拡張することができる。

４．いくつかのデバイスが移動している場合、または協調的サラウンドサウンドシステム１４０に登録されているだけである場合、ヘッドエンドデバイス１４４は、対応する基本ベクトルを更新（変更または加算）して、各スピーカーに対する利得を計算することができ、この利得は調整される可能性が高い。

５．Ｌ２ノルムに関して上で説明されるが、ヘッドエンドデバイス１４４は、この最小ノルムの解を求めるために、Ｌ２ノルム以外の異なるノルムを利用することができる。たとえば、Ｌ０ノルムを使用するとき、ヘッドエンドデバイス１４４は、低利得の解を計算することができ、これは、Ｌ２ノルムの場合の小利得のラウドスピーカーが０利得のラウドスピーカーになることを意味する。

６．上で提示された、電力制約が加えられた最小ノルムの解は、制約最適化の問題を実施する具体的な方法である。しかしながら、任意の種類の制約された凸最適化の方法は、

という問題と組み合わさられ得る。

[0102]このようにして、ヘッドエンドデバイス１４４は、協調的サラウンドサウンドシステム１４０に加わるモバイルデバイス１５０Ａに対して、協調的サラウンドサウンドシステム１４０の仮想スピーカー１５４Ｃの規定された位置を特定することができる。ヘッドエンドデバイス１４４は次いで、予想される電力期間のような、モバイルデバイスによるマルチチャンネルオーディオデータの再生に影響を与える制約を決定することができる。ヘッドエンドデバイス１４４は次いで、モバイルデバイス１５０Ａによるレンダリングされたオーディオ信号６６の再生に対する決定された制約の影響を減らす方式でオーディオ信号６６をレンダリングするために、決定された制約を使用して、ソースオーディオデータ３７に対する上で説明された拘束ベクトルに基づく動的振幅パンニングを実行することができる。

[0103]加えて、ヘッドエンドデバイス１４４は、制約を決定するとき、モバイルデバイスがソースオーディオデータ３７を再生するのに十分な電力を有するであろう予想される期間を示す、予想される電力期間を決定することができる。ヘッドエンドデバイス１４４は次いで、ソースオーディオデータ３７の再生期間を示すソースオーディオ期間を決定することができる。ソースオーディオ期間が予想される電力期間を超えるとき、ヘッドエンドデバイス１４４は、予想される電力期間を制約として決定することができる。

[0104]その上、いくつかの例では、拘束ベクトルに基づく動的振幅パンニングを実行するとき、ヘッドエンドデバイス１４４は、レンダリングされるオーディオ信号６６を再生するための予想される電力期間がソースオーディオ期間より短くなるように、オーディオ信号６６をレンダリングするために、決定された予想される電力期間を制約として使用して、ソースオーディオデータ３７に対して拘束ベクトルに基づく動的振幅パンニングを実行することができる。

[0105]いくつかの例では、制約を決定するとき、ヘッドエンドデバイス１４４は、周波数に依存する制約を決定することができる。拘束ベクトルに基づく動的振幅パンニングを実行するとき、ヘッドエンドデバイス１４４は、モバイルデバイス１５０Ａによってレンダリングされるオーディオ信号６６を再生するための予想される電力期間が一例としてソースオーディオデータ３７の再生期間を示すソースオーディオ期間より短くなるように、オーディオ信号６６をレンダリングするために、決定された周波数制約を使用して、ソースオーディオデータ３７に対して拘束ベクトルに基づく動的振幅パンニングを実行することができる。

[0106]いくつかの例では、拘束ベクトルに基づく動的振幅パンニングを実行するとき、ヘッドエンドデバイス１４４は、複数の仮想スピーカーの１つを支援する複数のモバイルデバイスを考慮することができる。上で述べられたように、いくつかの例では、ヘッドエンドデバイス１４４は、３つのモバイルデバイスに関して本技法のこの態様を実行することができる。予想される電力期間を制約として使用してソースオーディオデータ３７に対する拘束ベクトルに基づく動的振幅パンニングを実行し、３つのモバイルデバイスが単一の仮想スピーカーを支援すると仮定するとき、ヘッドエンドデバイス１４４はまず、第１のモバイルデバイス、第２のモバイルデバイス、および第３のモバイルデバイスに対してそれぞれ、次の式に従って、音量利得ｇ₁と、ｇ₂と、ｇ₃とを計算することができる。

[0107]上で述べられたように、ａ₁、ａ₂、およびａ₃は、第１のモバイルデバイスに対するスカラー電力係数と、第２のモバイルデバイスに対するスカラー電力係数と、第３のモバイルデバイスに対するスカラー電力係数とを示す。ｌ₁₁、ｌ₁₂は、ヘッドエンドデバイス１４４に対する第１のモバイルデバイスの位置を特定するベクトルを示す。ｌ₂₁、ｌ₂₂は、ヘッドエンドデバイス１４４に対する第２のモバイルデバイスの位置を特定するベクトルを示す。ｌ₃₁、ｌ₃₂は、ヘッドエンドデバイス１４４に対する第３のモバイルデバイスの位置を特定するベクトルを示す。ｐ₁、ｐ₂は、第１のモバイルデバイス、第２のモバイルデバイス、および第３のモバイルデバイスによって支援される複数の仮想スピーカーの１つの、ヘッドエンドデバイス１４４に対する規定された位置を特定するベクトルを示す。

[0108]図５は、図１の協調的サラウンドサウンドシステム１０の一部分をより詳細に示すブロック図である。図２に示される協調的サラウンドサウンドシステム１０の部分は、ヘッドエンドデバイス１４とモバイルデバイス１８Ａとを含む。例示を簡単にするために、単一のモバイルデバイス、すなわち図５の例ではモバイルデバイス１８Ａに関して以下で説明されるが、本技法は、複数のモバイルデバイス、たとえば図１の例に示されるモバイルデバイス１８に関して実施され得る。

[0109]図５の例に示されるように、ヘッドエンドデバイス１４は、追加の画像生成モジュール１６０も含む、図２の例に関して上で説明され示されるものと同じコンポーネントと、ユニットと、モジュールとを含む。画像生成モジュール１６０は、モバイルデバイス１８Ａのディスプレイデバイス１６４を介した表示のために１つまたは複数の画像１７０を生成し、ソースオーディオデバイス１２のディスプレイデバイス１６６を介した表示のために１つまたは複数の画像１７２を生成するように構成される、モジュールまたはユニットを表す。画像１７０は、モバイルデバイス１８Ａが移動または配置されるべき方向または位置を規定し得る、任意の１つまたは複数の画像を表し得る。同様に、画像１７２は、モバイルデバイス１８Ａの現在の位置とモバイルデバイス１８Ａの所望のまたは意図される位置を示す、１つまたは複数の画像を表し得る。画像１７２はまた、モバイルデバイス１８Ａが移動されるべき方向を規定し得る。

[0110]同様に、モバイルデバイス１８Ａは、ディスプレイインターフェースモジュール１６８も含む、図２の例に関して上で説明され示されるものと同じコンポーネントと、ユニットと、モジュールとを含む。ディスプレイインターフェースモジュール１６８は、ディスプレイデバイス１６４とインターフェースをとるように構成される協調的サウンドシステムアプリケーション４２のユニットまたはモジュールを表し得る。ディスプレイインターフェースモジュール１６８は、ディスプレイデバイス１６４とインターフェースをとって、画像１７０を送信し、またはそうでなければ、ディスプレイデバイス１６４に画像１７０を表示させることができる。

[0111]最初に、上で説明されたように、モバイルデバイス１８Ａのユーザまたは他の操作者は、制御ユニット４０とインターフェースをとって、協調的サウンドシステムアプリケーション４２を実行する。制御ユニット４０は、このユーザ入力に応答して、協調的サウンドシステムアプリケーション４２を実行する。協調的サウンドシステムアプリケーション４２がヘッドエンドデバイスデバイス１４を見つけられると仮定すると、ユーザは、協調的サウンドシステムアプリケーション４２を実行すると、協調的サウンドシステムアプリケーション４２とインターフェースをとり（しばしば、例示を簡単にするために図２の例では示されないグラフィカルユーザインターフェースを提示するタッチディスプレイを介して）ヘッドエンドデバイス１４にモバイルデバイス１８Ａを登録することができる。ヘッドエンドデバイス１４を見つけることができない場合、協調的サウンドシステムアプリケーション４２は、ヘッドエンドデバイス１４を見つけることに関するあらゆる課題をユーザが解決するのを助けることができ、場合によっては、たとえばヘッドエンドデバイス１４とモバイルデバイス１８Ａの両方が同じワイヤレスネットワークまたはＰＡＮに接続されることを確実にするための、トラブルシューティング情報を提供する。

[0112]いずれにしても、協調的サウンドシステムアプリケーション４２がヘッドエンドデバイス１４を見つけ、ヘッドエンドデバイス１４にモバイルデバイス１８Ａを登録するのに成功すると仮定すると、協調的サウンドシステムアプリケーション４２は、データ収集エンジン４６を呼び出してモバイルデバイスデータ６０を取り出すことができる。データ収集エンジン４６を呼び出す際に、位置モジュール４８は、ヘッドエンドデバイス１４に対するモバイルデバイス１８Ａの位置を決定するのを試みることができ、場合によっては、上で説明された方式でヘッドエンドデバイス１４がヘッドエンドデバイス１４に対するモバイルデバイス１８Ａの位置を突き止めることを可能にするために、トーン６１を使用して位置モジュール３８と協調する。

[0113]上で述べられたようなトーン６１は、モバイルデバイス１８Ａを、ヘッドエンドデバイス１４に対するそれぞれの位置を決定するために位置モジュール３８と協調することも試みている可能性のある協調的サラウンドサウンドシステム１０に加わっている他のモバイルデバイス１８Ｂ〜１８Ｎと区別するために、所与の周波数であり得る。言い換えると、ヘッドエンドデバイス１４は、第１の周波数を有するトーン６１とモバイルデバイス１８Ａを関連付けることができ、第２の異なる周波数を有するトーンとモバイルデバイス１８Ｂを関連付けることができ、第３の異なる周波数を有するトーンとモバイルデバイス１８Ｃを関連付けることができ、以下同様である。この方式で、ヘッドエンドデバイス１４は、モバイルデバイス１８の各々を順次見つけるのではなく、モバイルデバイス１８の複数を同時に並行して見つけることができる。

[0114]電力モジュール５０およびスピーカーモジュール５２は、上で説明された方式で、電力消費データとスピーカー特性データとを収集することができる。データ収集エンジン４６は、このデータを集約して、モバイルデバイスデータ６０を形成することができる。データ収集エンジン４６は、モバイルデバイス１８Ａの位置（可能であれば）、スピーカー２０Ａの周波数応答、スピーカー２０Ａの最大の許容可能なサウンド再生レベル、モバイルデバイス１８Ａに含まれるバッテリーのバッテリー状態とモバイルデバイス１８Ａへの電力供給、モバイルデバイス１８Ａの同期状態、およびモバイルデバイス１８Ａのヘッドフォン状態（たとえば、ヘッドフォンジャックが現在使用されていてスピーカー２０Ａの使用を妨げるかどうか）のうちの１つまたは複数を規定する、モバイルデバイスデータ６０を生成することができる。データ収集エンジン４６は次いで、ヘッドエンドデバイス１４の制御ユニット３０によって実行されるデータ取り出しエンジン３２に、このモバイルデバイスデータ６０を送信する。

[0115]データ取り出しエンジン３２は、このモバイルデバイスデータ６０を解析して、電力消費データを電力分析モジュール３４に提供することができる。上で説明されたように、電力分析モジュール３４は、この電力消費データを処理して精緻化された電力データ６２を生成することができる。データ取り出しエンジン３２はまた、位置モジュール３８を呼び出して、上で説明された方式で、ヘッドエンドデバイス１４に対するモバイルデバイス１８Ａの位置を決定することができる。データ取り出しエンジン３２は次いで、決定された位置（必要であれば）と精緻化された電力データ６２とを含めるようにモバイルデバイスデータ６０を更新することができ、この更新されたモバイルデバイスデータ６０をオーディオレンダリングエンジン３６に渡す。

[0116]オーディオレンダリングエンジン３６は次いで、更新されたモバイルデバイスデータ６４に基づいて、ソースオーディオデータ３７を処理することができる。オーディオレンダリングエンジン３６は次いで、協調的サラウンドサウンドシステム１０の１つまたは複数の仮想スピーカーとしてモバイルデバイス１８Ａのスピーカー２０Ａを利用するように、協調的サラウンドサウンドシステム１０を構成することができる。オーディオレンダリングエンジン３６はまた、モバイルデバイス１８Ａのスピーカー２０Ａがレンダリングされたオーディオ信号６６を再生するときに、レンダリングされたオーディオ信号６６のオーディオ再生が、モバイルデバイス１８Ａの決定された位置とは異なる位置に配置されているように見えることが多い、協調的サラウンドサウンドシステム１０の１つまたは複数の仮想スピーカーから発生しているように見えるように、ソースオーディオデータ３７からオーディオ信号６６をレンダリングすることができる。

[0117]例示すると、オーディオレンダリングエンジン３６は、仮想スピーカーの対応する１つまたは複数を支援するモバイルデバイス１８の１つまたは複数からモバイルデバイスデータ６０を与えられると、協調的サラウンドサウンドシステム１０の１つまたは複数の仮想スピーカーのそれぞれ１つにスピーカー領域を割り当てることができる。ソースオーディオデータ３７をレンダリングするとき、オーディオレンダリングエンジン３６は次いで、レンダリングされたオーディオ信号６６がモバイルデバイス１８のスピーカー２０によって再生されるときに、レンダリングされたオーディオ信号６６のオーディオ再生が、モバイルデバイス１８の少なくとも１つの位置とは異なるスピーカー領域の対応する特定された１つの中の位置の中にあることがやはり多い協調的サラウンドサウンドシステム１０の仮想スピーカーから発生しているように見えるように、ソースオーディオデータ３７からオーディオ信号６６をレンダリングすることができる。

[0118]この方式でソースオーディオデータ３７をレンダリングするために、オーディオレンダリングエンジン３６は、モバイルデバイス１８Ａを移動するようにユーザに促すのを避けるために、モバイルデバイス１８の１つ、たとえばモバイルデバイス１８Ａの位置に基づいてソースオーディオデータ３７をレンダリングするためのオーディオ前処理関数を構成することができる。オーディオ信号６６の再生が開始した後、再生の前に部屋中にモバイルデバイス１８を最初に配置するときのような、いくつかの例では、デバイスを移動するためのユーザプロンプトを避けることは必要であり得るが、ヘッドエンドデバイス１４は、いくつかの例では、モバイルデバイス１８を移動するようにユーザに促すことがある。ヘッドエンドデバイス１４は、スピーカー領域を分析し、１つまたは複数の領域が領域中に存在するモバイルデバイスまたは他のスピーカーを何ら有さないと判定することによって、モバイルデバイス１８の１つまたは複数が移動される必要があると判定することができる。

[0119]ヘッドエンドデバイス１４は次いで、任意のスピーカー領域が２つ以上のスピーカーを有するかどうかを判定し、更新されたモバイルデバイスデータ６４に基づいて、これらの２つ以上のスピーカーのいずれが、このスピーカー領域内に位置するモバイルデバイス１８を有さない空のスピーカー領域に再配置されるべきかを、特定することができる。ヘッドエンドデバイス１４は、あるスピーカー領域から別のスピーカー領域に２つ以上のスピーカーの１つまたは複数を再配置することを試みるときに精緻化された電力データ６２を考慮することができ、２つ以上のスピーカーのうち、精緻化された電力データ６２によって示されるような、レンダリングされたオーディオ信号６６の全体を再生するのに少なくとも十分な電力を有するスピーカーを、再配置すると決定する。この電力基準を満たすスピーカーがない場合、ヘッドエンドデバイス１４は、過負荷のスピーカー領域（これは、その領域に位置する２つ以上のスピーカーを有するスピーカー領域を指し得る）から２つ以上のスピーカーを空のスピーカー領域（これは、モバイルデバイスまたは他のスピーカーが存在しないスピーカー領域を指し得る）へ２つ以上のスピーカーことを決定することができる。

[0120]モバイルデバイス１８のいずれが空のスピーカー領域に再配置されるべきかということと、これらのモバイルデバイス１８が配置されるべき位置とを決定すると、制御ユニット３０は、画像生成モジュール１６０を呼び出すことができる。位置モジュール３８は、再配置されるべきモバイルデバイス１８の意図されるまたは所望の位置と現在の位置とを、画像生成モジュール１６０に提供することができる。画像生成モジュール１６０は次いで、画像１７０および／または１７２を生成することができ、これらの画像１７０および／または１７２を、それぞれ、モバイルデバイス１８Ａおよびソースオーディオデバイス１２に送信する。モバイルデバイス１８Ａは次いで、ディスプレイデバイス１６４を介して画像１７０を提示することができ、一方、ソースオーディオデバイス１２は、ディスプレイデバイス１６４を介して画像１７２を提示することができる。画像生成モジュール１６０は、位置モジュール３８からモバイルデバイス１８の現在の位置に対する更新を受信し、この更新された現在の位置を表示する画像１７０と１７２とを生成し続けることができる。この意味で、画像生成モジュール１６０は、ヘッドエンドユニット１４に対するモバイルデバイス１８の現在の動きと、意図される位置とを反映する、画像１７０および／または１７２を動的に生成することができる。意図される位置に配置されると、画像生成モジュール１６０は、意図される位置または所望の位置にモバイルデバイス１８が配置されたことを示す、画像１７０および／または１７２を生成することができ、これによって、協調的サラウンドサウンドシステム１０の構成を容易にする。画像１７０および１７２は、図６Ａ〜図６Ｃおよび図７Ａ〜図７Ｃに関して以下でより詳細に説明される。

[0121]加えて、オーディオレンダリングエンジン３６は、モバイルデバイスデータ６０の他の態様に基づいて、ソースオーディオデータ３７からオーディオ信号６６をレンダリングすることができる。たとえば、オーディオレンダリングエンジン３６は、１つまたは複数のスピーカー特性に基づいて（たとえばモバイルデバイス１８Ａのスピーカー２０Ａの周波数範囲に、または、別の例としてモバイルデバイス１８Ａのスピーカー２０Ａの最大音量に適合するように）、ソースオーディオデータ３７をレンダリングするための、オーディオ前処理関数を構成することができる。オーディオレンダリングエンジン３６は次いで、ソースオーディオデータ３７の少なくとも一部分に対して、構成されたオーディオ前処理関数を適用して、モバイルデバイス１８Ａのスピーカー２０Ａによるレンダリングされたオーディオ信号６６の再生を制御することができる。

[0122]オーディオレンダリングエンジン３６は次いで、レンダリングされたオーディオ信号６６またはその一部分をモバイルデバイス１８Ａに送り、または別様に送信することができる。オーディオレンダリングエンジン３６は、モバイルデバイス１８の１つまたは複数を、仮想スピーカー構成を介して、マルチチャンネルソースオーディオデータ３７の各チャンネルに割り当てることができる。すなわち、モバイルデバイス１８の各々は、協調的サラウンドサウンドシステム１０の異なる仮想スピーカーに割り当てられる。各仮想スピーカーは次いで、スピーカー領域に割り当てられ、スピーカー領域は、マルチチャンネルソースオーディオデータ３７の１つまたは複数のチャンネルを支援することができる。したがって、レンダリングされたオーディオ信号６６を送信するとき、オーディオレンダリングエンジン３６は、レンダリングされたオーディオ信号６６のマッピングされたチャンネルを、協調的サラウンドサウンドシステム１０の対応する１つまたは複数の仮想スピーカーとして構成されたモバイルデバイス１８の対応する１つまたは複数に送信することができる。

[0123]図６Ａ〜図６Ｃおよび図７Ａ〜図７Ｃに関して以下で説明された技法の議論の全体で、チャンネルに対する言及は次のようであり得る。すなわち、レフトチャンネルは「Ｌ」と示されることがあり、ライトチャンネルは「Ｒ」と示されることがあり、センターチャンネルは「Ｃ」と示されることがあり、リアレフトチャンネルは「サラウンドレフトチャンネル」と呼ばれることがあり、かつ「ＳＬ」と示されることがあり、リアライトチャンネルは「サラウンドライトチャンネル」と呼ばれることがあり、かつ「ＳＲ」と示されることがある。やはり、良好なサラウンドサウンド体験を提供する際にサブウーファーの位置は他の５つのチャンネルの位置ほどは重要ではないので、サブウーファーチャンネルは図１には示されない。

[0124]図６Ａ〜図６Ｃは、本開示で説明される技法の様々な態様による、モバイルデバイス１８Ａによって表示されるような図５の例示的な画像１７０Ａ〜１７０Ｃをより詳細に示す図である。図６Ａは、矢印１７３Ａを含む第１の画像１７２Ａを示す図である。矢印１７３Ａは、モバイルデバイス１８Ａを意図される位置または最適な位置に配置するためにモバイルデバイス１８Ａが移動されるべき方向を示す。矢印１７３Ａの長さは、モバイルデバイス１８Ａの現在の位置が意図される位置からどの程度離れているかを概略的に示し得る。

[0125]図６Ｂは、第２の矢印１７３Ｂを含む第２の画像１７０Ｂを示す図である。矢印１７３Ｂは、矢印１７３Ａのように、モバイルデバイス１８Ａを意図される位置または最適な位置に配置するためにモバイルデバイス１８Ａが移動されるべき方向を示し得る。矢印１７３Ｂは、より長さが短いという点で矢印１７３Ａとは異なり、これは、モバイルデバイス１８Ａが、画像１７０Ａが提示されたときのモバイルデバイス１８Ａの位置に対して意図された位置のより近くに移動したことを示す。この例では、画像生成モジュール１６０は、位置モジュール３８がモバイルデバイス１８Ａの更新された現在の位置を提供したことに応答して、画像１７０Ｂを生成することができる。

[0126]図６Ｃは、第３の画像１７０Ｃを示す図であり、画像１７０Ａ〜１７０Ｃは画像１７０（これは図５の例に示される）と呼ばれ得る。画像１７０Ｃは、モバイルデバイス１８Ａがサラウンドレフト仮想スピーカーの意図された位置に配置されたことを示す。画像１７０Ｃは、モバイルデバイス１８Ａがサラウンドレフト仮想スピーカーの意図された位置に配置されたという指示１７４（「ＳＬ」）を含む。画像１７０Ｃはまた、モバイルデバイス１８が仮想サラウンドサウンドスピーカーを支援するために意図された位置に適切に配置されていることをユーザがさらに理解するように、デバイスがサラウンドサウンドバックレフトスピーカーとして再配置されたことを示す、テキスト領域１７６を含む。画像１７０Ｃはさらに、協調的サラウンドサウンドシステム１０のサラウンドサウンドレフト仮想スピーカーを支援するために加わるものとしてモバイルデバイス１８Ａに登録することを、ユーザが確認すること（ボタン１７８Ａ）または取り消すこと（ボタン１７８Ｂ）を可能にする、２つの仮想ボタン１７８Ａと１７８Ｂとを含む。

[0127]図７Ａ〜図７Ｃは、本開示で説明される技法の様々な態様による、ソースオーディオデバイス１２によって表示されるような図５の例示的な画像１７２Ａ〜１７２Ｃをより詳細に示す図である。図７Ａは、スピーカー領域１９２Ａ〜１９２Ｅと、（モバイルデバイス１８を表し得る）スピーカー１９４Ａ〜１９４Ｅと、意図されたサラウンドサウンド仮想スピーカーレフトの指示１９６と、矢印１９８Ａとを含む、第１の画像１７０Ａを示す図である。スピーカー領域１９２Ａ〜１９２Ｅ（「スピーカー領域１９２」）は各々、５．１サラウンドサウンドフォーマットの異なるスピーカー領域を表し得る。５つのスピーカー領域を含むものとして示されるが、本技法は、７．１サラウンドサウンドフォーマットと出現しつつある３次元サラウンドサウンドフォーマットとに適合するための７つのスピーカー領域を含む、スピーカー領域の任意の構成に関して実装され得る。

[0128]スピーカー１９４Ａ〜１９４Ｅ（「スピーカー１９４」）は、スピーカー１９４の現在の位置を表すことができ、ここでスピーカー１９４は、図１の例に示されるスピーカー１６とモバイルデバイス１８とを表し得る。適切に配置されるとき、スピーカー１９４は、仮想スピーカーの意図された位置を表し得る。スピーカー１９４の１つまたは複数が仮想スピーカーの１つを支援するために適切に配置されていないことを検出すると、ヘッドエンドデバイス１４は画像１７２Ａを生成することができ、矢印１９８Ａはスピーカー１９４の１つまたは複数が移動されるべきであることを示す。図７Ａの例では、モバイルデバイス１８Ａは、サラウンドライト（ＳＲ）スピーカー領域１９２Ｄの外側に配置されている、サラウンドサウンドレフト（ＳＬ）スピーカー１９４Ｃを表す。したがって、ヘッドエンドデバイス１４は、ＳＬスピーカー１９４Ｃが意図されたＳＬの位置１９６に移動されるべきであることを示す矢印１９８Ａとともに画像１７２Ａを生成する。意図されるＳＬの位置１９６は、ＳＬスピーカー１９４Ｃの意図される位置を表し、ここで矢印１９８Ａは、ＳＬスピーカー１９４Ｃの現在の位置から意図されるＳＬの位置１９６に向かって指す。ヘッドエンドデバイス１４はまた、モバイルデバイス１８Ａの再配置をさらに容易にするために、モバイルデバイス１８Ａに表示するための上で説明された画像１７０Ａを生成することができる。

[0129]図７Ｂは、画像１７２Ｂが新たな矢印１９８Ｂを含みＳＬスピーカー１９４Ｃの現在の位置が左に移動したことを除いて画像１７２Ａと同様である、第２の画像１７２Ｂを示す図である。矢印１９８Ｂは、矢印１９８Ａのように、モバイルデバイス１８Ａを意図される位置に配置するためにモバイルデバイス１８Ａが移動されるべき方向を示し得る。矢印１９８Ｂは、より長さが短いという点で矢印１９８Ａとは異なり、これは、モバイルデバイス１８Ａが、画像１７２Ａが提示されたときのモバイルデバイス１８Ａの位置に対して意図された位置のより近くに移動したことを示す。この例では、画像生成モジュール１６０は、位置モジュール３８がモバイルデバイス１８Ａの更新された現在の位置を提供したことに応答して、画像１７２Ｂを生成することができる。

[0130]図７Ｃは、第３の画像１７２Ｃを示す図であり、画像１７２Ａ〜１７２Ｃは画像１７２（これは図５の例に示される）と呼ばれ得る。画像１７２Ｃは、モバイルデバイス１８Ａがサラウンドレフト仮想スピーカーの意図された位置に配置されたことを示す。画像１７０Ｃは、意図された位置の指示１９６を除去し、ＳＬスピーカー１９４Ｃが適切に配置されたことを示すこと（ＳＬの指示１９６の点線を除去して、実線のＳＬスピーカー１９４Ｃで置換すること）によって、この適切な配置を示す。画像１７２Ｃは、モバイルデバイス１８Ａが協調的サラウンドサウンドシステム１０のＳＬ仮想スピーカーを支援することに加わるべきであることを、画像１７０Ｃの確認ボタン１７８Ａを使用してユーザが確認したことに応答して、生成され表示され得る。

[0131]画像１７０および／または１７２を使用して、協調的サラウンドサウンドシステムのユーザは、協調的サラウンドサウンドシステムのＳＬスピーカーをＳＬスピーカー領域に移動することができる。ヘッドエンドデバイス１４は、上で説明されたようにこれらの画像を定期的に更新して、部屋の構成の中でのＳＬスピーカーの移動を反映し、ＳＬスピーカーのユーザによる再配置を容易にすることができる。すなわち、ヘッドエンドデバイス１４は、上で述べられた音をスピーカーに継続的に放出させ、この音を検出し、画像の中での他のスピーカーに対するこのスピーカーの位置を更新することができ、ここでこの更新される画像が次いで表示される。このようにして、本技法は、より没入感のあるサラウンドサウンド体験のためのより正確なサウンドステージを再現する、より最適なサラウンドサウンドスピーカー構成を潜在的に達成するように、協調的サラウンドサウンドシステムの適応構成を促し得る。

[0132]図８Ａ〜図８Ｃは、本開示で説明される協調的サラウンドサウンドシステムの技法の様々な態様を実行する際のヘッドエンドデバイス１４およびモバイルデバイス１８の例示的な動作を示すフローチャートである。モバイルデバイス１８の特定の１つ、すなわち図５の例ではモバイルデバイス１８Ａに関して以下では説明されるが、本技法は、モバイルデバイス１８Ａに関して本明細書で説明されたものと同様の方式で、モバイルデバイス１８Ｂ〜１８Ｎによって実行され得る。

[0133]最初に、モバイルデバイス１８Ａの制御ユニット４０が、協調的サウンドシステムアプリケーション４２を実行することができる（２１０）。協調的サウンドシステムアプリケーション４２はまず、ワイヤレスネットワーク上でヘッドエンドデバイス１４の存在を見つけることを試みることができる（２１２）。協調的サウンドシステムアプリケーション４２がネットワーク上でヘッドエンドデバイス１４を見つけることができない場合（「いいえ」２１４）、モバイルデバイス１８Ａは、ネットワーク上でヘッドエンドデバイス１４を見つけることを試み続けることができ、一方でまた、場合によっては、ヘッドエンドデバイス１４を見つける際にユーザを支援するためのトラブルシューティング情報を提示する（２１２）。しかしながら、協調的サウンドシステムアプリケーション４２がヘッドエンドデバイス１４を見つける場合（「はい」２１４）、協調的サウンドシステムアプリケーション４２は、セッション２２Ａを確立し、セッション２２Ａを介してヘッドエンドデバイス１４に登録することができ（２１６）、スピーカー２０Ａを含み協調的サラウンドサウンドシステム１０に加わることが可能なデバイスとしてヘッドエンドデバイス１４がモバイルデバイス１８Ａを特定することを効果的に可能にする。

[0134]ヘッドエンドデバイス１４に登録した後で、協調的サウンドシステムアプリケーション４２は、データ収集エンジン４６を呼び出すことができ、データ収集エンジン４６は上で説明された方式でモバイルデバイスデータ６０を収集する（２１８）。データ収集エンジン４６は次いで、モバイルデバイスデータ６０をヘッドエンドデバイス１４に送信することができる（２２０）。ヘッドエンドデバイス１４のデータ取り出しエンジン３２は、モバイルデバイスデータ６０を受信し（２２１）、このモバイルデバイスデータ６０がヘッドエンドデバイス１４に対するモバイルデバイス１８Ａの位置を規定する位置データを含むかどうかを判定する（２２２）。ヘッドエンドデバイス１４がモバイルデバイス１８Ａを正確に位置決定することを可能にするには位置データが不十分である場合（３０フィートの精度しかないＧＰＳデータなど）、または、位置データがモバイルデバイスデータ６０の中に存在しない場合（「いいえ」２２２）、データ取り出しエンジン３２は、位置モジュール３８を呼び出すことができ、位置モジュール３８は、協調的サウンドシステムアプリケーション４２によって呼び出されるデータ収集エンジン４６の位置モジュール４８とインターフェースをとり、トーン６１をモバイルデバイス１８Ａの位置モジュール４８に送信する（２２４）。モバイルデバイス１８Ａの位置モジュール４８は次いで、このトーン６１をオーディオ再生モジュール４４に渡し、オーディオ再生モジュール４４は、スピーカー２０Ａとインターフェースをとってトーン６１を再生する（２２６）。

[0135]一方、ヘッドエンドデバイス１４の位置モジュール３８は、トーン６１を送信した後で、マイクロフォンとインターフェースをとり、スピーカー２０Ａによるトーン６１の再生を検出することができる（２２８）。ヘッドエンドデバイス１４の位置モジュール３８は次いで、トーン６１の検出された再生に基づいて、モバイルデバイス１８Ａの位置を決定することができる（２３０）。トーン６１を使用してモバイルデバイス１８Ａの位置を決定した後で、ヘッドエンドデバイス１８のデータ取り出しモジュール３２は、決定された位置を含めるようにモバイルデバイスデータ６０を更新することができ、これによって、更新されたモバイルデバイスデータ６４を生成する（２３１）。

[0136]ヘッドエンドデバイス１４は次いで、上で説明された方式でモバイルデバイス１８の１つまたは複数を再配置するかどうかを判定することができる（図８Ｂ、２３２）。ヘッドエンドデバイス１４が、一例としてモバイルデバイス１８Ａを再配置することを決定する場合（「はい」２３２）、ヘッドエンドデバイス１４は、画像生成モジュール１６０を呼び出して、モバイルデバイス１８Ａのディスプレイデバイス１６４に対する第１の画像１７０Ａを生成し（２３４）、ヘッドエンドシステム１４に結合されるソースオーディオデバイス１２のディスプレイデバイス１６６に対する第２の画像１７２Ａを生成することができる（２３６）。画像生成モジュール１６０は次いで、モバイルデバイス１８Ａのディスプレイデバイス１６４とインターフェースをとり第１の画像１７０Ａを表示することができ（２３８）、同時にまた、ヘッドエンドシステム１４に結合されるオーディオソースデバイス１２のディスプレイデバイス１６６とインターフェースをとり第２の画像１７２Ａを表示する（２４０）。ヘッドエンドデバイス１４の位置モジュール３８は、モバイルデバイス１８Ａの更新された現在の位置を決定することができ（２４２）、ここで、位置モジュール３８は、モバイルデバイス１８Ａがモバイルデバイス１８Ａによって支援されるべき仮想スピーカーの意図される位置（図７Ａ〜図７Ｃの例に示されるＳＬ仮想スピーカーのような）および更新された現在の位置に基づいて、モバイルデバイス１８Ａが適切に配置されているかどうかを判定することができる（２４４）。

[0137]適切に配置されていない場合（「いいえ」２４４）、ヘッドエンドデバイス１４は、モバイルデバイス１８Ａによって支援されるべき仮想スピーカーの意図される位置に対するモバイルデバイス１８Ａの現在の位置を反映する、それぞれのディスプレイ１６４と１６６とを介した表示のための画像（画像１７０Ｂおよび１７２Ｂのような）を、上で説明された方式で生成し続けることができる（２３４〜２４４）。適切に配置されているとき（「はい」２４４）、ヘッドエンドデバイス１４は、協調的サラウンドサウンドシステム１０の仮想サラウンドサウンドスピーカーの対応する１つを支援するためにモバイルデバイス１８Ａが加わるであろうという、確認を受信することができる。

[0138]図８Ｂに戻って参照すると、モバイルデバイス１８の１つまたは複数を再配置した後で、位置データがモバイルデバイスデータ６０の中に存在すると（または、ヘッドエンドデバイス１４がヘッドエンドデバイス１４に対してモバイルデバイス１８を位置決定することを可能にするのに十分正確であると）データ取り出しモジュール３２が判定する場合、または、決定された位置を含めるように更新されたモバイルデバイスデータ６４を生成した後で、データ取り出しモジュール３２は、ヘッドエンドデバイス１４に登録されたモバイルデバイス１８の各々からモバイルデバイスデータ６０を取り出すのを終了したかどうかを判定することができる（２４６）。ヘッドエンドデバイス１４のデータ取り出しモジュール３２がモバイルデバイス１８の各々からモバイルデバイスデータ６０を取り出すのを終了していない場合（「いいえ」２４６）、データ取り出しモジュール３２は、上で説明された方式で（２２１〜２４６）、モバイルデバイスデータ６０を取り出すことと、更新されたモバイルデバイスデータ６４を生成することとを続ける。しかしながら、データ取り出しモジュール３２が、モバイルデバイスデータ６０を収集することと更新されたモバイルデバイスデータ６４を生成することとを終了したと判定する場合（「はい」２４６）、データ取り出しモジュール３２は、更新されたモバイルデバイスデータ６４をオーディオレンダリングエンジン３６に渡す。

[0139]オーディオレンダリングエンジン３６は、この更新されたモバイルデバイスデータ６４を受信したことに応答して、ソースオーディオデータ３７を取り出すことができる（２４８）。オーディオレンダリングエンジン３６は次いで、ソースオーディオデータ３７をレンダリングするとき、上で説明された方式で、モバイルデバイスデータ６４に基づいてソースオーディオデータ３７からオーディオ信号６６をレンダリングすることができる（２５０）。いくつかの例では、オーディオレンダリングエンジン３６はまず、マルチチャンネルソースオーディオデータ３７の再生に適合するためにスピーカーが配置されるべきである領域を表す、スピーカー領域を決定することができる。たとえば、５．１チャンネルのソースオーディオデータは、フロントレフトチャンネルと、センターチャンネルと、フロントライトチャンネルと、サラウンドレフトチャンネルと、サラウンドライトチャンネルと、サブウーファーチャンネルとを含む。サブウーファーチャンネルは、低い周波数が通常はヘッドエンドデバイスに対するサブウーファーの位置とは無関係に十分な効果を与えることを考慮すると、指向的ではなく、または考慮に値しない。しかしながら、他の５つのチャンネルは、没入感のあるオーディオ再生のための最良のサウンドステージを提供するために、適切に配置される必要があり得る。オーディオレンダリングエンジン３６は、いくつかの例では、位置モジュール３８とインターフェースをとって部屋の境界を導き出すことができ、これによって、位置モジュール３８は、壁、人々、家具などの位置を特定するために、スピーカー１６および／またはスピーカー２０の１つまたは複数にトーンまたは音を放出させ得る。この部屋または物体の位置情報に基づいて、オーディオレンダリングエンジン３６は、フロントレフトスピーカー、センタースピーカー、フロントライトスピーカー、サラウンドレフトスピーカー、およびサラウンドライトスピーカーの各々に対するスピーカー領域を決定することができる。

[0140]これらのスピーカー領域に基づいて、オーディオレンダリングエンジン３６は、協調的サラウンドサウンドシステム１０の仮想スピーカーの位置を決定することができる。すなわち、オーディオレンダリングエンジン３６は、部屋または物体の位置情報に対して最適または準最適な位置にあることが多いスピーカー領域の各々の中に仮想スピーカーを配置することができる。オーディオレンダリングエンジン３６は次いで、モバイルデバイスデータ１８に基づいて、モバイルデバイス１８を各仮想スピーカーに割り当てることができる。

[0141]たとえば、オーディオレンダリングエンジン３６はまず、更新されたモバイルデバイスデータ６０において規定されるモバイルデバイス１８の各々の位置を考慮することができ、それらのデバイスを、モバイルデバイス１８の決定された位置に最も近い仮想位置を有する仮想スピーカーに割り当てる。オーディオレンダリングエンジン３６は、モバイルデバイス１８の２つ以上を仮想スピーカーに割り当てるべきかどうかを、現在割り当てられているモバイルデバイス１８が仮想スピーカーの位置にどの程度近いかに基づいて、判定することができる。その上、オーディオレンダリングエンジン３６は、２つ以上のモバイルデバイス１８の１つと関連付けられる精緻化された電力データ６２がソースオーディオデータ３７の全体を再生するのには不十分であるとき、モバイルデバイス１８の２つ以上を同じ仮想スピーカーに割り当てると決定することができる。オーディオレンダリングエンジン３６はまた、スピーカー特性を含むモバイルデバイスデータ６０の他の態様に基づいて、これらのモバイルデバイス１８を割り当てることができる。

[0142]いずれにしても、オーディオレンダリングエンジン３６は次いで、上でより詳細に説明されたように、ソースオーディオデータ３７からオーディオ信号６６をレンダリングするように前処理関数をインスタンス化し、または別様に定義することができる。このようにして、オーディオレンダリングエンジン３６は、仮想スピーカーの位置およびモバイルデバイスデータ６０に基づいて、ソースオーディオデータ３７をレンダリングすることができる。上で述べられたように、オーディオレンダリングエンジン３６は、このオーディオデータを処理するとき、モバイルデバイス１８の各々からのモバイルデバイスデータ６０を総体または全体として考え、それでも、別々のオーディオ信号６６またはその一部をモバイルデバイス１８の各々に送信することができる。したがって、オーディオレンダリングエンジン３６は、レンダリングされたオーディオ信号６６をモバイルデバイス１８に送信する（２５２）。

[0143]このレンダリングされたオーディオ信号６６を受信したことに応答して、協調的サウンドシステムアプリケーション４２は、オーディオ再生モジュール４４とインターフェースをとり、オーディオ再生モジュール４４は次いで、スピーカー２０Ａとインターフェースをとってレンダリングされたオーディオ信号６６を再生する（２５４）。上で述べられたように、協調的サウンドシステムアプリケーション４２は、データ収集エンジン４６を定期的に呼び出して、モバイルデバイスデータ６０のいずれかが変化したか、または更新されたかどうかを判定することができる（２５６）。モバイルデバイスデータ６０が変化していない場合（「いいえ」２５６）、モバイルデバイス１８Ａは、レンダリングされたオーディオ信号６６を再生し続ける（２５４）。しかしながら、モバイルデバイスデータ６０が変化した、または更新されている場合（「はい」２５６）、データ収集エンジン４６は、この変更されたモバイルデバイスデータ６０をヘッドエンドデバイス１４のデータ取り出しエンジン３２に送信することができる（２５８）。

[0144]データ取り出しエンジン３２は、この変更されたモバイルデバイスデータをオーディオレンダリングエンジン３６に渡すことができ、オーディオレンダリングエンジン３６は、変更されたモバイルデバイスデータ６０に基づいて、仮想スピーカーの構築を介して、モバイルデバイス１８Ａが割り当てられているチャンネルを処理するための前処理関数を修正することができる。上でより詳細に説明されたように、一般的に更新されるまたは変更されるモバイルデバイスデータ６０は、電力消費の変化により、または、オーディオ再生を中断させる音声呼のような別のタスクのためにモバイルデバイス１８Ａが前から使用されていたことが原因で、変化する。このようにして、オーディオレンダリングエンジン３６は、更新されたモバイルデバイスデータ６４に基づいて、ソースオーディオデータ３７からオーディオ信号６６をレンダリングすることができる（２６０）。

[0145]いくつかの例では、データ取り出しエンジン３２は、データ取り出しモジュール３２の位置モジュール３８がモバイルデバイス１８Ａの位置の変化を検出し得るという意味で、モバイルデバイスデータ６０が変化したと判定することができる。言い換えると、データ取り出しモジュール３２は、位置モジュール３８を定期的に呼び出して、モバイルデバイス１８の現在の位置を決定することができる（または代替的に、位置モジュール３８はモバイルデバイス１８の位置を継続的に監視することができる）。位置モジュール３８は次いで、モバイルデバイス１８の１つまたは複数が移動されたかどうかを判定することができ、これによって、オーディオレンダリングエンジン３６が、モバイルデバイス１８の位置の進行中の変化（たとえば、ユーザがテキストメッセージを見るためにモバイルデバイスを手に取り、次いでモバイルデバイスを異なる位置に置く場合に起こり得るような）に適合するように前処理関数を動的に修正することを可能にする。したがって、本技法は、モバイルデバイス１８が再生の間に移動または再配置され得るとしても、再生全体の間、最適な位置の少なくとも近くに仮想スピーカーがとどまることを場合によっては確実にするために、動的な場面において適用され得る。

[0146]図９Ａ〜図９Ｃは、本開示で説明される技法に従って形成される協調的サラウンドサウンドシステム２７０Ａ〜２７０Ｃの様々な構成を示すブロック図である。図９Ａは、協調的サラウンドサウンドシステム２７０Ａの第１の構成を示すブロック図である。図９Ａの例で示されるように、協調的サラウンドサウンドシステム２７０Ａは、ソースオーディオデバイス２７２と、ヘッドエンドデバイス２７４と、フロントレフトスピーカー２７６Ａ、フロントライトスピーカー２７６Ｂ（「スピーカー２７６」）と、スピーカー２８０Ａを含むモバイルデバイス２７８Ａとを含む。デバイスおよび／またはスピーカー２７２〜２７８の各々は、図１、図２、図３Ａ〜図３Ｃ、図５、図８Ａ〜図８Ｃの例に関して上で説明された、デバイスおよび／またはスピーカー１２〜１８の対応する１つと同様であり、または実質的に同様であり得る。

[0147]ヘッドエンドデバイス２７４のオーディオレンダリングエンジン３６は、したがって、精緻化された電力データ６２を含む更新されたモバイルデバイスデータ６４を、上で説明された方式で受信することができる。オーディオレンダリングエンジン３６は、上でより詳細に説明された技法の拘束ベクトルに基づく動的振幅パンニングの態様を使用して、オーディオ分配を効果的に実行することができる。この理由で、オーディオレンダリングエンジン３６は、オーディオ分配エンジンと呼ばれ得る。オーディオレンダリングエンジン３６は、精緻化された電力データ６２を含む、更新されたモバイルデバイスデータ６４に基づいて、この拘束ベクトルに基づく動的振幅パンニングを実行することができる。

[0148]図９Ａの例では、単一のモバイルデバイス２７８Ａのみが、協調的サラウンドサウンドシステム２７０Ａの１つまたは複数の仮想スピーカーの支援に加わっていると仮定される。この例では、協調的サラウンドサウンドシステム２７０Ａに加わっている、モバイルデバイス２７８Ａの２つのスピーカー２７６およびスピーカー２８０Ａのみが存在し、これは通常、５．１サラウンドサウンドフォーマットをレンダリングするには十分ではないが、ドルビーサラウンドサウンドフォーマットのような、他のサラウンドサウンドフォーマットに対しては十分であり得る。この例では、モバイルデバイス２７８Ａの残りの電力が３０％しかないことを精緻化された電力データ６２が示すと仮定される。

[0149]協調的サラウンドサウンドシステム２７０Ａの仮想スピーカーを支援してスピーカーに対するオーディオ信号をレンダリングする際、ヘッドエンドデバイス２７４はまず、モバイルデバイス２７８Ａによって再生されるべきソースオーディオデータ３７の期間に関連して、この精緻化された電力データ６２を考慮することができる。例示すると、ヘッドエンドデバイス２７４は、ソースオーディオデータ３７の割り当てられた１つまたは複数のチャンネルを最大音量で再生するとき、精緻化された電力データ６２によって特定される３０％の電力レベルが、約３０分のソースオーディオデータ３７をモバイルデバイス２７８Ａが再生することを可能にすると判定することができ、ここでこの３０分は、予想される電力期間と呼ばれ得る。ヘッドエンドデバイス２７４は次いで、ソースオーディオデータ３７が５０分というソースオーディオ期間を有すると判定することができる。このソースオーディオ期間を予想される電力期間と比較して、ヘッドエンドデバイス２７４のオーディオレンダリングエンジン３６は、拘束ベクトルに基づく動的振幅パンニングを使用してソースオーディオデータ３７をレンダリングして、モバイルデバイス２７８Ａによる再生のためのオーディオ信号を生成することができ、このことは、ソースオーディオ期間を超え得るように、予想される電力期間を伸ばす。一例として、オーディオレンダリングエンジン３６は、６ｄＢだけ音量を下げることによって、予想される電力期間が約６０分に伸びると判定することができる。結果として、オーディオレンダリングエンジン３６は、音量に関して６ｄＢ低くなるように調整された、モバイルデバイス２７８Ａに対するオーディオ信号６６をレンダリングするように、前処理関数を定義することができる。

[0150]オーディオレンダリングエンジン３６は、モバイルデバイス２７８Ａの予想される電力期間を定期的または継続的に監視することができ、モバイルデバイス２７８Ａがソースオーディオデータ３７の全体を再生できる状態となることを可能にするように、前処理関数を更新または再定義する。いくつかの例では、モバイルデバイス２７８Ａのユーザは、電力レベルに関する上限または他の尺度を規定する、選好を定義することができる。すなわち、ユーザは、モバイルデバイス２７８Ａとインターフェースをとり、一例として、ソースオーディオデータ３７の再生が完了した後で、モバイルデバイス２７８Ａに少なくとも特定の量の、たとえば５０％の電力が残っていることを要求することができる。ユーザは、ソースオーディオデータ３７の再生の後で、モバイルデバイス２７８Ａを充電する必要なく、モバイルデバイス２７８Ａが他の目的（たとえば、緊急の目的、通話、電子メール、テキストメッセージング、ＧＰＳを使用した位置案内など）で利用され得るように、そのような電力の選好を設定することを望み得る。

[0151]図９Ｂは、各々がスピーカー（それぞれ、スピーカー２８０Ａおよび２８０Ｂ）を含む２つのモバイルデバイス２７８Ａ、２７８Ｂを、協調的サラウンドサウンドシステム２７０Ｂが含むことを除き、図９Ａの例に示される協調的サラウンドサウンドシステム２７０Ａと実質的に同様の協調的サラウンドサウンドシステム２７０Ｂの別の構成を示すブロック図である。図９Ｂの例では、ヘッドエンドデバイス２７４のオーディオレンダリングエンジン３６は、モバイルデバイス２７８Ａには２０％のバッテリー電力しか残っていないがモバイルデバイス２７８Ｂには１００％のバッテリー電力が残っていることを示す、精緻化された電力データ６２を受信したと仮定される。上で説明されたように、オーディオレンダリングエンジン３６は、モバイルデバイス２７８Ａの予想される電力期間を、ソースオーディオデータ３７に対して決定されたソースオーディオ期間と比較することができる。

[0152]予想される電力期間がソースオーディオ期間より短い場合、オーディオレンダリングエンジン３６は次いで、モバイルデバイス２７８Ａがレンダリングされたオーディオ信号６６の全体を再生することを可能にする方式で、ソースオーディオデータ３７からオーディオ信号６６をレンダリングすることができる。図９Ｂの例では、オーディオレンダリングエンジン３６は、ソースオーディオデータ３７のサラウンドサウンドレフトチャンネルの１つまたは複数の態様をソースオーディオデータ３７のレンダリングされたフロントレフトチャンネルとクロスミックスするように、このサラウンドサウンドレフトチャンネルをレンダリングすることができる。いくつかの例では、オーディオレンダリングエンジン３６は、サラウンドサウンドレフトチャンネルのより低い周波数のいくつかの部分をフロントレフトチャンネルとクロスミックスする前処理関数を定義することができ、このことは、モバイルデバイス２７８Ａが高周波成分に対するツイーターとして動作することを効果的に可能にし得る。いくつかの例では、オーディオレンダリングエンジン３６は、図９Ａの例に関して上で説明された方式で、このサラウンドサウンドレフトチャンネルとフロントレフトチャンネルをクロスミックスし、音量を下げて、サラウンドサウンドレフトチャンネルに対応するオーディオ信号６６を再生する間のモバイルデバイス２７８Ａによる電力消費をさらに減らすことができる。この点で、オーディオレンダリングエンジン３６は、ソースオーディオデータ３７の１つまたは複数のチャンネルに対応するオーディオ信号６６を再生する間のモバイルデバイス２７８Ａによる電力消費を減らそうとして、同じチャンネルを処理するために１つまたは複数の異なる前処理関数を適用することができる。

[0153]図９Ｃは、各々がスピーカー（それぞれ、スピーカー２８０Ａ〜２８０Ｃ）を含む３つのモバイルデバイス２７８Ａ〜２７８Ｃを、協調的サラウンドサウンドシステム２７０Ｃが含むことを除き、図９Ａの例に示される協調的サラウンドサウンドシステム２７０Ａおよび図９Ｂの例に示される協調的サラウンドサウンドシステム２７０Ｂと実質的に同様の協調的サラウンドサウンドシステム２７０Ｃの別の構成を示すブロック図である。図９Ｃの例では、ヘッドエンドデバイス２７４のオーディオレンダリングエンジン３６は、モバイルデバイス２７８Ａには９０％のバッテリー電力が残っているがモバイルデバイス２７８Ｂには２０％のバッテリー電力が残っておりモバイルデバイス２７８Ｃには１００％のバッテリー電力が残っていることを示す、精緻化された電力データ６２を受信したと仮定される。上で説明されたように、オーディオレンダリングエンジン３６は、モバイルデバイス２７８Ｂの予想される電力期間を、ソースオーディオデータ３７に対して決定されたソースオーディオ期間と比較することができる。

[0154]予想される電力期間がソースオーディオ期間より短い場合、オーディオレンダリングエンジン３６は次いで、モバイルデバイス２７８Ｂがレンダリングされたオーディオ信号６６の全体を再生することを可能にする方式で、ソースオーディオデータ３７からオーディオ信号６６をレンダリングすることができる。図９Ｃの例では、オーディオレンダリングエンジン３６は、ソースオーディオデータ３７のサラウンドサウンドセンターチャンネルの１つまたは複数の態様を（モバイルデバイス２７８Ａと関連付けられる）サラウンドサウンドレフトチャンネルおよび（モバイルデバイス２７８Ｃと関連付けられる）ソースオーディオデータ３７のサラウンドサウンドライトチャンネルとクロスミックスするように、このサラウンドサウンドセンターチャンネルに対応するオーディオ信号６６をレンダリングすることができる。５．１サラウンドサウンドフォーマットのようないくつかのサラウンドサウンドフォーマットでは、このサラウンドサウンドセンターチャンネルは存在しないことがあり、この場合、ヘッドエンドデバイス２７４は、サラウンドサウンドレフト仮想スピーカーとサラウンドサウンドライト仮想スピーカーの一方または両方の支援を助けるものとして、モバイルデバイス２７８Ｂを登録することができる。この場合、ヘッドエンドデバイス２７４のオーディオレンダリングエンジン３６は、上で説明された技法の拘束ベクトルに基づく振幅パンニングの態様に関して上で説明された方式で、モバイルデバイス２７８Ｂに送信されるソースオーディオデータ３７からレンダリングされるオーディオ信号６６の音量を下げながら、モバイルデバイス２７８Ａと２７８Ｃの一方または両方に送信されるレンダリングされたオーディオ信号６６の音量を上げることができる。

[0155]いくつかの例では、オーディオレンダリングエンジン３６は、サラウンドサウンドセンターチャンネルと関連付けられるオーディオ信号６６のより低い周波数のいくつかの部分をサラウンドサウンドレフトチャンネルおよびサラウンドサウンドライトチャンネルに対応するオーディオ信号６６の１つまたは複数とクロスミックスする前処理関数を定義することができ、このことは、モバイルデバイス２７８Ｂが高周波成分に対するツイーターとして動作することを効果的に可能にし得る。いくつかの例では、オーディオレンダリングエンジン３６は、図９Ａ、図９Ｂの例に関して上で説明された方式で、このクロスミックスを実行しながら音量も下げて、サラウンドサウンドセンターチャンネルに対応するオーディオ信号６６を再生する間のモバイルデバイス２７８Ｂによる電力消費をさらに減らしたことができる。やはり、この点で、オーディオレンダリングエンジン３６は、ソースオーディオデータ３７の割り当てられた１つまたは複数のチャンネルを再生する間のモバイルデバイス２７８Ｂによる電力消費を減らそうとして、同じチャンネルをレンダリングするために１つまたは複数の異なる前処理関数を適用することができる。

[0156]図１０は、本開示で説明される技法の様々な電力適合の態様を実装する際の、図９Ａ〜図９Ｃの例に示されるヘッドエンドデバイス２７４のような、ヘッドエンドデバイスの例示的な動作を示すフローチャートである。上でより詳細に説明されたように、ヘッドエンドデバイス２７４のデータ取り出しエンジン３２は、電力消費データを含むモバイルデバイスデータ６０をモバイルデバイス２７８から受信する（２９０）。データ取り出しモジュール３２は、電力処理モジュール３４を呼び出し、電力処理モジュール３４は、電力消費データを処理して精緻化された電力データ６２を生成する（２９２）。電力処理モジュール３４は、この精緻化された電力データ６２をデータ取り出しモジュール３２に返し、データ取り出しモジュール３２は、この精緻化された電力データ６２を含めるようにモバイルデバイスデータ６０を更新し、これによって、更新されたモバイルデバイスデータ６４を生成する。

[0157]オーディオレンダリングエンジン３６は、精緻化された電力データ６２を含む、この更新されたモバイルデバイスデータ６４を受信することができる。オーディオレンダリングエンジン３６は次いで、この精緻化された電力データ６２に基づいて、ソースオーディオデータ３７からレンダリングされたオーディオ信号６６を再生するときの、モバイルデバイス２７８の予想される電力期間を決定することができる（２９３）。オーディオレンダリングエンジン３６はまた、ソースオーディオデータ３７のソースオーディオ期間を決定することができる（２９４）。オーディオレンダリングエンジン３６は次いで、予想される電力期間がモバイルデバイス２７８の任意の１つに対するソースオーディオ期間を超えるかどうかを判定することができる（２９６）。予想される電力期間のすべてがソースオーディオ期間を超える場合（「はい」２９８）、ヘッドエンドデバイス２７４は、モバイルデバイス２７８の他の態様に適合するようにソースオーディオデータ３７からのオーディオ信号６６をレンダリングし、次いで、レンダリングされたオーディオ信号６６を再生のためにモバイルデバイス２７８に送信することができる（３０２）。

[0158]しかしながら、予想される電力期間の少なくとも１つがソースオーディオ期間を超えない場合（「いいえ」２９８）、オーディオレンダリングエンジン３６は、対応する１つまたは複数のモバイルデバイス２７８での電力需要を減らすように、上で説明された方式でソースオーディオデータ３７からオーディオ信号６６をレンダリングすることができる（３００）。ヘッドエンドデバイス２７４は次いで、レンダリングされたオーディオ信号６６をモバイルデバイス１８に送信することができる（３０２）。

[0159]本技法のこれらの態様をより詳細に例示するために、映画を見る例と、そのようなシステムが各デバイスの電力使用量の知識をどのように利用し得るかに関するいくつかの小さな使用事例とを考える。前に言及されたように、モバイルデバイスは、電話、タブレット、固定された家電機器、コンピュータなどの様々な形態をとり得る。中心デバイスはまた、それは、スマートＴＶ、受信機、または、強力な計算能力を有する別のモバイルデバイスであってよい。

[0160]上で説明された技法の電力最適化の態様は、オーディオ信号の分配に関して説明される。それでも、これらの技法は、モバイルデバイスのスクリーンとカメラフラッシュの駆動装置とをメディア再生の拡張として使用することへと拡張され得る。この例では、ヘッドエンドデバイスは、メディアソースから学習し、照明増強の可能性について分析することができる。たとえば、夜の雷雨の場面を伴う映画において、一部の雷鳴は周辺への閃光を伴ってよく、これによって、視覚体験が向上してより没入感のあるものになる可能性がある。教会の中で見ている人の周りにろうそくを伴うシーンのある映画では、拡張されたろうそくの光源が、見ている人の周りのモバイルデバイスのスクリーンにレンダリングされ得る。この視覚的分野において、協調的システムのための電力分析および管理は、上で説明されたオーディオの状況と同様であり得る。

[0161]図１１〜図１３は、様々な次数または副次数の球面調和ベースの関数を示す図である。これらの基本関数は係数と関連付けられてよく、これらの係数は、離散コサイン変換（ＤＣＴ）の係数が信号を表すために使用され得る方法と同様の方式で、２次元または３次元の音場を表すために使用され得る。本開示で説明される技法は、球面調和係数、または音場を表すために利用され得る任意の他のタイプの階層的要素に関して、実行され得る。以下では、音場を表すために使用され高次アンビソニックスオーディオデータを形成する、球面調和係数の展開を説明する。

[0162]音場の展開は、今日の娯楽のための多くの出力フォーマットを利用可能にしてきた。そのようなサラウンドサウンドフォーマットの例は、一般的な５．１フォーマット（これは、フロントレフト（ＦＬ）と、フロントライト（ＦＲ）と、センターまたはフロントセンターと、バックレフトまたはサラウンドレフトと、バックライトまたはサラウンドライトと、低周波効果（ＬＦＥ）という、６つのチャンネルを含む）、発展中の７．１フォーマット、および今後来る２２．２フォーマット（たとえば、超高精細テレビ規格で使用するための）を含む。空間オーディオフォーマットの別の例は、球面調和係数（高次アンビソニックスとしても知られている）である。

[0163]将来標準化されるオーディオエンコーダ（ＰＣＭオーディオ表現をビットストリームに変換するデバイス−時間サンプル当たりに必要とされるビットの数を保存する）への入力は、任意選択で、（ｉ）事前に規定された位置にあるラウドスピーカーを通じて再生されることが意図される、従来のチャンネルに基づくオーディオ、（ｉｉ）（情報の中でもとりわけ）位置座標を含む関連付けられるメタデータを伴う単一のオーディオオブジェクトに対する離散的なパルス符号変調（ＰＣＭ）データを伴う、オブジェクトに基づくオーディオ、および（ｉｉｉ）球面調和係数（ＳＨＣ）を使用して音場を表すことを伴う、シーンに基づくオーディオという、３つの可能なフォーマットの１つであってよく、上記の球面調和係数は、球面調和ベースの関数の線形加算の「重み」を表す。この文脈では、ＳＨＣは、高次アンビソニックス信号としても知られている。

[0164]市場には様々な「サラウンドサウンド」フォーマットがある。それらは、たとえば、５．１ホームシアターシステム（これは、ステレオを超えたリビングルームへと進出という点で成功している）から、ＮＨＫ（日本放送協会（Ｎｉｐｐｏｎ Ｈｏｓｏ Ｋｙｏｋａｉ）または日本放送協会（Ｊａｐａｎ Ｂｒｏａｄｃａｓｔｉｎｇ Ｃｏｒｐｏｒａｔｉｏｎ））によって開発された２２．２システムにまでわたる。コンテンツ作成者（たとえば、ハリウッドスタジオ）は、一度に映画のサウンドトラックを作成することを望み、各々のスピーカー構成のためにサウンドトラックをリミックスする努力を行うことを望まない。最近では、標準化委員会が、標準化されたビットストリームへの符号化と、スピーカーの幾何学的配置およびレンダラの位置における音響条件に適合可能でありそれらに依存しない後続の復号とを提供するための方法を考えている。

[0165]コンテンツ作成者に対するそのような柔軟性を提供するために、階層的な要素のセットが音場を表すために使用され得る。階層的な要素のセットは、モデル化された音場の完全な表現をより低次の要素の基本セットが提供するように要素が順序付けられる、要素のセットを指し得る。このセットはより高次の要素を含むように拡張されるので、表現はより詳細なものになる。

[0166]階層的な要素のセットの一例は、球面調和係数（ＳＨＣ）のセットである。次の式は、ＳＨＣを使用した音場の記述または表現を示す。

この式は、任意の点｛ｒ_r，θ_r，φ_r｝（これは、この例において音場を取り込むマイクロフォンに対する球面座標で表される）における音場の圧力ｐ₁がＳＨＣ

によって一意に表され得ることを示す。ここで、

であり、ｃは音速（〜３４３ｍ／ｓ）であり、｛ｒ_r，θ_r，φ_r｝は基準の点（または観測点）であり、

はｎ次の球ベッセル関数であり、

は次数ｎかつ副次数ｍの球面調和ベースの関数である。角括弧の中の項は、離散フーリエ変換（ＤＦＴ）、離散コサイン変換（ＤＣＴ）、またはウェーブレット変換のような様々な時間−周波数変換によって近似され得る、信号の周波数領域の表現（すなわち、Ｓ（ω，ｒ_r，θ_r，φ_r））であることが認識され得る。階層的なセットの他の例は、ウェーブレット変換の係数のセットと、多分解能ベースの関数の係数の他のセットとを含む。

[0167]図１１は、０次の球面調和ベースの関数４１０と、１次の球面調和ベースの関数４１２Ａ〜４１２Ｃと、２次の球面調和ベースの関数４１４Ａ〜４１４Ｅとを示す図である。次数は、行４１６Ａ〜４１６Ｃとして示される、表の行によって特定され、行４１６Ａは０次を指し、行４１６Ｂは１次を指し、行４１６Ｃは２次を指す。副次数は、列４１８Ａ〜４１８Ｅとして示される表の列によって特定され、列４１８Ａは０次の副次数を指し、列４１８Ｂは１次の副次数を指し、列４１８Ｃは−１次の副次数を指し、列４１８Ｄは２次の副次数を指し、列４１８Ｅは−２次の副次数を指す。０次の球面調和ベースの関数４１０に対応するＳＨＣは、音場のエネルギーを規定するものと考えられ得るが、残りのより高次の球面調和ベースの関数（たとえば、球面調和ベースの関数４１２Ａ〜４１２Ｃおよび４１４Ａ〜４１４Ｅ）に対応するＳＨＣは、そのエネルギーの方向を規定し得る。

[0168]図２は、０次（ｎ＝０）から４次（ｎ＝４）までの球面調和ベースの関数を示す図である。見られ得るように、各次数に対して、示されてはいるが図示を簡単にするために図２の例では明示的に述べられていない副次数ｍという拡張がある。

[0169]図３は、０次（ｎ＝０）から４次（ｎ＝４）までの球面調和ベースの関数を示す別の図である。図３では、球面調和ベースの関数は、示される次数と副次数の両方を伴う３次元座標空間において示される。

[0170]いずれにしても、ＳＨＣ

は、様々なマイクロフォンアレイ構成によって物理的に取得（たとえば、記録）されることが可能であり、または代替的に、音場のチャンネルベースの記述またはオブジェクトベースの記述から導出されることが可能である。ＳＨＣは、シーンに基づくオーディオを表す。たとえば、４次のＳＨＣの表現は、時間サンプルごとに（１＋４）²＝２５個の係数を伴う。

[0171]これらのＳＨＣがどのようにオブジェクトベースの記述から導出され得るかを例示するために、次の式を考える。個々のオーディオオブジェクトに対応する音場に対する係数

は、

のように表現されることが可能であり、ここでｉは

であり、

はｎ次の（第２の種類の）球ハンケル関数であり、｛ｒ_s，θ_s、φ_s｝はオブジェクトの位置である。周波数の関数として（たとえば、ＰＣＭストリームに対して高速フーリエ変換を実行するなど、時間−周波数分析技法を使用して）ソースエネルギーｇ（ω）を知ることで、各ＰＣＭオブジェクトとその位置とをＳＨＣ

に変換することが可能になる。さらに、各オブジェクトに対する

係数は付加的であることが（上式は線形であり直交方向の分解であるので）示され得る。このようにして、多数のＰＣＭオブジェクトが

係数によって（たとえば、個々のオブジェクトに対する係数ベクトルの和として）表され得る。基本的に、これらの係数は、音場についての情報（３Ｄ座標の関数としての圧力）を含み、上式は、観測点｛ｒ_r，θ_r，φ_r｝の近傍における、音場全体の表現への個々のオブジェクトからの変換を表す。

[0172]ＳＨＣはまた、マイクロフォンアレイの記録から次のように導出され得る。

ただし、

は

（ＳＨＣ）の時間領域の等価物であり、＊は畳み込み演算を表し、＜，＞は内積を表し、ｂ_n（ｒ_i，ｔ）はｒ_iに依存する時間領域のフィルタ関数を表し、ｍ_i（ｔ）はｉ番目のマイクロフォンの信号であり、ｉ番目のマイクロフォントランスデューサは、半径ｒ_i、仰角θ_i、および方位角φ_iに位置する。したがって、マイクロフォンアレイの中に３２個のトランスデューサがあり、各マイクロフォンが、ｒ_i＝ａが定数となるように球面上に配置される（ｍｈＡｃｏｕｓｔｉｃｓのＥｉｇｅｎｍｉｋｅ ＥＭ３２デバイス上のマイクロフォンのように）場合、２５個のＳＨＣが、行列演算を使用して次のように導出され得る。

［１］上式の行列は、より一般的にはＥｓ（θ，φ）と呼ばれることがあり、下付き文字ｓは、その行列があるトランスデューサの幾何学的配置のセットｓのためのものであることを示し得る。上の式の畳み込み（＊によって示される）は、行対行ベースであるので、たとえば、出力

は、Ｅｓ（θ，φ）行列の第１の行とマイクロフォン信号の列（これは時間の関数として変化し、ベクトル乗算の結果が時系列であるという事実の原因である）とのベクトル乗算から得られる時系列と、ｂ₀（ａ，ｔ）との畳み込みの結果である。

[0173]本開示で説明される技法は、これらの球面調和係数に関して実施され得る。例示すると、図２の例に示されるヘッドエンドデバイス１４のオーディオレンダリングエンジン３６は、これらのＳＨＣを規定し得るソースオーディオデータ３７からオーディオ信号６６をレンダリングすることができる。オーディオレンダリングエンジン３６は、ＳＨＣがオブジェクトベースのオーディオデータまたはチャンネルベースのオーディオデータよりも完全に、かつ／または正確に音場を記述し得る場合に、再生のときにより完全に、かつ／または正確に音場を再現できる様々なオーディオ信号６６をレンダリングするように音場を再現するように、様々な変換を実施することができ、この音場がスピーカー１６および／またはスピーカー２０の位置の原因となる可能性がある。その上、音場がＳＨＣを使用してより正確に、かつより完全に表されることが多いとすると、オーディオレンダリングエンジン３６は、スピーカー１６および２０の大半のあらゆる位置に合わされたオーディオ信号６６を生成することができる。ＳＨＣは、大半の任意の標準的なサラウンドサウンドフォーマットまたはマルチチャンネルオーディオフォーマット（上で言及された５．１、７．１、および２２．２サラウンドサウンドフォーマットを含む）に存在する、スピーカーの位置に対する制約を効果的になくすことができる。

[0174]例に応じて、本明細書で説明された方法のうちのいずれかのいくつかの動作またはイベントは、異なる順序で実行されてよく、互いに付加、統合、または除外されてよい（たとえば、すべての説明された動作またはイベントが、方法の実施のために必要であるとは限らない）ことを理解されたい。その上、いくつかの例では、動作またはイベントは、連続的にではなく、たとえば、マルチスレッド処理、割込み処理、または複数のプロセッサを通じて、同時に実行され得る。さらに、本開示のいくつかの態様は、明快にするために単一のモジュールまたはユニットによって実行されるものとして説明されるが、本開示の技法はビデオコーダと関連付けられるユニットまたはモジュールの組合せによって実行され得ることを理解されたい。

[0175]１つまたは複数の例では、説明された機能は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組合せで実装され得る。ソフトウェアで実装される場合、機能は、１つまたは複数の命令またはコードとしてコンピュータ可読媒体上に記憶されるか、あるいはコンピュータ可読媒体を介して送信され、ハードウェアベースの処理ユニットによって実行され得る。コンピュータ可読媒体は、たとえば、通信プロトコルに従って、ある場所から別の場所へのコンピュータプログラムの転送を支援する任意の媒体を含む、データ記憶媒体または通信媒体などの有形媒体に対応するコンピュータ可読記憶媒体を含み得る。

[0176]このようにして、コンピュータ可読媒体は、一般に、（１）非一時的である有形コンピュータ可読記憶媒体、あるいは（２）信号または搬送波などの通信媒体に対応し得る。データ記憶媒体は、本開示で説明された技法の実装のための命令、コードおよび／またはデータ構造を取り出すために、１つまたは複数のコンピュータあるいは１つまたは複数のプロセッサによってアクセスされ得る任意の利用可能な媒体であり得る。コンピュータプログラム製品はコンピュータ可読媒体を含み得る。

[0177]限定ではなく例として、そのようなコンピュータ可読記憶媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ（登録商標）、ＣＤ−ＲＯＭまたは他の光ディスクストレージ、磁気ディスクストレージ、または他の磁気ストレージデバイス、フラッシュメモリ、あるいは、命令またはデータ構造の形態の所望のプログラムコードを記憶するために使用されコンピュータによってアクセスされ得る、任意の他の媒体を備え得る。また、いかなる接続もコンピュータ可読媒体と適切に呼ばれる。たとえば、命令が、同軸ケーブル、光ファイバーケーブル、ツイストペア、デジタル加入者回線（ＤＳＬ）、または赤外線、無線、およびマイクロ波などのワイヤレス技術を使用して、ウェブサイト、サーバ、または他のリモートソースから送信される場合、同軸ケーブル、光ファイバーケーブル、ツイストペア、ＤＳＬ、または赤外線、無線、およびマイクロ波などのワイヤレス技術は、媒体の定義に含まれる。

[0178]しかしながら、コンピュータ可読記憶媒体およびデータ記憶媒体は、接続、搬送波、信号、または他の一時的媒体を含まないが、代わりに非一時的有形記憶媒体を対象とすることを理解されたい。本明細書で使用されるディスク（disk）およびディスク（disc）は、コンパクトディスク（disc）（ＣＤ）、レーザーディスク（登録商標）（disc）、光ディスク（disc）、デジタル多用途ディスク（disc）（ＤＶＤ）、フロッピー（登録商標）ディスク（disk）およびブルーレイ（登録商標）ディスク（disc）を含み、ディスク（disk）は、通常、データを磁気的に再生し、ディスク（disc）は、データをレーザーで光学的に再生する。上記の組合せもコンピュータ可読媒体の範囲内に含まれるべきである。

[0179]命令は、１つもしくは複数のデジタル信号プロセッサ（ＤＳＰ）などの１つもしくは複数のプロセッサ、汎用マイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブル論理アレイ（ＦＰＧＡ）、または他の等価な集積回路もしくはディスクリート論理回路によって実行され得る。したがって、本明細書で使用される「プロセッサ」という用語は、前述の構造、または本明細書で説明された技法の実施に適した任意の他の構造のいずれかを指し得る。さらに、いくつかの態様では、本明細書で説明された機能は、符号化および復号のために構成された専用のハードウェアおよび／もしくはソフトウェアモジュール内で提供され、または複合コーデックに組み込まれ得る。また、本技法は、１つまたは複数の回路または論理要素中で完全に実装され得る。

[0180]本開示の技法は、ワイヤレスハンドセット、集積回路（ＩＣ）、またはＩＣのセット（たとえば、チップセット）を含む、多種多様なデバイスまたは装置において実装され得る。本開示では、開示される技法を実行するように構成されたデバイスの機能的態様を強調するために、様々なコンポーネント、モジュール、またはユニットが説明されたが、それらのコンポーネント、モジュール、またはユニットは、必ずしも異なるハードウェアユニットによる実現を必要としない。むしろ、上で説明されたように、様々なユニットが、好適なソフトウェアおよび／またはファームウェアとともに、上記の１つまたは複数のプロセッサを含めて、コーデックハードウェアユニットにおいて組み合わせられるか、または相互動作ハードウェアユニットの集合によって与えられ得る。

[0181]本技法の様々な実施形態が説明された。これらおよび他の実施形態は、以下の特許請求の範囲内に入る。
以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
［Ｃ１］ 協調的サラウンドサウンドシステムに加わるモバイルデバイスに対して、前記協調的サラウンドサウンドシステムの仮想スピーカーの規定された位置を特定することと、
前記モバイルデバイスによるオーディオソースからレンダリングされたオーディオ信号の再生に影響を与える制約を決定することと、
前記モバイルデバイスによる前記オーディオ信号の再生の間の前記決定された制約の前記影響を減らすようにオーディオ信号をレンダリングするために、前記決定された制約とともに前記オーディオソースの動的空間レンダリングを実行することとを備える、方法。
［Ｃ２］ 前記制約を決定することが、
前記オーディオソースからレンダリングされた前記オーディオ信号を再生するのに十分な電力を前記モバイルデバイスが有するであろう予想される期間を示す、予想される電力期間を決定することと、
前記オーディオソースからの前記オーディオ信号の再生期間を示すソースオーディオ期間を決定することと、
前記ソースオーディオ期間が前記予想される電力期間を超えるとき、前記予想される電力期間を前記制約として決定することとを備える、Ｃ１に記載の方法。
［Ｃ３］ 前記決定された制約とともに前記オーディオソースの前記動的空間レンダリングを実行することが、前記オーディオ信号を再生するための予想される電力期間が前記ソースオーディオ期間より短いように前記オーディオ信号をレンダリングするために、前記決定された予想される電力期間を前記制約として使用して前記オーディオソースの動的空間レンダリングを実行することを備える、Ｃ２に記載の方法。
［Ｃ４］ 前記制約を決定することが、周波数に依存する制約を決定することを備え、
前記動的空間レンダリングを実行することが、前記モバイルデバイスによって前記オーディオ信号を再生するための予想される電力期間が前記オーディオ信号の再生期間を示すソースオーディオ期間より短いように前記オーディオ信号をレンダリングするために、前記決定された周波数に依存する制約を使用して前記オーディオソースの前記動的空間レンダリングを実行することを備える、Ｃ１に記載の方法。
［Ｃ５］ 前記仮想スピーカーが、前記協調的サラウンドサウンドシステムの複数の仮想スピーカーの１つを備え、
前記モバイルデバイスが、前記複数の仮想スピーカーを支援するように構成される複数のモバイルデバイスの１つを備え、
前記動的空間レンダリングを実行することが、前記複数のモバイルデバイスの少なくとも１つによって前記オーディオ信号を再生するための予想される電力期間が前記オーディオ信号の再生期間を示すソースオーディオ期間より短いように前記オーディオ信号をレンダリングするために、前記複数のモバイルデバイスの前記少なくとも１つによって前記オーディオ信号を再生するための前記予想される電力期間を前記制約として使用して、前記オーディオソースの前記動的空間レンダリングを実行することを備える、Ｃ１に記載の方法。
［Ｃ６］ 前記複数のモバイルデバイスが、第１のモバイルデバイスと、第２のモバイルデバイスと、第３のモバイルデバイスとを備え、
前記予想される電力期間を前記制約として使用して、前記オーディオソースの前記動的空間レンダリングを実行することが、
前記第１のモバイルデバイス、前記第２のモバイルデバイス、および前記第３のモバイルデバイスに対して、それぞれ、以下の式に従って音量利得ｇ1と、ｇ2と、ｇ3とを計算することを備え、

ａ ₁ 、ａ ₂ 、およびａ ₃ が、前記第１のモバイルデバイスに対するスカラー電力係数と、前記第２のモバイルデバイスに対するスカラー電力係数と、前記第３のモバイルデバイスに対するスカラー電力係数とを示し、
ｌ ₁₁ 、ｌ ₁₂ が、ヘッドエンドデバイスに対する前記第１のモバイルデバイスの位置を特定するベクトルを示し、ｌ ₂₁ 、ｌ ₂₂ が、前記ヘッドエンドデバイスに対する前記第２のモバイルデバイスの位置を特定するベクトルを示し、ｌ ₃₁ 、ｌ ₃₂ が、前記ヘッドエンドデバイスに対する前記第３のモバイルデバイスの位置を特定するベクトルを示し、
ｐ ₁ 、ｐ ₂ が、前記第１のモバイルデバイス、前記第２のモバイルデバイス、および前記第３のモバイルデバイスによって支援される前記複数の仮想スピーカーの１つの、ヘッドエンドデバイスに対する前記規定された位置を特定するベクトルを示す、Ｃ５に記載の方法。
［Ｃ７］ 前記決定された制約とともに前記オーディオソースの前記動的空間レンダリングを実行することが、前記モバイルデバイスによる前記オーディオ信号の再生に対する前記決定された制約の前記影響を減らすように前記オーディオ信号をレンダリングするために、前記オーディオソースに対して拘束ベクトルに基づく動的振幅パンニングを実行することを備える、Ｃ１に記載の方法。
［Ｃ８］ 前記協調的サラウンドサウンドシステムの前記仮想スピーカーが、前記モバイルデバイスの位置とは異なる位置に配置されているように見える、Ｃ１に記載の方法。
［Ｃ９］ 前記オーディオソースが、高次アンビソニックスオーディオソースデータと、マルチチャンネルオーディオソースデータと、オブジェクトベースのオーディオソースデータとの１つを備える、Ｃ１に記載の方法。
［Ｃ１０］ 協調的サラウンドサウンドシステムに加わるモバイルデバイスに対して、前記協調的サラウンドサウンドシステムの仮想スピーカーの規定された位置を特定し、前記モバイルデバイスによるオーディオソースからレンダリングされたオーディオ信号の再生に影響を与える制約を決定し、前記モバイルデバイスによる前記オーディオ信号の再生の間の前記決定された制約の前記影響を減らすようにオーディオ信号をレンダリングするために、前記決定された制約とともに前記オーディオソースの動的空間レンダリングを実行するように構成される、１つまたは複数のプロセッサを備える、ヘッドエンドデバイス。
［Ｃ１１］ 前記１つまたは複数のプロセッサがさらに、前記制約を決定するときに、前記オーディオソースからレンダリングされた前記オーディオ信号を再生するのに十分な電力を前記モバイルデバイスが有するであろう予想される期間を示す、予想される電力期間を決定し、前記オーディオソースからの前記オーディオ信号の再生期間を示すソースオーディオ期間を決定し、前記ソースオーディオ期間が前記予想される電力期間を超えるとき、前記予想される電力期間を前記制約として決定することように構成される、Ｃ１０に記載のヘッドエンドデバイス。
［Ｃ１２］ 前記１つまたは複数のプロセッサがさらに、前記決定された制約とともに前記オーディオソースの前記動的空間レンダリングを実行するときに、前記オーディオ信号を再生するための予想される電力期間が前記ソースオーディオ期間より短いように前記オーディオ信号をレンダリングするために、前記決定された予想される電力期間を前記制約として使用して前記オーディオソースの動的空間レンダリングを実行するように構成される、Ｃ１１に記載のヘッドエンドデバイス。
［Ｃ１３］ 前記１つまたは複数のプロセッサがさらに、
前記制約を決定するときに、周波数に依存する制約を決定するように構成され、
前記１つまたは複数のプロセッサがさらに、前記動的空間レンダリングを実行するときに、前記モバイルデバイスによって前記オーディオ信号を再生するための予想される電力期間が前記オーディオ信号の再生期間を示すソースオーディオ期間より短いように前記オーディオ信号をレンダリングするために、前記決定された周波数に依存する制約を使用して前記オーディオソースの前記動的空間レンダリングを実行するように構成される、Ｃ１０に記載のヘッドエンドデバイス。
［Ｃ１４］ 前記仮想スピーカーが、前記協調的サラウンドサウンドシステムの複数の仮想スピーカーの１つを備え、
前記モバイルデバイスが、前記複数の仮想スピーカーを支援するように構成される複数のモバイルデバイスの１つを備え、
前記１つまたは複数のプロセッサがさらに、前記動的空間レンダリングを実行するときに、前記複数のモバイルデバイスの少なくとも１つによって前記オーディオ信号を再生するための予想される電力期間が前記オーディオ信号の再生期間を示すソースオーディオ期間より短いように前記オーディオ信号をレンダリングするために、前記複数のモバイルデバイスの前記少なくとも１つによって前記オーディオ信号を再生するための前記予想される電力期間を前記制約として使用して、前記オーディオソースの前記動的空間レンダリングを実行するように構成される、Ｃ１０に記載のヘッドエンドデバイス。
［Ｃ１５］ 前記複数のモバイルデバイスが、第１のモバイルデバイスと、第２のモバイルデバイスと、第３のモバイルデバイスとを備え、
前記１つまたは複数のプロセッサがさらに、前記予想される電力期間を前記制約として使用して、前記オーディオソースの前記動的空間レンダリングを実行するときに、前記第１のモバイルデバイス、前記第２のモバイルデバイス、および前記第３のモバイルデバイスに対して、それぞれ、以下の式に従って音量利得ｇ ₁ と、ｇ ₂ と、ｇ ₃ とを計算するように構成され、

ａ ₁ 、ａ ₂ 、およびａ ₃ が、前記第１のモバイルデバイスに対するスカラー電力係数と、前記第２のモバイルデバイスに対するスカラー電力係数と、前記第３のモバイルデバイスに対するスカラー電力係数とを示し、
ｌ ₁₁ 、ｌ ₁₂ が、ヘッドエンドデバイスに対する前記第１のモバイルデバイスの位置を特定するベクトルを示し、ｌ ₂₁ 、ｌ ₂₂ が、前記ヘッドエンドデバイスに対する前記第２のモバイルデバイスの位置を特定するベクトルを示し、ｌ ₃₁ 、ｌ ₃₂ が、前記ヘッドエンドデバイスに対する前記第３のモバイルデバイスの位置を特定するベクトルを示し、
ｐ ₁ 、ｐ ₂ が、前記第１のモバイルデバイス、前記第２のモバイルデバイス、および前記第３のモバイルデバイスによって支援される前記複数の仮想スピーカーの１つの、ヘッドエンドデバイスに対する前記規定された位置を特定するベクトルを示す、Ｃ１４に記載のヘッドエンドデバイス。
［Ｃ１６］ 前記１つまたは複数のプロセッサがさらに、前記決定された制約とともに前記オーディオソースの前記動的空間レンダリングを実行するときに、前記モバイルデバイスによる前記オーディオ信号の再生に対する前記決定された制約の前記影響を減らすように前記オーディオ信号をレンダリングするために、前記オーディオソースに対して拘束ベクトルに基づく動的振幅パンニングを実行するように構成される、Ｃ１０に記載のヘッドエンドデバイス。
［Ｃ１７］ 前記協調的サラウンドサウンドシステムの前記仮想スピーカーが、前記モバイルデバイスの位置とは異なる位置に配置されているように見える、Ｃ１０に記載のヘッドエンドデバイス。
［Ｃ１８］ 前記オーディオソースが、高次アンビソニックスオーディオソースデータと、マルチチャンネルオーディオソースデータと、オブジェクトベースのオーディオソースデータとの１つを備える、Ｃ１０に記載のヘッドエンドデバイス。
［Ｃ１９］ 協調的サラウンドサウンドシステムに加わるモバイルデバイスに対して、前記協調的サラウンドサウンドシステムの仮想スピーカーの規定された位置を特定するための手段と、
前記モバイルデバイスによるオーディオソースからレンダリングされたオーディオ信号の再生に影響を与える制約を決定するための手段と、
前記モバイルデバイスによる前記オーディオ信号の再生の間の前記決定された制約の前記影響を減らすようにオーディオ信号をレンダリングするために、前記決定された制約とともに前記オーディオソースの動的空間レンダリングを実行するための手段とを備える、ヘッドエンドデバイス。
［Ｃ２０］ 前記制約を決定するための前記手段が、前記オーディオソースからレンダリングされた前記オーディオ信号を再生するのに十分な電力を前記モバイルデバイスが有するであろう予想される期間を示す、予想される電力期間を決定し、前記オーディオソースからの前記オーディオ信号の再生期間を示すソースオーディオ期間を決定し、前記ソースオーディオ期間が前記予想される電力期間を超えるとき、前記予想される電力期間を前記制約として決定するための手段を備える、Ｃ１９に記載のヘッドエンドデバイス。
［Ｃ２１］ 前記決定された制約とともに前記オーディオソースの前記動的空間レンダリングを実行するための前記手段が、前記オーディオ信号を再生するための予想される電力期間が前記ソースオーディオ期間より短いように前記オーディオ信号をレンダリングするために、前記決定された予想される電力期間を前記制約として使用して前記オーディオソースの動的空間レンダリングを実行するための手段を備える、Ｃ２０に記載のヘッドエンドデバイス。
［Ｃ２２］ 前記制約を決定するための前記手段が、周波数に依存する制約を決定するための手段を備え、
前記動的空間レンダリングを実行するための前記手段が、前記モバイルデバイスによって前記オーディオ信号を再生するための予想される電力期間が前記オーディオ信号の再生期間を示すソースオーディオ期間より短いように前記オーディオ信号をレンダリングするために、前記決定された周波数に依存する制約を使用して前記オーディオソースの前記動的空間レンダリングを実行するための手段を備える、Ｃ２０に記載のヘッドエンドデバイス。
［Ｃ２３］ 前記仮想スピーカーが、前記協調的サラウンドサウンドシステムの複数の仮想スピーカーの１つを備え、
前記モバイルデバイスが、前記複数の仮想スピーカーを支援するように構成される複数のモバイルデバイスの１つを備え、
前記動的空間レンダリングを実行するための前記手段が、前記複数のモバイルデバイスの少なくとも１つによって前記オーディオ信号を再生するための予想される電力期間が前記オーディオ信号の再生期間を示すソースオーディオ期間より短いように前記オーディオ信号をレンダリングするために、前記複数のモバイルデバイスの前記少なくとも１つによって前記オーディオ信号を再生するための前記予想される電力期間を前記制約として使用して、前記オーディオソースの前記動的空間レンダリングを実行するための手段を備える、Ｃ１９に記載のヘッドエンドデバイス。
［Ｃ２４］ 前記複数のモバイルデバイスが、第１のモバイルデバイスと、第２のモバイルデバイスと、第３のモバイルデバイスとを備え、
前記予想される電力期間を前記制約として使用して、前記オーディオソースの前記動的空間レンダリングを実行するための前記手段が、
前記第１のモバイルデバイス、前記第２のモバイルデバイス、および前記第３のモバイルデバイスに対して、それぞれ、以下の式に従って音量利得ｇ1と、ｇ2と、ｇ3とを計算するための手段を備え、

ａ ₁ 、ａ ₂ 、およびａ ₃ が、前記第１のモバイルデバイスに対するスカラー電力係数と、前記第２のモバイルデバイスに対するスカラー電力係数と、前記第３のモバイルデバイスに対するスカラー電力係数とを示し、
ｌ ₁₁ 、ｌ ₁₂ が、ヘッドエンドデバイスに対する前記第１のモバイルデバイスの位置を特定するベクトルを示し、ｌ ₂₁ 、ｌ ₂₂ が、前記ヘッドエンドデバイスに対する前記第２のモバイルデバイスの位置を特定するベクトルを示し、ｌ ₃₁ 、ｌ ₃₂ が、前記ヘッドエンドデバイスに対する前記第３のモバイルデバイスの位置を特定するベクトルを示し、
ｐ ₁ 、ｐ ₂ が、前記第１のモバイルデバイス、前記第２のモバイルデバイス、および前記第３のモバイルデバイスによって支援される前記複数の仮想スピーカーの１つの、ヘッドエンドデバイスに対する前記規定された位置を特定するベクトルを示す、Ｃ２３に記載のヘッドエンドデバイス。
［Ｃ２５］ 前記決定された制約とともに前記オーディオソースの前記動的空間レンダリングを実行するための前記手段が、前記モバイルデバイスによる前記オーディオ信号の再生に対する前記決定された制約の前記影響を減らすように前記オーディオ信号をレンダリングするために、前記オーディオソースに対して拘束ベクトルに基づく動的振幅パンニングを実行するための手段を備える、Ｃ１９に記載のヘッドエンドデバイス。
［Ｃ２６］ 前記協調的サラウンドサウンドシステムの前記仮想スピーカーが、前記モバイルデバイスの位置とは異なる位置に配置されているように見える、Ｃ１９に記載のヘッドエンドデバイス。
［Ｃ２７］ 前記オーディオソースが、高次アンビソニックスオーディオソースデータと、マルチチャンネルオーディオソースデータと、オブジェクトベースのオーディオソースデータとの１つを備える、Ｃ１９に記載のヘッドエンドデバイス。
［Ｃ２８］ 実行されると、１つまたは複数のプロセッサに、
協調的サラウンドサウンドシステムに加わるモバイルデバイスに対して、前記協調的サラウンドサウンドシステムの仮想スピーカーの規定された位置を特定させ、
前記モバイルデバイスによるオーディオソースからレンダリングされたオーディオ信号の再生に影響を与える制約を決定させ、
前記モバイルデバイスによる前記オーディオ信号の再生の間の前記決定された制約の前記影響を減らすようにオーディオ信号をレンダリングするために、前記決定された制約とともに前記オーディオソースの動的空間レンダリングを実行させる、命令を記憶した非一時的コンピュータ可読記憶媒体。
［Ｃ２９］ 前記命令がさらに、実行されると、前記１つまたは複数のプロセッサに、前記制約を決定するときに、前記オーディオソースからレンダリングされた前記オーディオ信号を再生するのに十分な電力を前記モバイルデバイスが有するであろう予想される期間を示す、予想される電力期間を決定させ、前記オーディオソースからの前記オーディオ信号の再生期間を示すソースオーディオ期間を決定させ、前記ソースオーディオ期間が前記予想される電力期間を超えるとき、前記予想される電力期間を前記制約として決定すること、Ｃ２８に記載の非一時的コンピュータ可読記憶媒体。
［Ｃ３０］ 前記命令がさらに、実行されると、前記１つまたは複数のプロセッサに、前記決定された制約とともに前記オーディオソースの前記動的空間レンダリングを実行するときに、前記オーディオ信号を再生するための予想される電力期間が前記ソースオーディオ期間より短いように前記オーディオ信号をレンダリングするために、前記決定された予想される電力期間を前記制約として使用して前記オーディオソースの動的空間レンダリングを実行させる、Ｃ２９に記載の非一時的コンピュータ可読記憶媒体。
［Ｃ３１］ 前記命令がさらに、実行されると、前記１つまたは複数のプロセッサに、前記制約を決定するときに、周波数に依存する制約を決定させ、
前記命令がさらに、実行されると、前記１つまたは複数のプロセッサに、前記動的空間レンダリングを実行するときに、前記モバイルデバイスによって前記オーディオ信号を再生するための予想される電力期間が前記オーディオ信号の再生期間を示すソースオーディオ期間より短いように前記オーディオ信号をレンダリングするために、前記決定された周波数に依存する制約を使用して前記オーディオソースの前記動的空間レンダリングを実行させる、Ｃ２８に記載の非一時的コンピュータ可読記憶媒体。
［Ｃ３２］ 前記仮想スピーカーが、前記協調的サラウンドサウンドシステムの複数の仮想スピーカーの１つを備え、
前記モバイルデバイスが、前記複数の仮想スピーカーを支援するように構成される複数のモバイルデバイスの１つを備え、
前記命令がさらに、実行されると、前記１つまたは複数のプロセッサに、前記動的空間レンダリングを実行するときに、前記複数のモバイルデバイスの少なくとも１つによって前記オーディオ信号を再生するための予想される電力期間が前記オーディオ信号の再生期間を示すソースオーディオ期間より短いように前記オーディオ信号をレンダリングするために、前記複数のモバイルデバイスの前記少なくとも１つによって前記オーディオ信号を再生するための前記予想される電力期間を前記制約として使用して、前記オーディオソースの前記動的空間レンダリングを実行させる、Ｃ２８に記載の非一時的コンピュータ可読記憶媒体。
［Ｃ３３］ 前記複数のモバイルデバイスが、第１のモバイルデバイスと、第２のモバイルデバイスと、第３のモバイルデバイスとを備え、
前記命令がさらに、実行されると、前記１つまたは複数のプロセッサに、前記予想される電力期間を前記制約として使用して、前記オーディオソースの前記動的空間レンダリングを実行するときに、前記第１のモバイルデバイス、前記第２のモバイルデバイス、および前記第３のモバイルデバイスに対して、それぞれ、以下の式に従って音量利得ｇ ₁ と、ｇ ₂ と、ｇ ₃ とを計算させ、

ａ ₁ 、ａ ₂ 、およびａ ₃ が、前記第１のモバイルデバイスに対するスカラー電力係数と、前記第２のモバイルデバイスに対するスカラー電力係数と、前記第３のモバイルデバイスに対するスカラー電力係数とを示し、
ｌ ₁₁ 、ｌ ₁₂ が、ヘッドエンドデバイスに対する前記第１のモバイルデバイスの位置を特定するベクトルを示し、ｌ ₂₁ 、ｌ ₂₂ が、前記ヘッドエンドデバイスに対する前記第２のモバイルデバイスの位置を特定するベクトルを示し、ｌ ₃₁ 、ｌ ₃₂ が、前記ヘッドエンドデバイスに対する前記第３のモバイルデバイスの位置を特定するベクトルを示し、
ｐ ₁ 、ｐ ₂ が、前記第１のモバイルデバイス、前記第２のモバイルデバイス、および前記第３のモバイルデバイスによって支援される前記複数の仮想スピーカーの１つの、ヘッドエンドデバイスに対する前記規定された位置を特定するベクトルを示す、Ｃ３２に記載の非一時的コンピュータ可読記憶媒体。
［Ｃ３４］ 前記命令がさらに、実行されると、前記１つまたは複数のプロセッサに、前記決定された制約とともに前記オーディオソースの前記動的空間レンダリングを実行するときに、前記モバイルデバイスによる前記オーディオ信号の再生に対する前記決定された制約の前記影響を減らすように前記オーディオ信号をレンダリングするために、前記オーディオソースに対して拘束ベクトルに基づく動的振幅パンニングを実行させる、Ｃ２８に記載の非一時的コンピュータ可読記憶媒体。
［Ｃ３５］ 前記協調的サラウンドサウンドシステムの前記仮想スピーカーが、前記モバイルデバイスの位置とは異なる位置に配置されているように見える、Ｃ２８に記載の非一時的コンピュータ可読記憶媒体。
［Ｃ３６］ 前記オーディオソースが、高次アンビソニックスオーディオソースデータと、マルチチャンネルオーディオソースデータと、オブジェクトベースのオーディオソースデータとの１つを備える、Ｃ２８に記載の非一時的コンピュータ可読記憶媒体。

Claims (36)

1. 協調的サラウンドサウンドシステムの仮想スピーカーを表すことが可能な前記協調的サラウンドサウンドシステムに加わる複数のモバイルデバイスの２つ以上のモバイルデバイスを特定することと、
   前記特定された２つ以上のモバイルデバイスの少なくとも１つによるオーディオソースデータからレンダリングされたオーディオ信号の再生に影響を与える制約を決定することと、
   前記制約に基づいて、前記特定された２つ以上のモバイルデバイスの前記少なくとも１つのための利得を決定することと、
   前記特定された２つ以上のモバイルデバイスによる前記オーディオ信号の再生の間の前記決定された制約の前記影響を減らすようにオーディオ信号を生成するために、前記利得を使用して、前記オーディオソースデータをレンダリングすることとを備える、方法。
2. 前記制約を決定することが、
   前記オーディオソースデータからレンダリングされた前記オーディオ信号を再生するのに十分な電力を前記特定された２つ以上のモバイルデバイスの前記少なくとも１つが有するであろう予想される期間を示す、予想される電力期間を決定することと、
   前記オーディオソースデータからレンダリングされた前記オーディオ信号の再生期間を示すソースオーディオ期間を決定することと、
   前記ソースオーディオ期間が前記予想される電力期間を超えるとき、前記予想される電力期間を前記制約として決定することとを備える、請求項１に記載の方法。
3. 前記利得を使用して前記オーディオソースデータをレンダリングすることが、前記オーディオ信号を再生するための予想される電力期間が前記ソースオーディオ期間より短いように前記オーディオ信号を生成するために、前記利得を使用して前記オーディオソースデータをレンダリングすることを備える、請求項２に記載の方法。
4. 前記制約を決定することが、周波数に依存する制約を決定することを備え、
   前記少なくとも１つの利得を使用して前記オーディオソースデータをレンダリングすることが、前記特定された２つ以上のモバイルデバイスの前記少なくとも１つによって前記オーディオ信号を再生するための予想される電力期間が前記オーディオソースデータの期間より短いように前記オーディオ信号を生成するために、前記少なくとも１つの利得を使用して前記オーディオソースデータをレンダリングすることを備える、請求項１に記載の方法。
5. 前記オーディオソースデータをレンダリングすることが、前記モバイルデバイスの前記特定された２つ以上の前記少なくとも１つによって前記オーディオ信号を再生するための予想される電力期間が前記オーディオソースデータの期間より短いように前記特定された２つ以上のモバイルデバイスの前記少なくとも１つによって前記オーディオ信号を再生するために、前記オーディオ信号を生成するための前記制約として、前記予想される電力期間を使用して、前記オーディオソースデータをレンダリングすることを備える、請求項１に記載の方法。
6. 前記複数のモバイルデバイスが、第１のモバイルデバイスと、第２のモバイルデバイスと、第３のモバイルデバイスとを備え、
   前記仮想スピーカーは、前記協調的サラウンドサウンドシステムの複数の仮想スピーカーの１つを備え、
   前記制約は、１つまたは複数の予想される電力期間を備え、前記１つまたは複数の予想される電力期間は各々、前記複数のモバイルデバイスの１つが前記オーディオソースデータからレンダリングされたオーディオ信号を再生するために十分な電力を有し得る予想される期間を示し、
   前記特定された２つ以上のモバイルデバイスの前記少なくとも１つのための前記利得を決定することが、
   前記第１のモバイルデバイス、前記第２のモバイルデバイス、および前記第３のモバイルデバイスに対して、それぞれ、以下の式に従って音量利得ｇ₁と、ｇ₂と、ｇ₃とを計算することを備え、
   

   

   ａ₁、ａ₂、およびａ₃が、前記第１のモバイルデバイスに対するスカラー電力係数と、前記第２のモバイルデバイスに対するスカラー電力係数と、前記第３のモバイルデバイスに対するスカラー電力係数とを示し、
   ｌ₁₁、ｌ₁₂が、ヘッドエンドデバイスに対する前記第１のモバイルデバイスの位置を特定するベクトルを示し、ｌ₂₁、ｌ₂₂が、前記ヘッドエンドデバイスに対する前記第２のモバイルデバイスの位置を特定するベクトルを示し、ｌ₃₁、ｌ₃₂が、前記ヘッドエンドデバイスに対する前記第３のモバイルデバイスの位置を特定するベクトルを示し、
   ｐ₁、ｐ₂が、前記第１のモバイルデバイス、前記第２のモバイルデバイス、および前記第３のモバイルデバイスによって表される前記複数の仮想スピーカーの１つの、前記ヘッドエンドデバイスに対する規定された位置を特定するベクトルを示す、請求項１に記載の方法。
7. 前記利得を使用して前記オーディオソースデータをレンダリングすることが、前記２つ以上のモバイルデバイスの前記少なくとも１つによる前記オーディオ信号の再生に対する前記決定された制約の前記影響を減らすように前記オーディオ信号を生成するために、前記オーディオソースデータに対して拘束ベクトルに基づく動的振幅パンニングを実行することを備える、請求項１に記載の方法。
8. 前記協調的サラウンドサウンドシステムの前記仮想スピーカーが、前記２つ以上のモバイルデバイスの少なくとも１つの位置とは異なる位置に配置されているように見える、請求項１に記載の方法。
9. 前記オーディオソースデータが、高次アンビソニックスオーディオソースデータと、マルチチャンネルオーディオソースデータと、オブジェクトベースのオーディオソースデータとの１つを備える、請求項１に記載の方法。
10. 協調的サラウンドサウンドシステムの仮想スピーカーを表すことが可能な前記協調的サラウンドサウンドシステムに加わる複数のモバイルデバイスの２つ以上のモバイルデバイスを特定し、前記特定された２つ以上のモバイルデバイスの少なくとも１つによるオーディオソースデータからレンダリングされたオーディオ信号の再生に影響を与える制約を決定し、前記制約に基づいて、前記特定された２つ以上のモバイルデバイスの前記少なくとも１つのための利得を決定し、前記特定された２つ以上のモバイルデバイスによる前記オーディオ信号の再生の間の前記決定された制約の前記影響を減らすオーディオ信号を生成するために、前記利得を使用して前記オーディオソースデータをレンダリングするように構成される、１つまたは複数のプロセッサと、
    前記オーディオ信号を記憶するように構成されたメモリと、
    を備える、ヘッドエンドデバイス。
11. 前記１つまたは複数のプロセッサがさらに、前記制約を決定するときに、前記オーディオソースデータからレンダリングされた前記オーディオ信号を再生するのに十分な電力を前記特定された２つ以上のモバイルデバイスの少なくとも１つが有するであろう予想される期間を示す、予想される電力期間を決定し、前記オーディオソースデータからの前記オーディオ信号の再生期間を示すソースオーディオ期間を決定し、前記ソースオーディオ期間が前記予想される電力期間を超えるとき、前記予想される電力期間を前記制約として決定するように構成される、請求項１０に記載のヘッドエンドデバイス。
12. 前記１つまたは複数のプロセッサが、前記オーディオ信号を再生するための予想される電力期間が前記ソースオーディオ期間より短いように前記オーディオ信号を生成するために、前記利得を使用して前記オーディオソースデータをレンダリングするように構成される、請求項１１に記載のヘッドエンドデバイス。
13. 前記１つまたは複数のプロセッサが、周波数に依存する制約を決定するように構成され、
    前記１つまたは複数のプロセッサが、前記モバイルデバイスの前記特定された２つ以上の前記少なくとも１つによって前記オーディオ信号を再生するための予想される電力期間が前記オーディオ信号の再生期間を示す前記ソースオーディオデータの期間より短いように前記オーディオ信号を生成するために、前記決定された周波数に依存する制約を使用して前記オーディオソースデータをレンダリングするように構成される、請求項１０に記載のヘッドエンドデバイス。
14. 前記仮想スピーカーは、前記協調的サラウンドサウンドシステムの複数の仮想スピーカーの１つを備え、
    前記特定された２つ以上のモバイルデバイスの前記少なくとも１つは、前記複数の仮想スピーカーを支援するように構成された複数のモバイルデバイスの１つを備え、
    前記１つまたは複数のプロセッサが、前記モバイルデバイスの前記特定された２つ以上の前記少なくとも１つによって前記オーディオ信号を再生するための予想される電力期間が前記ソースオーディオの期間より短いように前記特定された２つ以上のモバイルデバイスの前記少なくとも１つによって前記オーディオ信号を再生するために、前記オーディオ信号を生成するための前記制約として、前記予想される電力期間を使用して、前記オーディオソースデータをレンダリングするように構成される、請求項１０に記載のヘッドエンドデバイス。
15. 前記複数のモバイルデバイスが、第１のモバイルデバイスと、第２のモバイルデバイスと、第３のモバイルデバイスとを備え、
    前記仮想スピーカーは、前記協調的サラウンドサウンドシステムの複数の仮想スピーカーの１つを備え、
    前記制約は、１つまたは複数の予想される電力期間を備え、前記１つまたは複数の予想される電力期間は各々、前記複数のモバイルデバイスの１つが前記オーディオソースからレンダリングされたオーディオ信号を再生するために十分な電力を有し得る予想される期間を示し、
    前記１つまたは複数のプロセッサが、前記第１のモバイルデバイス、前記第２のモバイルデバイス、および前記第３のモバイルデバイスに対して、それぞれ、以下の式に従って音量利得ｇ₁と、ｇ₂と、ｇ₃とを計算するように構成され、
    

    

    ａ₁、ａ₂、およびａ₃が、前記第１のモバイルデバイスに対するスカラー電力係数と、前記第２のモバイルデバイスに対するスカラー電力係数と、前記第３のモバイルデバイスに対するスカラー電力係数とを示し、
    ｌ₁₁、ｌ₁₂が、ヘッドエンドデバイスに対する前記第１のモバイルデバイスの位置を特定するベクトルを示し、ｌ₂₁、ｌ₂₂が、前記ヘッドエンドデバイスに対する前記第２のモバイルデバイスの位置を特定するベクトルを示し、ｌ₃₁、ｌ₃₂が、前記ヘッドエンドデバイスに対する前記第３のモバイルデバイスの位置を特定するベクトルを示し、
    ｐ₁、ｐ₂が、前記第１のモバイルデバイス、前記第２のモバイルデバイス、および前記第３のモバイルデバイスによって表される前記複数の仮想スピーカーの１つの、ヘッドエンドデバイスに対する規定された位置を特定するベクトルを示す、請求項１０に記載のヘッドエンドデバイス。
16. 前記１つまたは複数のプロセッサが、前記特定された２つ以上のモバイルデバイスの前記少なくとも１つによる前記オーディオ信号の再生に対する前記決定された制約の前記影響を減らすように前記オーディオ信号を生成するために、前記オーディオソースデータに対して拘束ベクトルに基づく動的振幅パンニングを実行するように構成される、請求項１０に記載のヘッドエンドデバイス。
17. 前記協調的サラウンドサウンドシステムの前記仮想スピーカーが、前記特定された２つ以上のモバイルデバイスの位置とは異なる位置に配置されているように見える、請求項１０に記載のヘッドエンドデバイス。
18. 前記オーディオソースデータが、高次アンビソニックスオーディオソースデータと、マルチチャンネルオーディオソースデータと、オブジェクトベースのオーディオソースデータとの１つを備える、請求項１０に記載のヘッドエンドデバイス。
19. 協調的サラウンドサウンドシステムの仮想スピーカーを表すことが可能な前記協調的サラウンドサウンドシステムに加わる複数のモバイルデバイスの２つ以上のモバイルデバイスを特定するための手段と、
    前記特定された２つ以上のモバイルデバイスの少なくとも１つによるオーディオソースデータからレンダリングされたオーディオ信号の再生に影響を与える制約を決定するための手段と、
    前記制約に基づいて、前記特定された２つ以上のモバイルデバイスの前記少なくとも１つのための利得を決定するための手段と、
    前記特定された２つ以上のモバイルデバイスによる前記オーディオ信号の再生の間の前記決定された制約の前記影響を減らすオーディオ信号を生成するために、前記利得を使用して、前記オーディオソースデータをレンダリングするための手段とを備える、ヘッドエンドデバイス。
20. 前記制約を決定するための前記手段が、前記オーディオソースデータからレンダリングされた前記オーディオ信号を再生するのに十分な電力を前記特定された２つ以上のモバイルデバイスの前記少なくとも１つが有するであろう予想される期間を示す、予想される電力期間を決定するための手段と、前記オーディオソースデータからレンダリングされた前記オーディオ信号の再生期間を示すソースオーディオ期間を決定するための手段と、前記ソースオーディオ期間が前記予想される電力期間を超えるとき、前記予想される電力期間を前記制約として決定するための手段とを備える、請求項１９に記載のヘッドエンドデバイス。
21. 前記オーディオソースデータをレンダリングするための前記手段が、前記オーディオ信号を再生するための予想される電力期間が前記オーディオソースデータの期間より短いように前記オーディオ信号を生成するために、前記利得を使用して前記オーディオソースデータをレンダリングするための手段を備える、請求項２０に記載のヘッドエンドデバイス。
22. 前記制約を決定するための前記手段が、周波数に依存する制約を決定するための手段を備え、
    レンダリングするための前記手段が、前記特定された２つ以上のモバイルデバイスの前記少なくとも１つによって前記オーディオ信号を再生するための予想される電力期間が前記オーディオソースデータの期間より短いように前記オーディオ信号を生成するために、前記少なくとも１つの利得を使用して前記オーディオソースデータをレンダリングするための手段を備える、請求項２０に記載のヘッドエンドデバイス。
23. レンダリングするための前記手段が、前記モバイルデバイスの前記特定された２つ以上の前記少なくとも１つによって前記オーディオ信号を再生するための予想される電力期間が前記ソースオーディオデータの期間より短いように前記特定された２つ以上のモバイルデバイスの前記少なくとも１つによって前記オーディオ信号を再生するために、前記オーディオ信号を生成するための前記制約として、前記予想される電力期間を使用して、前記オーディオソースデータの動的空間レンダリングを実行するための手段を備える、請求項１９に記載のヘッドエンドデバイス。
24. 前記複数のモバイルデバイスが、第１のモバイルデバイスと、第２のモバイルデバイスと、第３のモバイルデバイスとを備え、
    前記仮想スピーカーは、前記協調的サラウンドサウンドシステムの複数の仮想スピーカーの１つを備え
    前記制約は、１つまたは複数の予想される電力期間を備え、前記１つまたは複数の予想される電力期間は各々、前記複数のモバイルデバイスの１つが前記オーディオソースからレンダリングされたオーディオ信号を再生するために十分な電力を有し得る予想される期間を示し、
    前記特定された２つ以上のモバイルデバイスの前記少なくとも１つのための前記利得を決定するための前記手段が、
    前記第１のモバイルデバイス、前記第２のモバイルデバイス、および前記第３のモバイルデバイスに対して、それぞれ、以下の式に従って音量利得ｇ₁と、ｇ₂と、ｇ₃とを計算するための手段を備え、
    

    

    ａ₁、ａ₂、およびａ₃が、前記第１のモバイルデバイスに対するスカラー電力係数と、前記第２のモバイルデバイスに対するスカラー電力係数と、前記第３のモバイルデバイスに対するスカラー電力係数とを示し、
    ｌ₁₁、ｌ₁₂が、ヘッドエンドデバイスに対する前記第１のモバイルデバイスの位置を特定するベクトルを示し、ｌ₂₁、ｌ₂₂が、前記ヘッドエンドデバイスに対する前記第２のモバイルデバイスの位置を特定するベクトルを示し、ｌ₃₁、ｌ₃₂が、前記ヘッドエンドデバイスに対する前記第３のモバイルデバイスの位置を特定するベクトルを示し、
    ｐ₁、ｐ₂が、前記第１のモバイルデバイス、前記第２のモバイルデバイス、および前記第３のモバイルデバイスによって表される前記複数の仮想スピーカーの１つの、前記ヘッドエンドデバイスに対する規定された位置を特定するベクトルを示す、請求項１９に記載のヘッドエンドデバイス。
25. レンダリングするための前記手段が、前記特定された２つ以上のモバイルデバイスの前記少なくとも１つによる前記オーディオ信号の再生に対する前記決定された制約の前記影響を減らすように前記オーディオ信号を生成するために、前記オーディオソースデータに対して拘束ベクトルに基づく動的振幅パンニングを実行するための手段を備える、請求項１９に記載のヘッドエンドデバイス。
26. 前記協調的サラウンドサウンドシステムの前記仮想スピーカーが、前記２つ以上のモバイルデバイスの少なくとも１つの位置とは異なる位置に配置されているように見える、請求項１９に記載のヘッドエンドデバイス。
27. 前記オーディオソースデータが、高次アンビソニックスオーディオソースデータと、マルチチャンネルオーディオソースデータと、オブジェクトベースのオーディオソースデータとの１つを備える、請求項１９に記載のヘッドエンドデバイス。
28. 実行されると、１つまたは複数のプロセッサに、
    協調的サラウンドサウンドシステムの仮想スピーカーを表すことが可能な前記協調的サラウンドサウンドシステムに加わる複数のモバイルデバイスの２つ以上のモバイルデバイスを特定させ、
    前記特定された２つ以上のモバイルデバイスの少なくとも１つによるオーディオソースデータからレンダリングされたオーディオ信号の再生に影響を与える制約を決定させ、
    前記制約に基づいて、前記特定された２つ以上のモバイルデバイスの前記少なくとも１つのための利得を決定させ、
    前記複数のモバイルデバイスによる前記オーディオ信号の再生の間の前記決定された制約の前記影響を減らすオーディオ信号を生成するために、前記利得を使用して前記オーディオソースデータをレンダリングさせる、命令を記憶した非一時的コンピュータ可読記憶媒体。
29. 前記命令がさらに、実行されると、前記１つまたは複数のプロセッサに、前記制約を決定するときに、前記オーディオソースデータからレンダリングされた前記オーディオ信号を再生するのに十分な電力を前記特定された２つ以上のモバイルデバイスの少なくとも１つが有するであろう予想される期間を示す、予想される電力期間を決定させ、前記オーディオソースデータからレンダリングされた前記オーディオ信号の再生期間を示すソースオーディオ期間を決定させ、前記ソースオーディオ期間が前記予想される電力期間を超えるとき、前記予想される電力期間を前記制約として決定させる、請求項２８に記載の非一時的コンピュータ可読記憶媒体。
30. 前記命令がさらに、実行されると、前記１つまたは複数のプロセッサに、前記決定された制限を用いて前記オーディオソースデータをレンダリングするときに、前記オーディオ信号を再生するための予想される電力期間が前記オーディオソースデータの期間より短いように前記オーディオ信号を生成するために、前記利得を使用して前記オーディオソースデータをレンダリングさせる、請求項２９に記載の非一時的コンピュータ可読記憶媒体。
31. 前記命令がさらに、実行されると、前記１つまたは複数のプロセッサに、前記制約を決定するときに、周波数に依存する制約を決定させ、
    前記命令がさらに、実行されると、前記１つまたは複数のプロセッサに、レンダリングするときに、前記モバイルデバイスの前記特定された２つ以上の前記少なくとも１つによって前記オーディオ信号を再生するための予想される電力期間が前記オーディオソースデータの期間より短いように前記オーディオ信号を生成するために、前記利得を使用して前記オーディオソースデータをレンダリングさせる、請求項２８に記載の非一時的コンピュータ可読記憶媒体。
32. 前記命令がさらに、実行されると、前記１つまたは複数のプロセッサに、レンダリングするときに、前記モバイルデバイスの前記特定された２つ以上の前記少なくとも１つによって前記オーディオ信号を再生するための予想される電力期間が前記オーディオソースデータの期間より短いように前記特定された２つ以上のモバイルデバイスの前記少なくとも１つによって前記オーディオ信号を再生するために、前記オーディオ信号をレンダリングするための前記制約として、前記予想される電力期間を使用して、前記オーディオソースデータをレンダリングさせる、請求項２８に記載の非一時的コンピュータ可読記憶媒体。
33. 前記複数のモバイルデバイスが、第１のモバイルデバイスと、第２のモバイルデバイスと、第３のモバイルデバイスとを備え、
    前記仮想スピーカーは、前記協調的サラウンドサウンドシステムの複数の仮想スピーカーの１つを備え、
    前記制約は、１つまたは複数の予想される電力期間を備え、前記１つまたは複数の予想される電力期間は各々、前記複数のモバイルデバイスの１つが前記オーディオソースデータからレンダリングされたオーディオ信号を再生するために十分な電力を有し得る予想される期間を示し、
    前記命令がさらに、実行されると、前記１つまたは複数のプロセッサに、前記２つ以上のモバイルデバイスの前記少なくとも１つのための前記利得を決定するときに、前記第１のモバイルデバイス、前記第２のモバイルデバイス、および前記第３のモバイルデバイスに対して、それぞれ、以下の式に従って音量利得ｇ₁と、ｇ₂と、ｇ₃とを計算させ、
    

    

    ａ1、ａ₂、およびａ₃が、前記第１のモバイルデバイスに対するスカラー電力係数と、前記第２のモバイルデバイスに対するスカラー電力係数と、前記第３のモバイルデバイスに対するスカラー電力係数とを示し、
    ｌ₁₁、ｌ₁₂が、ヘッドエンドデバイスに対する前記第１のモバイルデバイスの位置を特定するベクトルを示し、ｌ₂₁、ｌ₂₂が、前記ヘッドエンドデバイスに対する前記第２のモバイルデバイスの位置を特定するベクトルを示し、ｌ₃₁、ｌ₃₂が、前記ヘッドエンドデバイスに対する前記第３のモバイルデバイスの位置を特定するベクトルを示し、
    ｐ₁、ｐ₂が、前記第１のモバイルデバイス、前記第２のモバイルデバイス、および前記第３のモバイルデバイスによって表される前記複数の仮想スピーカーの１つの、前記ヘッドエンドデバイスに対する規定された位置を特定するベクトルを示す、請求項２８に記載の非一時的コンピュータ可読記憶媒体。
34. 前記命令がさらに、実行されると、前記１つまたは複数のプロセッサに、前記利得を使用して前記オーディオソースデータをレンダリングするときに、前記２つ以上のモバイルデバイスの前記少なくとも１つによる前記オーディオ信号の再生に対する前記決定された制約の前記影響を減らすように前記オーディオ信号を生成するために、前記オーディオソースデータに対して拘束ベクトルに基づく動的振幅パンニングを実行させる、請求項２８に記載の非一時的コンピュータ可読記憶媒体。
35. 前記協調的サラウンドサウンドシステムの前記仮想スピーカーが、前記２つ以上のモバイルデバイスの少なくとも１つの位置とは異なる位置に配置されているように見える、請求項２８に記載の非一時的コンピュータ可読記憶媒体。
36. 前記オーディオソースデータが、高次アンビソニックスオーディオソースデータと、マルチチャンネルオーディオソースデータと、オブジェクトベースのオーディオソースデータとの１つを備える、請求項２８に記載の非一時的コンピュータ可読記憶媒体。

Images