JP6947936B2

JP6947936B2 - カンファレンスのためのサブバンド空間処理およびクロストークキャンセルシステム

Info

Publication number: JP6947936B2
Application number: JP2020532786A
Authority: JP
Inventors: セルデスザッカリー
Original assignee: ブームクラウド３６０インコーポレイテッド
Priority date: 2017-12-15
Filing date: 2018-11-29
Publication date: 2021-10-13
Anticipated expiration: 2038-11-29
Also published as: CN111466123A; US20190191247A1; JP2021192553A; KR20220016283A; EP4236374A3; EP3725101A1; US20220070581A1; EP3725101B1; US11252508B2; EP3725101A4; JP7008862B2; KR102425815B1; US10674266B2; EP4236374A2; JP2021507284A; US11736863B2; KR102355770B1; US20230353941A1; KR20200143516A; WO2019118194A1

Description

本明細書で説明される主題は、オーディオ処理、特にカンファレンスクライアントデバイスの空間的オーディオ処理に関する。

電子デバイスは、複数のユーザー間のリモートカンファレンスを提供するために使用される。通常、ユーザーのオーディオストリームはユーザーのオーディオをキャプチャするために生成され、他のユーザーのオーディオストリームはユーザーが聞くためのオーディオを提供するために組み合わされる。例えば、合成されたストリームは、スピーカーのモノラルストリームであり得る。ステレオスピーカーの場合、モノラルストリームは左右のスピーカーで再生される。対面カンファレンスとは異なり、モノラルストリームの参加者ごとにサウンドフィールド（音場）の空間的な感覚がないため、オーディオの区別と明瞭性が低下する。

実施形態は、空間的オーディオを使用してクライアントデバイスにカンファレンスを提供することに関連する。いくつかの実施形態では、入力オーディオストリームはクライアントデバイスから受信される。クライアントデバイスの場合、サウンドフィールド内の他のクライアントデバイスの空間的な位置を定義する配置データが決定される。クライアントデバイスの左混合チャネルと右混合チャネルを含む混合ストリームは、配置データに従って他のクライアントデバイスの入力オーディオストリームを混合およびパンすることによって生成される。左強調チャネルと右強調チャネルを含む空間強調ストリームは、サブバンド空間処理とクロストーク処理を混合ストリームの左混合チャネルと右混合チャネルに適用することによって生成される。空間的に強調されたストリームがクライアントデバイスに提供される。

いくつかの実施形態では、プロセッサによって実行されると命令を格納する非一時的なコンピュータ可読媒体はクライアントデバイスから入力オーディオストリームを受信するように構成される、クライアントデバイスの場合、サウンドフィールド内の他のクライアントデバイスの空間位置を定義する配置データを決定する。そして、配置データに従って他のクライアントデバイスの入力オーディオストリームを混合およびパンすることにより、左混合チャネルおよび右混合チャネルを含むクライアントデバイス用の混合ストリームを生成する。

いくつかの実施形態では、システムはクライアントデバイスのためのカンファレンスを提供する。システムは、以下のように構成された処理回路を含む。クライアントデバイスから入力オーディオストリームを受信する。クライアントデバイスの場合、サウンドフィールド内の他のクライアントデバイスの空間位置を定義する配置データを決定する。そして、配置データに従って他のクライアントデバイスの入力オーディオストリームを混合およびパンすることにより、左混合チャネルおよび右混合チャネルを含むクライアントデバイス用の混合ストリームを生成する。

その他の側面として、要素、デバイス、システム、改善、方法、プロセス、アプリケーション、コンピュータ可読媒体、および上記のいずれかに関連するその他の技術が含まれる。

いくつかの実施形態による、オーディオ処理システムの概略ブロック図である。いくつかの実施形態による、空間混合プロセッサの概略ブロック図である。いくつかの実施形態による、クロストークキャンセルを備えた空間強調プロセッサの概略ブロック図であるいくつかの実施形態によるサブバンド空間プロセッサの概略ブロック図である。いくつかの実施形態によるクロストーク補正プロセッサの概略ブロック図である。いくつかの実施形態によるクロストークキャンセルプロセッサのブロック図である。いくつかの実施形態による、クロストークシミュレーションによる空間強調プロセッサのブロック図である。いくつかの実施形態によるクロストークシミュレーションプロセッサのブロック図である。いくつかの実施形態によるクライアントデバイス間のカンファレンスのための処理のフローチャートである。いくつかの実施形態によるオーディオ処理システムの図である。いくつかの実施形態によるオーディオ処理システムの図である。いくつかの実施形態によるオーディオ処理システムの図である。いくつかの実施形態によるコンピュータシステムの概略ブロック図である。

図面は、および詳細な説明は、例示のみの目的のための様々な非限定的な実施形態を描写する。

ここで、実施形態を詳細に参照し、その例を添付図面に示す。以下の説明は、ある特定の具体的詳細を、様々な実施形態の徹底した理解を提供するために示す。ただし、これらの具体的な詳細なしに、記載されている実施形態を実施することができる。その他の事例では、明確な方法、手順、構成要素、回路、およびネットワークについては、実施形態の態様を不必要に曖昧にしないように詳細に説明されていない。

実施形態は、クライアントデバイスごとに空間的オーディオ出力を使用して、クライアントデバイスにカンファレンスを提供することに関連している。例えば、オーディオ処理システムは、リアルタイム空間混合と空間強調の組み合わせを使用して、各クライアントデバイスのレンダリングデバイスタイプに適応的に最適化して、各クライアントデバイスに空間化されたオーディオを配信する。クライアントデバイスの出力ストリームを生成するために、他のクライアントデバイスからのオーディオストリームはそれぞれ、クライアントデバイスのサウンドフィールド内の空間的な位置に関連付けられる。空間的な場所に応じてオーディオストリームが混合およびパンされて、空間化されたオーディオを含む混合ストリームが生成される。次に、空間強調を空間的なオーディオ混合ストリームに適用して、サウンドフィールドの空間感覚を強調する。空間強調には、サブバンド空間処理やクロストーク処理が含まれる場合がある。クロストーク処理には、クロストークキャンセル（スピーカーなど）やクロストークシミュレーション（ヘッドフォンなど）が含まれる。特に、リモート参加者の声が異なるサウンドフィールドの空間的な感覚によって、リモートカンファレンスの声の区別と明瞭さが向上する。

カンファレンスパイプラインには、サーバー（または「ブリッジ」）とおよび２台以上のクライアントデバイスが含まれ得る。クライアントデバイスには、さまざまなサウンドレンダリングハードウェアが搭載されている場合がある。サーバーは、さまざまなタイプのハードウェアに対応し、デバイスに最適化された空間強調オーディオを提供する。

いくつかの実施形態では、着信オーディオストリームの１つまたは複数のチャネルがステレオオーディオストリームにミックスダウンされる。次に、各クライアントデバイスのレンダリングシステム（内蔵のラップトップスピーカー、Ｂｌｕｅｔｏｏｔｈスピーカー、ヘッドフォンなど）に基づいて、デバイス固有の空間オーディオ強調機能が適応的に適用される。いくつかの実施形態では、各クライアントデバイスはサーバーから混合ストリームを受信し、適切な空間拡張を適用される。いくつかの実施形態では、クライアントデバイスは、空間強調のためのパラメータをサーバーに提供することができ、サーバーは、空間強調を実行して、クライアントデバイスのための空間強調ストリームを生成する。いくつかの実施形態では、クライアントデバイスは、１つまたは複数のクライアントオーディオストリームを受信し、ミックスダウンとそれに続く適切な空間強調の両方を混合ステレオストリームに適用することができる。

（オーディオ処理システムの例）
図１は、いくつかの実施形態による、オーディオ処理システム１００の概略ブロック図である。オーディオ処理システム１００は、サーバー１０２およびクライアントデバイス１３０を含む。単一のクライアントデバイス１３０が示されているが、サーバー１０２は、複数のクライアントデバイス１３０間のカンファレンスを提供する。サーバー１０２は、インターネットを含むネットワークを介してクライアントデバイスに接続されてもよい。各クライアントデバイス１３０は、オーディオキャプチャデバイス１５６（例えば、マイクロフォン）と、左スピーカー１５２および右スピーカー１５４とを含み得る。

サーバー１０２は、空間混合プロセッサ１１０および空間強調プロセッサ１２０を含む。複数のクライアントデバイス１３０間のカンファレンスを容易にするために、空間混合プロセッサ１１０は、それぞれクライアントデバイス１３０から複数の入力オーディオストリーム１４０を受け取り、入力オーディオストリーム１４０のパンおよびミックスダウンをステレオオーディオストリームに適用する。ステレオオーディオストリームは、左混合チャネル１４２および右混合チャネル１４４を含む。入力オーディオストリーム１４０のそれぞれは、クライアントデバイス１３０のオーディオキャプチャデバイス１５６によって生成された、１つまたは複数のチャネルを有するオーディオストリームであり得る。いくつかの実施形態では、オーディオストリーム１４０は、モノラルオーディオストリームを含み得る。

カンファレンスの各参加者は、クライアントデバイス１３０に関連付けられる。各クライアントデバイス１３０は、空間混合プロセッサ１１０に送信されるオーディオストリーム１４０を生成することができる。オーディオストリーム１４０に関連して、各クライアントデバイス１３０は、デバイス識別データまたは配置データを含む様々なタイプのメタデータを空間混合プロセッサ１１０に提供することができる。デバイス識別データは、クライアントデバイス１３０を識別する一意の識別子である。配置データは、クライアントデバイス１３０のための他のクライアントデバイス１３０の他のオーディオストリーム１４０の空間位置を定義する。空間混合プロセッサ１１０は、他のクライアントデバイス１３０からのオーディオ信号１４０が配置データに従ってステレオサウンドフィールドにわたって分散される（例えば、パンされる）各クライアントデバイス１３０のための固有のステレオオーディオストリームを生成する。

いくつかの実施形態では、オーディオストリーム１４０のパンニングは、オーディオストリーム１４０の空間分布を定義する所定の配置データに基づく。配置技術は、リモートクライアントデバイス１３０の等しい空間分布、または参加者メタデータ（例えば、ユーザーの役割、エンティティ／会社名、グループメンバーシップ、部屋の場所、地理的な場所、ＩＰアドレスなど）に基づくソースのグループ化およびパンニングを含み得る。いくつかの実施形態では、各クライアントデバイス１３０のパンニングは、クライアントデバイス１３０からの制御に基づいてもよい。例えば、クライアントデバイス１３０のユーザーは、各遠隔参加者の所望のパン位置を指定する配置データを定義することができる。

空間混合プロセッサ１１０は、各クライアントデバイス１３０について、左混合チャネル１４２および右混合チャネル１４４を含む固有のステレオオーディオストリームを生成する。オーディオ信号１４０の空間分布を定義する配置データがプログラムで定義されるか、またはユーザー定義であるかにかかわらず、他のクライアントデバイス１３０のオーディオ信号１４０は、ステレオミックスダウンにパンされる。パンニングは、振幅パンニング、遅延パンニング、バイノーラルパンニングなどのパンニング技法を含み、クライアントデバイス１３０のステレオストリームを生成することができる。いくつかの実施形態では、パンニングは、ゲインに応じて、最終的な混合における各要素の存在を調整することを含むことができる。距離手がかりのために空気吸収シミュレーションや室内音響シミュレーションなど、知覚的に動機づけられるその他のキューも適用され得る。

いくつかの実施形態では、クライアントデバイス１３０の空間混合プロセッサ１１０の出力は、クライアントデバイス１３０またはリスニングコンテキストが１チャネル再生を使用するときなどに、単一チャネルへのモノラル低減を含み得る。

空間強調プロセッサ１２０は、左混合チャネル１４２および右混合チャネル１４４に空間処理を適用して、左強調チャネル１４６および右強調チャネル１４８を生成する。空間強調は、サブバンド空間処理およびクロストーク処理を含み得る。クロストーク処理には、クロストークキャンセルやクロストークシミュレーションが含まれ得る。クライアントデバイス１３０のスピーカー１５２、１５４がラウドスピーカーであり、ラウドスピーカーが原因のクロストークを除去する場合に、クロストークキャンセレーションが使用され得る。スピーカー１５２、１５４がヘッドフォンでスピーカーの効果をシミュレートする場合、クロストークシミュレーションを使用することができる。左混合チャネル１４２および右混合チャネル１４４に適用されるクロストーク処理がある場合、空間強調処理は、クロストーク処理の適用によって引き起こされるスペクトル欠陥を補正するクロストーク補正をさらに含み得る。空間強調プロセッサ１２０は、クライアントデバイス１３０の左スピーカー１５２に左強調チャネル１４６を提供し、クライアントデバイス１３０の右スピーカー１５４に右強調チャネル１４８を提供する。スピーカー１５２、１５４は、それぞれの出力チャネルＯ_LおよびＯ_Rをサウンドに変換する。

いくつかの実施形態では、空間強調プロセッサ１２０は、サーバー１０２に配置される。サーバー１０２は、各クライアントデバイス１３０に対して空間強調処理の別個の過程を実行することができる。他の実施形態では、空間強調プロセッサ１２０は、各クライアントデバイス１３０に配置される。クライアントデバイス１３０ごとに、サーバー１０２は、左混合チャネル１４２および右混合チャネル１４４を含む混合ストリームをクライアントデバイス１３０の空間強調プロセッサ１２０に提供する。各クライアントデバイス１３０の空間強調プロセッサ１２０は、サーバー１０２から受信された混合チャネルを処理して、左出力チャネル１４６および右出力チャネル１４８を生成する。いくつかの実施形態では、空間混合プロセッサ１１０は、システム１００のピアツーピアカンファレンス構成などのクライアントデバイス１３０内に、またはサーバーがミックスダウンを実行しない場合にも配置される。

システム１００は、いくつかのまたは追加の構成要素を含み得る。例えば、オーディオストリームを使用したカンファレンスをビデオストリームと統合することができる。いくつかの実施形態では、システム１００は人工現実システムであり、各クライアントデバイス１３０はヘッドマウントディスプレイを含み得る。ヘッドマウントディスプレイは、他のユーザーまたはユーザーのアバターをビデオでレンダリングすることができ、ユーザーは、サウンドフィールド内の混合ストリームのクライアントデバイス１３０の空間位置に対応するように配置される。これにより、人工現実環境のイマーシブ品質が向上する。

（空間混合プロセッサの例）
図２はいくつかの実施形態による空間混合プロセッサ１１０の概略ブロック図である。空間混合プロセッサ１１０は、空間ミキサー２０５、バイノーラルフィルタ２１０および２１５、左チャネル結合器２２０、右チャネル結合器２２５、および知覚シミュレータ２３０を含む。空間ミキサー２０５は、入ってくるオーディオストリーム内のエネルギーが最終的なステレオミックスダウン全体にどのように分配されるか、また関連して、最終的なミックスダウン内の要素がサウンドステージのコンテキスト内でどのように知覚されるかに関して制御を適用する。例えば、モノラルオーディオストリームの空間混合は、定出力またはリニアステレオパンニング技術を使用して実現することができる。いくつかの実施形態では、空間ミキサー２０５は、各混合信号１４０に空間混合を適用して左および右チャネルを生成し、左チャネルを結合して左チャネル２２０を生成し、右チャネルを結合して右チャネル２２２を生成する。

オーディオストリームは、バイノーラルフィルタリングを使用して実現できるように、リスナーの頭部の周囲の３Ｄ空間にオーディオを知覚的に配置するように処理することもできる。バイノーラルフィルタ２１０と２１５のそれぞれは、リスナーが入力チャネルの音を知覚する必要があるターゲットソースの場所を記述する頭部伝達関数（ＨＲＴＦ）を適用する。バイノーラルフィルタ２１０は、左チャネル２２０を受信し、右チャネル２５０に関連付けられた角度位置を調整するＨＲＴＦを適用することにより、左および右の出力チャネルを生成する。バイノーラルフィルタ２１５は、右チャネル２５２を受信し、右チャネル２５２に関連付けられた角度位置を調整するＨＲＴＦを適用することにより、左および右の出力チャネルを生成する。左チャネル結合器２２０は、バイノーラルフィルタ２１０および２１５から左チャネルを受け取り、これらのチャネルを結合して左チャネル２５４を生成する。右チャネル結合器２２５は、バイノーラルフィルタ２１０および２１５から右チャネルを受け取り、これらのチャネルを結合して、右チャネル２５６を生成する。

また、処理を適用して、他の現実世界の知覚的手がかりをシミュレートすることもできる。知覚シミュレータ２３０は、左チャネル２５４および右チャネル２５６を受け取り、知覚的手がかりを１つまたは複数のチャネルに適用して、左混合チャネル１４２および右混合チャネル１４４を生成する。チャネルチャネルは、例えば自由野逆距離法則（the free-field inverse distance law）を使用して、混合内の可変距離と空気吸収の知覚を提供するようにスケーリングおよびフィルタリングできる。この場合、音圧レベルは、基準距離と比較して距離の２倍ごとに６デシベル減少する（例えば、リスナーの仮想位置からの定義された距離）。高周波エネルギーが基準距離に対する距離の増加に反比例して減衰する場合、空気吸収をシミュレートすることができる。残響は、距離の認識をさらに高め、室内の音響と環境の感覚を作り出すために使用できる。

いくつかの実施形態では、オーディオ信号１４０は、複数（例えば、左および右）のチャネルを含む。空間ミキサー２０５は、オーディオ信号のチャネルをモノラルチャネルに結合することによりミックスダウンを適用し、モノラルチャネルに定電力またはリニアステレオパンニングを適用する。別の例では、モノラル信号への組み合わせはなく、ミックスダウンはオーディオ信号１４０の各チャネルを使用して適用される。例えば、空間ミキサー２０５は、リスナーの周りの空間におけるその理想的な位置に基づいて、各チャネルに異なるバイノーラルフィルタリングを適用し、結果をステレオ左および右チャネルに混合してもよい。

空間混合プロセッサ１１０には、いくつかのまたは追加の構成要素を含み得る。例えば、知覚シミュレータ２３０またはバイノーラルフィルタ２１０および２１５は省略できる。空間混合プロセッサ１１０は、振幅パンニング、遅延パンニング、バイノーラルパンニングなどを含む、オーディオ信号１４０の様々なタイプのミックスダウンを実行することができる。

（空間強調プロセッサの例）
図３は、一実施形態による空間強調プロセッサ３００の概略ブロック図である。空間強調プロセッサ３００は、クロストーク処理が、スピーカー１５２、１５４がラウドスピーカーであるクライアントデバイス１３０のクロストークキャンセルである空間強調プロセッサ１２０の例である。空間強調プロセッサ３００は、左入力チャネルＸ_Lおよび右入力チャネルＸ_Rを含む入力オーディオ信号Ｘを受信する。左入力チャネルＸ_Lは、空間混合プロセッサ１１０からの左出力チャネル１４２であり得、右入力チャネルＸ_Rは、空間混合プロセッサ１１０からの右出力チャネル１４４であり得る。

空間強調プロセッサ３００は、入力チャネルＸ_LおよびＸ_Rを処理することにより、左強調チャネルＬおよび右強調チャネルＯ_Rを含む出力オーディオ信号Ｏを生成する。左強調チャネルＯ_Lは左強調チャネル１４６に対応し、右強調チャネルＯ_Rは右強調チャネル１４８に対応する。オーディオ出力信号Ｏは、クロストーク補正およびクロストークキャンセルを備えた入力オーディオ信号Ｘの空間的に強調されたオーディオ信号である。

空間強調プロセッサ３００は、サブバンド空間プロセッサ３１０、クロストーク補正プロセッサ３２０、結合器結合器３６０、およびクロストークキャンセルプロセッサ３７０を含む。空間強調プロセッサ３００は、入力オーディオ入力チャネルＸ_L、Ｘ_Rのクロストーク補正およびサブバンド空間処理を実行し、サブバンド空間処理の結果をクロストーク補正の結果と結合し、その後、結合された信号に対してクロストークキャンセルを実行する。

サブバンド空間プロセッサ３１０は空間周波数帯域ディバイダ３４０、空間周波数帯域プロセッサ３４５、および空間周波数帯域結合器３５０を含む。空間周波数帯域ディバインダ３４０は、入力チャネルＸ_LおよびＸ_Rならびに空間周波数帯域プロセッサ３４５に結合される。空間周波数帯域ディバインダ３４０は、左入力チャネルＸ_Lおよび右入力チャネルＸ_Rを受け取り、入力チャネルを空間（または「サイド」）成分Ｙ_Sおよび非空間（または「ミッド」）成分Ｙ_mに処理する。例えば、左入力チャネルＸ_Lと右入力チャネルＸ_Rの差に基づいて空間成分Ｙ_Sを生成できる。非空間成分Ｙ_mは、左入力チャネルＸ_Lと右入力チャネルＸ_Rの合計に基づいて生成できる。空間周波数帯域ディバイダ３４０は、空間成分Ｙ_Sと非空間成分Ｙ_mを空間周波数帯域プロセッサ３４５に提供する。

空間周波数帯域プロセッサ３４５は、空間周波数帯域ディバイダ３４０および空間周波数帯域結合器３５０に結合される。空間周波数帯域プロセッサ３４５は、空間周波数帯域ディバイダ３４０から空間成分Ｙ_Sと非空間成分Ｙ_mを受信し、受信信号を強調する。特に、空間周波数帯域プロセッサ３４５は、空間成分Ｙ_Sから空間強調成分Ｅ_Sを生成し、非空間成分Ｙ_mから非空間強調成分Ｅ_mを生成する。

例えば、空間周波数帯域プロセッサ３４５は、空間成分Ｙ_Sにサブバンドゲインを適用して、空間強調成分Ｅ_Sを生成する。また、非空間成分Ｙ_mにサブバンドゲインを適用して、非空間強調成分Ｅ_mを生成する。いくつかの実施形態では、空間周波数帯域プロセッサ３４５は、空間成分Ｙ_Sにサブバンド遅延を追加のまたは代替として提供して、空間強調成分Ｅ_Sを生成しまた、非空間成分Ｙ_mへのサブバンド遅延を提供して、非空間強調成分Ｅ_mを生成する。サブバンドのゲインおよび／または遅延は、空間成分Ｙ_Sと非空間成分Ｙ_mのサブバンド（ｎなど）によって異なる場合がある。また、同じ場合もある（２つ以上のサブバンドの場合など）。空間周波数帯域プロセッサ３４５は、空間成分Ｙ_Sと非空間成分Ｙ_mの異なるサブバンドのゲインおよび／または遅延を相互に調整して、空間強調成分Ｅ_Sと非空間強調成分Ｅ_mを生成する。次に、空間周波数帯域プロセッサ３４５は、空間強調成分Ｅ_Sと非空間強調成分Ｅ_mを空間周波数帯域結合器３５０に提供する。

空間周波数帯域ディバインダ３５０は、空間周波数帯域プロセッサ３４５に結合され、さらに結合器３６０に結合される。空間周波数帯域結合器３５０は、空間周波数帯域プロセッサ３４５から空間強調成分Ｅ_Sおよび非空間強調成分Ｅ_mを受け取り、空間強調成分Ｅ_Sおよび非空間強調成分Ｅ_mを左空間強調チャネルＥ_Lおよび右空間強調チャネルにＥ_R結合する。例えば、左空間強調チャネルＥ_Lは、空間強調成分Ｅ_Sと非空間強調成分Ｅ_mの合計に基づいて生成できる。また、非空間強調成分Ｅ_mと拡張強調成分Ｅ_Sの差に基づいて、右空間強調チャネルＥ_Rを生成できる。空間周波数帯域結合器３５０は、左空間強調チャネルＥ_Lまたは右空間強調チャネルＥ_Rを結合器３６０に提供する。サブバンド空間プロセッサ３１０の追加の詳細は図４に関連して以下で説明される。

クロストーク補正プロセッサ３２０は、クロストーク補正を実行して、クロストークキャンセルのスペクトル欠陥やアーチファクトを補正する。クロストーク補正プロセッサ３２０は、入力チャネルＸ_LおよびＸ_Rを受け取り、クロストークキャンセルプロセッサ３７０によって実行される非空間強調成分Ｅ_mおよび空間強調成分Ｅ_Sの後続のクロストークキャンセルにおけるアーチファクトを補正する処理を実行する。いくつかの実施形態では、クロストーク補正プロセッサ３２０は、フィルタを適用して、左クロストーク補正チャネルＺ_Lおよび右クロストーク補正チャネルＺ_Rを含むクロストーク補正信号Ｚを生成することにより、非空間成分Ｘ_mおよび空間成分Ｘ_Sに対して強調を実行し得る。他の実施形態では、クロストーク補正プロセッサ３２０は、非空間成分Ｘ_mのみに対して強調を実行することができる。クロストーク補正プロセッサ３２０に関する追加の詳細は図５に関連して以下で説明される。

結合器３６０は、左空間強調チャネルＥ_Lを左クロストーク補正チャネルＺ_Lと結合して左強調補正チャネルＴ_Lを生成し、右空間強調チャネルＥ_Rを右クロストーク補正チャネルＺ_Rと結合して右補正チャネルＴ_Rを生成する。結合器３６０はクロストークキャンセルプロセッサ３７０に結合され、クロストークキャンセルプロセッサ３７０に左強調補正チャネルＴ_Lと右強調補正チャネルＴ_Rを提供する。

クロストークキャンセルプロセッサ３７０は、左強調補正チャネルＴ_Lおよび右強調補正チャネルＴ_Rを受け取り、チャネルＴ_L、Ｔ_Rに対してクロストークキャンセルを実行して、左出力チャネルＯ_Lおよび右出力チャネルＯ_Rを含む出力オーディオ信号Ｏを生成する。クロストークキャンセルプロセッサ３７０に関する追加の詳細は、図５に関連して以下で説明される。

図４は、いくつかの実施形態による、サブバンド空間プロセッサの概略ブロック図である。空間周波数帯域ディバイダ３４０には、左入力チャネルＸ_Lおよび右入力チャネルＸ_Rを受信するＬ／Ｒ／Ｍ／Ｓコンバータ４０２を含み、これらの入力を空間成分Ｙ_mおよびＹ_S変換する。

空間周波数帯域プロセッサ３４５は、非空間成分Ｙ_mを受信し、サブバンドフィルタのセットを適用して、非空間強調サブバンド成分Ｅ_mを生成する。空間周波数帯域プロセッサ３４５は空間サブバンド成分Ｙ_Sも受信し、サブバンドフィルタのセットを適用して非空間強調サブバンド成分Ｅ_mを生成する。サブバンドフィルタには、ピークフィルタ、ノッチフィルタ、ローパスフィルタ、ハイパスフィルタ、ローシェルフフィルタ、ハイシェルフフィルタ、バンドパスフィルタ、バンドストップフィルタ、およびすべてのパスフィルタのさまざまな結合を含み得る。

より具体的には、空間周波数帯域プロセッサ３４５は、非空間成分Ｙ_mのｎ個の周波数サブバンドのそれぞれに対するサブバンドフィルタと、空間成分Ｙ_Sのｎ個のサブバンドのそれぞれに対するサブバンドフィルタとを含む。ｎ＝４サブバンドの場合、例えば、空間周波数帯域プロセッサ３４５には、非空間成分Ｙ_m用の一連のサブバンドフィルタが含まれている。これには、サブバンド（１）用のミッドイコライゼーション（ＥＱ）フィルタ４０４（１）、サブバンド（２）用のミッドＥＱフィルタ４０４（２）、サブバンド（３）用のミッドＥＱフィルタ４０４（３）、サブバンド（４）用のミッドＥＱフィルタ４０４（４）が含まれている。各ミッドＥＱフィルタ４０４は、非空間成分Ｙ_mの周波数サブバンド部分にフィルタを適用して、非空間強調成分Ｅ_mを生成する。

空間周波数帯域プロセッサ３４５には、空間成分Ｙ_Sの周波数サブバンド用の一連のサブバンドフィルタが含まれている。これには、サブバンド（１）用のサイドイコライゼーション（ＥＱ）フィルタ４０６（１）、サブバンド（２）用のサイドＥＱフィルタ４０６（２）、サブバンド（３）用のサイドＥＱフィルタ４０６（３）、サブバンド（４）用のサイドＥＱフィルタ４０６（４）が含まれている。各サイドＥＱフィルタ４０６は、空間成分Ｙ_Sの周波数サブバンド部分にフィルタを適用して、空間強調成分Ｅ_Sを生成する。

非空間成分Ｙ_mおよび空間成分Ｙ_Sのｎ個の周波数サブバンドは、それぞれ周波数の範囲に対応し得る。例えば、周波数サブバンド（１）は０〜３００Ｈｚに対応し、周波数サブバンド（２）は３００〜５１０Ｈｚに対応し、周波数サブバンド（３）は５１０〜２７００Ｈｚに対応し、周波数サブバンド（４）は２７００Ｈｚ〜ナイキスト周波数に対応する。いくつかの実施形態では、ｎ周波数サブバンドは重要なバンドの統合セットである。重要なバンドは色々な音楽的なジャンルからの可聴周波サンプルのコーパスを使用して定められ得る。２４バーク尺度の臨界帯域におけるミッド成分とサイド成分の長期平均エネルギー比は、サンプルから決定される。次に、同様の長期平均比を持つ連続周波数帯域をグループ化して、重要な帯域のセットを形成する。周波数サブバンドの範囲と周波数サブバンドの数は調整することができる。

空間周波数帯域結合器３５０は、ミッドとサイドの成分を受け取り、各成分にゲインを適用し、ミッドとサイドの成分を左右のチャネルに変換する。例えば、空間周波数帯域結合器３５０は、非空間強調成分Ｅ_mおよび空間強調成分Ｅ_Sを受信する。また空間周波数帯域結合器３５０は非空間強調成分Ｅ_mおよび空間強調成分Ｅ_Sを左空間強調チャネルＥ_Lおよび右空間強調チャネルＥ_Rに変換する前に、全体的なミッドおよびサイドゲインを実行する。

具体的には、空間周波数帯域結合器３５０には、グローバルミッドゲイン４０８、グローバルサイドゲイン４１０、およびグローバルミッドゲイン４０８およびグローバルサイドゲイン４１０に結合されたＭ／Ｓ／Ｌ／Ｒコンバータ４１２が含まれる。グローバルミッドゲイン４０８は非空間強調成分Ｅ_mを受信してゲインを適用し、グローバルサイドゲイン４１０は非空間強調成分Ｅ_Sを受信してゲインを適用する。Ｍ／Ｓ／Ｌ／Ｒコンバータ４１２はグローバルミッドゲイン４０８から非空間強調成分Ｅ_m、グローバルサイドゲイン４１０から空間強調成分Ｅ_Sを受信する。そして、これらの入力を左空間強調チャネルＥ_Lおよび右空間強調チャネルＥ_Rに変換する。

（クロストークキャンセルプロセッサの例）
図５はいくつかの実施形態によるクロストーク補正プロセッサ３２０の概略ブロック図である。クロストーク補正プロセッサ３２０には、Ｌ／Ｒ／Ｍ／Ｓコンバータ５０２ミッド成分プロセッサ５２０、サイド成分プロセッサ５３０、Ｍ／Ｓ／Ｌ／Ｒコンバータ５１４が含まれる。

クロストーク補正プロセッサ３２０は、左右の入力チャネルＸ_L、Ｘ_Rを受信し、クロストーク補正処理を実行して、左クロストーク補正チャネルＺ_Lおよび右クロストーク補正チャネルＺ_Rを生成する。チャネルＺ_L、Ｚ_Rは、クロストークキャンセルやクロストークシミュレーションなど、クロストーク処理におけるアーチファクトやスペクトル障害を補正するために使用できる。Ｌ／Ｒ／Ｍ／Ｓコンバータ５０２は、左入力チャネルＸ_Lと右入力チャネルＸ_Rを受信するし、入力チャネルＸ_L、Ｘ_Rの非空間成分Ｘ_mと空間成分Ｘ_Sを生成する。左右のチャネルを合計して左右のチャネルの非空間成分を生成し、サブトラクションして左右のチャネルの空間成分を生成することができる。

ミッド成分プロセッサ５２０には、ｍミッドフィルタ５４０（ａ）、５４０（ｂ）〜５４０（ｍ）などの複数のフィルタ５４０が搭載されている。ここでは、各ｍミッドフィルタ５４０は、非空間成分Ｘ_mのｍ周波数バンドの１つを処理する。ミッド成分プロセッサ５２０は、非空間成分Ｘ_mを処理することによって、ミッドクロストーク補正チャネルＺｍを生成する。いくつかの実施形態によると、ミッドフィルタ５４０は、シミュレーションによるクロストーク処理を使用した非空間Ｘ_mの周波数応答プロットを使用して構成されている。また、周波数応答プロットを解析することにより、クロストーク処理のアーチファクトとして発生する周波数応答プロットのピークやトラフなどのスペクトル障害を、あらかじめ設定されたしきい値（１０ｄＢなど）を超えて推定することができる。これらのアーチファクトは、主にクロストーク処理における遅延し、おそらく反転した逆測信号と、対応する同側信号との和に起因し、最終的なレンダリング結果にくし形フィルタのような周波数応答を効果的にもたらす。ミッドクロストーク補正チャネルＺ_mは、ミッド成分プロセッサ５２０によって生成され、各ｍ周波数帯域がピークまたはトラフに対応する推定ピークまたはトラフを補正できる。具体的には、クロストーク処理で適用される特定の遅延、フィルタリング周波数、およびゲインに基づいて、周波数応答でピークとトラフが上下に移動し、スペクトルの特定の領域におけるエネルギーの増幅および／または減衰を引き起こす。各ミッドフィルタ５４０は、１つまたは複数のピークとトラフに合わせて調整するように設定できる。

サイド成分プロセッサ５３０には、ｍサイドフィルタ５５０（ａ）、５５０（ｂ）〜５５０（ｍ）などの複数のフィルタ５５０が含まれる。サイド成分プロセッサ５３０は、空間成分Ｘ_Sを処理することにより、サイドクロストーク補正チャネルＺ_Sを生成する。いくつかの実施形態によると、シミュレーションによって空間Ｘの周波数応答プロットとクロストーク処理を得ることができる。周波数応答プロットを解析することにより、クロストーク処理のアーチファクトとして発生する周波数応答プロットのピークやトラフなどのスペクトル障害を、あらかじめ設定されたしきい値（１０ｄＢなど）を超えて推定できる。サイドクロストーク補正チャネルＺ_Sは、サイド成分プロセッサ５３０によって生成され、推定ピークまたはトラフを補正することができる。具体的には、クロストーク処理で適用される特定の遅延、フィルタリング周波数、およびゲインに基づいて、周波数応答でピークとトラフが上下に移動し、スペクトルの特定の領域におけるエネルギーの増幅および／または減衰を引き起こす。各サイドフィルタ５５０は、１つまたは複数のピークおよびトラフに合わせて調整するように設定できる。いくつかの実施形態では、ミッド成分プロセッサ５２０とサイド成分プロセッサ５３０に異なる数のフィルタが含まれている場合がある。

いくつかの実施形態では、ミッドフィルタ５４０とサイドフィルタ５５０には、式１で定義された転送機能を持つ複二次フィルタが含むことができる。

ｚは複素変数で、ａ₀、ａ₁、ａ₂、ｂ₀、ｂ₁、およびｂ₂はデジタルフィルタ係数である。このようなフィルタを実装する１つの方法は、式２で定義されたダイレクトフォームＩトポロジーである。

ここで、Ｘは入力ベクトル、Ｙは出力である。ほかのトポロジーは最大ワード長および飽和動作に応じて、使用される。

その後、複二次を使用して、実値の入出力を持つ２次フィルタが実装できる。離散時間フィルタを設計するために、連続時間フィルタが設計され、双一次変換によって離散時間に変換される。さらに、中心周波数と帯域幅のシフトは、周波数歪みを使用して補正できる。

例えば、ピークフィルタは、式３で定義され複素平面転送機能がある。

ここで、Ｓは複素変数、Ａはピークの振幅、Ｑはフィルタ「品質」、そしてデジタルフィルタ係数は次のように定義される。

ここで、ω０は、フィルタの中心周波数をラジアンおよび

で表したものである。

さらに、フィルタ品質Ｑは式４で定義できる。

ここで

、は帯域幅、ｆ_cは中心周波数である。

ミッドフィルタ５４０は連続にあるものとして示され、そしてサイドフィルタ５５０も連続にあるものとして示されているいくつかの実施形態では、ミッドフィルタ５４０がミッド成分Ｘ_mと平行に適用され、サイドフィルタがサイド成分Ｘ_Sと平行に適用される。

Ｍ／Ｓ／Ｌ／Ｒコンバータ５１４は、ミッドクロストーク補正チャネルＺｍとサイドクロストーク補正チャネルＺ_Sを受信し、左クロストーク補正チャネルＺ_Lと右クロストーク補正チャネルＺ_Rを生成する。ミッドとサイドの成分を合計して、ミッドとサイドの成分の左チャネルを生成できる。ミッドとサイドの成分を減算して、ミッドとサイドの成分の右チャネルを生成できる。

（クロストークキャンセルプロセッサの例）
図６は、いくつかの実施形態によるクロストークキャンセルプロセッサ３７０の概略ブロック図である。クロストークキャンセレーションプロセッサ３７０は、左強調補正チャネルＴ_Lと右強調補正チャネルＴ_Rを受信する。また、チャネルＴ_L、Ｔ_Rでクロストークキャンセルを実行して、左出力チャネルＯ_L、右出力チャネルＯ_Rを生成する。

クロストークキャンセルプロセッサ３７０には、インアウトバンドディバイダ６１０、インバーター６２０および６２２逆測推定器６３０および６４０、結合器６５０および６５２、インアウトバンド結合器６６０が含まれる。これらの構成要素は、入力チャネルＴ_L、Ｔ_Rをインバンド成分およびアウトオブバンド成分に分割し、インバンド成分でクロストークキャンセレーションを実行して出力チャネルＯ_L、Ｏ_Rを生成する。

入力オーディオ信号Ｔを異なる周波数帯域成分に分割し、選択的成分（インバンド成分など）でクロストークキャンセルを実行することで、他の周波数帯域での劣化をなくしながら、特定の周波数帯域でクロストークキャンセルを実行できる。入力オーディオ信号Ｔを異なる周波数帯域に分割せずにクロストークキャンセルを実行すると、クロストークキャンセル後のオーディオ信号は、低周波数（３５０Ｈｚ未満など）、高周波数（１２０００Ｈｚ以上など）、または両方での非空間成分および空間成分で大きな減衰または増幅を示す場合がある。影響の大きい空間的手がかりの大部分が存在するインバンド（２５０Ｈｚ〜１４０００Ｈｚなど）のクロストークキャンセルを選択的に実行することで、混合内のスペクトル全体にわたって、特に非空間的な成分でバランスのとれた全体的なエネルギーを維持できる。

インアウトバンドディバイダ６１０は、入力チャネルＴ_L、Ｔ_RをインバンドチャネルＴ_L,In、Ｔ_R,INおよびアウトバンドチャネルＴ_L,OUT、Ｔ_R,OUTにそれぞれ分離する。特に、インアウトバンドディバイダ６１０は、左強調補正チャネルＴ_Lを左インバンドチャネルＴ_L,In、左アウトオブバンドチャネルＴ_L,OUTに分割する。同様に、インアウトバンドディバイダ６１０は、右強調補正チャネルＴ_Rを右インバンドチャネルＴ_R,IN、および右アウトオブバンドチャネルＴ_R,OUTに分離する。各インバンドチャネルは、例えば２５０Ｈｚ〜１４ｋＨｚなど、周波数範囲に対応する各入力チャネルの一部を包含し得る。周波数帯域の範囲は、スピーカーのパラメータなどに応じて調整することができる。

インバーター６２０と逆測推定器６３０は、左インバンドチャネルＴ_L,Inによる逆測サウンド成分を補正するために、左逆測キャンセル成分Ｓ_Lを生成するように一緒に動作する。同様に、インバーター６２２と逆測推定器６４０は、右インバンドチャネルＴ_Rのために逆測サウンド成分を補正するために、右逆測キャンセル成分Ｓ_Rを生成するように一緒に動作する。

１つの手法では、インバーター６２０は、インバンドチャネルＴ_L,Inを受け取り、受け取ったインバンドチャネルＴ_L,Inの極性を反転して、反転されたインバンドチャネルＴ_L,In’を生成する。逆測推定器６３０は、反転されたインバンドチャネルＴ_L,In’を受け取り、フィルタリングを通じて、逆測音成分に対応する反転されたインバンドチャネルＴ_L,In’の一部を抽出する。フィルタリングは、反転されたインバンドチャネルＴ_L,In’で実行されるので_、反逆測推定器６３０によって抽出された部分は、逆測のサウンド成分に起因するインバンドチャネルＴ_Lの一部の逆になる。したがって、反逆測の推定器６３０によって抽出された部分は、左の反逆測のキャンセル成分Ｓ_Lとなり、これを対応するインバンドチャネルＴ_R,INに追加することができ、インバンドチャネルＴ_L,Inによる反逆測の音成分を低減する。いくつかの実施形態では、インバーター６２０と逆測推定器６３０は、異なる順序で実装される。

インバーター６２２と逆測推定器６４０は、インバンドチャネルＴ_Rに関して同様の操作を行い、右側逆測キャンセル成分Ｓ_Rを生成する。従って、その詳細な説明は、本明細書では簡潔さのために省略される。

１つの例示的実装形態では、逆測推定器８２５Ａは、フィルタ８５２Ａ、アンプ８５４Ａ、及び遅延ユニット８５６Ａを含む。フィルタ６３２は反転入力チャネルＴ_L,In’を受け取り、フィルタリング機能を介して反逆測のサウンド成分に対応する反転インバンドチャネルＴ_L,In’の一部を抽出する。フィルタ実装の例としては、中心周波数が５０００〜１００００Ｈｚで選択され、Ｑが０．５〜１．０の範囲で選択されたＮｏｔｃｈまたはハイシェルフフィルタがある。デシベル（ＧｄＢ）単位のゲインは、式５から算出できる。
Ｇ_dB＝−３．０−ｌｏｇ_1.333（Ｄ）式（５）
ここで、Ｄは、サンプル中の遅延ユニット６３６および６４６による遅延量である。例えば、サンプリングレートは４８ＫＨｚである。別の実装方法としては、ローパスフィルタがあり、コーナー周波数は５０００〜１００００Ｈｚの範囲で選択され、Ｑは０．５〜１．０の範囲で選択される。さらに、アンプ６３４は、対応するゲイン係数Ｇ_L,INによって抽出部分を増幅し、遅延ユニット６３６は遅延機能Ｄに従ってアンプ６３４からの増幅出力を遅延させ、左側逆測キャンセル成分Ｓ_Lを生成する。逆測推定器６４０には、フィルタ６４２、アンプ６４４、および遅延ユニット６４６が含まれている。このユニットは、反転されたインバンドチャネルＴ_R,IN’で同様の操作を実行して、右側逆測キャンセル成分Ｓ_Rを生成する。一例として、反逆測の推定６３０、６４０では、次の式に従って、左右の逆測キャンセル成分Ｓ_L、Ｓ_Rが生成される。
Ｓ_L＝Ｄ［Ｇ_L、IN＊Ｆ［Ｔ_L,IN’］］式（６）
Ｓ_R＝Ｄ［Ｇ_R、IN＊Ｆ［Ｔ_R,IN’］］式（７）
ここで、Ｆ［］はフィルタ関数、Ｄ［］は遅延関数である。

クロストークキャンセルの設定は、スピーカーのパラメータによって決定できる。例えば、２つのスピーカー２８０間のリスナーに対する角度に応じて、フィルタの中心周波数、遅延量、アンプゲイン、およびフィルタゲインを決定できる。いくつかの実施形態では、スピーカー角度間の値を使用して他の値を補間する。

結合器６５０は、右側逆測キャンセル成分Ｓ_Rと左側インバンドチャネルＴ_L,INを結合して、左側インバンドクロストークチャネルＵ_Lを生成する。また、結合器６５２は、左側逆測キャンセル成分Ｓ_Lを右側インバンドチャネルＴ_R,INに結合して、右側インバンドクロストークチャネルＵ_Rを生成する。インアウトバンド結合器６６０は、左インバンドクロストークチャネルＵ_LとアウトバンドチャネルＴ_L,OUTを結合して、左出力チャネルＯ_Lを生成する。また、右インバンドクロストークチャネルＵ_RとアウトバンドチャネルＴ_R,OUTを結合して、右出力チャネルＯ_Rを生成する。

したがって、左の出力チャネルＯ_Lには逆測の音に関連してインバンドチャネルＴ_R,INの一部の反転に対応する逆測キャンセル成分Ｓ_Rが含まれる。また、右出力チャネルＯ_Rには、逆測の音に関連して、インバンドチャネルＴ_R,INの一部の逆に対応する左逆測キャンセ成分Ｓ_Lが含まれる。この構成では、右耳に到達した右出力チャネルＯ_Rに応じて右スピーカーから出力した同側サウンド成分の波面は、左出力チャネルＯ_Lに応じて左スピーカーから出力された逆測サウンド成分の波面をキャンセルすることができる。同様に、左耳に到達した左出力チャネルＯ_Lに応じて左スピーカーから出力された同側サウンド成分の波面は、右出力チャネルＯ_Rに応じて、右スピーカーから出力された逆測サウンド成分の波面をキャンセルすることができる。これにより、空間的検出性を高めるために逆測音を低減することができる。

（空間強調プロセッサの例）
図７は、いくつかの実施形態による空間強調プロセッサ７００の概略ブロック図である。空間強調プロセッサ７００は、クロストーク処理がヘッドフォンを使用するクライアントデバイス１３０のクロストークシミュレーションである空間強調プロセッサ１２０の一例である。空間強調プロセッサ７００は、入力オーディオ信号Ｘのクロストークシミュレーションを実行して、左ヘッドフォンの左出力チャネルＯ_Lと右ヘッドフォンの右出力チャネルＯ_Rを含む出力オーディオ信号Ｏを生成する。左の入力チャネルＸ_Lは空間混合プロセッサ１１０からの左の出力チャネル１４２、右の入力チャネルＸ_Rは空間混合プロセッサ１１０からの右の出力チャネル１４４となることがある。左強調チャネルのＯ_Lは左強調チャネル１４６に対応し、右強調チャネルのＯ_Rは右強調チャネル１４８に対応する。

空間強調プロセッサ７００には、サブバンド空間プロセッサ３１０、クロストーク補正プロセッサ７２０、クロストークシミュレーションプロセッサ７８０、および結合器７６０が含まれる。クロストーク補正プロセッサ７２０はチャネルＸ_LおよびＸ_Rを受け取り、クロストークシミュレーションプロセッサ７８０により生成された左クロストークシミュレーション信号Ｗ_Lと右クロストークシミュレーション信号Ｗ_Rを含むクロストークシミュレーション信号Ｗと、サブバンド空間プロセッサ３１０により生成された左強調チャネルＥ_Lと右強調チャネルＥ_Rを含む強調信号Ｅの結合におけるアーチファクト補正処理を実行する。クロストーク補正プロセッサ７２０は、左クロストーク補正チャネルＺ_Lおよび右クロストーク補正チャネルＺ_Rを含むクロストーク補正信号Ｚを生成する。クロストークシミュレーションプロセッサ７８０は、左クロストークシミュレーションチャネルＷ_Lおよび右クロストークシミュレーションチャネルＷ_Rを生成する。サブバンド空間プロセッサ３１０は、左強調チャネルＥ_Lと右強調チャネルＥ_Rを生成する。クロストークシミュレーションプロセッサ７８０の詳細については、以下の図８で説明される。

結合器７６０は、左強調チャネルＥ_L、右強調チャネルＥ_R、左クロストークシミュレーションチャネルＷ_L、右クロストークシミュレーションチャネルＷ_R、左クロストーク補正チャネルＺ_L、および右クロストーク補正チャネルＺ_Rを受信する。結合器７６０は、左強調チャネルＥ_L、右クロストークシミュレーションチャネルＷ_R、および左クロストーク補正チャネルＺ_Lを結合し、左出力チャネルＯ_Lを生成する。結合器７６０は、左強調チャネルＥ_L、右クロストークシミュレーションチャネルＷ_R、および左クロストーク補正チャネルＺ_Lを結合することで、右出力チャネルＯ_Rを生成する。

（クロストークシミュレーションプロセッサの例）
図８はいくつかの実施形態におけるクロストークシミュレーションプロセッサ７８０の概略ブロック図である。クロストークシミュレーションプロセッサ７８０は、ステレオヘッドフォンに出力する逆測サウンド成分を生成し、ヘッドフォンでスピーカーのようなリスニング体験を提供する。左入力チャネルＸ_Lは、空間混合プロセッサ１１０からの左出力チャネル１４２であり得、右入力チャネルＸ_Rは、空間混合プロセッサ１１０からの右出力チャネル１４４であり得る。

クロストークシミュレーションプロセッサ７８０には、左入力チャネルＸ_Lを処理するために左ヘッドシャドウローパスフィルタ８０２、左ヘッドシャドウハイパスフィルタ８２４、左クロストーク遅延８０４、左ヘッドシャドウゲイン８１０が含まれている。クロストークシミュレーションプロセッサ７８０には、右入力チャネルＸ_Rを処理するために右ヘッドシャドウローパスフィルタ８０６、右ヘッドシャドウハイパスフィルタ８２６、右クロストーク遅延８０８、右ヘッドシャドウゲイン８１２が含まれている。左ヘッドシャドウローパスフィルタ８０２および左ヘッドシャドウハイパスフィルタ８２４は、リスナーのヘッドを通過した後の信号の周波数応答をモデル化する左入力チャネルＸ_Lに変調を適用する。左ヘッドシャドウハイパスフィルタ８２４の出力は、時間遅延を適用する左クロストーク遅延８０４に提供される。遅延時間は、同側サウンド成分に対して逆測サウンド成分によって横断される耳の距離を表す。左ヘッドシャドウゲイン８１０は、左クロストーク遅延８０４の出力にゲインを適用して、右左シミュレーションチャネルＷ_Lを生成する。

同様に、右入力チャネルＸ_Rの場合、右ヘッドシャドウローパスフィルタ８０６および右ヘッドシャドウハイパスフィルタ８２６は、リスナーのヘッドの周波数応答をモデル化する右入力チャネルＸ_Rに変調を適する。右ヘッドシャドウハイパスフィルタ８２６の出力は、時間遅延を適用する右クロストーク遅延８０８に提供される。右ヘッドシャドウゲイン８１２は、右クロストーク遅延８０８の出力にゲインを適用して、右クロストークシミュレーションチャネルＷ_Rを生成する。

左右の各チャネルのヘッドシャドウローパスフィルタ、ヘッドシャドウハイパスフィルタ、クロストーク遅延、およびヘッドシャドウゲインの適用は、異なる順序で実行できる。

（カンファレンス処理の例）
図９は、いくつかの実施形態におけるクライアントデバイス間でカンファレンスを行うためのプロセス９００のフローチャートである。プロセス９００は、クライアントデバイス１３０からの入力オーディオストリームを含む、空間強調ステレオフォニックオーディオストリームをクライアントデバイス１３０に提供するために実行される。プロセス９００は、いくつかのステップまたは追加のステップを含むことができ、ステップは異なる順序で実行することができる。プロセス９００は、いくつかの実施形態による、オーディオ処理システム１００の図をそれぞれが含む図９および１０を参照して説明される。

サーバー１０２（例えば、空間混合プロセッサ１１０を有する）は、複数のクライアントデバイス１３０から９０５の入力オーディオストリームを受信する。例えば、オーディオストリームには、モノラルオーディオストリームが含まれ得る。別の例では、１つまたは複数の入力オーディオストリームに複数のオーディオチャネル（ステレオ、５．１チャネルサラウンドサウンド、１次オーダーのアビソニックなど）が含まれる場合がある。入力オーディオストリームは、ネットワーク経由で複数のクライアントデバイス１３０から送信できる。いくつかの実施形態では、各クライアントデバイス１３０は、入力オーディオストリームに関連してメタデータを送信する。メタデータには、クライアントデバイスを識別するデバイス識別データ、他のクライアントデバイスの他のオーディオストリームの必要な空間的位置を定義する配置データが含まれる場合がある。

サーバー１０２（例えば空間混合プロセッサ１１０を有する）は、クライアントデバイス１３０では、サウンドフィールド内の他のクライアントデバイス１３０の空間的な位置を定義する配置データ９１０を決定する。配置データはさまざまな方法で定義できる。例えば、配置データは、クライアントデバイスからメタデータとして受信するか、サーバー１０２によって事前定義されている場合がある。いくつかの実施形態では、ユーザーパンコントロールがない場合、クライアントデバイス１３０が自動的にパンされる。ユーザーは、好みに応じてオーディオをパンすることもできる。

サーバー１０２（例えば、空間混合プロセッサ１１０を有する）は、入力オーディオストリームを配置データに従って混合およびパンすることで、９１５Ａ混合ストリームを生成する。混合ストリームは、左混合チャネルと右混合チャネルを含むステレオオーディオ信号であり得る。例えば、空間混合プロセッサ１１０は、サウンドフィールド内のオーディオストリーム１４０の空間位置を決定することができ、オーディオストリーム１４０に関連付けられた空間位置に応じて、オーディオストリーム１４０から左チャネルと右チャネルを生成し得る。左右のチャネルは、他のクライアントデバイス１３０のオーディオストリーム１４０ごとに生成さる。複数のオーディオストリーム１４０の左側のチャネルは左混合チャネル１４２に結合され、右側のチャネル１４０は右混合チャネル１４４に結合さる。

図１０を参照すると、複数のクライアントデバイス１３０Ａ、１３０ｂ、１３０Ｃ、および１４０Ｄがカンファレンスに参加し、サーバー１１０に接続されている。クライアントデバイス１３０Ａの場合、クライアントデバイス１３０Ａの周囲にサウンドフィールド１００２が定義される。配置データに従って、他のクライアントデバイス１３０ｂ、１３０Ｃ、および１３０ｄがサウンドフィールド１００２に配置される。サウンドフィールド１００２には、間隔をおいたクライアントデバイス１３０の均一な空間分布が示されているが、空間分布は必ずしも均一ではない。例えば、クライアントデバイス１３０は、ユーザーロール、エンティティ／会社名、グループメンバーシップ、カンファレンス室の場所、地理的な場所、ＩＰアドレスなどを定義する配置データに基づいて、サウンドフィールド１００２内に分散され得る。

サーバー１０２（空間強調プロセッサ１２０を搭載）は、サブバンド空間処理とクロストーク処理を混合ストリームに適用することで、空間的に強調されたストリーム９２０を生成する。空間的に強調されたストリームは、左強調チャネルと右強調チャネルを含むステレオオーディオ信号の場合がある。空間強調プロセッサ１２０は、さまざまなタイプの空間強調を実行できる。サブバンド空間処理の場合、空間強調プロセッサ１２０は、左混合チャネルのミッドおよびサイドサブバンド成分と混合ストリームの右混合チャネルをゲイン調整することによって、左チャネルと右チャネルを生成する。クロストーク処理には、クライアントデバイス１３０がスピーカーとヘッドフォンのどちらを使用しているかによって、クロストークキャンセルやクロストークのシミュレーションが含まれる場合がある。いくつかの実施形態では、クライアントデバイス１３０ごとに異なるタイプの空間強調が実行されることがある。

いくつかの実施形態では、クライアントデバイス１３０の混合ストリームに適用される空間強調処理は、クライアントデバイス１３０からのデバイス情報に基づく。デバイス情報には、スピーカーパラメータ（サイズ、周波数応答、位置、方向など）や、フィルタ値、ゲイン値、時間遅延値、空間強調効果の強度などの空間強調プロセッサの動作パラメータなど、空間強調プロセッサ１２０の成分のパラメータが含まれる場合がある。いくつかの実施形態では空間強調プロセッサ１２０の動作パラメータは、スピーカーパラメータから導出される。クライアントデバイス１３０のタイプごとに、異なるタイプの空間強調処理を使用できる。例えば、クライアントデバイス１３０は、スピーカーのタイプ（スピーカーやヘッドフォンなど）やスピーカーのパラメータ（周波数特性、相対サイズ、相対的な向きなど）によって異なる場合がある。

いくつかの実施形態では、サーバー１０２は、各クライアントデバイスからデバイスの説明を受信し、デバイスの説明に基づいて空間強調プロセッサ１２０のパラメータを決定する。デバイスの説明には、ラップトップ、サウンドバー、ヘッドフォン、スピーカー、デスクトップスピーカーなどのクライアントデバイスのタイプが表示される場合がある。さまざまなタイプのクライアントデバイスが異なるパラメータに関連付けられ、パラメータはデバイスのタイプに基づいて選択される。

サーバー１０２は、クライアントデバイス１３０に空間強調ストリーム９２５を提供する。例えば、サーバー１０２は、左強調チャネルと右強調チャネルを含む空間強調ストリームをネットワーク経由でクライアントデバイス１３０に送信する。左強調チャネルは左スピーカー１５２に、右強調チャネルは右スピーカー１５４に提供され、空間強調ストリームに応じてサウンドを再現する。

いくつかの実施形態では、サーバー１０２（空間混合プロセッサ１１０など）は、空間強調ストリーム（または混合ストリーム）に関連して、各クライアントデバイス１３０にパニングメタデータを提供する。パニングメタデータには、オーディオストリームの参加者を識別する情報が含まれ得る。参加者は、ユーザーロール、エンティティ／会社名、グループメンバーシップ、部屋の場所、地理的な場所、ＩＰアドレスによって識別できる。

いくつかの実施形態では、サーバー１０２は、クライアントデバイス１３０ごとに空間強調処理を行うために、クライアントデバイス１３０に混合ストリームを提供する。クライアントデバイス１３０には、混合ストリームを使用して左右の強調チャネルを生成する空間強調プロセッサ１２０を含む。図１１を参照すると、各クライアントデバイス１３０Ａ〜１３０ｄには、空間強調プロセッサ１２０が含まれており、空間混合プロセッサ１１０からの混合ストリームを処理する。クライアントデバイス１２０の空間強調プロセッサ１２０で使用される空間拡張プロセッサ１２０の成分のパラメータやデバイス情報はサーバー１０２に送信する必要はない。前述したように、さまざまなタイプの空間強調処理が、さまざまなタイプのクライアントデバイス１３０およびスピーカー構成に使用され得る。

いくつかの実施形態では、サーバー１０２はオーディオ信号１４０の混合されていないストリームをクライアントデバイス１３０に提供し、クライアントデバイス１３０は空間強調によりステレオミックスダウンされる。図１２を参照すると、各クライアントデバイス１３０Ａ〜１３０ｄには、ミックスダウンを実行して混合ストリームを生成する空間混合プロセッサ１１０と、空間混合プロセッサ１１０からの混合ストリームを処理する空間強調プロセッサ１２０が含まれている。サーバー１０２は、クライアントデバイス１３０Ａから１３０ｄへの接続と、他のクライアントデバイス１３０から各クライアントデバイス１３０への入力信号１４０の提供を仲介する。いくつかの実施形態では、ピアツーピア構成など、各クライアントデバイス１３０はサーバー１０２を使用せずに相互に接続される。ここでは、各クライアントデバイス１３０が他のクライアントデバイス１３０にオーディオストリーム１４０を提供する。

ステップ９１０−９２５は、カンファレンスに参加しているクライアントデバイス１３０ごとに並行して実行することができる。クライアントデバイス１３０ごとに、１つまたは複数の他のクライアントデバイス１３０の入力オーディオストリームから異なる混合ストリームを生成できる。サーバー１０２には、クライアントデバイスごとに空間強調プロセッサ１２０の複数のインスタンスが含まれ、それぞれ異なる混合ストリームを処理する。さらに、ステップ９１０−９２５を繰り返して、カンファレンスに参加している各クライアントデバイス１３０にオーディオストリームの入出力を提供できる。

（コンピュータの例）
図１３は、一実施形態によるコンピュータ１３００の概略ブロック図である。コンピュータ１３００は、オーディオシステムを実装する回路の一例である。図は、チップセット１３０４に１つ以上のプロセッサ１３０２を結合したものである。チップセット１３０４は、メモリコントローラハブ１３２０とＩ／Ｏコントローラハブ１３２２を搭載している。メモリ１３０６とグラフィックスアダプタ１３１２はメモリコントローラハブ１３２０に接続され、ディスプレイデバイス１３１８はグラフィックスアダプタ１３１２に接続されている。ストレージデバイス１３０８、キーボード１３１０、ポインティングデバイス１３１４、およびネットワークアダプタ１３１６は、Ｉ／Ｏコントローラハブ１３２２に接続されている。コンピュータ１３００には、さまざまなタイプの入出力デバイスが含まれ得る。コンピュータ１３００の他の実施形態には、異なるアーキテクチャがある。例えば、いくつかの実施形態によると、メモリ１３０６はプロセッサ１３０２に直接結合されている。

ストレージデバイス１３０８には、ハードドライブ、コンパクトディスク読み取り専用メモリ（ＣＤ−ＲＯＭ）、ＤＶＤ、ソリッドステートメモリデバイスなど、一時的にコンピュータで読み取り可能な１つ以上のストレージメディアが含まれている。メモリ１３０６は、プログラムコード（１つ以上の命令で構成される）とプロセッサ１３０２が使用するデータを保持する。プログラムコードは、図１から図１１で説明されている処理面に対応し得る。

ポインティングデバイス１３１４をキーボード１３１０と組み合わせて使用し、コンピュータシステム１３００にデータを入力する。グラフィックスアダプタ１３１２は、ディスプレイデバイス１３１８に画像やその他の情報を表示する。いくつかの実施形態によると、ディスプレイ装置１３１８には、ユーザーの入力と選択を受信するためのタッチスクリーン機能が組み込まれている。ネットワークアダプタ１３１６は、コンピュータシステム１３００をネットワークに接続する。コンピュータ１３００のいくつかの実施形態は、図１３に示すものとは異なるものや、その他の成分を備えているものもある。

本明細書で説明された範囲から逸脱することなく、当業者には明らかなはずの様々な修正形態、変更形態及び変形形態が、本明細書で開示された方法及び装置の配置、動作及び詳細において作製され得る。

Claims

複数のクライアントデバイスのうちの一つのクライアントデバイスにカンファレンスを提供するための方法であって、
前記複数のクライアントデバイスから入力オーディオストリームを受信することと、
前記複数のクライアントデバイスのうちの前記クライアントデバイスに対して、サウンドフィールド内の前記複数のクライアントデバイスのうちの他のクライアントデバイスの空間位置を定義する配置データを決定することと、
前記配置データに従って前記他のクライアントデバイスの入力オーディオストリームを混合およびパンすることによって、左混合チャネルおよび右混合チャネルを含む前記クライアントデバイスのための混合ストリームを生成することと、
前記クライアントデバイスに関連付けられたスピーカのタイプを決定することであって、スピーカの第１のタイプは、ヘッドフォンに対応し、スピーカの第２のタイプは、ラウドスピーカに対応する、ことと、
前記混合ストリームの前記左混合チャネルおよび前記右混合チャネルにサブバンド空間処理を適用することによって、左強調チャネルおよび右強調チャネルを含む空間強調ストリームを生成することであって、前記サブバンド空間処理は
前記左混合チャネルおよび前記右混合チャネルのミッド成分のミッドサブバンド成分に第１のゲインを適用して、強調ミッド成分を生成すること、
前記左混合チャネルおよび前記右混合チャネルのサイド成分のサイドサブバンド成分に第２のゲインを適用して、強調サイド成分を生成すること、ならびに
前記強調ミッド成分および前記強調サイド成分を使用して、前記左強調チャネルおよび前記右強調チャネルを生成すること
を含む、ことと、
前記空間強調ストリームの前記左強調チャネルを前記クライアントデバイスの左スピーカに提供し、前記空間強調ストリームの前記右強調チャネルを前記クライアントデバイスの右スピーカに提供することであって、前記空間強調ストリームを生成することは、
スピーカの前記第１のタイプが前記クライアントデバイスと関連付けられると決定することに応答して、
前記混合ストリームに基づいてクロストークシミュレーションを適用すること、および
前記混合ストリームに基づいて前記クロストークシミュレーションを適用することによって引き起こされるスペクトル障害を調整する、前記混合ストリームにクロストーク補正を適用すること、ならびに
スピーカの前記第２のタイプが前記クライアントデバイスと関連付けられると決定することに応答して、
前記混合ストリームに基づいてクロストークキャンセレーションを適用すること、および
前記混合ストリームに基づいて前記クロストークキャンセレーションを適用することによって引き起こされるスペクトル障害を調整する、前記混合ストリームにクロストーク補正を適用すること
を含む、ことと
を備える方法。
前記配置データを決定することは、ネットワークを介して前記クライアントデバイスから前記配置データを受信することを含む、請求項１に記載の方法。
前記クライアントデバイスからの前記入力オーディオストリームの各々は、一つまたは複数のオーディオチャネルを含む、請求項１に記載の方法。
前記配置データに従って前記他のクライアントデバイスの前記入力オーディオストリームを混合およびパンすることによって、前記左混合チャネルおよび前記右混合チャネルを含む、前記クライアントデバイスのための前記混合ストリームを生成することは、
前記サウンドフィールド内の前記他のクライアントデバイスの前記空間位置に従って、前記他のクライアントデバイスの前記入力オーディオストリームの各々から左チャネルおよび右チャネルを生成すること、
前記左混合チャネルを生成するために前記他のクライアントデバイスの前記入力オーディオストリームから左チャネルを結合すること、および
前記右混合チャネルを生成するために前記他のクライアントデバイスの前記入力オーディオストリームから前記右チャネルを結合すること
を含む、請求項１に記載の方法。
前記複数のクライアントデバイスに接続されたサーバーは、前記混合ストリームを生成し、前記混合ストリームを前記クライアントデバイスに提供し、
前記クライアントデバイスは、前記混合ストリームから前記空間強調ストリームを生成する、請求項１に記載の方法。
前記複数のクライアントデバイスに接続されたサーバーは、前記混合ストリームおよび前記空間強調ストリームを生成し、前記空間強調ストリームを前記クライアントデバイスに提供する、請求項１に記載の方法。
前記クライアントデバイスに関連付けられたスピーカの前記タイプを決定することは、
前記サーバーにおいて、前記クライアントデバイスからデバイスの説明を受信することと、
前記デバイスの説明に基づいてスピーカの前記タイプを決定することであって、スピーカの前記タイプは、前記サブバンド空間処理を適用するための複数のパラメータに対応する、ことと
含む、請求項６に記載の方法。
前記クライアントデバイスは、前記混合ストリームおよび前記空間強調ストリームを生成する、請求項１に記載の方法。
プロセッサによって実行されると、
複数のクライアントデバイスから入力オーディオストリームを受信し、
前記複数のクライアントデバイスのうちの一つのクライアントデバイスに対して、サウンドフィールド内の前記複数のクライアントデバイスのうちの他のクライアントデバイスの空間位置を定義する配置データを決定し、
前記配置データに従って前記他のクライアントデバイスの入力オーディオストリームを混合およびパンすることによって、左混合チャネルおよび右混合チャネルを含む前記クライアントデバイスのための混合ストリームを生成し、
前記クライアントデバイスに関連付けられたスピーカのタイプを決定し、スピーカの第１のタイプがヘッドフォンに対応し、スピーカの第２のタイプがラウドスピーカに対応し、
前記混合ストリームの前記左混合チャネルおよび前記右混合チャネルにサブバンド空間処理を適用することによって、左強調チャネルおよび右強調チャネルを含む空間強調ストリームを生成し、前記サブバンド空間処理は
前記左混合チャネルおよび前記右混合チャネルのミッドサブバンド成分に第１のゲインを適用して、強調ミッド成分を生成することと、
前記左混合チャネルおよび前記右混合チャネルのサイドサブバンド成分に第２のゲインを適用して、強調サイド成分を生成することと、
前記強調ミッド成分および前記強調サイド成分を使用して、前記左強調チャネルおよび前記右強調チャネルを生成することと
を含むように前記プロセッサを構成するプログラムコードを格納し、前記空間強調ストリームを生成するように前記プロセッサを構成する前記プログラムコードは、
スピーカの前記第１のタイプが前記クライアントデバイスと関連付けられると決定することに応答して、
前記混合ストリームに基づいてクロストークシミュレーションを適用し、
前記混合ストリームに基づいて前記クロストークシミュレーションを適用することによって引き起こされるスペクトル障害を調整する、前記混合ストリームにクロストーク補正を適用し、
スピーカの前記第２のタイプが前記クライアントデバイスと関連付けられると決定することに応答して、
前記混合ストリームに基づいてクロストークキャンセレーションを適用し、
前記混合ストリームに基づいて前記クロストークキャンセレーションを適用することによって引き起こされるスペクトル障害を調整する、前記混合ストリームにクロストーク補正を適用する
ように前記プロセッサをさらに構成するプログラムコードを含む、非一時的なコンピュータ可読媒体。
実行されると、前記クライアントデバイスからデバイスの説明を受信し、前記デバイスの説明に基づいて前記サブバンド空間処理を適用するためのパラメータを決定するように前記プロセッサをさらに構成するプログラムコードをさらに備えた、請求項９に記載のコンピュータ可読媒体。
実行されると、前記左混合チャネルおよび前記右混合チャネルを含む前記混合ストリームを前記クライアントデバイスに提供するように前記プロセッサを構成するプログラムコードをさらに備えた、請求項９に記載のコンピュータ可読媒体。
実行されると、ネットワークを介して前記クライアントデバイスから前記配置データを受信するように前記プロセッサを構成する命令を含む前記配置データを決定するように前記プロセッサをさらに構成するプログラムコードをさらに備えた、請求項９に記載のコンピュータ可読媒体。
前記複数のクライアントデバイスからの前記入力オーディオストリームの各々は、一つまたは複数のオーディオチャネルを含む、請求項９に記載のコンピュータ可読媒体。
前記配置データに従って前記他のクライアントデバイスの前記入力オーディオストリームを混合およびパンすることによって、前記左混合チャネルおよび前記右混合チャネルを含む前記クライアントデバイスのための前記混合ストリームを生成するように前記プロセッサを構成する前記プログラムコードは、
前記サウンドフィールド内の前記他のクライアントデバイスの前記空間位置に従って、前記他のクライアントデバイスの前記入力オーディオストリームの各々から左チャネルおよび右チャネルを生成し、
前記左混合チャネルを生成するために前記他のクライアントデバイスの前記入力オーディオストリームから左チャネルを結合し、
前記右混合チャネルを生成するために前記他のクライアントデバイスの前記入力オーディオストリームから前記右チャネルを結合するように
前記プロセッサをさらに構成するプログラムコードを含む、請求項１０に記載のコンピュータ可読媒体。
複数のクライアントデバイスのうちの一つのクライアントデバイスにカンファレンスを提供するためのシステムであって、
前記複数のクライアントデバイスから入力オーディオストリームを受信し、
前記複数のクライアントデバイスのうちの前記クライアントデバイスに対して、サウンドフィールド内の前記複数のクライアントデバイスのうちの他のクライアントデバイスの空間位置を定義する配置データを決定し、
前記配置データに従って前記複数のクライアントデバイスのうちの前記他のクライアントデバイスの入力オーディオストリームを混合およびパンすることによって、左混合チャネルおよび右混合チャネルを含む、前記複数のクライアントデバイスのうちの前記クライアントデバイスのための混合ストリームを生成し、
前記クライアントデバイスに関連付けられたスピーカのタイプを決定し、スピーカの第１のタイプがヘッドフォンに対応し、スピーカの第２のタイプがラウドスピーカに対応し、
前記混合ストリームの前記左混合チャネルおよび前記右混合チャネルにサブバンド空間処理を適用することによって、左強調チャネルおよび右強調チャネルを含む空間強調ストリームを生成し、前記サブバンド空間処理は
前記左混合チャネルおよび前記右混合チャネルのミッドサブバンド成分に第１のゲインを適用して、強調ミッド成分を生成することと、
前記左混合チャネルおよび前記右混合チャネルのサイドサブバンド成分に第２のゲインを適用して、強調サイド成分を生成することと、
前記強調ミッド成分および前記強調サイド成分を使用して、前記左強調チャネルおよび前記右強調チャネルを生成することと
を含むように構成された処理回路を備え、前記空間強調ストリームを生成することは、
スピーカの前記第１のタイプが前記クライアントデバイスと関連付けられると決定することに応答して、
前記混合ストリームに基づいてクロストークシミュレーションを適用すること、および
前記混合ストリームに基づいて前記クロストークシミュレーションを適用することによって引き起こされるスペクトル障害を調整する、前記混合ストリームにクロストーク補正を適用すること、ならびに
スピーカの前記第２のタイプが前記クライアントデバイスと関連付けられると決定することに応答して、
前記混合ストリームに基づいてクロストークキャンセレーションを適用すること、および
前記混合ストリームに基づいて前記クロストークキャンセレーションを適用することによって引き起こされるスペクトル障害を調整する、前記混合ストリームにクロストーク補正を適用すること
を含む、システム。
前記複数のクライアントデバイスからの前記入力オーディオストリームの各々は、一つまたは複数のオーディオチャネルを含む、請求項１５に記載のシステム。
前記処理回路は、前記左混合チャネルおよび前記右混合チャネルを含む前記混合ストリームを前記複数のクライアントデバイスのうちの前記クライアントデバイスに提供するようにさらに構成された、請求項１５に記載のシステム。