JP6067934B2 - 球面調和係数のバイノーラルレンダリング - Google Patents

Description

優先権主張
[0001]本出願は、２０１３年５月２９日に出願された米国仮特許出願第６１／８２８，６２０号、２０１３年７月１７日に出願された米国仮特許出願第６１／８４７，５４３号、２０１３年１０月３日に出願された米国仮出願第６１／８８６，５９３号、および２０１３年１０月３日に出願された米国仮出願第６１／８８６，６２０号の利益を主張する。

[0002]本開示は、音声レンダリングに関し、より詳細には、音声データのバイノーラルレンダリング（binaural rendering）に関する。

[0003]一般に、本技法は、１より大きい次数を有する球面調和係数（高次アンビソニックス（ＨＯＡ）係数と呼ばれることがある）のバイノーラル音声レンダリングについて説明する。

[0004]一例として、バイノーラル音声レンダリングの方法は、音場をレンダリングするために、バイノーラル室内インパルス応答フィルタを３次元の音場を表す球面調和係数に適用することを備える。

[0005]別の例として、デバイスは、音場をレンダリングするために、バイノーラル室内インパルス応答フィルタを３次元の音場を表す球面調和係数に適用するように構成された１つまたは複数のプロセッサを備える。

[0006]別の例では、デバイスは、３次元の音場を表す球面調和係数を決定するための手段と、音場をレンダリングするために、バイノーラル室内インパルス応答フィルタを音場を表す球面調和係数に適用するための手段とを備える。

[0007]別の例として、非一時的コンピュータ可読記憶媒体は、実行されると、１つまたは複数のプロセッサに、音場をレンダリングするために、バイノーラル室内インパルス応答フィルタを３次元の音場を表す球面調和係数に適用させる命令をその上に記憶している。

[0008]技法の１つまたは複数の態様の詳細は、添付の図面および以下の説明に記載される。これらの技法の他の特徴、目的、および利点は、説明および図面から、ならびに特許請求の範囲から、明らかになろう。

[0009]様々な次数および副次数の球面調和基底関数を示す図。 様々な次数および副次数の球面調和基底関数を示す図。 [0010]音声信号情報をより効率的にレンダリングするために本開示で説明する技法を実行し得るシステムを示す図。 [0011]例示的なバイノーラル室内インパルス応答（ＢＲＩＲ）を示すブロック図。 [0012]室内でＢＲＩＲを作成するための例示的なシステムモデルを示すブロック図。 [0013]室内でＢＲＩＲを作成するためのより詳細なシステムモデルを示すブロック図。 [0014]本開示で説明するバイノーラル音声レンダリング技法の様々な態様を実施し得る音声再生デバイスの一例を示すブロック図。 [0015]本開示で説明するバイノーラル音声レンダリング技法の様々な態様を実施し得る音声再生デバイスの一例を示すブロック図。 [0016]本開示で説明する技法の様々な態様による、球面調和係数をレンダリングするための、バイノーラルレンダリングデバイスに関する例示的な演算のモードを示すフロー図。 [0017]本開示で説明する技法の様々な態様による、図７および図８の音声再生デバイスによって実施され得る代替の演算のモードを示すフロー図。 本開示で説明する技法の様々な態様による、図７および図８の音声再生デバイスによって実施され得る代替の演算のモードを示すフロー図。 [0018]本開示で説明するバイノーラル音声レンダリング技法の様々な態様を実施し得る音声再生デバイスの一例を示すブロック図。 [0019]本開示で説明する技法の様々な態様による、図１１の音声再生デバイスによって実施され得るプロセスを示すフロー図。 [0020]本開示で説明するバイノーラル音声レンダリング技法の様々な態様を実施し得る音声再生デバイスの一例を示すブロック図。 [0021]本開示で説明するバイノーラル音声レンダリング技法の様々な態様を実施し得る音声再生デバイスの一例を示すブロック図。 [0022]本開示で説明する技法の様々な態様による、球面調和係数をレンダリングするための、バイノーラルレンダリングデバイスに関する動作の例示的なモードを示すフローチャート。 [0023]本開示で説明する技法の様々な態様による、図１３の音声再生デバイスによって実施され得る概念的プロセスを示す図。 本開示で説明する技法の様々な態様による、図１４の音声再生デバイスによって実施され得る概念的プロセスを示す図。

[0024]同様の参照符号は、図面およびテキスト全体を通して同じ要素を示す。

[0025]サラウンドサウンドの発展は、現今では娯楽のための多くの出力フォーマットを利用可能にしている。そのようなサラウンドサウンドフォーマットの例は、一般的な５．１フォーマット（これは、フロントレフト（ＦＬ）と、フロントライト（ＦＲ）と、センターまたはフロントセンターと、バックレフトまたはサラウンドレフトと、バックライトまたはサラウンドライトと、低周波効果（ＬＦＥ）という、６つのチャンネルを含む）、発展中の７．１フォーマット、および今後来る２２．２フォーマット（たとえば、超高精細テレビ規格で使用するための）を含む。空間音声フォーマットの別の例は、球面調和係数（高次アンビソニックス（Higher Order Ambisonics）としても知られている）である。

[0026]将来規格化される音声エンコーダ（ＰＣＭ音声表現をビットストリームに変換するデバイス−時間サンプルごとに必要なビット数を保存する）への入力は、随意に、３つの可能なフォーマット、（ｉ）あらかじめ指定された位置でラウドスピーカーによって再生されることを意味する、従来のチャンネルベース音声、（ｉｉ）（様々な情報の中でも）位置座標を含む関連付けられたメタデータを有する単一音声オブジェクトのための離散的なパルス符号変調（ＰＣＭ）データを含むオブジェクトベース音声、および（ｉｉｉ）球面調和係数（ＳＨＣ）を使用して音場を表すことを含むシーンベース音声−ここで、係数は球面調和基底関数の線形和の「重み」を表す、のうちの１つとすることができる。この文脈では、ＳＨＣは、高次アンビソニックス（ＨｏＡ）モデルによるＨｏＡ信号を含み得る。球面調和係数は、代替または追加として、平面モデルと球面モデルとを含み得る。

[0027]市場には様々な「サラウンドサウンド」フォーマットがある。これらのフォーマットは、たとえば、５．１ホームシアターシステム（リビングルームへの進出を行うという点でステレオ以上に最も成功した）からＮＨＫ（Ｎｉｐｐｏｎ Ｈｏｓｏ Ｋｙｏｋａｉすなわち日本放送協会）によって開発された２２．２システムに及ぶ。コンテンツ作成者（たとえば、ハリウッドスタジオ）は、一度に映画のサウンドトラックを作成することを望み、各々のスピーカー構成のためにサウンドトラックをリミックスする努力を行うことを望まない。最近では、標準化委員会が、標準化されたビットストリームへの符号化と、スピーカーの幾何学的配置およびレンダラの位置における音響条件に適合可能でありそれらに依存しない後続の復号とを提供するための方法を考えている。

[0028]コンテンツ作成者にそのようなフレキシビリティを提供するために、要素の階層的なセットが音場を表すために使用され得る。要素の階層的なセットは、より低次の要素の基本セットがモデル化された音場の完全な表現を提供するように要素が順序付けられている、要素のセットを指し得る。このセットはより高次の要素を含むように拡張されるので、表現はより詳細なものになる。

[0029]要素の階層的なセットの一例は、球面調和係数（ＳＨＣ）のセットである。次の式は、ＳＨＣを使用した音場の記述または表現を示す。

この式は、任意の点｛ｒ_r，θ_r，φ_r｝（これは、この例において音場を取り込むマイクロフォンに対する球面座標で表される）における音場の圧力ｐ_iが、

によって一意に表され得ることを示す。ここで、

、ｃは音の速さ（約３４３ｍ／ｓ）であり、｛ｒ_r，θ_r，φ_r｝は基準の点（または観測点）であり、ｊｎ（・）は次数ｎの球ベッセル関数であり、および

は次数ｎおよび副次数ｍの球面調和基底関数である。角括弧内の項は、離散フーリエ変換（ＤＦＴ）、離散コサイン変換（ＤＣＴ）、またはウェーブレット変換などの様々な時間周波数変換によって近似され得る信号の周波数領域表現（すなわち、Ｓ（ω，ｒ_r，θ_r，φ_r）である）ことが認識できよう。階層的なセットの他の例は、ウェーブレット変換の係数のセットと、多重解像度の基底関数の係数の他のセットとを含む。

[0030]図１は、ゼロ次（ｎ＝０）から４次（ｎ＝４）までの球面調和基底関数を示す図である。理解できるように、各次数に対して、説明を簡単にするために図示されているが図１の例では明示的に示されていない副次数ｍの拡張が存在する。

[0031]図２は、ゼロ次（ｎ＝０）から第４次（ｎ＝４）までの球面調和基底関数を示す別の図である。図２では、球面調和ベースの関数は、示される次数と副次数の両方を伴う３次元座標空間において示される。

[0032]いずれにしても、

は、様々なマイクロフォンアレイ構成によって物理的に取得（たとえば、記録）されることが可能であり、または代替的に、音場のチャンネルベースの記述もしくはオブジェクトベースの記述から導出されることが可能である。ＳＨＣは、シーンに基づく音声を表す。たとえば、４次のＳＨＣの表現は、時間サンプルごとに（１＋４）²＝２５個の係数を伴う。

[0033]これらのＳＨＣがどのようにオブジェクトベースの記述から導出され得るかを例示するために、次の式を考える。個々の音声オブジェクトに対応する音場に関する係数

は、

として表され得、ここで、ｉは

であり、ｈ_n ⁽²⁾（・）は次数ｎの（第２の種類の）球ハンケル関数であり、｛ｒ_s，θ_s，φ_s｝はオブジェクトの位置である。周波数の関数としての音源のエネルギーｇ（ω）を知ること（たとえば、ＰＣＭストリームに高速フーリエ変換を行うなどの、時間・周波数解析技法を使用して）は、我々が各ＰＣＭオブジェクトとその位置とを

に変換することを可能にする。さらに、各オブジェクトに関する

係数は、（上式は線形であり直交方向の分解であるので）加法的であることが示され得る。このようにして、多数のＰＣＭオブジェクトが

係数によって（たとえば、個々のオブジェクトに関する係数ベクトルの和として）表され得る。本質的に、これらの係数は、音場に関する情報（３Ｄ座標の関数としての圧力）を含んでおり、上記は、観測点｛ｒ_r，θ_r，φ_r｝の近傍における、音場全体の表現への個々のオブジェクトからの変換を表す。

[0034]ＳＨＣはまた、マイクロフォンアレイの記録から次のように導出され得る。

ただし、

は

（ＳＨＣ）の時間領域の等価物であり、＊は畳み込み演算を表し、＜，＞は内積を表し、ｂ_n（ｒ_i，ｔ）はｒ_iに依存する時間領域のフィルタ関数を表し、ｍ_i（ｔ）はｉ番目のマイクロフォンの信号であり、ｉ番目のマイクロフォントランスデューサ（microphone transducer）は、半径ｒ_i、仰角θ_i、および方位角φ_iに位置する。したがって、マイクロフォンアレイの中に３２個のトランスデューサがあり、各マイクロフォンが、ｒ_i＝ａが定数となるように球面上に配置される（ｍｈＡｃｏｕｓｔｉｃｓのＥｉｇｅｎｍｉｋｅ ＥＭ３２デバイス上のマイクロフォンのように）場合、２５個のＳＨＣが、行列演算を使用して次のように導出され得る。

上記の式中の行列は、より一般的にはＥ_s（θ，φ）と呼ばれることがあり、ここで、下付き文字ｓは、この行列がある特定の変換器幾何学的配置セットｓに関することを示すことができる。上記の式中の畳み込み（＊によって示される）は、行と行に基づき、したがって、たとえば、出力

はｂ₀（ａ，ｔ）と、Ｅ_s（θ，φ）行列の第１の行とマイクロフォン信号の列（これは時間の関数として変化する−ベクトル乗算の結果が時系列であるという事実の理由である）とのベクトル乗算から生じる時系列と、の間の畳み込みの結果である。算出は、マイクロフォンアレイの変換器位置が、いわゆるＴ字形設計幾何学的配置（Ｅｉｇｅｎｍｉｋｅ変換器幾何学的配置に極めて近い）にあるとき、最も正確であり得る。Ｔ字形設計幾何学的配置の１つの特徴は、幾何学的配置から生じるＥ_s（θ，φ）行列は行儀の非常によい（very well behaved）逆行列（または擬似逆行列）を有すること、さらに、この逆行列は行列Ｅ_s（θ，φ）の転置によって極めてよく近似され得ることが多いことであり得る。仮にｂ_n（ａ，ｔ）を用いたフィルタリング動作が無視される場合、この性質は、ＳＨＣからのマイクロフォン信号の復元（すなわち、この例では、［ｍ_i（ｔ）］＝［Ｅ_s（θ，φ）］^-1［ＳＨＣ］）を可能にする。残りの数字は、以下でオブジェクトベース音声コーディングおよびＳＨＣベース音声コーディングの文脈で説明される。

[0035]図３は、音声信号情報をより効率的にレンダリングするために本開示で説明する技法を実行し得るシステム２０を示す図である。図３の例に示すように、システム２０は、コンテンツ作成者２２と、コンテンツ消費者２４とを含む。コンテンツ作成者２２およびコンテンツ消費者２４の文脈で説明するが、本技法は、音場の階層的表示を規定するＳＨＣまたは任意の他の階層要素を利用する任意の文脈において実施され得る。

[0036]コンテンツ作成者２２は、コンテンツ消費者２４などのコンテンツ消費者による消費のためのマルチチャンネル音声コンテンツを生成し得る映画撮影所または他のエンティティを表すことができる。多くの場合、このコンテンツ作成者は、ビデオコンテンツとともに、音声コンテンツを生成する。コンテンツ消費者２４は、音声再生システムを所有するまたはそれにアクセスできる個人を表し得、その音声再生システムはマルチチャンネル音声コンテンツを再生する能力がある音声再生システムの任意の形を指し得る。図３の例では、コンテンツ消費者２４は、音場の階層的表示を規定する階層要素をレンダリングするための音声再生システム３２を所有するかまたはそれへのアクセスを有する。

[0037]コンテンツ作成者２２は、音声レンダラ２８と音声編集システム３０とを含む。音声レンダラ２８は、スピーカーフィード（「ラウドスピーカーフィード」、「スピーカー信号」、または「ラウドスピーカー信号」と呼ばれることもある）をレンダリングするかまたはさもなければ生成する音声処理ユニットを表し得る。各スピーカーフィードは、マルチチャンネル音声システムの特定のチャンネルに関する音を再生するスピーカーフィード、またはスピーカー位置に適合する頭部伝達関数（ＨＲＴＦ）フィルタとの畳み込みについて意図される仮想ラウドスピーカーフィードに対応することができる。各スピーカーフィードは、球面調和係数のチャンネル（ここで、チャンネルは、球面調和係数が対応する関連付けられた球面基底関数の次数および／または副次数によって示され得る）に対応し得、指向性音場を表すためにＳＨＣの多数のチャンネルを使用する。

[0038]図３の例では、音声レンダラ２８は、従来の５．１、７．１、または２２．２のサラウンドサウンドフォーマットのためのスピーカーフィードをレンダリングし、５．１、７．１、または２２．２のサラウンドサウンドスピーカーシステムにおいて、５個、７個、または２２個のスピーカーの各々に関するスピーカーフィードを生成することができる。代替的に、音声レンダラ２８は、上記で検討した音源の球面調和係数の性質が与えられれば、任意の数のスピーカーを有する任意のスピーカー構成のための音源の球面調和係数からスピーカーフィードをレンダリングするように構成され得る。音声レンダラ２８は、このようにして、図３ではスピーカーフィード２９と示されているいくつかのスピーカーフィードを生成し得る。

[0039]コンテンツ作成者は、編集プロセス中に、球面調和係数２７（「ＳＨＣ２７」）をレンダリングし、高い忠実度を持たないまたは説得力のあるサラウンドサウンド経験を提供しない音場の様相を識別する試みにおけるレンダリングされたスピーカーフィードをリッスンすることができる。次いで、コンテンツ作成者２２は、（多くの場合、上記の様式で音源の球面調和係数が導出され得る異なるオブジェクトの操作を通じて、間接的に）音源の球面調和係数を編集することができる。コンテンツ作成者２２は、球面調和係数２７を編集するために音声編集システム３０を用いることができる。音声編集システム３０は、音声データを編集し、この音声データを１つまたは複数の音源の球面調和係数として出力することが可能な任意のシステムを表す。

[0040]編集プロセスが完了すると、コンテンツ作成者２２は、球面調和係数２７に基づいてビットストリーム３１を生成することができる。すなわち、コンテンツ作成者２２は、ビットストリーム生成デバイス３６を含み、それは、ビットストリーム３１を生成する能力がある任意のデバイスを表し得る。場合によっては、ビットストリーム生成デバイス３６は、球面調和係数２７を帯域幅圧縮し（一例として、エントロピー符号化を通じて）、ビットストリーム３１を形成するために認められたフォーマットで球面調和係数２７のエントロピー符号化バージョンを配置するエンコーダを表し得る。他の例では、ビットストリーム生成デバイス３６は、一例としてマルチチャンネル音声コンテンツまたはその派生物を圧縮するために従来の音声サラウンドサウンド符号化プロセスのプロセスに類似したプロセスを使用してマルチチャンネル音声コンテンツ２９を符号化する音声エンコーダ（おそらく、ＭＰＥＧサラウンドなどの知られている音声コーディング規格またはその派生物に適合する音声エンコーダ）を表すことができる。圧縮されたマルチチャンネル音声コンテンツ２９は次いで、コンテンツ２９を帯域幅圧縮するためにエントロピー符号化されまたはある他の方法でコーディングされ、ビットストリーム３１を形成するために合意したフォーマットに従って配置されてもよい。ビットストリーム３１を形成するために直接圧縮されようと、レンダリングされ、次いでビットストリーム３１を形成するために圧縮されようと、コンテンツ作成者２２は、コンテンツ消費者２４にビットストリーム３１を送信することができる。

[0041]図３ではコンテンツ消費者２４に直接送信されるとして示されるが、コンテンツ作成者２２は、コンテンツ作成者２２とコンテンツ消費者２４との間に位置付けられる中間デバイスにビットストリーム３１を出力し得る。この中間デバイスは、このビットストリームを要求し得るコンテンツ消費者２４への後の配送のためにビットストリーム３１を記憶し得る。中間デバイスは、ファイルサーバ、ウェブサーバ、デスクトップコンピュータ、ラップトップコンピュータ、タブレットコンピュータ、モバイルフォン、スマートフォン、または音声デコーダによる後の取出しのためにビットストリーム３１を記憶する能力がある任意の他のデバイスを備え得る。この中間デバイスは、ビットストリーム３１を要求するコンテンツ消費者２４などの加入者にビットストリーム３１を（おそらくは対応するビデオデータビットストリームを送信するとともに）ストリーミングすることが可能なコンテンツ配信ネットワークに存在し得る。代替的に、コンテンツ作成者２２は、コンパクトディスク、デジタルビデオディスク、高精細度ビデオディスク、または他の記憶媒体などの記憶媒体にビットストリーム３１を格納することができ、記憶媒体の大部分はコンピュータによって読み取り可能であり、したがって、コンピュータ可読記憶媒体または非一時的コンピュータ可読記憶媒体と呼ばれ得る。この文脈において、送信チャンネルは、これらの媒体に格納されたコンテンツが送信されるチャンネルを指し得る（および、小売店と他の店舗ベースの配信機構とを含み得る）。したがって、いずれにしても、本開示の技法は、この点に関して図３の例に限定されるべきではない。

[0042]図３の例にさらに示すように、コンテンツ消費者２４は、音声再生システム３２を所有するかまたはそれへのアクセスを有する。音声再生システム３２は、マルチチャンネル音声データを再生することが可能な任意の音声再生システムを表すことができる。音声再生システム３２は、バイノーラルスピーカーフィード３５Ａ〜３５Ｂ（総称して「スピーカーフィード３５」）としての出力に関するＳＨＣ２７’をレンダリングするバイノーラル音声レンダラ３４を含む。バイノーラル音声レンダラ３４は、ベクトルベース振幅パニング（ＶＢＡＰ：vector-base amplitude panning）を実施する様々な方法のうちの１つまたは複数、および／または音場合成を実施する様々な方法のうちの１つまたは複数など、異なる形態のレンダリングを提供し得る。

[0043]音声再生システム３２は、抽出デバイス３８をさらに含むことができる。抽出デバイス３８は、一般にビットストリーム生成デバイス３６のプロセスに相反し得るプロセスによって球面調和係数２７’（球面調和係数２７の修正された形態または複製物を表すことができる「ＳＨＣ２７’」）を抽出することが可能な任意のデバイスを表すことができる。いずれにしても、音声再生システム３２は、球面調和係数２７’を受信し、球面調和係数２７’をレンダリングするためにバイノーラル音声レンダラ３４を使用し、それによって（音声再生システム３２に電気的にまたはおそらくワイヤレスに結合されるラウドスピーカーの数に対応する、このことは例示を容易にするために図３の例には示さない）スピーカーフィード３５を生成し得る。スピーカーフィード３５の数は２であり得、音声再生システムは、２つの対応するラウドスピーカーを含む一対のヘッドフォンにワイヤレスに結合し得る。しかしながら、様々な例では、バイノーラル音声レンダラ３４は、図３に関して図示され、最初に説明されたものより多数または少数のスピーカーフィードを出力することがある。

[0044]インパルス位置において生成されたインパルスに対する位置における応答をそれぞれ表す音声再生システムのバイナリ室内インパルス応答（ＢＲＩＲ）フィルタ３７。ＢＲＩＲフィルタ３７は、それらがそれぞれ、その位置において人間の耳によって経験されるであろうインパルス応答を表すように生成されるという点において「バイノーラル」である。したがって、インパルスに関するＢＲＩＲフィルタは、対のうちの１つの要素が左耳用であり別の要素が右耳用である、対を成すサウンドレンダリングのために生成され、使用されることが多い。図示の例では、バイノーラル音声レンダラ３４は、それぞれのバイノーラル音声出力３５Ａおよび３５Ｂをレンダリングするために、左ＢＲＩＲフィルタ３３Ａと右ＢＲＩＲフィルタ３３Ｂとを使用する。

[0045]たとえば、ＢＲＩＲフィルタ３７は、音源信号と、インパルス応答（ＩＲ）として測定された頭部伝達関数（ＨＲＴＦ）とを畳み込むことによって生成され得る。ＢＲＩＲフィルタ３７の各々に対応するインパルス位置は、仮想空間中の仮想ラウドスピーカーの位置を表し得る。いくつかの例では、バイノーラル音声レンダラ３４は、ＳＨＣ２７’と、仮想ラウドスピーカーに対応するＢＲＩＲフィルタ３７とを畳み込み、次いで、スピーカーフィード３５としての出力に関してＳＨＣ２７’によって規定される音場をレンダリングするために、得られる畳み込みを集積する（すなわち、合計する）。本明細書で説明するように、バイノーラル音声レンダラ３４は、スピーカーフィード３５としてＳＨＣ２７’をレンダリングしながら、ＢＲＩＲフィルタ３７を操作することによってレンダリング計算を削減するための技法を適用し得る。

[0046]いくつかの例では、本技法は、ＢＲＩＲフィルタ３７を、室内の一位置における一インパルス応答の異なる段階を表すいくつかのセグメントにセグメント化することを含む。これらのセグメントは、音場の任意の点における圧力（または圧力の欠如）を生成する異なる物理現象に対応する。たとえば、ＢＲＩＲフィルタ３７の各々はインパルスと同時に計時されるので、第１のセグメントまたは「初期」セグメントは、インパルスの位置からの圧力波がインパルス応答が測定される位置に到達するまでの時間を表し得る。タイミング情報を別として、それぞれの初期セグメントに関するＢＲＩＲフィルタ３７の値は重要ではなく、音場を記述する階層要素との畳み込みから除外されてよい。同様に、ＢＲＩＲフィルタ３７の各々は、たとえば、人間の聴覚のダイナミックレンジより低く減衰された、または指定されたしきい値より低く減衰されたインパルス応答信号を含む最終または「末尾」セグメントを含み得る。それぞれの末尾セグメントに関するＢＲＩＲフィルタ３７の値もまた重要ではなく、音場を記述する階層要素との畳み込みから除外されてよい。いくつかの例では、本技法は、指定されたしきい値を用いてシュレーダの後方積分（Schroeder backward integration）を実施すること、および後方積分が指定されたしきい値を超える場合に末尾セグメントから要素を除くことによって末尾セグメントを決定することを含むことがある。いくつかの例では、指定されたしきい値は、残響時間ＲＴ₆₀に関して−６０ｄＢである。

[0047]ＢＲＩＲフィルタ３７の各々の追加のセグメントは、室からのエコー効果を含まない、インパルスで生じた圧力波に起因するインパルス応答を表し得る。これらのセグメントは、ＢＲＩＲフィルタ３７に関する頭部伝達関数（ＨＲＴＦ）として表され、説明され得、ここで、ＨＲＴＦは、圧力波が鼓膜まで進むにつれて頭、肩／胴、および外耳の周りの圧力波の回折および反射によるインパルス応答を取り込む。ＨＲＴＦインパルス応答は、線形時不変系（ＬＴＩ：linear and time-invariant system）の結果であり、最小位相フィルタとしてモデル化され得る。いくつかの例では、レンダリングの間のＨＲＴＦセグメント計算を削減するための技法は、最小位相再構成を含み、元の有限インパルス応答（ＦＩＲ）フィルタ（たとえば、ＨＲＴＦフィルタセグメント）の次数を削減するために、無限インパルス応答（ＩＩＲ）フィルタを使用することができる。

[0048]ＩＩＲフィルタとして実装される最小位相フィルタは、削減されたフィルタ次数を有するＢＲＩＲフィルタ３７に関するＨＲＴＦフィルタを近似するために使用され得る。次数を削減することは、周波数領域において時間ステップに関する計算の数が付随して削減することをもたらす。加えて、最小位相フィルタの構築に起因する残余／余剰フィルタが、音の圧力波が音源から各耳まで進む距離によって引き起こされる時間距離または位相距離を表す両耳間時間差（ＩＴＤ：interaural time difference）を推定するために使用され得る。次いで、ＩＴＤは、１つまたは複数のＢＲＩＲフィルタ３７と、音場を記述する（すなわち、バイノーラル化を決定する）階層要素との畳み込みを計算した後、片耳または両耳に関する音の定位をモデル化するために使用され得る。

[0049]またさらに、ＢＲＩＲフィルタ３７の各々のセグメントがＨＲＴＦセグメントに後続し、インパルス応答についての室内の効果を説明し得る。この室内セグメントは、早期エコー（または「早期反射」）セグメントと後期残響セグメントとにさらに分解され得る（すなわち、早期エコーおよび後期残響が、それぞれ、ＢＲＩＲフィルタ３７の各々の別個のセグメントによって表され得る）。ＨＲＴＦデータがＢＲＩＲフィルタ３７に関して利用可能である場合、早期エコーセグメントの開始は、ＨＲＴＦセグメントを識別するためにＢＲＩＲフィルタ３７とＨＲＴＦとの逆畳み込みを行うことによって識別され得る。早期エコーセグメントが、ＨＲＴＦセグメントに後続する。残余室内応答とは異なり、ＨＲＴＦセグメントおよび早期エコーセグメントは、対応する仮想スピーカーの位置が重要な点における信号を決定するという点において方向依存性である。

[0050]いくつかの例では、バイノーラル音声レンダラ３４は、音場を記述する階層要素に関する球面調和領域（θ、φ）または他の領域のために準備されたＢＲＩＲフィルタ３７を使用する。すなわち、ＢＲＩＲフィルタ３７は、バイノーラル音声レンダラ３４が、ＢＲＩＲフィルタ３７の（たとえば、左／右の）対称性およびＳＨＣ２７’の対称性を含む、データセットのいくつかの特性を利用しながら高速畳み込みを実施することを可能にするために、球面調和領域（ＳＨＤ）において、変換されたＢＲＩＲフィルタ３７として規定され得る。そのような例では、変換されたＢＲＩＲフィルタ３７は、ＳＨＣレンダリング行列と元のＢＲＩＲフィルタとを乗算する（または時間領域において畳み込みを行う）ことによって生成され得る。数学的に、これは、下式（１）〜（５）

に従って表現され得る。

[0051]ここで、（３）は、（１）または（２）のいずれかを、４次の球面調和係数に関する行列形式で示す（これは、４次以下の球面基底関数と関連付けられた球面調和係数の行列形式を表すための代替方法であり得る）。式（３）は、当然ながら、より高次またはより低次の球面調和係数に関して修正され得る。式（４）〜式（５）は、合計されたＳＨＣ−バイノーラルレンダリング行列（ＢＲＩＲ’’）を生成するために、変換された左および右のＢＲＩＲフィルタ３７をラウドスピーカー次元Ｌにわたって合計することを示す。相まって、合計されたＳＨＣ−バイノーラルレンダリング行列は、次元［（Ｎ＋１）²、Ｌｅｎｇｔｈ、２］を有し、ここで、Ｌｅｎｇｔｈは、式（１）〜式（５）の任意の結合が適用され得るインパルス応答ベクトルの長さである。式（１）および式（２）のいくつかの例では、レンダリング行列ＳＨＣは、式（１）が、ＢＲＩＲ’_{(N+1)2,L,left}＝ＳＨＣ_{(N+1)2,L,left}＊ＢＲＩＲ_L,leftに修正され、式（２）が、ＢＲＩＲ’_{(N+1)2,L,right}＝ＳＨＣ_(N+1)2,L＊ＢＲＩＲ_L,rightに修正され得るように、バイノーラル化され得る。

[0052]上式（１）〜（３）において提示される行列をレンダリングするＳＨＣ、ＳＨＣは、ＳＨＣ２７’の次数／副次数の結合の各々に関する要素を含み、それは、別個のＳＨＣチャンネルを効率的に規定し、ここで、要素の値は、球面調和領域内のスピーカーＬの位置に関するセットである。ＢＲＩＲ_L,leftは、左耳、またはスピーカーＬに関する位置で生成されたインパルスに関する位置におけるＢＲＩＲ応答を表し、｛ｉ｜ｉ∈［０，Ｌ］｝に関するインパルス応答ベクトルＢ_{iを使用して(3)で表される。}ＢＲＩＲ’_{(N+1)2,L,left}は、「ＳＨＣ−バイノーラルレンダリング行列」の半分、すなわち、球面調和領域に変換された、左耳またはスピーカーＬに関する位置で生成されたインパルスに関する位置におけるＳＨＣ−バイノーラルレンダリング行列を表す。ＢＲＩＲ’_{(N+1)2,L,right}は、ＳＨＣ−バイノーラルレンダリング行列の他方の半分を表す。

[0053]いくつかの例では、本技法は、変換されたＢＲＩＲフィルタ３７とＳＨＣ−バイノーラルレンダリング行列とを生成するために、それぞれの元のＢＲＩＲフィルタ３７のＨＲＴＦおよび早期反射セグメントだけにＳＨＣレンダリング行列を適用することを含み得る。これは、ＳＨＣ２７’との畳み込みの長さを削減し得る。

[0054]いくつかの例では、式（４）〜（５）に表されるように、球面調和領域における様々なラウドスピーカーを組入れる次元を有するＳＨＣ−バイノーラルレンダリング行列は、ＳＨＣレンダリングとＢＲＩＲレンダリング／ミキシングとを結合する（Ｎ＋１）²＊Ｌｅｎｇｔｈ＊２のフィルタ行列を生成するように合計され得る。すなわち、Ｌ個のラウドスピーカーの各々に関するＳＨＣ−バイノーラルレンダリング行列は、たとえば、係数をＬ次元にわたって合計することによって結合され得る。長さＬｅｎｇｔｈのＳＨＣ−バイノーラルレンダリング行列に関して、これは、信号をバイノーラル化するために球面調和係数の音声信号に適用され得る（Ｎ＋１）²＊Ｌｅｎｇｔｈ＊２の合計された、ＳＨＣ−バイノーラルレンダリング行列を作成する。Ｌｅｎｇｔｈは、本明細書で説明する技法に従ってセグメント化されたＢＲＩＲフィルタのセグメントの長さであり得る。

[0055]モデル節減のための技法はまた、変更されたレンダリングフィルタに適用され得、それは、ＳＨＣ２７’（たとえば、ＳＨＣコンテンツ）が新しいフィルタ行列（合計されたＳＨＣ−バイノーラルレンダリング行列）で直接フィルタリングされることを可能にする。次いで、バイノーラル音声レンダラ３４は、バイノーラル出力信号３５Ａ、３５Ｂを取得するためにフィルタリングされたアレイを合計することによってバイノーラル音声に変換し得る。

[0056]いくつかの例では、音声再生システム３２のＢＲＩＲフィルタ３７は、上記で説明した技法のうちの任意の１つまたは複数に従って以前に計算された球面調和領域における変換されたＢＲＩＲフィルタを表す。いくつかの例では、元のＢＲＩＲフィルタ３７の変換は、実行時に実施され得る。

[0057]いくつかの例では、ＢＲＩＲフィルタ３７は一般的に対称であるので、本技法は、左または右のいずれかの耳に関するＳＨＣ−バイノーラルレンダリング行列だけを使用することによって、バイノーラル出力３５Ａ、３５Ｂの計算のさらなる節減を促進することができる。フィルタ行列によってフィルタリングされたＳＨＣ２７’を合計するとき、バイノーラル音声レンダラ３４は、最終出力をレンダリングするとき、第２のチャンネルとしての出力信号３５Ａ、３５Ｂのいずれかに関して、条件付き決定を行うことができる。本明細書で説明するように、左または右のいずれかの耳に対して記述された、処理コンテンツまたは修正レンダリング行列に対する言及は、他方の耳に同様に適用可能であるものと理解されるべきである。

[0058]このようにして、本技法は、除外されたＢＲＩＲフィルタサンプルと複数のチャンネルとの直接の畳み込みを潜在的に回避するために、ＢＲＩＲフィルタ３７の長さを削減するための複数の手法を提供し得る。その結果、バイノーラル音声レンダラ３４は、ＳＨＣ２７’からのバイノーラル出力信号３５Ａ、３５Ｂの効率的なレンダリングを提供し得る。

[0059]図４は、例示的なバイノーラル室内インパルス応答（ＢＲＩＲ）を示すブロック図である。ＢＲＩＲ４０は、５つのセグメント４２Ａ〜４２Ｅを示す。初期セグメント４２Ａおよび末尾セグメント４２Ｅは共に、いずれも、重要でなく、レンダリング計算から除外されてよい静止サンプルを含む。頭部伝達関数（ＨＲＴＦ）セグメント４２Ｂは、頭部伝達によるインパルス応答を含み、本明細書で説明する技法を使用して識別され得る。早期エコー（代替として「早期反射」）セグメント４２Ｃおよび後期室内残響セグメント４２Ｄは、ＨＲＴＦと室内効果とを結合する、すなわち、早期エコーセグメント４２Ｃのインパルス応答は、室内の早期エコーおよび後期残響によってフィルタリングされたＢＲＩＲ４０に関するＨＲＴＦのインパルス応答に匹敵する。しかしながら、早期エコーセグメント４２Ｃは、後期室内残響セグメント４２Ｄと比較して、より離散的なエコーを含むことがある。ミキシング時間は、早期エコーセグメント４２Ｃと後期室内残響セグメント４２Ｄとの間の時間であり、早期エコーが密な残響になる時間を示す。ミキシング時間は、ＨＲＴＦの中に約１．５×１０⁴サンプルにおいて、またはＨＲＴＦセグメント４２Ｂの開始から約７．０×１０⁴サンプルにおいて発生するように図示されている。いくつかの例では、本技法は、統計データと室内容積からの推定とを使用してミキシング時間を計算することを含む。いくつかの例では、５０％の内部信頼ｔ_mp50を有する知覚のミキシング時間は約３６ミリ秒（ｍｓ）であり、９５％信頼区間ｔ_mp95を有する知覚のミキシング時間は約８０ｍｓである。いくつかの例では、ＢＲＩＲ４０に対応するフィルタの後期室内残響セグメント４２Ｄは、コヒーレンス整合された雑音末尾（coherence-matched noise tail）を使用して合成され得る。

[0060]図５は、室内で図４のＢＲＩＲ４０などのＢＲＩＲを作成するための例示的なシステムモデル５０を示すブロック図である。このモデルは、ここでは室内５２ＡおよびＨＲＴＦ５２Ｂの、カスケード接続されたシステムを含む。ＨＲＴＦ５２Ｂがインパルスに対して適用された後、インパルス応答は、室内５２Ａの早期エコーによってフィルタリングされたＨＲＴＦのインパルス応答に匹敵する。

[0061]図６は、室内で図４のＢＲＩＲ４０などのＢＲＩＲを作成するための、より詳細なシステムモデル６０を示すブロック図である。このモデル６０はまた、ここではＨＲＴＦ６２Ａ、早期エコー６２Ｂ、および残余室内６２Ｃ（これはＨＲＴＦと室内エコーとを結合する）の、カスケード接続されたシステムを含む。モデル６０は、室内５２Ａを早期エコー６２Ｂおよび残余室内６２Ｃに分解することを示し、各システム６２Ａ、６２Ｂ、６２Ｃを線形時不変として取り扱う。

[0062]早期エコー６２Ｂは、残余室内６２Ｃより離散的なエコーを含む。したがって、早期エコー６２Ｂは仮想スピーカーチャンネルごとに変化し得、一方、より長い末尾を有する残余室内６２Ｃは、単一のステレオコピーとして合成され得る。ＢＲＩＲを取得するために使用されるいくつかの測定用マネキンに関して、ＨＲＴＦデータが、無響室内で測定されるなど入手可能である。早期エコー（「反射」と呼ばれることがある）の位置を識別するために、早期エコー６２Ｂが、ＢＲＩＲおよびＨＲＴＦのデータを逆畳み込みを行うことによって決定され得る。いくつかの例では、ＨＲＴＦデータはすぐに入手可能ではなく、早期エコー６２Ｂを識別するための技法はブラインド推定を含む。しかしながら、単純な手法は、最初の数ミリ秒（たとえば、最初の５、１０、１５、または２０ｍｓ）を、ＨＲＴＦによってフィルタリングされた直接インパルスと見なすことを含み得る。上記のように、本技法は、統計データと室内容積からの推定とを使用してミキシング時間を計算することを含み得る。

[0063]いくつかの例では、本技法は、残余室内６２Ｃに関して１つまたは複数のＢＲＩＲフィルタを合成することを含み得る。ミキシング時間の後、ＢＲＩＲ残響の末尾（図６にシステムの残余室内６２Ｃとして表される）は、いくつかの例では、知覚の代償なしに交換され得る。さらに、ＢＲＩＲ残響の末尾は、エネルギーディケイレリーフ（ＥＤＲ：Energy Decay Relief）と周波数依存性両耳間コヒーレンス（ＦＤＩＣ：Frequency-Dependent Interaural Coherence）とに適合するガウスノイズで合成され得る。いくつかの例では、共通の合成ＢＲＩＲ残響の末尾が、複数のＢＲＩＲフィルタに関して生成され得る。いくつかの例では、共通のＥＤＲは、すべてのスピーカーのＥＤＲの平均であり得、または平均エネルギーに匹敵するエネルギーを有するフロントゼロ度ＥＤＲ（front zero degree EDR）であり得る。いくつかの例では、ＦＤＩＣは、すべてのスピーカーにわたる平均ＦＤＩＣであり得、または広い空間に関して最大限に相関のない測定に関する、すべてのスピーカーにわたった最小値であってよい。いくつかの例では、残響の末尾はまた、フィードバック遅延ネットワーク（ＦＤＮ：Feedback Delay Network）による人工的残響を用いてシミュレーションされ得る。

[0064]共通の残響の末尾によって、対応するＢＲＩＲフィルタの後ろの部分は、各スピーカーフィードとの個別の畳み込みから除外され得るが、代わりに、一度、すべてのスピーカーフィードのミックスに適用され得る。上記のように、および以下でさらに詳細に説明するように、すべてのスピーカーフィードのミキシングは、球面調和係数信号レンダリングを用いてさらに簡素化され得る。

[0065]図７は、本開示で説明するバイノーラル音声レンダリング技法の様々な態様を実施し得る音声再生デバイスの一例を示すブロック図である。単一のデバイス、すなわち図７の例における音声再生デバイス１００として示されているが、技法は、１つまたは複数のデバイスによって実施され得る。したがって、本技法はこの点において限定されるべきではない。

[0066]図７の例に示すように、音声再生デバイス１００は、抽出ユニット１０４とバイノーラルレンダリングユニット１０２とを含み得る。抽出ユニット１０４は、ビットストリーム１２０から符号化音声データを抽出するように構成されたユニットを表し得る。抽出ユニット１０４は、球面調和係数（ＳＨＣ）１２２（これは、ＳＨＣ１２２が、１より大きい次数と関連付けられた少なくとも１つの係数を含み得るという点において高次アンビソニックス（ＨＯＡ：higher order ambisonics）と呼ばれることもある）の形態の抽出された符号化音声データをバイノーラルレンダリングユニット１４６に転送し得る。

[0067]いくつかの例では、音声再生デバイス１００は、ＳＨＣ１２２を生成するために符号化音声データを復号するように構成された音声復号ユニットを含む。音声復号ユニットは、いくつかの態様においてＳＨＣ１２２を符号化するために使用される音声符号化プロセスと相反する音声復号プロセスを実施し得る。音声復号ユニットは、符号化音声データのＳＨＣを時間領域から周波数領域に変換するように構成された時間周波数解析ユニットを含み得、それによってＳＨＣ１２２を生成する。すなわち、符号化音声データが、時間領域から周波数領域に変換されていない、ＳＨＣ１２２の圧縮形態を表すとき、音声復号ユニットは、ＳＨＣ１２２（周波数領域で指定される）を生成するように、ＳＨＣを時間領域から周波数領域に変換するために時間周波数解析ユニットを起動し得る。時間周波数解析ユニットは、ＳＨＣを時間領域から周波数領域におけるＳＨＣ１２２に変換するために、数例を提示すると、高速フーリエ変換（ＦＦＴ）と、離散コサイン変換（ＤＣＴ）と、修正離散コサイン変換（ＭＤＣＴ）と、離散サイン変換（ＤＳＴ）とを含む、フーリエベースの変換の任意の形式を適用し得る。いくつかの例では、ＳＨＣ１２２は、すでに、ビットストリーム１２０において周波数領域内で指定され得る。これらの例では、時間周波数解析ユニットは、変換を適用することなく、またはさもなければ受信されたＳＨＣ１２２を変換することなく、ＳＨＣ１２２をバイノーラルレンダリングユニット１０２に送ることができる。周波数領域で指定されたＳＨＣ１２２に関して説明したが、本技法は、時間領域で指定されたＳＨＣ１２２に関して実施され得る。

[0068]バイノーラルレンダリングユニット１０２は、ＳＨＣ１２２をバイノーラル化するように構成されたユニットを表す。言い換えれば、バイノーラルレンダリングユニット１０２は、ＳＨＣ１２２を左および右のチャンネルにレンダリングするように構成されたユニットを表し、そのユニットは、ＳＨＣ１２２が記録された室内において、左および右のチャンネルがリスナーによってどのように聞こえうるかのモデル化する空間化の機能を備え得る。バイノーラルレンダリングユニット１０２は、ヘッドフォンなどのヘッドセットを介する再生に好適な左チャンネル１３６Ａと右チャンネル１３６Ｂ（これらは「チャンネル１３６」と総称されることがある）とを生成するためにＳＨＣ１２２をレンダリングし得る。図７の例に示すように、バイノーラルレンダリングユニット１０２は、ＢＲＩＲフィルタ１０８と、ＢＲＩＲ調整ユニット１０６と、残余室内応答ユニット１１０と、ＢＲＩＲ ＳＨＣ−領域変換ユニット１１２と、畳み込みユニット１１４と、結合ユニット１１６とを含む。

[0069]ＢＲＩＲフィルタ１０８は、１つまたは複数のＢＲＩＲフィルタを含み、図３のＢＲＩＲフィルタ３７の一例を表し得る。ＢＲＩＲフィルタ１０８は、左および右のＨＲＴＦがそれぞれのＢＲＩＲに与える影響を表す、個別のＢＲＩＲフィルタ１２６Ａ、１２６Ｂを含み得る。

[0070]ＢＲＩＲ調整ユニット１０６は、仮想のラウドスピーカーＬの各々ごとの、それぞれ長さＮを有するＢＲＩＲフィルタ１２６Ａ、１２６Ｂの、Ｌ個のインスタンスを受信する。ＢＲＩＲフィルタ１２６Ａ、１２６Ｂは、すでに、静止サンプルを除去するために調整されていることがある。ＢＲＩＲ調整ユニット１０６は、それぞれのＨＲＴＦと、早期反射と、残余室内セグメントとを識別するためにＢＲＩＲフィルタ１２６Ａ、１２６Ｂをセグメント化するために、上記の技法を適用し得る。ＢＲＩＲ調整ユニット１０６は、ＢＲＩＲ ＳＨＣ−領域変換ユニット１１２にＨＲＴＦと早期反射セグメントとを、サイズ［ａ，Ｌ］の左および右の行列を表す行列１２９Ａ、１２９Ｂとして与え、ここで、ａはＨＲＴＦと早期反射セグメントとの連結の長さであり、Ｌは（仮想または実在の）ラウドスピーカーの数である。ＢＲＩＲ調整ユニット１０６は、残余室内応答ユニット１１０にＢＲＩＲフィルタ１２６Ａ、１２６Ｂの残余室内セグメントを、サイズ［ｂ，Ｌ］の左および右の残余室内行列１２８Ａ、１２８Ｂとして与え、ここで、ｂは残余室内セグメントの長さであり、Ｌは（仮想または実在の）ラウドスピーカーの数である。

[0071]残余室内応答ユニット１１０は、ＳＨＣ１２２によって図７に表すように、音場を記述する階層要素（たとえば、球面調和係数）の少なくとも幾分かの部分との畳み込みのために、左および右の共通の残余室内応答セグメントを計算またはさもなければ決定するために、上記の技法を適用し得る。すなわち、残余室内応答ユニット１１０は、左および右の残余室内行列１２８Ａ、１２８Ｂを受信し、左および右の共通の残余室内応答セグメントを生成するために左および右それぞれの残余室内行列１２８Ａ、１２８ＢをＬ個にわたって結合することができる。いくつかの例では、残余室内応答ユニット１１０は、左および右の残余室内行列１２８Ａ、１２８ＢをＬ個にわたって平均化することによって結合を実施し得る。

[0072]次いで、残余室内応答ユニット１１０は、左および右の共通の残余室内応答セグメントと、チャンネル１２４Ｂとして図７に示すＳＨＣ１２２の少なくとも１つのチャンネルとの高速畳み込みを計算し得る。いくつかの例では、左および右の共通の残余室内応答セグメントは周囲を取り巻く無指向性の音を表すので、チャンネル１２４Ｂは、ＳＨＣ１２２のＷチャンネル（すなわち、０次）であり、それは、音場の無指向性部を符号化する。そのような例では、長さＬｅｎｇｔｈのＷチャンネルサンプルに関して、残余室内応答ユニット１１０による左および右の共通の残余室内応答セグメントとの高速畳み込みは、長さＬｅｎｇｔｈの左および右の出力信号１３４Ａ、１３４Ｂを生成する。

[0073]本明細書で使用する「高速畳み込み」および「畳み込み」という用語は、時間領域における畳み込み演算、ならびに周波数領域における点毎の（point-wise）乗算演算を指すことがある。言い換えれば、信号処理の当業者によく知られているように、時間領域における畳み込みは、周波数領域における点毎の乗算と等価であり、ここで時間領域および周波数領域は、互いの変換である。出力変換は、入力変換と伝達関数との点毎の積である。したがって、畳み込みおよび点毎の乗算（または単に「乗算」）は、それぞれの領域（ここでは時間および周波数）に関して行われる概念的に同様の演算を指すことができる。畳み込みユニット１１４、２１４、２３０；残余室内応答ユニット２１０、３５４；フィルタ３８４および残響３８６は、代替として、周波数領域における乗算を適用し得、ここでこれらの成分への入力は、時間領域ではなく周波数領域において与えられる。「高速畳み込み」または「畳み込み」として本明細書で説明する他の演算は、同様に、周波数領域における乗算と呼ばれることもあり、ここで、これらの演算への入力は、時間領域ではなく周波数領域で与えられる。

[0074]いくつかの例では、残余室内応答ユニット１１０は、共通の残余室内応答セグメントの開始時間に関する値をＢＲＩＲ調整ユニット１０６から受信し得る。残余室内応答ユニット１１０は、ＢＲＩＲフィルタ１０８に関するより早いセグメントとの結合を見越して、出力信号１３４Ａ、１３４Ｂをゼロパディングするかまたはさもなければ遅延させ得る。

[0075]ＢＲＩＲ ＳＨＣ−領域変換ユニット１１２（以後、「領域変換ユニット１１２」）は、左および右のＢＲＩＲフィルタ１２６Ａ、１２６Ｂを球面調和領域に潜在的に変換し、次いでそのフィルタをＬ個にわたって潜在的に合計するために、ＳＨＣレンダリング行列をＢＲＩＲ行列に適用する。領域変換ユニット１１２は、変換結果を、それぞれ、左および右のＳＨＣ−バイノーラルレンダリング行列１３０Ａ、１３０Ｂとして出力する。行列１２９Ａ、１２９Ｂが［ａ，Ｌ］のサイズである場合、ＳＨＣ−バイノーラルレンダリング行列１３０Ａ、１３０Ｂの各々は、フィルタをＬ個にわたって合計した後、［（Ｎ＋１）²，ａ］のサイズになる（たとえば、式（４）〜（５）参照）。いくつかの例では、ＳＨＣ−バイノーラルレンダリング行列１３０Ａ、１３０Ｂは、実行時または準備時間において計算されるのではなく、音声再生デバイス１００の中で構成される。いくつかの例では、ＳＨＣ−バイノーラルレンダリング行列１３０Ａ、１３０Ｂの複数のインスタンスは、音声再生デバイス１００の中で構成され、音声再生デバイス１００は、ＳＨＣ１２４Ａに適用するために、左および右一対の複数のインスタンスを選択する。

[0076]畳み込みユニット１１４は、左および右のバイノーラルレンダリング行列１３０Ａ、１３０ＢとＳＨＣ１２４Ａとを畳み込み、ＳＨＣ１２４Ａは、いくつかの例では、ＳＨＣ１２２の次数から次数を削減することができる。周波数（たとえば、ＳＨＣ）領域におけるＳＨＣ１２４Ａに関して、畳み込みユニット１１４は、ＳＨＣ１２４Ａと左および右のバイノーラルレンダリング行列１３０Ａ、１３０Ｂとのそれぞれの点毎の乗算を計算し得る。長さＬｅｎｇｔｈのＳＨＣ信号に関して、畳み込みは、［Ｌｅｎｇｔｈ，（Ｎ＋１）²］のサイズの左および右のフィルタリングされたＳＨＣチャンネル１３２Ａ、１３２Ｂをもたらし、一般的に、球面調和領域の次数／副次数の結合の各々に関して各出力信号行列に関する行が存在する。

[0077]結合ユニット１１６は、バイノーラル出力信号１３６Ａ、１３６Ｂを作成するために、左および右のフィルタリングされたＳＨＣチャンネル１３２Ａ、１３２Ｂと出力信号１３４Ａ、１３４Ｂとを結合することができる。次いで、結合ユニット１１６は、バイノーラル出力信号１３６Ａ、１３６Ｂを生成するために左および右のバイノーラル出力信号と左および右の出力信号１３４Ａ、１３４Ｂとを結合する前に、ＨＲＴＦに関する左および右のバイノーラル出力信号と早期エコー（反射）セグメントとを生成するために、左および右のフィルタリングされたＳＨＣチャンネル１３２Ａ、１３２Ｂの各々をＬ個にわたって別々に合計することができる。

[0078]図８は、本開示で説明するバイノーラル音声レンダリング技法の様々な態様を実施し得る音声再生デバイスの一例を示すブロック図である。音声再生デバイス２００は、音声再生デバイスの例示的な例を表し得、図７の１００はさらなる詳細である。

[0079]音声再生デバイス２００は、ＳＨＣ２４２の次数を削減するために、ビットストリーム２４０から入ってくるＳＨＣ２４２を処理する随意のＳＨＣ次数削減ユニット２０４を含み得る。随意のＳＨＣ次数削減は、ＳＨＣ２４２（たとえば、Ｗチャンネル）の最高次数（たとえば、０次）のチャンネル２６２を残余室内応答ユニット２１０に与え、削減された次数のＳＨＣ２４２を畳み込みユニット２３０に与える。ＳＨＣ次数削減ユニット２０４がＳＨＣ２４２の次数を削減しない例では、畳み込みユニット２３０は、ＳＨＣ２４２と同等のＳＨＣ２７２を受信する。いずれにせよ、ＳＨＣ２７２は、［Ｌｅｎｇｔｈ，（Ｎ＋１）²］の次元を有し、ここでＮはＳＨＣ２７２の次数である。

[0080]ＢＲＩＲ調整ユニット２０６およびＢＲＩＲフィルタ２０８は、図７のＢＲＩＲ調整ユニット１０６およびＢＲＩＲフィルタ１０８の例示的な例を表し得る。残余応答ユニット２１４の畳み込みユニット２１４は、上記で説明した技法を使用してＢＲＩＲ調整ユニット２０６によって調整された共通の左および右の残余室内セグメント２４４Ａ、２４４Ｂを受信し、畳み込みユニット２１４は、左および右の残余室内信号２６２Ａ、２６２Ｂを生成するために共通の左および右の残余室内セグメント２４４Ａ、２４４Ｂと最高次数のチャンネル２６２とを畳み込む。遅延ユニット２１６は、左および右の残余室内出力信号２６８Ａ、２６８Ｂを生成するために、共通の左および右の残余室内セグメント２４４Ａ、２４４Ｂに対するサンプルの開始の数で左および右の残余室内信号２６２Ａ、２６２Ｂをゼロパディングすることができる。

[0081]ＢＲＩＲ ＳＨＣ−領域変換ユニット２２０（以後、領域変換ユニット２２０）は、図７の領域変換ユニット１１２の例示的な例を表し得る。図示の例では、変換ユニット２２２は、［ａ，Ｌ］のサイズの左および右の行列を表す行列２４８Ａ、２４８Ｂに（Ｎ＋１）²次元のＳＨＣレンダリング行列２２４を適用し、ここでａはＨＲＴＦと早期反射セグメントとの連結の長さであり、Ｌはラウドスピーカー（たとえば、仮想のラウドスピーカー）の数である。変換ユニット２２２は、次元［（Ｎ＋１）²，ａ，Ｌ］を有するＳＨＣ−領域における左および右の行列２５２Ａ、２５２Ｂを出力する。合計ユニット２２６は、次元［（Ｎ＋１）²，ａ］を有する左および右の中間ＳＨＣ−レンダリング行列２５４Ａ、２５４Ｂを作成するために、左および右の行列２５２Ａ、２５２Ｂの各々をＬ個にわたって合計し得る。削減ユニット２２８は、最小位相低減など、ＳＨＣ２７２にＳＨＣ−レンダリング行列を適用すること、および最小位相低減を適用されている中間ＳＨＣ−レンダリング行列２５４Ａ、２５４Ｂのそれぞれの最小位相部の周波数応答を近似するようにＩＩＲフィルタを設計するために平衡型モデル打切り法（Balanced Model Truncation method）を使用すること、についての計算の複雑さをさらに削減するために、上記で説明した技法を適用し得る。削減ユニット２２８は、左および右のＳＨＣ−レンダリング行列２５６Ａ、２５６Ｂを出力する。

[0082]畳み込みユニット２３０は、中間信号２５８Ａ、２５８Ｂを生成するためにＳＨＣ２７２の形態のＳＨＣコンテンツをフィルタリングし、合計ユニット２３２は、左および右の信号２６０Ａ、２６０Ｂを作成するために中間信号２５８Ａ、２５８Ｂを合計する。結合ユニット２３４は、左および右のバイノーラル出力信号２７０Ａ、２７０Ｂを生成するために左および右の残余室内出力信号２６８Ａ、２６８Ｂと左および右の信号２６０Ａ、２６０Ｂとを結合する。

[0083]いくつかの例では、バイノーラルレンダリングユニット２０２は、変換ユニット２２２によって生成されたＳＨＣ−バイノーラルレンダリング行列２５２Ａ、２５２Ｂのうちの１つだけを使用することによって計算のさらなる削減を実施し得る。その結果、畳み込みユニット２３０は、左または右の信号の一方だけについて演算し、畳み込み演算を半分に削減することができる。そのような例では、合計ユニット２３２は、出力２６０Ａ、２６０Ｂをレンダリングするときに、第２のチャンネルに関する条件付き決定を行う。

[0084]図９は、本開示で説明する技法による球面調和係数をレンダリングするための、バイノーラルレンダリングデバイスに関する例示的な演算のモードを示すフローチャートである。例示のために、例示的な演算のモードについて、図７の音声再生デバイス２００に関して説明する。バイノーラル室内インパルス応答（ＢＲＩＲ）調整ユニット２０６は、ＢＲＩＲフィルタ２４６Ａ、２４６Ｂから方向依存性成分／セグメント、特に頭部伝達関数および早期エコーセグメントを抽出することによって、左および右それぞれのＢＲＩＲフィルタ２４６Ａ、２４６Ｂを調整する（３００）。左および右のＢＲＩＲフィルタ１２６Ａ、１２６Ｂの各々は、１つまたは複数の対応するラウドスピーカーに関するＢＲＩＲフィルタを含み得る。ＢＲＩＲ調整ユニット１０６は、抽出された頭部伝達関数と早期エコーセグメントとの連結を、左および右の行列２４８Ａ、２４８ＢとしてＢＲＩＲ ＳＨＣ−領域変換ユニット２２０に与える。

[0085]ＢＲＩＲ ＳＨＣ−領域変換ユニット２２０は、球面調和（たとえば、ＨＯＡ）領域内の左および右のフィルタ行列２５２Ａ、２５２Ｂを生成するために、抽出された頭部伝達関数と早期エコーセグメントとを含む左および右のフィルタ行列２４８Ａ、２４８Ｂを変換するためにＨＯＡレンダリング行列２２４を適用する（３０２）。いくつかの例では、音声再生デバイス２００は、左および右のフィルタ行列２５２Ａ、２５２Ｂを用いて構成され得る。いくつかの例では、音声再生デバイス２００は、ビットストリーム２４０の帯域外または帯域内の信号においてＢＲＩＲフィルタ２０８を受信し、その場合、音声再生デバイス２００は、左および右のフィルタ行列２５２Ａ、２５２Ｂを生成する。合計ユニット２２６は、左および右の中間ＳＨＣ−レンダリング行列２５４Ａ、２５４Ｂを含むＳＨＣ領域内のバイノーラルレンダリング行列を生成するために、それぞれの左および右のフィルタ行列２５２Ａ、２５２Ｂをラウドスピーカーの次元にわたって合計する（３０４）。削減ユニット２２８は、左および右のＳＨＣ−レンダリング行列２５６Ａ、２５６Ｂを生成するために、中間ＳＨＣ−レンダリング行列２５４Ａ、２５４Ｂをさらに削減し得る。

[0086]バイノーラルレンダリングユニット２０２の畳み込みユニット２３０は、左および右のフィルタリングされたＳＨＣ（たとえば、ＨＯＡ）チャンネル２５８Ａ、２５８Ｂを作成するために、左および右の中間ＳＨＣ−レンダリング行列２５６Ａ、２５６ＢをＳＨＣコンテンツ（球面調和係数２７２など）に適用する（３０６）。

[0087]合計ユニット２３２は、方向依存性セグメントに関する左および右の信号２６０Ａ、２６０Ｂを作成するために、左および右のフィルタリングされたＳＨＣチャンネル２５８Ａ、２５８Ｂの各々をＳＨＣ次元（Ｎ＋１）²にわたって合計する（３０８）。次いで、結合ユニット１１６は、左および右のバイノーラル出力信号２７０Ａ、２７０Ｂを含むバイノーラル出力信号を生成するために、左および右の信号２６０Ａ、２６０Ｂと左および右の残余室内出力信号２６８Ａ、２６８Ｂとを結合し得る。

[0088]図１０Ａは、本開示で説明する技法の様々な態様による、図７および図８の音声再生デバイスによって実施され得る例示的な演算のモード３１０を示す図である。演算のモード３１０は、図８の音声再生デバイス２００に関して、後で本明細書で説明される。音声再生デバイス２００のバイノーラルレンダリングユニット２０２は、ＢＲＩＲデータ３１２、これはＢＲＩＲフィルタ２０８の例示的な例であり得ると、ＨＯＡレンダリング行列３１４、これはＨＯＡレンダリング行列２２４の例示的な例であり得る、とを用いて構成され得る。音声再生デバイス２００は、帯域内または帯域外のシグナリングチャンネル内のＢＲＩＲデータ３１２とＨＯＡレンダリング行列３１４とをビットストリーム２４０と相対して受信し得る。この例におけるＢＲＩＲデータ３１２は、たとえば、Ｌ個の実在または仮想のラウドスピーカーを表すＬ個のフィルタを有し、Ｌ個のフィルタの各々は長さＫである。Ｌ個のフィルタの各々は、左および右の成分を含み得る（「ｘ２」）。いくつかの場合には、Ｌ個のフィルタの各々は、左または右に関する単一の成分を含むことがあり、その成分は、右または左のその相手の成分と対称である。これは、高速畳み込みのコストを削減し得る。

[0089]音声再生デバイス２００のＢＲＩＲ調整ユニット２０６は、セグメント化演算と結合演算とを適用することによってＢＲＩＲデータ３１２を調整し得る。具体的には、例示的な演算のモード３１０において、ＢＲＩＲ調整ユニット２０６は、本明細書で説明する技法によるＬ個のフィルタの各々を、行列３１５（次元［ａ，２，Ｌ］）を作成するための結合の長さａのＨＲＴＦプラス早期エコーセグメントと、残余行列３３９（次元［ｂ，２，Ｌ］）を作成するための残余室内応答セグメントとにセグメント化する（３２４）。ＢＲＩＲデータ３１２のＬ個のフィルタの長さＫは、ほぼ、ａとｂとの合計である。変換ユニット２２２は、次元［（Ｎ＋１）²，ａ，２，Ｌ］の行列３１７（これは左および右の行列２５２Ａ、２５２Ｂの結合の例示的な例であり得る）を作成するために、（Ｎ＋１）²次元のＨＯＡ／ＳＨＣレンダリング行列３１４を行列３１５のＬ個のフィルタに適用し得る。合計ユニット２２６は、次元［（Ｎ＋１）²，ａ，２］を有する中間ＳＨＣ−レンダリング行列３３５を作成するために、左および右の行列２５２Ａ、２５２Ｂの各々をＬ個にわたって合計し得る（値２を有する第３の次元は左および右の成分を表し、中間ＳＨＣ−レンダリング行列３３５は、左および右の両方の中間ＳＨＣ−レンダリング行列２５４Ａ、２５４Ｂの例示的な例として表すことができる）（３２６）。いくつかの例では、音声再生デバイス２００は、ＨＯＡコンテンツ３１６（またはそれの削減されたバージョン、たとえばＨＯＡコンテンツ３２１）に適用するための中間ＳＨＣ−レンダリング行列３３５を用いて構成され得る。いくつかの例では、削減ユニット２２８は、行列３１７の左または右の成分の一方だけを使用することによって、さらなる削減を計算に適用し得る（３２８）。

[0090]音声再生デバイス２００は、次数Ｎ_Iおよび長さＬｅｎｇｔｈのＨＯＡコンテンツ３１６を受信し、いくつかの態様では、その中の球面調和係数（ＳＨＣ）の次数をＮに削減するために次数削減演算を適用する（３３０）。Ｎ_Iは、入力（（Ｉ）ｎｐｕｔ）ＨＯＡコンテンツ３２１の次数を示す。次数削減演算（３３０）のＨＯＡコンテンツ３２１は、ＨＯＡコンテンツ３１６と同様に、ＳＨＣ領域内にある。随意の次数削減演算はまた、最高次数（たとえば、０次）の信号３１９を生成し、高速畳み込み演算のために残余応答ユニット２１０に与える（３３８）。ＨＯＡ次数削減ユニット２０４がＨＯＡコンテンツ３１６の次数を削減しない例では、高速畳み込み適用演算（apply fast convolution operation）（３３２）は、削減された次数を持たない入力に対して演算する。いずれにしても、高速畳み込み演算（３３２）に入力されるＨＯＡコンテンツ３２１は、次元［Ｌｅｎｇｔｈ，（Ｎ＋１）²］を有し、ここでＮは次数である。

[0091]音声再生デバイス２００は、左および右の成分、したがって次元［Ｌｅｎｇｔｈ，（Ｎ＋１）²，２］を有するＨＯＡ信号３２３を作成するために、ＨＯＡコンテンツ３２１と行列３３５との高速畳み込みを適用し得る（３３２）。ここでも、高速畳み込みは、周波数領域におけるＨＯＡコンテンツ３２１と行列３３５との点毎の乗算、または時間領域における畳み込みを指すことができる。音声再生デバイス２００は、次元［Ｌｅｎｇｔｈ，２］を有する合計された信号３２５を作成するために、ＨＯＡ信号３２３を（Ｎ＋１）²にわたってさらに合計することができる（３３４）。

[0092]次に、残余行列３３９に戻ると、音声再生デバイス２００は、次元「ｂ，２」を有する共通の残余室内応答行列３２７を生成するために、本明細書で説明する技法に従ってＬ個の残余室内応答セグメントを結合することができる（３３６）。音声再生デバイス２００は、次元［Ｌｅｎｇｔｈ，２］を有する室内応答信号３２９を作成するために、０次のＨＯＡ信号３１９と共通の残余室内応答行列３２７との高速畳み込みを適用し得る（３３８）。残余行列３３９のＬ個の残余応答室内応答セグメントを生成するために、音声再生デバイス２００は、ＢＲＩＲデータ３１２のＬ個のフィルタのうちの（ａ＋１）番目のサンプルにおいて開始する残余応答室内応答セグメントを取得したので、音声再生デバイス２００は、次元［Ｌｅｎｇｔｈ，２］を有する室内応答信号３１１を生成するためにａ個のサンプルを遅延（たとえば、パディング）することによって初期のａ個のサンプルを構成する（ａｃｃｏｕｎｔ ｆｏｒ）（３４０）。

[0093]音声再生デバイス２００は、次元［Ｌｅｎｇｔｈ，２］を有する出力信号３１８を作成するために、合計された信号３２５と室内応答信号３１１とを、要素を加算することによって結合する（３４２）。このようにして、音声再生デバイスは、Ｌ個の残余室内応答セグメントの各々に関して高速畳み込みを適用することを回避し得る。バイノーラル音声出力信号に変換するために入力される２２チャンネルに関して、これは、残余室内応答を生成するための高速畳み込みの数を、２２から２に削減し得る。

[0094]図１０Ｂは、本開示で説明する技法の様々な態様による、図７および図８の音声再生デバイスによって実施され得る例示的な演算のモード３５０を示す図である。演算のモード３５０は、図８の音声再生デバイス２００に関して、後で本明細書で説明され、演算のモード３１０と同様である。しかしながら、演算のモード３５０は、最初に、ＨＯＡコンテンツを、Ｌ個の実在または仮想のラウドスピーカーに関して時間領域内のマルチチャンネルスピーカー信号にレンダリングすることと、次いで、本明細書で説明する技法に従ってスピーカーフィードの各々に効率的なＢＲＩＲフィルタリングを適用することと、を含む。そのために、音声再生デバイス２００は、ＨＯＡコンテンツ３２１を、次元［Ｌｅｎｇｔｈ，Ｌ］を有するマルチチャンネル音声信号３３３に変換する（３４４）。加えて、音声再生デバイスは、ＢＲＩＲデータ３１２をＳＨＣ領域に変換しない。したがって、音声再生デバイス２００による削減を信号３１４に適用することは、次元［ａ，２，Ｌ］を有する行列３３７を生成する（３２８）。

[0095]次いで、音声再生デバイス２００は、次元［Ｌｅｎｇｔｈ，Ｌ，２］（左および右の成分を有する）を有するマルチチャンネル音声信号３４１を作成するために、マルチチャンネル音声信号３３３と行列３３７との高速畳み込み３３２を適用する（３４８）。次いで、音声再生デバイス２００は、次元［Ｌｅｎｇｔｈ，２］を有する信号３２５を作成するために、Ｌ個のチャンネル／スピーカーによるマルチチャンネル音声信号３４１を合計し得る（３４６）。

[0096]図１１は、本開示で説明するバイノーラル音声レンダリング技法の様々な態様を実施し得る音声再生デバイス３５０の一例を示すブロック図である。単一のデバイス、すなわち図１１の例における音声再生デバイス３５０として示されているが、本技法は、１つまたは複数のデバイスによって実施されてよい。したがって、本技法はこの点において限定されるべきではない。

[0097]その上、概して、図１〜図１０Ｂの例に関して球面調和領域において適用されるとして上記で説明されているが、本技法はまた、５．１サラウンドサウンドフォーマット、７．１サラウンドサウンドフォーマット、および／または２２．２サラウンドサウンドフォーマットなど、上記のサラウンドサウンドフォーマットに適合するチャンネルベースの信号を含む、任意の形態の音声信号に関して実施され得る。したがって、本技法はまた、球面調和領域内で指定された音声信号に限定されるべきではなく、任意の形態の音声信号に対して適用され得る。

[0098]図１１の例に示すように、音声再生デバイス３５０は、図７の例に示す音声再生デバイス１００に類似し得る。しかしながら、音声再生デバイス３５０は、一例として２２．２サラウンドサウンドフォーマットに適合する一般的なチャンネルベースの音声信号に関する技法を演算またはさもなければ実施することができる。抽出ユニット１０４は、音声チャンネル３５２を抽出し得、ここで音声チャンネル３５２は、一般に「ｎ」チャンネルを含み得、この例では、２２．２サラウンドサウンドフォーマットに適合する２２チャンネルを含むものと仮定される。これらのチャンネル３５２は、バイノーラルレンダリングユニット３５１の残余室内応答ユニット３５４とチャンネルごとの打切りフィルタユニット３５６の両方に与えられる。

[0099]上記で説明したように、ＢＲＩＲフィルタ１０８は、１つまたは複数のＢＲＩＲフィルタを含み、図３のＢＲＩＲフィルタ３７の一例を表し得る。ＢＲＩＲフィルタ１０８は、左および右のＨＲＴＦがそれぞれのＢＲＩＲに与える影響を表す、個別のＢＲＩＲフィルタ１２６Ａ、１２６Ｂを含み得る。

[0100]ＢＲＩＲ調整ユニット１０６は、ＢＲＩＲフィルタ１２６Ａ、１２６Ｂのｎ個のインスタンスを受信し、各チャンネルｎそれぞれに関して、各ＢＲＩＲフィルタは長さＮを有する。ＢＲＩＲフィルタ１２６Ａ、１２６Ｂは、すでに、静止サンプルを除去するために調整されていることがある。ＢＲＩＲ調整ユニット１０６は、それぞれのＨＲＴＦと、早期反射と、残余室内セグメントとを識別するためにＢＲＩＲフィルタ１２６Ａ、１２６Ｂをセグメント化するために、上記で説明した技法を適用し得る。ＢＲＩＲ調整ユニット１０６は、チャンネルごとの打切りフィルタユニット３５６にＨＲＴＦと早期反射セグメントとを、サイズ［ａ，Ｌ］の左および右の行列を表す行列１２９Ａ、１２９Ｂとして与え、ここで、ａはＨＲＴＦと早期反射セグメントとの連結の長さであり、ｎは（仮想または実在の）ラウドスピーカーの数である。ＢＲＩＲ調整ユニット１０６は、残余室内応答ユニット３５４にＢＲＩＲフィルタ１２６Ａ、１２６Ｂの残余室内セグメントを、サイズ［ｂ，Ｌ］の左および右の残余室内行列１２８Ａ、１２８Ｂとして与え、ここで、ｂは残余室内セグメントの長さであり、ｎは（仮想または実在の）ラウドスピーカーの数である。

[0101]残余室内応答ユニット３５４は、音声チャンネル３５２との畳み込みのための左および右の共通の残余室内応答セグメントを計算またはさもなければ決定するために、上記で説明する技法を適用し得る。すなわち、残余室内応答ユニット１１０は、左および右の残余室内行列１２８Ａ、１２８Ｂを受信し、左および右の共通の残余室内応答セグメントを生成するために左および右それぞれの残余室内行列１２８Ａ、１２８Ｂをｎ個にわたって結合することができる。いくつかの例では、残余室内応答ユニット３５４は、左および右の残余室内行列１２８Ａ、１２８Ｂをｎ個にわたって平均化することによって結合を実施し得る。

[0102]次いで、残余室内応答ユニット３５４は、左および右の共通の残余室内応答セグメントと、音声チャンネル３５２のうちの少なくとも１つのチャンネルとの高速畳み込みを計算し得る。いくつかの例では、残余室内応答ユニット３５２は、共通の残余室内応答セグメントの開始時間に関する値をＢＲＩＲ調整ユニット１０６から受信し得る。残余室内応答ユニット３５４は、ＢＲＩＲフィルタ１０８に関する、より早いセグメントとの結合を見越して、出力信号１３４Ａ、１３４Ｂをゼロパディングするかまたはさもなければ遅延させ得る。出力信号１３４Ａは左音声信号を表す一方で、出力信号１３４Ｂは右音声信号を表すことができる。

[0103]チャンネルごとの打切りフィルタユニット３５６（以後、「打切りフィルタユニット３５６」）は、ＨＲＴＦとＢＲＩＲフィルタの早期反射セグメントとをチャンネル３５２に適用し得る。より具体的には、チャンネルごとの打切りフィルタユニット３５６は、ＨＲＴＦとＢＲＩＲフィルタの早期反射セグメントとを表す行列１２９Ａ、１２９Ｂをチャンネル３５２のそれぞれのチャンネルに適用し得る。いくつかの例では、行列１２９Ａ、１２９Ｂは、単一の行列１２９を形成するように結合され得る。その上、一般的に、ＨＲＴＦならびに早期反射行列１２９Ａおよび１２９Ｂの各々のうちの左の１つと、ＨＲＴＦならびに早期反射行列１２９Ａおよび１２９Ｂの各々のうちの右の１つとが存在する。すなわち、一般的に、左耳および右耳に関するＨＲＴＦと早期反射行列とが存在する。チャンネルごとの方向ユニット３５６は、左および右のフィルタリングされたチャンネル３５８Ａおよび３５８Ｂを出力するために、左および右の行列１２９Ａ、１２９Ｂの各々を適用し得る。結合ユニット１１６は、バイノーラル出力信号１３６Ａ、１３６Ｂを作成するために、左のフィルタリングされたチャンネル３５８Ａと出力信号１３４Ａとを結合する（または、言い換えればミックスする）一方で、右のフィルタリングされたチャンネル３５８Ｂと出力信号１３４Ｂとを結合する（または、言い換えればミックスする）ことができる。バイノーラル出力信号１３６Ａは左の音声チャンネルに対応し、バイノーラル出力信号１３６Ｂは右の音声チャンネルに対応することができる。

[0104]いくつかの例では、バイノーラルレンダリングユニット３５１は、残余室内応答ユニット３５４が、チャンネルごとの打切りフィルタユニット３５６の演算と同時に演算するように、残余室内応答ユニット３５４とチャンネルごとの打切りフィルタユニット３５６とを互いに同時に起動し得る。すなわち、いくつかの例では、残余室内応答ユニット３５４は、バイノーラル出力信号１３６Ａ、１３６Ｂが生成され得る速度を改善するために、チャンネルごとの打切りフィルタユニット３５６と並列に（しかし、同時でないことが多い）演算することが多い。潜在的にカスケード接続方式で演算するように様々な上記の図において示しているが、本技法は、別段に具体的に規定されていない限り、本開示で説明する説明するユニットまたはモジュールのいずれの同時演算または並列演算をも提供し得る。

[0105]図１２は、本開示で説明する技法の様々な態様による、図１１の音声再生デバイス３５０によって実施され得るプロセス３８０を示す図である。プロセス３８０は、各ＢＲＩＲを２つの部分：（ａ）左フィルタ３８４Ａ_L〜３８４Ｎ_Lおよび右フィルタ３８４Ａ_R〜３８４Ｎ_R（総称して「フィルタ３８４」）によって表されるＨＲＴＦおよび早期反射の効果を組み込む、より小さい構成要素、および（ｂ）元のＢＲＩＲのすべての末尾の特性から生成され、左残響フィルタ３８６Ｌおよび右残響フィルタ３８６Ｒ（総称して「共通のフィルタ３８６」）によって表される共通の「残響の末尾」に分解することを達成する。プロセス３８０に示すチャンネルごとのフィルタ３８４は、上記の部分（ａ）を表す一方で、プロセス３８０に示す共通のフィルタ３８６は、上記の部分（ｂ）を表すことができる。

[0106]プロセス３８０は、不可聴成分を除去し、ＨＲＴＦ／早期反射を備える成分と後期反射／拡散による成分とを決定するためにＢＲＩＲを解析することによってこの分解を実施する。これは、部分（ａ）に対する、一例として２７０４タップ（tap）の長さのＦＩＲフィルタと、部分（ｂ）に関する、別の例として１５２３２タップの長さのＦＩＲフィルタとをもたらす。プロセス３８０によれば、音声再生デバイス３５０は、より短いＦＩＲフィルタだけを、個別のｎチャンネルの各々に適用し得、ｎは、演算３９６において例示のために２２であると仮定されている。この演算の複雑性は、以下で再生される式（８）における第１の部分の計算（４０９６点のＦＦＴを使用する）において表され得る。プロセス３８０では、音声再生デバイス３５０は、共通の「残響の末尾」を、２２チャンネルの各々にではなく、演算３９８においてそれらすべての加法的なミックスに適用し得る。この複雑性は、式（８）における複雑性の計算の第２の半分において表される。繰り返すと、それは、添付したアペンディックス（Appendix）において示される。

[0107]この点において、プロセス３８０は、複数のＮチャンネルからの音声コンテンツをミックスすることに基づいて、合成音声信号を生成するバイノーラル音声レンダリングの方法を表し得る。加えて、プロセス３８０は、さらに、合成音声信号を、遅延によってＮチャンネルフィルタの出力と整列させ得、各チャンネルフィルタは、打切りＢＲＩＲフィルタを含む。その上、プロセス３８０では、音声再生デバイス３５０は、次いで、演算３９８において共通の合成残余室内インパルス応答を用いて整列合成音声信号をフィルタリングし、バイノーラル音声出力の左成分３８８Ｌおよび右成分３８８Ｒのために、演算３９０Ｌおよび３９０Ｒにおいて、各チャンネルフィルタの出力とフィルタリングされた整列合成音声信号とをミックスすることができる。

[0108]いくつかの例では、打切りＢＲＩＲフィルタおよび共通の合成残余インパルス応答は、メモリにプリロードされる。

[0109]いくつかの例では、整列合成音声信号のフィルタリングは、時間周波数領域内で実施される。

[0110]いくつかの例では、整列合成音声信号のフィルタリングは、畳み込みを介して時間領域内で実施される。

[0111]いくつかの例では、打切りＢＲＩＲフィルタおよび共通の合成残余インパルス応答は、分解分析法に基づく。

[0112]いくつかの例では、分解分析法は、Ｎ個の室内インパルス応答の各々に対して実施され、Ｎ個の打切り室内インパルス応答とＮ個の残余インパルス応答とをもたらす（ここでＮは、ｎまたはｎ超として示されることがある）。

[0113]いくつかの例では、打切りインパルス応答は、各室内インパルス応答の全長さの４０パーセント未満を表す。

[0114]いくつかの例では、打切りインパルス応答は、１１１と１７，８３０との間のタップ範囲を含む。

[0115]いくつかの例では、Ｎ個の残余インパルス応答の各々は、複雑性を削減する共通の合成残余室内応答内に結合される。

[0116]いくつかの例では、各チャンネルフィルタの出力と、フィルタリングされた整列合成音声信号とをミックスすることは、左のスピーカー出力に関するミキシングの第１のセットと右のスピーカー出力に関するミキシングの第２のセットとを含む。

[0117]様々な例では、上記で説明したプロセス３８０の様々な例またはそれらの任意の結合の方法は、メモリおよび１つまたは複数のプロセッサを備えるデバイスと、本方法の各ステップを実施するための手段を備えた装置と、非一時的コンピュータ可読記憶媒体上に記憶された命令を実行することによって本方法の各ステップを実施する１つまたは複数のプロセッサとによって実施され得る。

[0118]その上、上記で説明した例のいずれかに記載される特定の特徴のいずれも、説明した技法の有益な例の中に組み合わされ得る。すなわち、特定の特徴のいずれも、一般に、本技法のすべての例に適用可能である。本技法の様々な例について説明した。

[0119]本開示で説明した技法は、ある例では、可聴のＢＲＩＲセットにわたってサンプル１１１〜１７８３０だけを識別することができる。例示的な室内の容積からミキシング時間Ｔ_mp95を計算し、本技法は、次いで、５３．６ｍｓの後、すべてのＢＲＩＲに共通の残響の末尾を共有させることができ、１５２３２のサンプル長の共通の残響の末尾と、残留する２７０４サンプルのＨＲＴＦ＋反射インパルスとをもたらし、３ｍｓのクロスフェードがそれらの間に存在する。計算コスト削減（break down）に関して、以下の項目が到達され得る。

（ａ）共通の残響の末尾：１０×６×ｌｏｇ₂（２×１５２３２／１０）。

（ｂ）残留するインパルス：２２×６×ｌｏｇ₂（２×４０９６）、１フレーム内でそれを行うために４０９６のＦＦＴを使用する。

（ｃ）追加の２２の加算。

[0120]その結果、最終の性能指数は、したがって、ほぼＣ_mod＝ｍａｘ（１００×（Ｃ_conv−Ｃ）／Ｃ_conv，０）＝８８．０に等しく、ここで

ここでＣ_convは最適化されていない実装（implementation）：

の推定であり、
Ｃは何らかの態様であり、２つの付加的な要素：

によって決定され得る。

[0121]したがって、いくつかの態様では、性能指数は、Ｃ_mod＝８７．３５。

[0122]Ｂ_n（ｚ）として示されるＢＲＩＲフィルタは、２つの関数ＢＴ_n（ｚ）とＢＲ_n（ｚ）とに分解され得、それらはそれぞれ、打切りＢＲＩＲフィルタと残響ＢＲＩＲフィルタとを示す。上記の部分（ａ）はこの打切りＢＲＩＲフィルタを指す一方で、上記の部分（ｂ）は残響ＢＲＩＲフィルタを指し得る。次いで、Ｂ_n（ｚ）はＢＴ_n（ｚ）＋（ｚ^-m＊ＢＲ_n（ｚ））に等しくし得、ここでｍは遅延を示す。したがって、出力信号Ｙ（ｚ）は、

として計算され得る。

[0123]プロセス３８０は、共通の合成の残響の末尾のセグメントを導出するためにＢＲ_n（ｚ）を解析し得、ここでこの共通のＢＲ（ｚ）は、チャンネル固有のＢＲ_n（ｚ）の代わりに適用され得る。この共通の（またはチャンネル全般の）合成ＢＲ（ｚ）が使用されるとき、Ｙ（ｚ）は、

として計算され得る。

[0124]図１３は、本開示で説明するバイノーラル音声レンダリング技法の様々な態様を実施し得る音声再生デバイスの一例を示すブロック図である。本技法は、単一のデバイス、すなわち図１３の例における音声再生デバイス４００として示されているが、１つまたは複数のデバイスによって実施されてもよい。したがって、本技法はこの点において限定されるべきではない。その上、音声再生デバイス４００は、音声再生システム６２の一例を表し得る。

[0125]図１３の例に示すように、音声再生デバイス４００は、抽出ユニット４０４と、ＢＲＩＲ選択ユニット４２４と、バイノーラルレンダリングユニット４０２とを含み得る。抽出ユニット４０４は、ビットストリーム４２０から符号化音声データを抽出するように構成されたユニットを表し得る。抽出ユニット４０４は、球面調和係数（ＳＨＣ）４２２（これは、ＳＨＣ４２２が、１より大きい次数と関連付けられた少なくとも１つの係数を含み得るという点において高次アンビソニックス（ＨＯＡ）と呼ばれ得る）の形態の抽出された符号化音声データをバイノーラルレンダリングユニット１４６に転送し得る。ＢＲＩＲ選択ユニット４２４は、本明細書で説明する技法に従って、規則的なまたは不規則なＢＲＩＲのセットのどちらがＳＨＣ４２２をバイノーラル化するために使用されるべきかを選択するために、ユーザ、ユーザエージェント、または他の外部エンティティがユーザ入力４２５を供給し得るインターフェースを表す。ＢＲＩＲ選択ユニット４２４は、コマンドラインもしくはグラフィカルユーザインターフェース、アプリケーションプログラミングインターフェース、ネットワークインターフェース、シンプルオブジェクトアクセスプロトコル（Simple Object Access Protocol）、遠隔プロシージャ呼出し（Remote Procedure Call）などのアプリケーションインターフェース、または規則的なもしくは不規則なＢＲＩＲのセットのどちらが使用されるべきかを外部エンティティが設定し得る任意の他のインターフェースを含み得る。信号４２６は、ユーザの、ＳＨＣ４２２をバイノーラル化するために規則的なまたは不規則なＢＲＩＲのセットのいずれかに対して、バイノーラルレンダリングユニット４０２を管理または設定する制御信号またはユーザ設定データを表す。信号４２６は、フラグ、関数パラメータ、信号、またはＳＨＣ４２２をバイノーラル化するために規則的なもしくは不規則なＢＲＩＲのセットのいずれが使用されるべきかを選択するために、音声再生デバイス４００がバイノーラルレンダリングユニット４０２を管理し得る任意の他の手段を表し得る。

[0126]いくつかの例では、音声再生デバイス４００は、ＳＨＣ４２２を生成するために、符号化音声データを復号するように構成された音声復号ユニットを含む。音声復号ユニットは、いくつかの態様においてＳＨＣ４２２を符号化するために使用される音声符号化プロセスと相対関係にある音声復号プロセスを実施し得る。音声復号ユニットは、符号化音声データのＳＨＣを時間領域から周波数領域に変換し、それによってＳＨＣ４２２を生成するように構成された時間周波数解析ユニットを含み得る。すなわち、符号化音声データが、時間領域から周波数領域に変換されていないＳＨＣ４２２の圧縮された形態を表すとき、音声復号ユニットは、ＳＨＣ４２２（周波数領域で指定される）を生成するために、ＳＨＣを時間領域から周波数領域に変換するために時間周波数解析ユニットを起動し得る。

[0127]時間周波数解析ユニットは、ＳＨＣを時間領域から周波数領域におけるＳＨＣ４２２に変換するために、数例を提示すると、高速フーリエ変換（ＦＦＴ）と、離散コサイン変換（ＤＣＴ）と、修正離散コサイン変換（ＭＤＣＴ）と、離散サイン変換（ＤＳＴ）とを含む、フーリエベースの変換の任意の形態を適用し得る。いくつかの例では、ＳＨＣ４２２は、すでに、ビットストリーム４２０において周波数領域において指定され得る。これらの例では、時間周波数解析ユニットは、変換を適用することなく、またはさもなければ受信されたＳＨＣ４２２を変換することなく、ＳＨＣ４２２をバイノーラルレンダリングユニット４０２に送ることができる。周波数領域で指定されたＳＨＣ４２２に対して説明したが、本技法は、時間領域で指定されたＳＨＣ４２２に対して実施され得る。

[0128]バイノーラルレンダリングユニット４０２は、ＳＨＣ４２２をバイノーラル化するように構成されたユニットを表す。言い換えれば、バイノーラルレンダリングユニット４０２は、ＳＨＣ４２２を左および右のチャンネルにレンダリングするように構成されるユニットを表し、ユニット４０２は、ＳＨＣ４２２が記録された室内において、左および右のチャンネルがリスナーによってどのように聞かれるかをモデル化するための空間化を特徴付けることができる。バイノーラルレンダリングユニット４０２は、ヘッドフォンなどのヘッドセットを介する再生に好適な左チャンネル４３６Ａと右チャンネル４３６Ｂ（これらは「チャンネル４３６」と総称されることがある）とを生成するためにＳＨＣ４２２をレンダリングすることができる。図１３の例に示すように、バイノーラルレンダリングユニット４０２は、内挿ユニット４０６と、時間周波数解析ユニット４０８と、複素ＢＲＩＲユニット４１０と、合計ユニット４４２と、複素乗算ユニット４１４と、対称最適化ユニット４１６と、非対称最適化ユニット４１８と、逆時間周波数解析ユニット４２０とを含む。

[0129]バイノーラルレンダリングユニット４０２は、内挿された規則的なＢＲＩＲフィルタ４０７Ｃを生成するために、不規則なＢＲＩＲフィルタ４０７Ａを内挿するように内挿ユニット４０６を起動し得、ここで、ＢＲＩＲフィルタの文脈における「規則的な」または「不規則な」の言及は、スピーカーの互いの間隔の規則性または不規則性を示し得る。不規則なＢＲＩＲフィルタ４０７Ａは、Ｌ×２（ここで、Ｌはラウドスピーカーの数を示す）に等しいサイズであり得る。規則的なＢＲＩＲフィルタ４０７Ａは、（これらはペアとして規則的に配列されると仮定して）Ｌ個のラウドスピーカー×２を備え得る。音声再生デバイス４００のユーザまたは他の操作者は、ＳＨＣ４２２のバイノーラル化の間に不規則なＢＲＩＲフィルタ４０７Ａまたは規則的なＢＲＩＲフィルタ４０７Ｂのどちらが使用されるべきかを指示またはさもなければ設定することができる。

[0130]その上、音声再生デバイス４００のユーザまたは他の操作者は、ＳＨＣ４２２のバイノーラル化の間に不規則なＢＲＩＲフィルタ４０７Ａが使用されるべきであるときに、規則的なＢＲＩＲフィルタ４０７Ｃを生成するために不規則なＢＲＩＲフィルタ４０７Ａに対して内挿が実施されるべきであるかどうかを指示またはさもなければ設定することができる。内挿ユニット４０６は、Ｂ個の数のラウドスピーカーペアを形成するために、ベクトルベースの振幅パニングまたは他のパニング技法を使用して不規則なＢＲＩＲフィルタ４０７Ｂを内挿し得、（再び、これは規則的であり、したがって軸周りに対称であることを仮定して）Ｌ×２のサイズを有する規則的なＢＲＩＲフィルタ４０７Ｃを結果としてもたらす。図１３の例に示していないが、ユーザまたは他の操作者は、ＳＨＣ４２２をバイノーラル化するときに、不規則なＢＲＩＲフィルタ４０７Ａ、規則的なＢＲＩＲフィルタ４０７Ｂ、および／または規則的なＢＲＩＲフィルタ４０７Ｃが使用されるべきかどうかを選択するために、グラフィカルユーザインターフェースを介してグラフィカルに提示されるかまたは（たとえば、一連のボタンまたは他の入力として）物理的に提示されるユーザインターフェースを介して音声再生デバイス４００とインターフェースで接続することができる。

[0131]いずれにしても、（ＳＨＣ４２２をバイノーラル化するためにどれが選択されるかに応じて）ＢＲＩＲフィルタ４０７Ａ〜４０７Ｃが時間領域において提示されるとき、バイノーラルレンダリングユニット４０２は、ＢＲＩＲフィルタ４０７Ａ〜４０７Ｃ（「ＢＲＩＲフィルタ４０７」）のうちの選択された１つを時間領域から周波数領域に変換するために時間周波数解析ユニット４０８を起動し得、それぞれ、変換されたＢＲＩＲフィルタ４０９Ａ〜４０９Ｃ（「ＢＲＩＲフィルタ４０９」）を結果としてもたらす。複素ＢＲＩＲユニット４１０は、各々がＬ×（Ｎ＋１）²のサイズの２つのＢＲＩＲレンダリングベクトル４１１Ａおよび４１１Ｂを生成するために、（Ｌ×（Ｎ＋１）²のサイズを有する）不規則なレンダラ４０５Ａまたは（Ｌ×（Ｎ＋１）²のサイズを有する）規則的なレンダラ４０５Ｂと１つまたは複数のＢＲＩＲフィルタ４０９とのうちの１つに対して、要素ごとの複素乗算と複素和を実施するように構成されたユニットを表し、ここで、Ｎは再び、ＳＨＣ４２２のうちの１つまたは複数が対応する球面基底関数の最高の次数を示す。

[0132]ＢＲＩＲフィルタ４０７のうちの選択された１つが規則的であるか不規則であるかに応じて、複素ＢＲＩＲユニット４１０は、不規則なレンダラ４０５Ａまたは規則的なレンダラ４０５Ｂのいずれかを選択し得る。すなわち、一例として、ＢＲＩＲフィルタ４０７のうちの選択された１つが規則的である（たとえば、ＢＲＩＲフィルタ４０７Ｂまたは４０７Ｃ）とき、複素ＢＲＩＲユニット４１０は、規則的なレンダラ４０５Ｂを選択する。ＢＲＩＲフィルタ４０７のうちの選択された１つが不規則である（たとえば、ＢＲＩＲフィルタ４０７Ａ）とき、複素ＢＲＩＲユニット４１０は、不規則なレンダラ４０５Ａを選択する。いくつかの例では、音声再生デバイス４００のユーザまたは他の操作者は、不規則なレンダラ４０５Ａまたは規則的なレンダラ４０５Ｂのどちらを使用するかを指示またはさもなければ選択し得る。いくつかの例では、音声再生デバイス４００のユーザまたは他の操作者は、ＢＲＩＲフィルタ４０７のうちの１つを使用するために選択するのではなく、不規則なレンダラ４０５Ａまたは規則的なレンダラ４０５Ｂのどちらを使用するかを指示またはさもなければ選択し得る（ここで、レンダラ４０５Ａまたは４０５Ｂの選択は、ＢＲＩＲフィルタ４０７のうちの１つの選択を可能にし、たとえば、規則的なレンダラ４０５Ｂを選択することがＢＲＩＲフィルタ４０７Ｂおよび／または４０７Ｃの選択をもたらし、不規則なレンダラ４０５Ａを選択することがＢＲＩＲフィルタ４０７Ａの選択をもたらす）。

[0133]合計ユニット４４２は、合計されたＢＲＩＲレンダリングベクトル４１３Ａおよび４１３Ｂを生成するために、ＢＲＩＲレンダリングベクトル４１１Ａおよび４１１Ｂの各々をＬ個にわたって合計するユニットを表し得る。ウィンドウ処理ユニットは、ウィンドウ処理されたＢＲＩＲレンダリングベクトル４１５Ａおよび４１５Ｂを生成するために、ウィンドウ処理関数を合計されたレンダリングベクトル４１３Ａおよび４１３Ｂの各々に適用するユニットを表し得る。ウィンドウ処理関数の例は、ｍａｘＲＥウィンドウ処理関数と、同相ウィンドウ処理関数と、カイザー（Kaiser）ウィンドウ処理関数とを含み得る。複素乗算ユニット４１６は、左の修正されたＳＨＣ４１７Ａと右の修正されたＳＨＣ４１７Ｂとを生成するために、ベクトル４１５Ａおよび４１５Ｂの各々によってＳＨＣ４２２の要素ごとの複素乗算を実施するユニットを表す。

[0134]次いで、バイノーラルレンダリングユニット４０２は、音声再生デバイス４００のユーザまたは他の操作者によって入力された設定データに潜在的に基づいて、対称最適化ユニット４１８または非対称最適化ユニット４２０のいずれかを起動し得る。すなわち、ＳＨＣ４２２のバイノーラル化の間に不規則なＢＲＩＲフィルタ４０７Ａが使用されるべきであるとユーザが指定すると、バイノーラルレンダリングユニット４０２は、不規則なＢＲＩＲフィルタ４０７Ａが対称であるかまたは非対称であるかを決定し得る。すなわち、すべての不規則なＢＲＩＲフィルタ４０７Ａが非対称であるとは限らず、対称であることもある。不規則なＢＲＩＲフィルタ４０７Ａが、対称であるが規則的に離間されていないとき、バイノーラルレンダリングユニット４０２は、左の修正されたＳＨＣ４１７Ａおよび右の修正されたＳＨＣ４１７Ｂのレンダリングを最適化するために対称最適化ユニット４１８を起動する。不規則なＢＲＩＲフィルタ４０７Ａが非対称であるとき、バイノーラルレンダリングユニット４０２は、左の修正されたＳＨＣ４１７Ａおよび右の修正されたＳＨＣ４１７Ｂのレンダリングを最適化するために非対称最適化ユニット４２０を起動する。規則的なＢＲＩＲフィルタ４０７Ｂまたは４０７Ｃが選択されると、バイノーラルレンダリングユニット４０２は、左の修正されたＳＨＣ４１７Ａおよび右の修正されたＳＨＣ４１７Ｂのレンダリングを最適化するために対称最適化ユニット４２０を起動する。

[0135]対称最適化ユニット４１８は、起動されると、左の修正されたＳＨＣ４１７Ａおよび右の修正されたＳＨＣ４１７Ｂのうちの一方だけを、次数ｎおよび副次数ｍにわたって合計し得る。すなわち、対称最適化ユニット４１８は、周波数領域の左スピーカーフィード４１９Ａを生成するために、ＳＨＣ４１７Ａを次数ｎおよび副次数ｍにわたって合計し得る。次いで、対称最適化ユニット４１８は、負の副次数を有する球面基底関数と関連付けられるＳＨＣ４１７Ａの周波数領域の左スピーカーフィード４１９Ａを反転し、次いで、周波数領域の右スピーカーフィード４１９Ｂを生成するために、ＳＨＣ４１７Ａのこの反転されたバージョンにわたって次数ｎおよび副次数ｍにわたって合計することができる。非対称最適化ユニット４２０は、起動されると、周波数領域の左スピーカーフィード４２１Ａおよび周波数領域の右スピーカーフィード４２１Ｂをそれぞれ生成するために、左の修正されたＳＨＣ４１７Ａおよび右の修正されたＳＨＣ４１７Ｂの各々を次数ｎおよび副次数ｍにわたって合計する。逆時間周波数解析ユニット４２２は、左スピーカーフィード４３６Ａと右スピーカーフィード４３６Ｂとを生成するために、周波数領域の左スピーカーフィード４１９Ａまたは４２１Ａのいずれかおよび対応する周波数領域の右スピーカーフィード４１９Ｂまたは４２１Ａのいずれかを、周波数領域から時間領域に変換するためのユニットを表し得る。

[0136]このようにして、本技法は、１つまたは複数のプロセッサを備えるデバイス４００が、音場をレンダリングするために、バイノーラル室内インパルス応答フィルタを３次元の音場を表す球面調和係数に適用することを可能にする。

[0137]いくつかの例では、１つまたは複数のプロセッサは、音場をレンダリングするために、バイノーラル室内インパルス応答フィルタを適用するとき、不規則なバイノーラル室内インパルス応答フィルタを球面調和係数に適用するようにさらに構成され、不規則なバイノーラル室内インパルス応答フィルタは、スピーカーの不規則な配列に関する１つまたは複数のバイノーラル室内インパルス応答フィルタを備える。

[0138]いくつかの例では、１つまたは複数のプロセッサは、音場をレンダリングするために、バイノーラル室内インパルス応答フィルタを適用するとき、規則的なバイノーラル室内インパルス応答フィルタを球面調和係数に適用するようにさらに構成され、規則的なバイノーラル室内インパルス応答フィルタは、スピーカーの規則的な配列に関する１つまたは複数のバイノーラル室内インパルス応答フィルタを備える。

[0139]いくつかの例では、１つまたは複数のプロセッサは、規則的なバイノーラル室内インパルス応答フィルタを生成するために、不規則なバイノーラル室内インパルス応答フィルタを内挿するようにさらに構成される。これらおよび他の例では、不規則なバイノーラル室内インパルス応答フィルタは、スピーカーの不規則な配列に関する１つまたは複数のバイノーラル室内インパルス応答フィルタを備え、規則的なバイノーラル室内インパルス応答フィルタは、スピーカーの規則的な配列に関する１つまたは複数のバイノーラル室内インパルス応答フィルタを備える。これらおよび他の例では、１つまたは複数のプロセッサは、音場をレンダリングするために、バイノーラル室内インパルス応答フィルタを適用するとき、規則的なバイノーラル室内インパルス応答フィルタを球面調和係数に適用するようにさらに構成される。

[0140]いくつかの例では、１つまたは複数のプロセッサは、ウィンドウ処理されたバイノーラル室内インパルス応答フィルタを生成するために、ウィンドウ処理関数をバイノーラル室内インパルス応答フィルタに適用するようにさらに構成される。これらおよび他の例では、１つまたは複数のプロセッサは、音場をレンダリングするために、バイノーラル室内インパルス応答フィルタを適用するとき、ウィンドウ処理されたバイノーラル室内インパルス応答フィルタを球面調和係数に適用するようにさらに構成される。

[0141]いくつかの例では、１つまたは複数のプロセッサは、変換されたバイノーラル室内インパルス応答フィルタを生成するために、バイノーラル室内インパルス応答フィルタを時間領域から周波数領域に変換するようにさらに構成される。これらおよび他の例では、１つまたは複数のプロセッサは、音場をレンダリングするために、バイノーラル室内インパルス応答フィルタを適用するとき、変換されたバイノーラル室内インパルス応答フィルタを球面調和係数に適用するようにさらに構成される。

[0142]いくつかの例では、１つまたは複数のプロセッサは、変換されたバイノーラル室内インパルス応答フィルタを生成するために、バイノーラル室内インパルス応答フィルタを時間領域から周波数領域に変換することと、変換された球面調和係数を生成するために、球面調和係数を時間領域から周波数領域に変換することと、を行うようにさらに構成される。これらおよび他の例では、１つまたは複数のプロセッサは、音場の周波数領域表現をレンダリングするために、バイノーラル室内インパルス応答フィルタを適用するとき、変換されたバイノーラル室内インパルス応答フィルタを変換された球面調和係数に適用するようにさらに構成される。これらおよび他の例では、１つまたは複数のプロセッサは、音場をレンダリングするために、逆変換を音場の周波数領域表現に適用するようにさらに構成される。

[0143]図１４は、本開示で説明するバイノーラル音声レンダリング技法の様々な態様を実施し得る音声再生デバイスの一例を示すブロック図である。音声再生デバイス５００は、音声再生システムの別の例示的な例を表し得、図１の６２はさらなる詳細である。音声再生デバイス５００は、図１３の音声再生デバイス４００に関して上記で説明した動作と同様の動作を実施する抽出ユニット４０４と、ＢＲＩＲ選択ユニット４２４と、バイノーラルレンダリングユニット４０２とを含むという点において、音声再生デバイス５００は図１３の音声再生デバイス４００と同様であり得る。

[0144]しかしながら、音声再生デバイス５００はまた、次数削減されたＳＨＣ５０２を生成するためにＳＨＣ４２２の次数または副次数を削減するために、入ってくるＳＨＣ４２２を処理する次数削減ユニット５０４を含み得る。次数削減ユニット５０４は、ＳＨＣ４２２から１つまたは複数の副次数ｍまたは次数ｎを取り除くために、ＳＨＣ４２２のエネルギー解析、方向性解析、他の形態の解析、またはそれらの組合せなどの解析に基づいてこの次数削減を実施し得る。エネルギー解析は、ＳＨＣ４２２に対して特異値分解を実施することを伴うことがある。方向性解析もまた、ＳＨＣ４２２に対して特異値分解を実施することを伴うことがある。したがって、ＳＨＣ５０２は、ＳＨＣ４２２より少ない次数および／または副次数を含み得る。

[0145]次数削減ユニット５０４はまた、ＳＨＣ５０２を生成するために取り除かれたＳＨＣ４２２の次数および／または副次数を識別する次数削減データ５０６を生成し得る。次数削減ユニット５０４は、この次数削減データ５０６と次数削減されたＳＨＣ５０２とをバイノーラルレンダリングユニット４０２に供給することができる。音声再生デバイス５００のバイノーラルレンダリングユニット４０２は、次数削減されたＳＨＣ５０２に基づいてレンダラ４０５のうちの様々なレンダラを変更しながら、同じく、（次数削減されないＳＨＣ４２２ではなく）次数削減されたＳＨＣ５０２に対して動作することができるという点を除いて、音声再生デバイス５００のバイノーラルレンダリングユニット４０２は、音声再生デバイス４００のバイノーラルレンダリングユニット４０２と実質的に同様に機能し得る。音声再生デバイス５００のバイノーラルレンダリングユニット４０２は、少なくとも部分的に、取り除かれた次数および／または副次数のＳＨＣ４２２をレンダリングする役目を果たすレンダラ４０５のそれらの部分を取り除くことによって、次数削減データ５０６に基づいてレンダラ４０５を変更、修正、または決定することができる。次数削減を実施することは、一般的に（顕著なアーティファクトまたはさもなければ意図された音場の再生をひずませることをもたらすことに関して）音声再生に著しい影響を与えることなく、ＳＨＣ４２２のバイノーラル化に関連する（プロセッササイクルおよび／またはメモリ消費に関する）計算の複雑さを削減し得る。

[0146]本開示で説明し、図１３〜図１４の例に示す技法は、周波数領域において規則的なまたは不規則なＢＲＩＲのセットを介して３Ｄ音場をバイノーラル化する効率的な方法を提供し得る。不規則なＢＲＩＲ４０７Ａのセットは、ＳＨＣ４２２をレンダリングするためにバイノーラルレンダリングユニット４０２によって使用されるべきである場合、たとえば、バイノーラルレンダリングユニット４０２は、いくつかの場合には、ＢＲＩＲセットを、ＢＲＩＲ４０７Ｃの規則的に離間されたセットに内挿することができる。この内挿は、線形内挿、ベクトルベース振幅パニング（ＶＢＡＰ）などを介して行われ得る。まだ周波数領域にない場合、使用されるべきＢＲＩＲセット（または「選択されたＢＲＩＲセット」）は、たとえば、高速フーリエ変換（ＦＦＴ）、離散フーリエ変換（ＤＦＴ）、離散コサイン変換（ＤＣＴ）、修正ＤＣＴ（ＭＤＣＴ）、デシメートされた信号対角化（ＤＳＤ：decimated signal diagonalization）を使用して周波数領域に変換され得る。次いで、バイノーラルレンダリングユニット４０２は、それぞれ、規則的なＢＲＩＲフィルタ４０７Ｂまたは不規則なＢＲＩＲフィルタ４０７Ａのいずれかの以前の選択に応じて、規則的なレンダラ４０５Ｂまたは不規則なレンダラ４０５Ａとともに使用されるべきＢＲＩＲセットを複素乗算することができる。規則的なレンダラ４０５Ｂまたは不規則なレンダラ４０５Ａの次数Ｎは、Ｎ＜＝ＮＩとなるように、到来するＨＯＡ信号（たとえば、ＳＨＣ４２２）の全次数を使用するように選択によって決定され得、ここでＮＩは到来するＨＯＡ信号の入力次数または全次数である。図１４の例における次数削減演算を適用する次数削減ユニット５０４はまた、レンダラ４０５Ａ、４０６Ｂと、同じくＢＲＩＲ内挿の両方に必要なラウドスピーカーの数Ｌに影響を及ぼすことがある。しかしながら、ＢＲＩＲセットの正規化が選択されない場合、使用されるべきＢＲＩＲセットからのＬの値は、反対方向に、次数削減５０４および同じくレンダラ４０５Ａ、４０６Ｂに供給され得る。

[0147]レンダラ４０５Ａ、４０６Ｂのうちの適切なレンダラと使用されるべきＢＲＩＲセットとの複素乗算の後、出力された信号４１１Ａ、４１１Ｂは、バイノーラル化されたＨＯＡレンダラ信号４１３Ａ、４１３Ｂを作成するためにＬ次元にわたって合計され得る。レンダリングをさらに強化するために、周波数にわたるｎ、ｍ（ここでｍはＨＯＡの副次数である）の重み付けがｍａｘＲｅ、同相またはカイザーなどのウィンドウ処理関数を使用して変更され得るように、ウィンドウブロックが含まれることがある。それらのウィンドウは、音響心理学的基準に適合するための客観的な尺度を与える、ガーゾン（Gerzon）によって提示された伝統的なアンビソニックス基準に、適合することを助けることができる。この随意のウィンドウの後、バイノーラルレンダリングユニット４０２は、バイノーラルＨＯＡ信号４１７Ａ、４１７Ｂ（これらは、本開示の他の場所で、左の修正されたＳＨＣ４１７Ａ、右の修正されたＳＨＣ４１７Ｂと説明されるものの例である）を作成するために、ＨＯＡ信号と、バイノーラル化されたＨＯＡレンダラ信号４１５Ａ、４１５Ｂとを複素乗算する。本技法はまた、いくつかの例において、対称ＢＲＩＲ最適化（Symmetrical BRIR Optimization）を可能にすることができる。バイノーラルレンダリングユニット４０２が非対称最適化を適用する場合、バイノーラルレンダリングユニット４０２は、左および右のチャンネルに関してｎ個、ｍ個のＨＯＡ係数を合計する。しかしながら、バイノーラルレンダリングユニット４０２が対称最適化を適用する場合、バイノーラルレンダリングユニット４０２は、左のチャンネルに関してｎ個、ｍ個のＨＯＡ係数を合計して出力する。しかし、球面調和基底関数の対称性によって、ｍ＜０の値は、合計の前に反転される。この対称性は、上記で説明した技法全体を通して反対方向に適用され得、ここでは、ＢＲＩＲセットの左側だけが決定される。バイノーラルレンダリングユニット４０２は、バイノーラル出力４３６Ａ、４３６Ｂに関して、左および右の信号を時間領域に戻す変換をする（逆変換する）ことができる。

[0148]このようにして、本技法は、少なくとも部分的には、時間領域計算ではなく周波数領域計算を活用することによって、ａ）３Ｄ（単なる２Ｄではない）、ｂ）高次アンビソニックス（単なる１次アンビソニックスではない）のバイノーラル化、ｃ）規則的または不規則なＢＲＩＲセットの適用、ｄ）不規則なＢＲＩＲセットから規則的なＢＲＩＲセットへのＢＲＩＲの内挿、ｅ）アンビソニックス再生基準によりよく適合するためのＢＲＩＲ信号のウィンドウ処理を含み、ｆ）潜在的に効率性を計算的に改善することができる。

[0149]図１５は、本開示で説明する技法による、球面調和係数をレンダリングするための、バイノーラルレンダリングデバイスに関する動作の例示的なモードを示すフローチャートである。例示のために、例示的な動作のモードについて、図１３の音声再生デバイス４００に関して説明する。

[0150]抽出ユニット４０４は、ビットストリーム４２０から符号化音声データを抽出し得る。抽出ユニット４０４は、球面調和係数（ＳＨＣ）４２２（これは、ＳＨＣ４２２が、１より大きい次数と関連付けられた少なくとも１つの係数を含み得るという点において高次アンビソニックス（ＨＯＡ）と呼ばれ得る）の形態の抽出された符号化音声データをバイノーラルレンダリングユニット１４６に転送し得る（６００）。ＳＨＣ４２２は、すでに、ビットストリーム４２０内で周波数領域において指定されていると仮定すると、時間周波数解析ユニットは、変換を適用することなく、またはさもなければ受信されたＳＨＣ４２２を変換することなく、ＳＨＣ４２２をバイノーラルレンダリングユニット４０２に送ることができる。周波数領域で指定されたＳＨＣ４２２に対して説明したが、本技法は、時間領域で指定されたＳＨＣ４２２に対して実施され得る。

[0151]いずれにしても、バイノーラルレンダリングユニット４０２は、言い換えれば、ＳＨＣ４２２を左および右のチャンネルにレンダリングするように構成されユニットを表し、ユニット４０２は、ＳＨＣ４２２が記録された室内において、左および右のチャンネルがリスナーによってどのように聞かれるかをモデル化するための空間化を特徴付けることができる。バイノーラルレンダリングユニット４０２は、ヘッドフォンなどのヘッドセットを介する再生に好適な左チャンネル４３６Ａと右チャンネル４３６Ｂ（これらは「チャンネル４３６」と総称され得る）とを生成するためにＳＨＣ４２２をレンダリングし得る。

[0152]バイノーラルレンダリングユニット４０２は、不規則なＢＲＩＲフィルタ４０７Ａ、規則的なＢＲＩＲフィルタ４０７Ｂ、および／または内挿されたＢＲＩＲフィルタ４０７Ｃに対してバイノーラルレンダリングを実施するかどうかを決定するためにユーザ設定データ６０３を受信し得る。言い換えれば、バイノーラルレンダリングユニット４０２は、ＳＨＣ４２２のバイノーラル化を実施するときに、フィルタ４０７のうちのどれが使用されるべきかを選択するユーザ設定データ６０３を受信し得る（６０２）。ユーザ設定データ６０３は、図１３〜図１４の信号４２６の一例を表し得る。規則的なＢＲＩＲフィルタ４０７Ｂが使用されるべきである（６０４で「ＹＥＳ」）ことをユーザ設定データ６０３が指定するとき、バイノーラルレンダリングユニット４０２は、規則的なＢＲＩＲフィルタ４０７Ｂと規則的なレンダラ４０５Ｂとを選択する（６０６）。不規則なＢＲＩＲフィルタ４０７Ａを内挿することなく（６０８で「ＮＯ」）、このフィルタ４０７Ａが使用されるべきである（６０４で「ＮＯ」）ことをユーザ設定データ６０３が示すとき、バイノーラルレンダリングユニット４０２は、不規則なＢＲＩＲフィルタ４０７Ａと不規則なレンダラ４０５Ａとを選択する（６１０）。不規則なＢＲＩＲフィルタ４０７Ａが使用されるべきである（６０４で「ＮＯ」）が、このフィルタ４０７Ａが内挿されるべきである（６０８で「ＹＥＳ」）ことをユーザ設定データ６０３が示すとき、バイノーラルレンダリングユニット４０２は、（フィルタ４０７Ｃを生成するために選択されたフィルタ４０７Ａを内挿するために内挿ユニット４０６を起動した後の）内挿されたＢＲＩＲフィルタ４０７Ｃと規則的なレンダラ４０５Ｂとを選択する（６１２）。

[0153]いずれにしても、ＢＲＩＲフィルタ４０７Ａ〜４０７Ｃが（ＳＨＣ４２２をバイノーラル化するためにどれが選択されるかに応じて）時間領域内に提示されるとき、バイノーラルレンダリングユニット４０２は、ＢＲＩＲフィルタ４０７Ａ〜４０７Ｃ（「ＢＲＩＲフィルタ４０７」）のうちの選択された１つを時間領域から周波数領域に変換するために時間周波数解析ユニット４０８を起動し得、それぞれ、変換されたＢＲＩＲフィルタ４０９Ａ〜４０９Ｃ（「ＢＲＩＲフィルタ４０９」）を結果としてもたらす。複素ＢＲＩＲユニット４１０は、２つのＢＲＩＲレンダリングベクトル４１１Ａおよび４１１Ｂを生成するために、レンダラ４０５のうちの選択された１つおよびＢＲＩＲフィルタ４０９のうちの選択された１つに対して要素ごとの複素乗算と複素和とを実施し得る（６１４）。

[0154]合計ユニット４４２は、合計されたＢＲＩＲレンダリングベクトル４１３Ａおよび４１３Ｂを生成するために、ＢＲＩＲレンダリングベクトル４１１Ａおよび４１１Ｂの各々をＬ個にわたって合計し得る（６１６）。ウィンドウ処理ユニットは、ウィンドウ処理されたＢＲＩＲレンダリングベクトル４１５Ａおよび４１５Ｂを生成するために、ウィンドウ処理関数を合計されたＢＲＩＲレンダリングベクトル４１３Ａおよび４１３Ｂの各々に適用し得る（６１８）。次いで、複素乗算ユニット４１６は、左の修正されたＳＨＣ４１７Ａと右の修正されたＳＨＣ４１７Ｂとを生成するために、ＳＨＣ４２２とベクトル４１５Ａおよび４１５Ｂの各々との要素ごとの複素乗算を実施し得る（６２０）。

[0155]次いで、バイノーラルレンダリングユニット４０２は、上記で説明したように、音声再生デバイス４００のユーザまたは他の操作者によって入力された設定データ６０３に潜在的に基づいて、対称最適化ユニット４１８または非対称最適化ユニット４２０のいずれかを起動し得る。

[0156]対称最適化ユニット４１８は、起動されると、左の修正されたＳＨＣ４１７Ａおよび右の修正されたＳＨＣ４１７Ｂのうちの一方だけを、次数ｎおよび副次数ｍにわたって合計し得る。すなわち、対称最適化ユニット４１８は、周波数領域の左スピーカーフィード４１９Ａを生成するために、ＳＨＣ４１７Ａを次数ｎおよび副次数ｍにわたって合計し得る。次いで、対称最適化ユニット４１８は、負の副次数を有する球面基底関数と関連付けられるＳＨＣ４１７Ａの周波数領域の左スピーカーフィード４１９Ａを反転し、次いで、周波数領域右スピーカーフィード４１９Ａを生成するために、ＳＨＣ４１７Ａのこのバージョンにわたって次数ｎおよび副次数ｍにわたって合計することができる。

[0157]非対称最適化ユニット４２０は、起動されると、周波数領域の左スピーカーフィード４２１Ａおよび周波数領域の右スピーカーフィード４２１Ｂをそれぞれ生成するために、左の修正されたＳＨＣ４１７Ａおよび右の修正されたＳＨＣ４１７Ｂの各々を次数ｎおよび副次数ｍにわたって合計する。逆時間周波数解析ユニット４２２は、左スピーカーフィード４３６Ａと右スピーカーフィード４３６Ｂとを生成するために、周波数領域の左スピーカーフィード４１９Ａまたは４２１Ａのいずれかと、対応する周波数領域の右スピーカーフィード４１９Ｂまたは４２１Ａのいずれかとを、周波数領域から時間領域に変換するためのユニットを表し得る。このようにして、バイノーラルレンダリングユニット４０２は、左スピーカーフィード４３６Ａと右スピーカーフィード４３６Ｂとを生成するために、左ＳＨＣ４１７Ａおよび右ＳＨＣ４１７Ｂのうちの１つまたは複数に対して最適化を実施し得る（６２２）。音声再生デバイス４００は、上記で説明した方式で動作することを継続し得、左スピーカーフィード４３６Ａと右スピーカーフィード４３６ＢとをレンダリングするためにＳＨＣ４２２を抽出してバイノーラル化する（６００〜６２２）。

[0158]図１６Ａ、図１６Ｂは、本開示で説明する技法の様々な態様による、図１３の音声再生デバイス４００および図１４の音声再生デバイス５００によって実施され得る概念的プロセスをそれぞれ示す図を示す。高次アンビソニックス（ＨＯＡ）係数から成る空間音場のバイノーラル化は、伝統的に、ＨＯＡ信号をラウドスピーカー信号にレンダリングすることと、次いでラウドスピーカー信号と、そのラウドスピーカーの位置に対して取られたＢＲＩＲの左および右のバージョンとを畳み込むことと、を伴う。この伝統的な方法は、概して、作成された（Ｌ個のラウドスピーカーの）ラウドスピーカー信号当たり２回の畳み込みを必要とし、ＨＯＡ係数より多くのラウドスピーカーが存在しなければならないので、この伝統的な方法は、計算的に高価となり得る。言い換えれば、多重チャンネルの（periphonic）ラウドスピーカーアレイに関してＬ＞（Ｎ＋１）²であり、ここでＮはアンビソニックス次数である。２次元にわたって音場を規定する古典的な１次アンビソニックスに関する方法は、１次アンビソニックスのコンテンツを再生するために規則的な（いくつかの例において、均等に離間した、を意味する）仮想ラウドスピーカー配列を取り扱う。この方法は、最良の場合のシナリオを仮定しており、高次アンビソニックスまたはその３次元への適用についての情報をまったく提供されないとすれば、この方法は、過度に単純化されていると見なされ得る。この方法はまた、時間領域内の畳み込みに頼っていたが、周波数領域の計算に言及されていなかった。

[0159]本開示で説明し、図８の例に示す技法は、周波数領域において規則的なまたは不規則なＢＲＩＲのセットを介して３Ｄ音場をバイノーラル化する効率的な方法を提供し得る。不規則なＢＲＩＲのセットが使用される場合、ＢＲＩＲセットを規則的なＢＲＩＲの離間されたセットに内挿するための選択が存在し得る。この内挿は、線形内挿、ベクトルベース振幅パニング（ＶＢＡＰ）などを介して行われ得る。図１６Ａに示すように、まだ周波数領域にない場合、いくつかの例では、使用されるべきＢＲＩＲセットは、数例を提供すると、高速フーリエ変換（ＦＦＴ）、離散フーリエ変換（ＤＦＴ）、離散コサイン変換（ＤＣＴ）、ＭＤＣＴ、およびＤＳＤを使用して周波数領域に変換され得る。次いで、ＢＲＩＲセットは、前の規則的／不規則な選択に応じて規則的または不規則なレンダラと複素乗算され得る。規則的または不規則なレンダラの次数Ｎは、Ｎ＜＝ＮＩとなるように、到来するＨＯＡ信号の全次数を使用するように選択によって調整され得る。図１６Ａ、図１６Ｂの例における「次数削減」ブロックはまた、レンダラとＢＲＩＲ内挿の両方に必要なラウドスピーカーの数Ｌに影響を及ぼすことがある。しかしながら、ＢＲＩＲセットの正規化が選択されない場合、ＢＲＩＲセットからのＬの値は、後方に、次数削減および同じくレンダラに供給され得る。

[0160]正しいレンダラと正しいＢＲＩＲ信号セットとの複素乗算の後、出力された信号は、バイノーラル化されたＨＯＡレンダラ信号を作成するためにＬ次元にわたって合計され得る。レンダリングをさらに強化するために、周波数にわたるｎ、ｍの重み付けがｍａｘＲｅ、同相またはカイザーなどのウィンドウ処理関数を使用して変更され得るように、ウィンドウブロックが含まれ得る。それらのウィンドウは、音響心理学的な基準に適合するように客観的尺度を与えるガーゾンによって手がけられた伝統的アンビソニックス基準に適合することを助けることができる。この随意のウィンドウの後、ＨＯＡは（図１６Ａに示すように周波数領域にある場合）、バイノーラル化されたＨＯＡレンダラ信号と複素乗算される。ＨＯＡが時間領域にある場合、ＨＯＡは、図１６Ｂに示すように、バイノーラル化されたＨＯＡレンダラ信号と高速畳み込みを実施され得る。

[0161]本技法はまた、いくつかの例において、対称ＢＲＩＲ最適化を可能にすることができる。非最適化ルートが実施される場合、ｎ個、ｍ個のＨＯＡ係数は、左および右のチャンネルに関して合計され得る。対称的経路が選択される場合、左に関する出力信号は、ｎ、ｍの値の合計であるが、球面調和基底関数の対称性により、ｍ＜０の値は合計の前に反転される。この対称性は、上記で説明した技法全体を通して反対方向に適用され得、ここでは、ＢＲＩＲセットの左側だけが決定される。次いで、左および右の信号は、バイノーラル出力のために、時間領域に戻す変換（逆変換）がされ得る。

[0162]本技法は、（再び、図１６Ａに示すように）少なくとも部分的には、時間領域計算ではなく周波数領域計算を活用することによって、ａ）３Ｄ（単なる２Ｄではない）を含む、ｂ）高次アンビソニックス（単なる１次アンビソニックスではない）をバイノーラル化する、ｃ）規則的または不規則なＢＲＩＲセットを適用する、ｄ）不規則なＢＲＩＲセットから規則的なＢＲＩＲセットへのＢＲＩＲの内挿とｅ）アンビソニックス再生基準によりよく適合するためのＢＲＩＲ信号のウィンドウ処理の実施とを実施する、ｆ）潜在的に効率性を計算的に改善することができる。

[0163]上記の追加または代替として、以下の例を説明する。以下の例のうちのいずれにおいて説明する特徴も、本明細書で説明する他の例のうちのいずれにもともに利用され得る。

[0164]一例は、音場をレンダリングするために、バイノーラル室内インパルス応答フィルタを３次元の音場を表す球面調和係数に適用することを備えるバイノーラル音声レンダリングの方法を対象とする。

[0165]いくつかの例では、バイノーラル室内インパルス応答フィルタを適用することは、音場をレンダリングするために、不規則なバイノーラル室内インパルス応答フィルタを球面調和係数に適用することを備え、不規則なバイノーラル室内インパルス応答フィルタは、スピーカーの不規則な配列に関する１つまたは複数のバイノーラル室内インパルス応答フィルタを備える。

[0166]いくつかの例では、バイノーラル室内インパルス応答フィルタを適用することは、音場をレンダリングするために、規則的なバイノーラル室内インパルス応答フィルタを球面調和係数に適用することを備え、規則的なバイノーラル室内インパルス応答フィルタは、スピーカーの規則的な配列に関する１つまたは複数のバイノーラル室内インパルス応答フィルタを備える。

[0167]いくつかの例では、球面調和係数が対応する球面基底関数の次数は、１より大である。

[0168]いくつかの例では、方法は、規則的なバイノーラル室内インパルス応答フィルタを生成するために不規則なバイノーラル室内インパルス応答フィルタを内挿することをさらに備え、不規則なバイノーラル室内インパルス応答フィルタは、スピーカーの不規則な配列に関する１つまたは複数のバイノーラル室内インパルス応答フィルタを備え、規則的なバイノーラル室内インパルス応答フィルタは、スピーカーの規則的な配列に関する１つまたは複数のバイノーラル室内インパルス応答フィルタを備え、バイノーラル室内インパルス応答フィルタを適用することは、音場をレンダリングするために規則的なバイノーラル室内インパルス応答フィルタを球面調和係数に適用することを備える。

[0169]いくつかの例では、方法は、ウィンドウ処理されたバイノーラル室内インパルス応答フィルタを生成するためにウィンドウ処理関数をバイノーラル室内インパルス応答フィルタに適用することをさらに備え、バイノーラル室内インパルス応答フィルタを適用することは、音場をレンダリングするためにウィンドウ処理されたバイノーラル室内インパルス応答フィルタを球面調和係数に適用することを備える。

[0170]いくつかの例では、方法は、変換されたバイノーラル室内インパルス応答フィルタを生成するためにバイノーラル室内インパルス応答フィルタを時間領域から周波数領域に変換することをさらに備え、バイノーラル室内インパルス応答フィルタを適用することは、音場をレンダリングするために変換されたバイノーラル室内インパルス応答フィルタを球面調和係数に適用することを備える。

[0171]いくつかの例では、方法は、変換されたバイノーラル室内インパルス応答フィルタを生成するためにバイノーラル室内インパルス応答フィルタを時間領域から周波数領域に変換することと、変換された球面調和係数を生成するために球面調和係数を時間領域から周波数領域に変換することと、をさらに備え、バイノーラル室内インパルス応答フィルタを適用することは、音場の周波数領域表現をレンダリングするために、変換されたバイノーラル室内インパルス応答フィルタを変換された球面調和係数に適用することを備え、方法は、音場をレンダリングするために逆変換を音場の周波数領域表現に適用することをさらに備える。

[0172]一例は、音場をレンダリングするために、バイノーラル室内インパルス応答フィルタを３次元の音場を表す球面調和係数に適用するように構成された１つまたは複数のプロセッサを備えるデバイスを対象とする。

[0173]いくつかの例では、１つまたは複数のプロセッサは、音場をレンダリングするために、バイノーラル室内インパルス応答フィルタを適用するとき、不規則なバイノーラル室内インパルス応答フィルタを球面調和係数に適用するようにさらに構成され、不規則なバイノーラル室内インパルス応答フィルタは、スピーカーの不規則な配列に関する１つまたは複数のバイノーラル室内インパルス応答フィルタを備える。

[0174]いくつかの例では、１つまたは複数のプロセッサは、音場をレンダリングするために、バイノーラル室内インパルス応答フィルタを適用するとき、規則的なバイノーラル室内インパルス応答フィルタを球面調和係数に適用するようにさらに構成され、規則的なバイノーラル室内インパルス応答フィルタは、スピーカーの規則的な配列に関する１つまたは複数のバイノーラル室内インパルス応答フィルタを備える。

[0175]いくつかの例では、球面調和係数が対応する球面基底関数の次数は、１より大である。

[0176]いくつかの例では、１つまたは複数のプロセッサは、規則的なバイノーラル室内インパルス応答フィルタを生成するために不規則なバイノーラル室内インパルス応答フィルタを内挿するようにさらに構成され、不規則なバイノーラル室内インパルス応答フィルタは、スピーカーの不規則な配列に関する１つまたは複数のバイノーラル室内インパルス応答フィルタを備え、規則的なバイノーラル室内インパルス応答フィルタは、スピーカーの規則的な配列に関する１つまたは複数のバイノーラル室内インパルス応答フィルタを備え、１つまたは複数のプロセッサは、バイノーラル室内インパルス応答フィルタを適用するときに、音場をレンダリングするために規則的なバイノーラル室内インパルス応答フィルタを球面調和係数に適用するようにさらに構成される。

[0177]いくつかの例では、１つまたは複数のプロセッサは、ウィンドウ処理されたバイノーラル室内インパルス応答フィルタを生成するためにウィンドウ処理関数をバイノーラル室内インパルス応答フィルタに適用するようにさらに構成され、１つまたは複数のプロセッサは、バイノーラル室内インパルス応答フィルタを適用するときに、音場をレンダリングするためにウィンドウ処理されたバイノーラル室内インパルス応答フィルタを球面調和係数に適用するようにさらに構成される。

[0178]いくつかの例では、１つまたは複数のプロセッサは、変換されたバイノーラル室内インパルス応答フィルタを生成するためにバイノーラル室内インパルス応答フィルタを時間領域から周波数領域に変換するようにさらに構成され、１つまたは複数のプロセッサは、バイノーラル室内インパルス応答フィルタを適用するときに、音場をレンダリングするために変換されたバイノーラル室内インパルス応答フィルタを球面調和係数に適用するようにさらに構成される。

[0179]いくつかの例では、１つまたは複数のプロセッサは、変換されたバイノーラル室内インパルス応答フィルタを生成するためにバイノーラル室内インパルス応答フィルタを時間領域から周波数領域に変換することと、変換された球面調和係数を生成するために球面調和係数を時間領域から周波数領域に変換することと、を行うようにさらに構成され、１つまたは複数のプロセッサは、バイノーラル室内インパルス応答フィルタを適用するときに、音場の周波数領域表現をレンダリングするために、変換されたバイノーラル室内インパルス応答フィルタを変換された球面調和係数に適用するようにさらに構成され、１つまたは複数のプロセッサは、音場をレンダリングするために逆変換を音場の周波数領域表現に適用するようにさらに構成される。

[0180]一例は、３次元の音場を表す球面調和係数を決定するための手段と、音場をレンダリングするために、バイノーラル室内インパルス応答フィルタを音場を表す球面調和係数に適用するための手段とを備えるデバイスを対象とする。

[0181]いくつかの例では、バイノーラル室内インパルス応答フィルタを適用するための手段は、音場をレンダリングするために、不規則なバイノーラル室内インパルス応答フィルタを球面調和係数に適用するための手段を備え、不規則なバイノーラル室内インパルス応答フィルタは、スピーカーの不規則な配列に関する１つまたは複数のバイノーラル室内インパルス応答フィルタを備える。

[0182]いくつかの例では、バイノーラル室内インパルス応答フィルタを適用するための手段は、音場をレンダリングするために、規則的なバイノーラル室内インパルス応答フィルタを球面調和係数に適用するための手段を備え、規則的なバイノーラル室内インパルス応答フィルタは、スピーカーの規則的な配列に関する１つまたは複数のバイノーラル室内インパルス応答フィルタを備える。

[0183]いくつかの例では、球面調和係数が対応する球面基底関数の次数は、１より大である。

[0184]いくつかの例では、デバイスは、規則的なバイノーラル室内インパルス応答フィルタを生成するために不規則なバイノーラル室内インパルス応答フィルタを内挿するための手段をさらに備え、不規則なバイノーラル室内インパルス応答フィルタは、スピーカーの不規則な配列に関する１つまたは複数のバイノーラル室内インパルス応答フィルタを備え、規則的なバイノーラル室内インパルス応答フィルタは、スピーカーの規則的な配列に関する１つまたは複数のバイノーラル室内インパルス応答フィルタを備え、バイノーラル室内インパルス応答フィルタを適用するための手段は、音場をレンダリングするために規則的なバイノーラル室内インパルス応答フィルタを球面調和係数に適用するための手段を備える。

[0185]いくつかの例では、デバイスは、ウィンドウ処理されたバイノーラル室内インパルス応答フィルタを生成するためにウィンドウ処理関数をバイノーラル室内インパルス応答フィルタに適用するための手段をさらに備え、バイノーラル室内インパルス応答フィルタを適用するための手段は、音場をレンダリングするためにウィンドウ処理されたバイノーラル室内インパルス応答フィルタを球面調和係数に適用するための手段を備える。

[0186]いくつかの例では、デバイスは、変換されたバイノーラル室内インパルス応答フィルタを生成するためにバイノーラル室内インパルス応答フィルタを時間領域から周波数領域に変換するための手段をさらに備え、バイノーラル室内インパルス応答フィルタを適用するための手段は、音場をレンダリングするために変換されたバイノーラル室内インパルス応答フィルタを球面調和係数に適用するための手段を備える。

[0187]いくつかの例では、デバイスは、変換されたバイノーラル室内インパルス応答フィルタを生成するためにバイノーラル室内インパルス応答フィルタを時間領域から周波数領域に変換するための手段と、変換された球面調和係数を生成するために球面調和係数を時間領域から周波数領域に変換するための手段とをさらに備え、バイノーラル室内インパルス応答フィルタを適用するための手段は、音場の周波数領域表現をレンダリングするために、変換されたバイノーラル室内インパルス応答フィルタを変換された球面調和係数に適用するための手段を備え、デバイスは、音場をレンダリングするために逆変換を音場の周波数領域表現に適用するための手段をさらに備える。

[0188]一例は、実行されると、１つまたは複数のプロセッサに、音場をレンダリングするために、バイノーラル室内インパルス応答フィルタを３次元の音場を表す球面調和係数に適用させる命令をその上に記憶している非一時的コンピュータ可読記憶媒体を対象とする。

[0189]その上、上記で説明した例のいずれかに記載される特定の特徴のいずれも、説明した技法の有益な例の中に組み合わされ得る。すなわち、特定の特徴のいずれも、一般に、本発明のすべての例に適用可能である。本発明の様々な例について説明した。

[0190]例に応じて、本明細書で説明された方法のいずれものある行為またはイベントは、異なる順序で実行可能であり、追加されてもよいし、マージされてもよいし、全体的に除外されてもよい（たとえば、すべての説明された行為またはイベントが方法の実施に必要とは限らない）ことを理解されたい。その上、ある例では、行為またはイベントは、たとえば、マルチスレッド処理、割込み処理、または複数のプロセッサによって、順次ではなく、同時に実行されることがある。さらに、本開示のある態様は、わかりやすいように、単一のデバイス、モジュール、またはユニットによって実行されると説明されているが、本開示の技法は、デバイス、ユニット、またはモジュールの組合せによって実行されてよいことを理解されたい。

[0191]１つまたは複数の例では、説明された機能は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組合せで実施されてよい。ソフトウェアで実施される場合、これらの機能は、コンピュータ可読媒体上に１つまたは複数の命令またはコードとして記憶または送信され、ハードウェアベースの処理ユニットによって実行されてもよい。コンピュータ可読媒体は、たとえば、通信プロトコルに従って、ある場所から別の場所へのコンピュータプログラムの転送を支援する任意の媒体を含む、データ記憶媒体または通信媒体などの有形媒体に対応するコンピュータ可読記憶媒体を含み得る。

[0192]このようにして、コンピュータ可読媒体は、一般に、（１）非一時的である有形のコンピュータ可読記憶媒体または（２）信号もしくはキャリア波などの通信媒体に相当し得る。データ記憶媒体は、本開示で説明する技法の実装のために、命令、コードおよび／またはデータ構造を取り出すために１つもしくは複数のコンピュータまたは１つもしくは複数のプロセッサによってアクセスされ得る、任意の利用可能な媒体であり得る。コンピュータプログラム製品は、コンピュータ可読媒体を含んでもよい。

[0193]例として、それに限定されず、そのようなコンピュータ可読記憶媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ（登録商標）、ＣＤ−ＲＯＭもしくは他の光ディスク記憶装置、磁気ディスク記憶装置もしくは他の磁気記憶デバイス、フラッシュメモリ、または命令またはデータ構造の形態で所望のプログラムコードを記憶するために使用可能であり、コンピュータによってアクセス可能な他の任意の媒体を備えることができる。さらに、いかなる接続もコンピュータ可読媒体と適切に呼ばれる。たとえば、命令が、ウェブサイト、サーバ、または他の遠隔ソースから、同軸ケーブル、光ファイバケーブル、ツイストペア、デジタル加入者回線（ＤＳＬ）、または赤外線、無線、およびマイクロ波などのワイヤレス技術を使用して伝送される場合、同軸ケーブル、光ファイバケーブル、ツイストペア、ＤＳＬ、または赤外線、無線、マイクロ波などのワイヤレス技術は、媒体の定義に含まれる。

[0194]ただし、コンピュータ可読記憶媒体およびデータ記憶媒体は、接続、搬送波、信号、または他の一時的媒体を含まず、代わりに、非一時的な有形記憶媒体を対象とすることを理解されたい。本明細書で使用するディスク（disk）およびディスク（disc）は、コンパクトディスク（disc）（ＣＤ）、レーザーディスク（登録商標）（disc）、光ディスク（disc）、デジタル多用途ディスク（disc）（ＤＶＤ）、フロッピー（登録商標）ディスク（disk）およびｂｌｕ−ｒａｙ（登録商標）ディスク（disc）を含み、ディスク（disk）は、通常、データを磁気的に再生し、ディスク（disc）は、データをレーザーで光学的に再生する。上述の組合せもコンピュータ可読媒体の範囲内に含まれるべきである。

[0195]命令は、１つまたは複数のデジタルシグナルプロセッサ（ＤＳＰ）、汎用マイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルロジックアレイ（ＦＰＧＡ）、または他の同等の統合された、もしくは個別の論理回路などの、１つまたは複数のプロセッサによって実行され得る。したがって、「プロセッサ」という用語は、本明細書において、前述の構造のうちの任意のものまたは本明細書に記載される技法の実施のために適当な任意の他の構造を参照し得る。加えて、いくつかの態様では、本明細書に記載される機能性は、符号化および復号のために構成され、または組み合わされたコーデックに組み込まれる、専用のハードウェア内および／またはソフトウェアモジュール内で提供され得る。また、技法は、１つまたは複数の回路または論理素子内で完全に実施されてよい。

[0196]本開示の技法は、ワイヤレスハンドセット、集積回路（ＩＣ）またはＩＣのセット（たとえば、チップセット）を含む、多種多様なデバイスまたは装置で実装され得る。様々な構成要素、モジュール、またはユニットは、開示された技法を実行するように構成されるデバイスの機能上の態様を強調するために、本開示に記載されるが、必ずしも異なるハードウェアユニットによる実現を求めるとは限らない。むしろ、上記で説明したように、様々なユニットは、コーデックハードウェアユニットの中で組み合わされ、または、上記で説明した１つまたは複数のプロセッサを含む、適切なソフトウェアおよび／またはファームウェアと一緒に相互作用するハードウェアユニットの集合によって提供され得る。

[0197]本技法の様々な実施形態が説明された。これらおよび他の実施形態は以下の特許請求の範囲内に入る。
以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
［Ｃ１］
バイノーラル音声レンダリングの方法であって、
音場をレンダリングするために、バイノーラル室内インパルス応答フィルタを３次元の前記音場を表す球面調和係数に適用することを備える、方法。
［Ｃ２］
前記バイノーラル室内インパルス応答フィルタを適用することが、前記音場をレンダリングするために、不規則なバイノーラル室内インパルス応答フィルタを前記球面調和係数に適用することを備え、前記不規則なバイノーラル室内インパルス応答フィルタが、スピーカーの不規則な配列に関する１つまたは複数のバイノーラル室内インパルス応答フィルタを備える、Ｃ１に記載の方法。
［Ｃ３］
前記バイノーラル室内インパルス応答フィルタを適用することが、前記音場をレンダリングするために規則的なバイノーラル室内インパルス応答フィルタを前記球面調和係数に適用することを備え、
前記規則的なバイノーラル室内インパルス応答フィルタが、スピーカーの規則的な配列に関する１つまたは複数のバイノーラル室内インパルス応答フィルタを備える、Ｃ１に記載の方法。
［Ｃ４］
前記音場をレンダリングするために前記バイノーラル室内インパルス応答フィルタを３次元の前記音場を表す球面調和係数に適用することが、左および右の修正された球面調和係数を生成し、前記方法が、
第１の周波数領域スピーカーフィードを生成するために、前記左の修正された球面調和係数または前記右の修正された球面調和係数のいずれかを備える第１の修正された球面調和係数を、前記球面調和係数と関連付けられた次数および副次数の数にわたって合計することと、
反転された球面調和係数を生成するために、負の副次数と関連付けられた前記第１の修正された球面調和係数の球面調和係数を反転することと、
第２の周波数領域スピーカーフィードを生成するために、前記反転された球面調和係数を次数および副次数の前記数にわたって合計することと、
をさらに備える、Ｃ１に記載の方法。
［Ｃ５］
前記球面調和係数が対応する球面基底関数の次数が、１より大である、Ｃ１に記載の方法。
［Ｃ６］
規則的なバイノーラル室内インパルス応答フィルタを生成するために、不規則なバイノーラル室内インパルス応答フィルタを内挿することをさらに備え、ここにおいて、前記不規則なバイノーラル室内インパルス応答フィルタが、スピーカーの不規則な配列に関する１つまたは複数のバイノーラル室内インパルス応答フィルタを備え、前記規則的なバイノーラル室内インパルス応答フィルタが、スピーカーの規則的な配列に関する１つまたは複数のバイノーラル室内インパルス応答フィルタを備え、
ここにおいて、前記バイノーラル室内インパルス応答フィルタを適用することが、前記音場をレンダリングするために前記規則的なバイノーラル室内インパルス応答フィルタを前記球面調和係数に適用することを備える、Ｃ１に記載の方法。
［Ｃ７］
ウィンドウ処理されたバイノーラル室内インパルス応答フィルタを生成するために、ウィンドウ処理関数を前記バイノーラル室内インパルス応答フィルタに適用することをさらに備え、
ここにおいて、前記バイノーラル室内インパルス応答フィルタを適用することが、前記音場をレンダリングするために前記ウィンドウ処理されたバイノーラル室内インパルス応答フィルタを前記球面調和係数に適用することを備える、Ｃ１に記載の方法。
［Ｃ８］
変換されたバイノーラル室内インパルス応答フィルタを生成するために、前記バイノーラル室内インパルス応答フィルタを時間領域から周波数領域に変換することをさらに備え、
ここにおいて、前記バイノーラル室内インパルス応答フィルタを適用することが、前記音場をレンダリングするために前記変換されたバイノーラル室内インパルス応答フィルタを前記球面調和係数に適用することを備える、Ｃ１に記載の方法。
［Ｃ９］
変換されたバイノーラル室内インパルス応答フィルタを生成するために、前記バイノーラル室内インパルス応答フィルタを時間領域から周波数領域に変換することと、
変換された球面調和係数を生成するために、前記球面調和係数を前記時間領域から前記周波数領域に変換することと、
をさらに備え、
ここにおいて、前記バイノーラル室内インパルス応答フィルタを適用することが、前記音場の周波数領域表現をレンダリングするために、前記変換されたバイノーラル室内インパルス応答フィルタを前記変換された球面調和係数に適用することを備え、
ここにおいて、前記方法が、前記音場をレンダリングするために、逆変換を前記音場の前記周波数領域表現に適用することをさらに備える、Ｃ１に記載の方法。
［Ｃ１０］
前記バイノーラル室内インパルス応答フィルタを適用することが、前記バイノーラル室内インパルス応答フィルタを前記球面調和係数に直接適用することを備える、Ｃ１に記載の方法。
［Ｃ１１］
音場をレンダリングするために、バイノーラル室内インパルス応答フィルタを３次元の前記音場を表す球面調和係数に適用するように構成された１つまたは複数のプロセッサを備える、デバイス。
［Ｃ１２］
前記１つまたは複数のプロセッサが、前記音場をレンダリングするために、前記バイノーラル室内インパルス応答フィルタを適用するとき、不規則なバイノーラル室内インパルス応答フィルタを前記球面調和係数に適用するようにさらに構成され、前記不規則なバイノーラル室内インパルス応答フィルタが、スピーカーの不規則な配列に関する１つまたは複数のバイノーラル室内インパルス応答フィルタを備える、Ｃ１１に記載のデバイス。
［Ｃ１３］
前記１つまたは複数のプロセッサが、前記音場をレンダリングするために、前記バイノーラル室内インパルス応答フィルタを適用するとき、規則的なバイノーラル室内インパルス応答フィルタを前記球面調和係数に適用するようにさらに構成され、前記規則的なバイノーラル室内インパルス応答フィルタが、スピーカーの規則的な配列に関する１つまたは複数のバイノーラル室内インパルス応答フィルタを備える、Ｃ１１に記載のデバイス。
［Ｃ１４］
前記１つまたは複数のプロセッサが、
左および右の修正された球面調和係数を生成するために前記音場をレンダリングするために前記バイノーラル室内インパルス応答フィルタを３次元の前記音場を表す球面調和係数に適用することと、
第１の周波数領域スピーカーフィードを生成するために、前記左の修正された球面調和係数または前記右の修正された球面調和係数のいずれかを備える第１の修正された球面調和係数を、前記球面調和係数と関連付けられた次数および副次数の数にわたって合計することと、
反転された球面調和係数を生成するために、負の副次数と関連付けられた前記第１の修正された球面調和係数の球面調和係数を反転することと、
第２の周波数領域スピーカーフィードを生成するために、前記反転された球面調和係数を次数および副次数の前記数にわたって合計することと、
を行うようにさらに構成される、Ｃ１１に記載のデバイス。
［Ｃ１５］
前記球面調和係数が対応する球面基底関数の次数が、１より大である、Ｃ１１に記載のデバイス。
［Ｃ１６］
前記１つまたは複数のプロセッサが、規則的なバイノーラル室内インパルス応答フィルタを生成するために、不規則なバイノーラル室内インパルス応答フィルタを内挿するようにさらに構成され、前記不規則なバイノーラル室内インパルス応答フィルタが、スピーカーの不規則な配列に関する１つまたは複数のバイノーラル室内インパルス応答フィルタを備え、前記規則的なバイノーラル室内インパルス応答フィルタが、スピーカーの規則的な配列に関する１つまたは複数のバイノーラル室内インパルス応答フィルタを備えるようにさらに構成され、
前記１つまたは複数のプロセッサが、前記音場をレンダリングするために、前記バイノーラル室内インパルス応答フィルタを適用するとき、前記規則的なバイノーラル室内インパルス応答フィルタを前記球面調和係数に適用するようにさらに構成される、Ｃ１１に記載のデバイス。
［Ｃ１７］
前記１つまたは複数のプロセッサが、ウィンドウ処理されたバイノーラル室内インパルス応答フィルタを生成するために、ウィンドウ処理関数を前記バイノーラル室内インパルス応答フィルタに適用するようにさらに構成され、
前記１つまたは複数のプロセッサが、前記音場をレンダリングするために、前記バイノーラル室内インパルス応答フィルタを適用するとき、前記ウィンドウ処理されたバイノーラル室内インパルス応答フィルタを前記球面調和係数に適用するようにさらに構成される、Ｃ１１に記載のデバイス。
［Ｃ１８］
前記１つまたは複数のプロセッサが、変換されたバイノーラル室内インパルス応答フィルタを生成するために、前記バイノーラル室内インパルス応答フィルタを時間領域から周波数領域に変換するようにさらに構成され、
前記１つまたは複数のプロセッサが、前記音場をレンダリングするために、前記バイノーラル室内インパルス応答フィルタを適用するとき、前記変換されたバイノーラル室内インパルス応答フィルタを前記球面調和係数に適用するようにさらに構成される、Ｃ１１に記載のデバイス。
［Ｃ１９］
前記１つまたは複数のプロセッサが、変換されたバイノーラル室内インパルス応答フィルタを生成するために、前記バイノーラル室内インパルス応答フィルタを時間領域から周波数領域に変換することと、変換された球面調和係数を生成するために、前記球面調和係数を前記時間領域から前記周波数領域に変換することと、を行うようにさらに構成され、
前記１つまたは複数のプロセッサが、前記音場の周波数領域表現をレンダリングするために、前記バイノーラル室内インパルス応答フィルタを適用するとき、前記変換されたバイノーラル室内インパルス応答フィルタを前記変換された球面調和係数に適用するようにさらに構成され、
前記１つまたは複数のプロセッサが、前記音場をレンダリングするために、逆変換を前記音場の前記周波数領域表現に適用するようにさらに構成される、Ｃ１１に記載のデバイス。
［Ｃ２０］
前記１つまたは複数のプロセッサが、前記バイノーラル室内インパルス応答フィルタを適用するとき、前記バイノーラル室内インパルス応答フィルタを前記球面調和係数に直接適用するようにさらに構成される、Ｃ１１に記載のデバイス。
［Ｃ２１］
３次元の音場を表す球面調和係数を決定するための手段と、
音場をレンダリングするために、バイノーラル室内インパルス応答フィルタを前記音場を表す球面調和係数に適用するための手段と、
を備える、装置。
［Ｃ２２］
前記バイノーラル室内インパルス応答フィルタを適用するための前記手段が、前記音場をレンダリングするために、不規則なバイノーラル室内インパルス応答フィルタを前記球面調和係数に適用するための手段を備え、前記不規則なバイノーラル室内インパルス応答フィルタが、スピーカーの不規則な配列に関する１つまたは複数のバイノーラル室内インパルス応答フィルタを備える、Ｃ２１に記載の装置。
［Ｃ２３］
前記バイノーラル室内インパルス応答フィルタを適用するための前記手段が、前記音場をレンダリングするために、規則的なバイノーラル室内インパルス応答フィルタを前記球面調和係数に適用するための手段を備え、前記規則的なバイノーラル室内インパルス応答フィルタが、スピーカーの規則的な配列に関する１つまたは複数のバイノーラル室内インパルス応答フィルタを備える、Ｃ２１に記載の装置。
［Ｃ２４］
前記音場をレンダリングするために、前記バイノーラル室内インパルス応答フィルタを３次元の前記音場を表す球面調和係数に適用するための前記手段が、左および右の修正された球面調和係数を生成し、前記装置が、
第１の周波数領域スピーカーフィードを生成するために、前記左の修正された球面調和係数または前記右の修正された球面調和係数のいずれかを備える第１の修正された球面調和係数を、前記球面調和係数と関連付けられた次数および副次数の数にわたって合計するための手段と、
反転された球面調和係数を生成するために、負の副次数と関連付けられた前記第１の修正された球面調和係数の球面調和係数を反転するための手段と、
第２の周波数領域スピーカーフィードを生成するために、前記反転された球面調和係数を次数および副次数の前記数にわたって合計するための手段と、
をさらに備える、Ｃ２１に記載の装置。
［Ｃ２５］
前記球面調和係数が対応する球面基底関数の次数が、１より大である、Ｃ２１に記載の装置。
［Ｃ２６］
規則的なバイノーラル室内インパルス応答フィルタを生成するために、不規則なバイノーラル室内インパルス応答フィルタを内挿するための手段をさらに備え、ここにおいて、前記不規則なバイノーラル室内インパルス応答フィルタが、スピーカーの不規則な配列に関する１つまたは複数のバイノーラル室内インパルス応答フィルタを備え、前記規則的なバイノーラル室内インパルス応答フィルタが、スピーカーの規則的な配列に関する１つまたは複数のバイノーラル室内インパルス応答フィルタを備え、
ここにおいて、前記バイノーラル室内インパルス応答フィルタを適用するための前記手段が、前記音場をレンダリングするために前記規則的なバイノーラル室内インパルス応答フィルタを前記球面調和係数に適用するための手段を備える、Ｃ２１に記載の装置。
［Ｃ２７］
ウィンドウ処理されたバイノーラル室内インパルス応答フィルタを生成するために、ウィンドウ処理関数を前記バイノーラル室内インパルス応答フィルタに適用するための手段をさらに備え、
前記バイノーラル室内インパルス応答フィルタを適用するための前記手段が、前記音場をレンダリングするために前記ウィンドウ処理されたバイノーラル室内インパルス応答フィルタを前記球面調和係数に適用するための手段を備える、Ｃ２１に記載の装置。
［Ｃ２８］
変換されたバイノーラル室内インパルス応答フィルタを生成するために、前記バイノーラル室内インパルス応答フィルタを時間領域から周波数領域に変換するための手段をさらに備え、
ここにおいて、前記バイノーラル室内インパルス応答フィルタを適用するための前記手段が、前記音場をレンダリングするために前記変換されたバイノーラル室内インパルス応答フィルタを前記球面調和係数に適用するための手段を備える、Ｃ２１に記載の装置。
［Ｃ２９］
変換されたバイノーラル室内インパルス応答フィルタを生成するために、前記バイノーラル室内インパルス応答フィルタを時間領域から周波数領域に変換するための手段と、
変換された球面調和係数を生成するために、前記球面調和係数を前記時間領域から前記周波数領域に変換するための手段と、
をさらに備え、
ここにおいて、前記バイノーラル室内インパルス応答フィルタを適用するための前記手段が、前記音場の周波数領域表現をレンダリングするために、前記変換されたバイノーラル室内インパルス応答フィルタを前記変換された球面調和係数に適用するための手段を備え、
ここにおいて、前記装置が、前記音場をレンダリングするために、逆変換を前記音場の前記周波数領域表現に適用するための手段をさらに備える、Ｃ２１に記載の装置。
［Ｃ３０］
実行されると、１つまたは複数のプロセッサに、
音場をレンダリングするために、バイノーラル室内インパルス応答フィルタを３次元の前記音場を表す球面調和係数に適用させる命令をその上に記憶した、非一時的コンピュータ可読記憶媒体。

Claims (31)

1. バイノーラル音声レンダリングの方法であって、
   複数のスピーカーフィードとして音場をレンダリングするために、複数の不規則なバイノーラル室内インパルス応答（ＢＲＩＲ）フィルタを高次アンビソニックス係数に適用することを備え、ここにおいて、
   前記高次アンビソニックス係数が、３次元の前記音場を表し、
   前記複数の不規則なＢＲＩＲフィルタの各それぞれの不規則なＢＲＩＲフィルタが、複数の仮想ラウドスピーカーのそれぞれの仮想ラウドスピーカーのインパルス位置において生成されたインパルスに対する応答を表し、
   前記複数の仮想ラウドスピーカーが、均等に離間されない、方法。
2. 前記高次アンビソニックス係数は高次アンビソニックス係数の第１のセットであり、前記音場は第１の音場であり、前記複数の仮想ラウドスピーカーは第１の複数の仮想ラウドスピーカーであり、前記方法は、
   複数の規則的なＢＲＩＲフィルタの使用を指定するユーザ設定データを受信することに応答して、および前記複数の不規則なＢＲＩＲフィルタを高次アンビソニックス係数の前記第１のセットに適用することに後続して、第２の音場をレンダリングするために、前記複数の規則的なＢＲＩＲフィルタを高次アンビソニックス係数の第２のセットに適用することをさらに備え、
   前記複数の規則的なＢＲＩＲフィルタの各それぞれの規則的なＢＲＩＲフィルタが、第２の複数の仮想ラウドスピーカーのそれぞれの仮想ラウドスピーカーのインパルス位置において生成されたインパルスに対する応答を表し、
   前記第２の複数の仮想ラウドスピーカーが、均等に離間される、請求項１に記載の方法。
3. 前記複数の不規則なＢＲＩＲフィルタを前記高次アンビソニックス係数に適用することが、左および右の修正された高次アンビソニックス係数を生成し、前記複数のスピーカーフィードが第１の周波数領域スピーカーフィードおよび第２の周波数領域スピーカーフィードを含み、前記方法が、
   前記第１の周波数領域スピーカーフィードを生成するために、第１の修正された高次アンビソニックス係数を、前記高次アンビソニックス係数と関連付けられた次数および副次数の数にわたって合計すること、前記第１の修正された高次アンビソニックス係数が、前記左の修正された高次アンビソニックス係数または前記右の修正された高次アンビソニックス係数のいずれかを備える、と、
   反転された高次アンビソニックス係数を生成するために、負の副次数と関連付けられた前記第１の修正された高次アンビソニックス係数の高次アンビソニックス係数を反転することと、
   前記第２の周波数領域スピーカーフィードを生成するために、前記反転された高次アンビソニックス係数を次数および副次数の前記数にわたって合計することと、
   をさらに備える、請求項１に記載の方法。
4. 前記高次アンビソニックス係数が対応する球面基底関数の次数が、１より大である、請求項１に記載の方法。
5. スピーカーの規則的な配列に関する１つまたは複数の規則的なＢＲＩＲフィルタを生成するために、前記複数の不規則なＢＲＩＲフィルタを内挿することをさらに備え、
   ここにおいて、前記複数の不規則なＢＲＩＲフィルタを適用することが、前記音場をレンダリングするために前記複数の規則的なＢＲＩＲフィルタを前記高次アンビソニックス係数に適用することを備える、請求項１に記載の方法。
6. ウィンドウ処理されたＢＲＩＲフィルタを生成するために、ウィンドウ処理関数を前記複数の不規則なＢＲＩＲフィルタに適用することをさらに備え、
   ここにおいて、前記複数の不規則なＢＲＩＲフィルタを適用することが、前記音場をレンダリングするために前記ウィンドウ処理されたＢＲＩＲフィルタを前記高次アンビソニックス係数に適用することを備える、請求項１に記載の方法。
7. 変換された不規則なＢＲＩＲフィルタを生成するために、前記複数の不規則なＢＲＩＲフィルタを時間領域から周波数領域に変換することをさらに備え、
   ここにおいて、前記複数の不規則なＢＲＩＲフィルタを適用することが、前記音場をレンダリングするために前記変換された不規則なＢＲＩＲフィルタを前記高次アンビソニックス係数に適用することを備える、請求項１に記載の方法。
8. 変換されたＢＲＩＲフィルタを生成するために、前記複数の不規則なフィルタを時間領域から周波数領域に変換することと、
   変換された高次アンビソニックス係数を生成するために、前記高次アンビソニックス係数を前記時間領域から前記周波数領域に変換することと、
   をさらに備え、
   ここにおいて、前記複数の不規則なＢＲＩＲフィルタを適用することが、前記音場の周波数領域表現をレンダリングするために、前記変換された不規則なＢＲＩＲフィルタを前記変換された高次アンビソニックス係数に適用することを備え、
   ここにおいて、前記方法が、前記音場をレンダリングするために、逆変換を前記音場の前記周波数領域表現に適用することをさらに備える、請求項１に記載の方法。
9. 前記複数の不規則なＢＲＩＲフィルタを適用することが、前記複数の不規則なＢＲＩＲフィルタを前記高次アンビソニックス係数に直接適用することを備える、請求項１に記載の方法。
10. 前記複数の不規則なＢＲＩＲフィルタを適用することが、前記高次アンビソニックス係数と前記不規則なＢＲＩＲフィルタとを畳み込むことを備える、請求項１に記載の方法。
11. 前記複数の不規則なＢＲＩＲフィルタを適用することが、前記スピーカーフィードとしての出力に関して前記音場をレンダリングするために畳み込みを集積することをさらに備え、前記畳み込みは、前記高次アンビソニックス係数と前記不規則なＢＲＩＲフィルタとを畳み込むことから得られる、請求項１０に記載の方法。
12. デバイスであって、
    複数のスピーカーフィードとして音場をレンダリングするために、複数の不規則なバイノーラル室内インパルス応答（ＢＲＩＲ）フィルタを高次アンビソニックス係数に適用するように構成された１つまたは複数のプロセッサを備え、ここにおいて、
    前記高次アンビソニックス係数が、３次元の前記音場を表し、
    前記複数の不規則なＢＲＩＲフィルタの各それぞれの不規則なＢＲＩＲフィルタが、複数の仮想ラウドスピーカーのそれぞれの仮想ラウドスピーカーのインパルス位置において生成されたインパルスに対する応答を表し、
    前記複数の仮想ラウドスピーカーが、均等に離間されない、デバイス。
13. 前記高次アンビソニックス係数が高次アンビソニックス係数の第１のセットであり、前記音場が第１の音場であり、前記複数の仮想ラウドスピーカーが第１の複数の仮想ラウドスピーカーであり、前記１つまたは複数のプロセッサが、スピーカーの規則的な配列に関する複数の規則的なＢＲＩＲフィルタの使用を指定するユーザ設定データを受信することに応答して、第２の音場をレンダリングするために、前記複数の規則的なＢＲＩＲフィルタを高次アンビソニックス係数の第２のセットに適用するようにさらに構成され、
    前記複数の規則的なＢＲＩＲフィルタの各それぞれの規則的なＢＲＩＲフィルタが、第２の複数の仮想ラウドスピーカーのそれぞれの仮想ラウドスピーカーのインパルス位置において生成されたインパルスに対する応答を表し、
    前記第２の複数の仮想ラウドスピーカーが、均等に離間される、請求項１２に記載のデバイス。
14. 前記１つまたは複数のプロセッサが、
    左および右の修正された高次アンビソニックス係数を生成するために前記複数の不規則なＢＲＩＲフィルタを前記高次アンビソニックス係数に適用すること、前記複数のスピーカーフィードが第１の周波数領域スピーカーフィードおよび第２の周波数領域スピーカーフィードを含む、と、
    前記第１の周波数領域スピーカーフィードを生成するために、第１の修正された高次アンビソニックス係数を、前記高次アンビソニックス係数と関連付けられた次数および副次数の数にわたって合計すること、前記第１の修正された高次アンビソニックス係数が、前記左の修正された高次アンビソニックス係数または前記右の修正された高次アンビソニックス係数のいずれかを備える、と、
    反転された高次アンビソニックス係数を生成するために、負の副次数と関連付けられた前記第１の修正された高次アンビソニックス係数の高次アンビソニックス係数を反転することと、
    前記第２の周波数領域スピーカーフィードを生成するために、前記反転された高次アンビソニックス係数を次数および副次数の前記数にわたって合計することと、
    を行うようにさらに構成される、請求項１２に記載のデバイス。
15. 前記高次アンビソニックス係数が対応する球面基底関数の次数が、１より大である、請求項１２に記載のデバイス。
16. 前記１つまたは複数のプロセッサが、複数の規則的なＢＲＩＲフィルタを生成するために、前記複数の不規則なＢＲＩＲフィルタを内挿するようにさらに構成され、前記規則的なＢＲＩＲフィルタが、スピーカーの規則的な配列に関する複数のＢＲＩＲフィルタを備え、
    前記１つまたは複数のプロセッサが、前記音場をレンダリングするために、前記複数の不規則なＢＲＩＲフィルタを適用するために、前記複数の規則的なＢＲＩＲフィルタを前記高次アンビソニックス係数に適用するようにさらに構成される、請求項１２に記載のデバイス。
17. 前記１つまたは複数のプロセッサが、ウィンドウ処理されたＢＲＩＲフィルタを生成するために、ウィンドウ処理関数を前記複数の不規則なフィルタに適用するようにさらに構成され、
    前記１つまたは複数のプロセッサが、前記音場をレンダリングするために、前記複数の不規則なＢＲＩＲフィルタを適用するとき、前記ウィンドウ処理されたＢＲＩＲフィルタを前記高次アンビソニックス係数に適用するようにさらに構成される、請求項１２に記載のデバイス。
18. 前記１つまたは複数のプロセッサが、変換された不規則なＢＲＩＲフィルタを生成するために、前記複数の不規則なＢＲＩＲフィルタを時間領域から周波数領域に変換するようにさらに構成され、
    前記１つまたは複数のプロセッサが、前記音場をレンダリングするために、前記複数の不規則なＢＲＩＲフィルタを適用するとき、前記変換された不規則なＢＲＩＲフィルタを前記高次アンビソニックス係数に適用するようにさらに構成される、請求項１２に記載のデバイス。
19. 前記１つまたは複数のプロセッサが、変換された不規則なＢＲＩＲフィルタを生成するために、前記複数の不規則なＢＲＩＲフィルタを時間領域から周波数領域に変換することと、変換された前記高次アンビソニックス係数を生成するために、前記高次アンビソニックス係数を前記時間領域から前記周波数領域に変換することと、を行うようにさらに構成され、
    前記１つまたは複数のプロセッサが、前記音場の周波数領域表現をレンダリングするために、前記複数の不規則なＢＲＩＲフィルタを適用するとき、前記変換された不規則なＢＲＩＲフィルタを前記変換された高次アンビソニックス係数に適用するようにさらに構成され、
    前記１つまたは複数のプロセッサが、前記音場をレンダリングするために、逆変換を前記音場の前記周波数領域表現に適用するようにさらに構成される、請求項１２に記載のデバイス。
20. 前記１つまたは複数のプロセッサが、前記複数の不規則なＢＲＩＲフィルタを適用するとき、前記複数の不規則なＢＲＩＲフィルタを前記高次アンビソニックス係数に直接適用するようにさらに構成される、請求項１２に記載のデバイス。
21. 前記１つまたは複数のプロセッサは、前記複数の不規則なＢＲＩＲフィルタを適用する部分として、前記１つまたは複数のプロセッサが前記高次アンビソニックス係数と前記不規則なＢＲＩＲフィルタとを畳み込むように構成される、請求項１２に記載のデバイス。
22. 前記１つまたは複数のプロセッサは、前記複数の不規則なＢＲＩＲフィルタを適用する部分として、前記１つまたは複数のプロセッサが前記スピーカーフィードとしての出力に関して前記音場をレンダリングするために畳み込みを集積するように構成され、前記畳み込みは、前記高次アンビソニックス係数と前記不規則なＢＲＩＲフィルタとを畳み込むことから得られる、請求項２１に記載のデバイス。
23. 装置であって、
    ３次元の音場を表す高次アンビソニックス係数を決定するための手段と、
    複数のスピーカーフィードとして前記音場をレンダリングするために、複数の不規則なバイノーラル室内インパルス応答（ＢＲＩＲ）フィルタを、前記高次アンビソニックス係数に適用するための手段と、
    を備え、ここにおいて、
    前記複数の不規則なＢＲＩＲフィルタの各それぞれの不規則なＢＲＩＲフィルタが、複数の仮想ラウドスピーカーのそれぞれの仮想ラウドスピーカーのインパルス位置において生成されたインパルスに対する応答を表し、
    前記複数の仮想ラウドスピーカーが、均等に離間されない、装置。
24. 前記高次アンビソニックス係数が高次アンビソニックス係数の第１のセットであり、前記音場が第１の音場であり、前記複数の仮想ラウドスピーカーが第１の複数の仮想ラウドスピーカーであり、前記装置が、
    複数の規則的なＢＲＩＲフィルタの使用を指定するユーザ設定データを受信するための手段と、
    第２の音場をレンダリングするために、前記複数の規則的なＢＲＩＲフィルタを高次アンビソニックス係数の第２のセットに適用するための手段と、
    をさらに備え、
    前記複数の規則的なＢＲＩＲフィルタの各それぞれの規則的なＢＲＩＲフィルタが、第２の複数の仮想ラウドスピーカーのそれぞれの仮想ラウドスピーカーのインパルス位置において生成されたインパルスに対する応答を表し、
    前記第２の複数の仮想ラウドスピーカーが、均等に離間される、請求項２３に記載の装置。
25. 前記複数の不規則なＢＲＩＲフィルタを前記高次アンビソニックス係数に適用するための前記手段が、左および右の修正された高次アンビソニックス係数を生成し、前記複数のスピーカーフィードが第１の周波数領域スピーカーフィードおよび第２の周波数領域スピーカーフィードを含み、前記装置が、
    前記第１の周波数領域スピーカーフィードを生成するために、第１の修正された高次アンビソニックス係数を、前記高次アンビソニックス係数と関連付けられた次数および副次数の数にわたって合計するための手段、前記第１の修正された高次アンビソニックス係数が、前記左の修正された高次アンビソニックス係数または前記右の修正された高次アンビソニックス係数のいずれかを備える、と、
    反転された高次アンビソニックス係数を生成するために、負の副次数と関連付けられた前記第１の修正された高次アンビソニックス係数の高次アンビソニックス係数を反転するための手段と、
    前記第２の周波数領域スピーカーフィードを生成するために、前記反転された高次アンビソニックス係数を次数および副次数の前記数にわたって合計するための手段と、
    をさらに備える、請求項２３記載の装置。
26. 前記高次アンビソニックス係数が対応する球面基底関数の次数が、１より大である、請求項２３に記載の装置。
27. 複数の規則的なＢＲＩＲフィルタを生成するために、前記複数の不規則なＢＲＩＲフィルタを内挿するための手段をさらに備え、ここにおいて、前記複数の規則的なＢＲＩＲフィルタが、スピーカーの規則的な配列に関する複数のＢＲＩＲフィルタを備え、
    ここにおいて、前記複数の不規則なＢＲＩＲフィルタを適用するための前記手段が、前記音場をレンダリングするために前記複数の規則的なＢＲＩＲフィルタを前記高次アンビソニックス係数に適用するための手段を備える、請求項２３に記載の装置。
28. ウィンドウ処理されたＢＲＩＲフィルタを生成するために、ウィンドウ処理関数を前記複数の不規則なＢＲＩＲフィルタに適用するための手段をさらに備え、
    前記複数の不規則なＢＲＩＲフィルタを適用するための前記手段が、前記音場をレンダリングするために前記ウィンドウ処理されたＢＲＩＲフィルタを前記高次アンビソニックス係数に適用するための手段を備える、請求項２３に記載の装置。
29. 変換されたＢＲＩＲフィルタを生成するために、前記複数の不規則なＢＲＩＲフィルタを時間領域から周波数領域に変換するための手段をさらに備え、
    ここにおいて、前記複数の不規則なＢＲＩＲフィルタを適用するための前記手段が、前記音場をレンダリングするために前記変換された不規則なＢＲＩＲフィルタを前記高次アンビソニックス係数に適用するための手段を備える、請求項２３に記載の装置。
30. 変換された不規則なＢＲＩＲフィルタを生成するために、前記複数の不規則なＢＲＩＲフィルタを時間領域から周波数領域に変換するための手段と、
    変換された高次アンビソニックス係数を生成するために、前記高次アンビソニックス係数を前記時間領域から前記周波数領域に変換するための手段と、
    をさらに備え、
    ここにおいて、前記複数の不規則なＢＲＩＲフィルタを適用するための前記手段が、前記音場の周波数領域表現をレンダリングするために、前記変換された不規則なＢＲＩＲフィルタを前記変換された高次アンビソニックス係数に適用するための手段を備え、
    ここにおいて、前記装置が、前記音場をレンダリングするために、逆変換を前記音場の前記周波数領域表現に適用するための手段をさらに備える、請求項２３に記載の装置。
31. 命令をその上に記憶した、非一時的コンピュータ可読記憶媒体であって、前記命令は、実行されると、１つまたは複数のプロセッサに、
    複数のスピーカーフィードとして音場をレンダリングするために、複数の不規則なバイノーラル室内インパルス応答（ＢＲＩＲ）フィルタを高次アンビソニックス係数に適用させる、ここにおいて、
    前記高次アンビソニックス係数が、３次元の前記音場を表し、
    前記複数の不規則なＢＲＩＲフィルタの各それぞれの不規則なＢＲＩＲフィルタが、複数の仮想ラウドスピーカーのそれぞれの仮想ラウドスピーカーのインパルス位置において生成されたインパルスに対する応答を表し、
    前記複数の仮想ラウドスピーカーが、均等に離間されない、
    非一時的コンピュータ可読記憶媒体。

Images