JP5524237B2 - 空間キューパラメータを用いてマルチチャンネルオーディオ信号に反響を適用する方法と装置 - Google Patents

Description

本発明は、多数の個別オーディオチャンネルを示すマルチチャンネル・ダウンミックス・オーディオ信号に反響を適用する方法とシステムに関する。ある実施形態では、これは、反響を適用する個別チャンネルの各々に異なる反響インパルス応答を適用するために、入力信号をアップミックスして、（入力信号の少なくとも１つの空間的キューを示す）少なくとも１つの空間キューパラメータに応じて個別チャンネルの少なくとも一部に反響を適用することにより行う。任意的に、反響を適用してから、個別チャンネルをダウンミックスして、反響適用済みＮチャンネル出力信号を生成する。ある実施形態では、入力信号はＱＭＦ（直交ミラーフィルタ）領域ＭＰＥＧサラウンド（ＭＰＳ）符号化信号であり、チャンネルレベル差（ＣＬＤ）、チャンネル予測係数（ＣＰＣ）、及びチャンネル間相互相関（ＩＣＣ）パラメータの少なくとも１つを含むＭＰＳ空間キューパラメータに応じて、アップミックスと反響適用はＱＭＦ領域で行われる。

特許請求の範囲も含む本開示では、「反響器」（または「反響器システム」）とは、オーディオ信号（例えば、マルチチャンネルオーディオ信号のすべてまたは一部のチャンネル）に反響を適用するように構成されたシステムをいう。

特許請求の範囲を含む本開示では、「システム」とは、広い意味で、デバイス、システム、またはサブシステムを意味する。例えば、反響器を実施するサブシステムを反響器システム（または反響器）という場合があり、かかる反響器サブシステム（例えば、Ｑ＋Ｒ入力に応じてＸ＋Ｙ出力信号を生成するデコーダシステムであって、反響器サブシステムが入力のＱに応じて出力のＸを生成し、その他の出力はそのデコーダシステムの他のサブシステムで生成されるもの）を含むシステムを反響器システム（または反響器）という場合がある。

特許請求の範囲を含む本開示では、スピーカによる信号の「再生」とは、その信号に応じてそのスピーカにサウンドを生成させることをいい、信号の増幅その他の処理の実行も含む。

特許請求の範囲を含む本開示では、値ｖ_１、ｖ_２、．．．、ｖ_ｎ（例えば、時刻ｔに発生するＸ個の個別オーディオチャンネル信号の一部のｎ個の要素。ここで、ｎはＸ以下である）の「線形結合」とは、値ａ_１ｖ_１＋ａ_２ｖ_２＋．．．＋ａ_ｎｖ_ｎをいう。ここで、ａ_１、ａ_２、．．．、ａ_ｎは係数である。一般的に、係数の値にはとくに制約はない（例えば、各係数は正でも負でもゼロでもよい）。ここで、式は広い意味で用い、例えば、係数の１つが１であり、その他が０である場合を含む（例えば、線形結合ａ_１ｖ_１＋ａ_２ｖ_２＋．．．＋ａ_ｎｖ_ｎがｖ_１（またはｖ_２、．．．、またはｖ_ｎ））。

特許請求の範囲を含む本開示では、マルチチャンネルオーディオ信号の「空間キューパラメータ」は、オーディオ信号の少なくとも１つの空間的キューを示す任意のパラメータをいう。ここで、「空間的キュー」は、マルチチャンネル信号の空間的イメージを示す（例えば、既述する）。空間的キューの例としては、オーディオ信号のチャンネルのペア間のレベル（すなわち強度）差（または比率）、かかるチャンネルペア間の位相差、かかるチャンネルペア間の相関の尺度がある。空間キューパラメータの例としては、チャンネルレベル差（ＣＬＤ）パラメータとチャンネル予測係数（ＣＰＣ）パラメータがあり、これらは従来のＭＰＥＧサラウンド（「ＭＰＳ」）ビットストリームの一部であり、ＭＰＥＧサラウンドコーディングで利用されている。

周知のＭＰＥＧサラウンド（「ＭＰＳ」）標準によると、複数チャンネルのオーディオデータは、少数のチャンネル（例えば、Ｍチャンネル。ここでＭは一般的には２である）にダウンミックスすることにより符号化できる。また、かかるダウンミックスしたＭチャンネルオーディオ信号は、解凍し、処理（アップミックス）することにより復号して、Ｎ個の復号オーディオチャンネル（例えば、Ｍ＝２かつＮ＝５）を生成できる。

一般的な従来のＭＰＳデコーダは、時間領域、２チャンネルの、ダウンミックスされたオーディオ入力信号に応じて、アップミックスを実行して、Ｎ個の復号したオーディオチャンネルを生成する（ＭＰＳ空間キューパラメータは、チャンネルレベル差とチャンネル予測計数パラメータを含む）。典型的な従来のＭＰＳデコーダは、バイノーラルモードでは、時間領域、２チャンネルのダウンミックスしたオーディオ入力信号と空間キューパラメータに応じてバイノーラル信号を発生し、少なくとも他の一モードでは、アップミックスを行い、時間領域、２チャンネルのダウンミックスしたオーディオ入力信号と空間キューパラメータに応じて５．０、５．１、７．０、または７．１チャンネル（ここで、「ｘ．ｙ」チャンネルとは、ｘ個の全周波数チャンネルとｙ個のサブウーファチャンネルを示す）の復号したオーディオチャンネルを発生する。入力信号は、時間領域から周波数領域への変換をされ、ＱＭＦ（直交ミラーフィルタ）領域になり、ＱＭＦ領域周波数成分の２つのチャンネルを生成する。これらの周波数成分は、ＱＭＦ領域で復号され、得られた周波数成分は一般的には時間領域に変換して戻され、デコーダのオーディオ出力を生成する。

図１は、２チャンネルのダウンミックスされたオーディオ信号（Ｌ′とＲ′）及び（チャンネルレベル差パラメータとチャンネル予測計数パラメータを含む）ＭＰＳ空間キューパラメータに応じて、Ｎ個（Ｎは２より大きく、一般的には５または７である）の復号されたオーディオチャンネルを生成するように構成された従来のＭＰＳデコーダの要素を示す簡略化したブロック図である。ダウンミックスされた入力信号（Ｌ′とＲ′）は「Ｘ」個の個別オーディオチャンネルを示す。ここで、Ｘは２より大きい。ダウンミックスされた入力信号は、一般的には５つの個別チャンネル（例えば、左前、右前、中央、左サラウンド、及び右サラウンドチャンネル）を表す。

「左」入力信号Ｌ′と「右」入力信号Ｒ′は、時間領域からＱＭＦ領域への変換ステージ（図１には図示せず）において２チャンネルの時間領域ＭＰＳ符号化信号（図１には図示せず）を変換することにより生成したＱＭＦ領域周波数成分のシーケンスである。

ダウンミックスされた入力信号Ｌ′とＲ′は、（入力信号で）図１のシステムにアサートされたＭＰＳ空間キューパラメータに応じて、図１のデコーダのＮ個の個別チャンネル信号Ｓ１、Ｓ２、．．．、ＳＮに復号される。Ｎ個の出力ＱＭＦ領域周波数成分のシーケンスＳ１、Ｓ２、．．．ＳＮは、一般的には、ＱＭＦ領域から時間領域への変換ステージ（図１は図示せず）により、時間領域に変換して戻され、後処理することなく、システムからの出力としてアサートできる。任意的に、信号Ｓ１、Ｓ２、．．．、ＳＮは、ポストプロセッサ５で（ＱＭＦ領域において）後処理され、チャンネルＯＵＴ１、ＯＵＴ２、．．．ＯＵＴＮを有するＮチャンネルオーディオ出力信号を生成する。Ｎ個の出力ＱＭＦ領域周波数成分のシーケンスＯＵＴ１、ＯＵＴ２、．．．、ＯＵＴＮは、ＱＭＦ領域から時間領域への変換ステージ（図１には図示せず）により時間領域に変換して戻され、システムからの出力としてアサートされる。

バイノーラルモードで動作している図１の従来のＭＰＳデコーダは、２チャンネルのダウンミックスされたオーディオ信号（Ｌ′とＲ′）及び（チャンネルレベル差パラメータとチャンネル予測計数パラメータを含む）ＭＰＳ空間キューパラメータに応じて、２チャンネルバイノーラルオーディオ出力Ｓ１とＳ２を生成し、任意的に２チャンネルバイノーラルオーディオ出力ＯＵＴ１とＯＵT２を生成する。ヘッドホンのペアで再生するとき、２チャンネルオーディオ出力Ｓ１とＳ２は、リスナの前後の位置を含む（デコーダ１の係数により決まる）いろいろな位置にあるＸ個（ここでＸ＞２であり、一般的には５または７である）のスピーカからのサウンドとして、リスナーの鼓膜には聞こえる。バイノーラルモードでは、ポストプロセッサ５は、デコーダ１の２チャンネル出力（Ｓ１，Ｓ２）に反響を適用できる（この場合、ポストプロセッサ５は人工反響器となる）。図１のシステムは、ポストプロセッサ５の２チャンネル出力が、反響を適用したバイノーラルオーディオ出力となり、ヘッドホンで再生すると、リスナの前後の位置を含むいろいろな位置にあるＸ個（ここでＸ＞２であり、Ｘは一般的には５である）のスピーカからのサウンドとしてリスナの鼓膜には聞こえるように、（以下に説明するように）実施できる。

図１のデコーダのバイノーラルモード動作中に生成された信号Ｓ１とＳ２（またはＯＵＴ１とＯＵＴ２）の再生は、少なくとも一部の音源は仮想的である２つより多く（例えば５つの）「サラウンド」音源から来るサウンド体験をユーザに与える。より一般的に、仮想サラウンドシステムが頭部伝達関数（ＨＲＴＦ）を用いてオーディオ信号（仮想サラウンドサウンド信号と呼ぶこともある）を生成することは従来からあった。これは、物理的なスピーカのペア（例えば、リスナの前に配置されたスピーカやヘッドホン）で再生されると、リスナの鼓膜には、（一般的にはリスナの後の位置を含む）いろいろな位置にある２つより多くの音源（例えばスピーカ）からのサウンドとして聞こえる。

上記の通り、バイノーラルモードで動作している図１のＭＰＳデコーダは、ポストプロセッサ５により実施される人工的な反響器を用いて反響を適用するように構成できる。この反響器は、デコーダ１の２チャンネル出力（Ｓ１，Ｓ２）に応じて反響を生成し、信号Ｓ１とＳ２にこの反響を適用して、反響させた２チャンネルオーディオＯＵＴ１とＯＵＴ２を生成するように構成される。デコーダ１のバイノーラルオーディオ出力の２つのダウンミックスされたオーディオチャンネルの一方により決定されるすべての離散的チャンネルに（例えば、ダウンミックスされたチャンネルＳ１により決まる左前チャンネルと左サラウンドチャンネルに）、同じ反響インパルス応答を適用するように、また、バイノーラルオーディオの２つのダウンミックスされたオーディオチャンネルの他方により決定されるすべての離散的チャンネルに（例えば、ダウンミックスされたチャンネルＳ２により決まる右前チャンネルと右サラウンドチャンネルに）、同じ反響インパルス応答を適用するように、デコーダ１から２チャンネル信号Ｓ１、Ｓ２に後処理ステレオ対ステレオ反響として反響を適用する。

１タイプの従来の反響器は、いわゆるフィードバック遅延ネットワークベース（ＦＤＮベースの）構造を有している。動作中、かかる反響器は遅延した信号を信号にフィードバックすることにより、信号に反響を適用する。他の反響構成に対するこの構成利点は、複数の相関していない反響信号を効率的に生成して、複数の入力信号に適用することができることである。この特徴は、市販されているドルビーモバイルヘッドホンバーチャライザで利用されている。これは、ＦＤＮベースの構成を有し、（左前、右前、中央、左サラウンド、及び右サラウンドチャンネルを有する）５チャンネルオーディオ信号の各チャンネルに反響を適用し、５つの頭部伝達関数（ＨＲＴＦ）フィルタペアのセット中の異なるフィルタペアを用いて、各反響させたチャンネルをフィルタする反響器を含む。このバーチャライザは各オーディオチャンネルに対して一意的な反響インパルス応答を生成する。

ドルビーモバイルヘッドホンバーチャライザは、２チャンネルオーディオ入力信号に応じても動作して、２チャンネルの「反響させた」オーディオ出力（反響を適用した２チャンネル仮想サラウンドサウンド出力）を生成する。反響させたオーディオ出力をヘッドホンのペアで再生するとき、左前、右前、中央左後（サラウンド）、及び右後（サラウンド）の位置にある５つのスピーカからの、ＨＲＴＦフィルタを通した反響させたサウンドとして、リスナの鼓膜に聞こえる。バーチャライザは、ダウンミックスした２チャンネルオーディオ入力を（オーディオ入力で受け取った空間キューパラメータを用いずに）アップミックスして、５つのアップミックスしたオーディオチャンネルを生成し、アップミックスしたチャンネルに反響を適用して、この５つの反響させたチャンネル信号をダウンミックスして、２チャンネルの反響させた出力を生成する。アップミックスした各チャンネルの反響は、異なるＨＲＴＦフィルタのペアでフィルタされる。

２００８年３月２０日公開された特許文献１は、ダウンミックスした信号の復号時に、ダウンミックスしたオーディオ入力信号に一形式の反響を適用して、個別チャンネル信号を生成する、他の従来のシステムを記載している。この文献は、時間領域でダウンミックスしたオーディオ入力をＱＭＦ領域に変換し、ＱＭＦ領域において、このダウンミックスした信号Ｍ（ｔ，ｆ）に一形式の反響を適用し、反響の位相を調整して、ダウンミックスした信号から決まる各アップミックスチャンネルの反響パラメータを生成するデコーダを記載している。（例えば、ダウンミックスした信号Ｍ（ｔ，ｆ）から決まる、アップミックス左チャンネルの反響パラメータＬ_反響（ｔ，ｆ）とアップミックス右チャンネルの反響パラメータＲ_反響（ｔ，ｆ）を生成する。）ダウンミックスされた信号を空間キューパラメータ（ダウンミックスされた信号の左成分と右成分の間の相関を示すＩＣＣパラメータと、チャンネル間位相差パラメータＩＰＤＬ及びＩＰＤＲ）とともに受け取る。空間キューパラメータを用いて、反響パラメータ（例えば、Ｌ_反響（ｔ，ｆ）とＲ_反響（ｔ，ｆ））を生成する。ダウンミックスされた信号の左右チャンネル成分の間の相関が大きいことをＩＣＣキューが示す時、ダウンミックスされた信号Ｍ（ｔ，ｆ）から強度が低い反響を生成する。ダウンミックスされた信号の左右チャンネル成分の間の相関が小さいことをＩＣＣキューが示す時、ダウンミックスされた信号から強度が高い反響を生成する。（ブロック２０６または２０８において、）各反響パラメータの位相は、関連するＩＰＤキューが示す位相に応じて調整する。しかし、パラメトリックステレオデコーダ（モノラルからステレオの合成）では反響は無相関化情報（decorrelator）としてのみ用いられる。（Ｍ（ｔ，ｆ）と直交する）無相関化された信号を用いて左右の相互相関を再構成する。引用文献は、アップミックスの離散チャンネルの各々、またはかかる線形結合の各々から、ダウンミックスされたオーディオＭ（ｔ，ｆ）から決定したアップミックスの各離散チャンネルへの適用、またはダウンミックスされたオーディオから決定した個別アップミックスチャンネルの値の線形結合のセットの各々への適用の場合に、異なる反響信号を個別に決定（または生成）することを示唆していない。

アップミックスの離散チャンネルの各々から、ダウンミックスされたオーディオから決定したアップミックスの離散チャンネルの各々に対して異なる反響信号を個別に決定すること、または、かかる離散チャンネルの値の線形結合のセットの各々に対して異なる反響信号を決定し生成することが望ましいことを、発明者は認識した。個別アップミックスチャンネル（またはかかるチャンネルの値の線形結合）に対して反響信号を個別に決定すれば、異なる反響インパルス応答を有する反響をアップミックスチャンネル（または線形結合）に適用できることに、発明者は認識した。

本発明まで、ダウンミックスされたオーディオ（例えば、ダウンミックスされたオーディオがＭＰＳ符号化オーディオのとき、ＱＭＦ領域において）またはその値の線形結合から離散的アップミックスチャンネルを生成するため、及び前記アップミックスチャンネル（または線形結合）に個別に適用する、アップミックスチャンネル（または線形結合）からの反響を生成するためにも、ダウンミックスされたオーディオとともに受け取った空間キューパラメータは使われていなかった。また、このように生成された、反響されたアップミックスチャンネルは、入力されダウンミックスされたオーディオから反響されたダウンミックスされたオーディオを生成するために再合成されていない。
米国特許出願公開第２００８／００７１５４９Ａ１

ある種の実施形態では、本発明は、Ｘ個の個別オーディオチャンネルを示すＭチャンネルのダウンミックスされたオーディオ入力信号に反響を適用する方法（ここで、ＸはＭより大きい数）である。これらの実施形態では、本方法は、次のステップを含む：（a）ダウンミックスした入力信号の空間的イメージを示す（例えば、記述する）空間キューパラメータに応じて、（例えば、直交ミラーフィルタすなわち「ＱＭＦ」領域で）Ｙ個の離散反響チャンネル信号を生成する段階であって、時刻ｔにおける各反響チャンネル信号は、その時刻ｔにおけるＸ個の個別オーディオチャンネルの値の少なくともサブセットの線形結合である段階と、（b）（例えば、ＱＭＦ領域における）前記反響チャンネル信号のうち少なくとも２つに個別に反響を適用して、Ｙ個の反響されたチャンネル信号を生成する段階。好ましくは、前記反響チャンネル信号の少なくとも１つに適用する反響の反響インパルス応答は、前記反響チャンネル信号の他のものに適用する反響のものとは異なる。ある実施形態では、Ｘ＝Ｙであるが、他の実施形態ではＸはＹと等しくない。ある実施形態では、ＹはＭより大きく、入力信号は、空間キューパラメータに応じてステップ（ａ）でアップミックスされ、Ｙ個の反響チャンネル信号が生成される。他の実施形態では、ＹはＭと等しいか、またはＭより小さい。

例えば、Ｍ＝２、Ｘ＝５、及びＹ＝４の場合、入力信号は、５つの個別チャンネル信号Ｌ_{ｆｒｏｎｔ}、Ｒ_{ｆｒｏｎｔ}、Ｃ、Ｌ_ｓｕｒ、Ｒ_ｓｕｒを示す値Ｌ（ｔ）とＲ（ｔ）のシーケンスである。５つの個別チャンネル信号の各々は、値
［外１］

のシーケンスである。ここで、Ｗは
［外２］

の形式のＭＰＥＧサラウンドアップミックスマトリックスであり、４つの反響チャンネルは
［外３］

である。これは
[外４]

として表せる。

入力信号がＭチャンネル、ＭＰＥＧサラウンド（「ＭＰＳ」）ダウンミックス信号である実施形態では、段階（ａ）と（ｂ）はＱＭＦ領域で実行され、空間キューパラメータは入力信号とともに受け取られる。例えば、空間キューパラメータは、従来のＭＰＳビットストリームをなすタイプのチャンネルレベル差（ＣＬＤ）パラメータ及び／またはチャンネル予測係数（ＣＰＣ）パラメータである、またはこれを含む。入力信号が時間領域、ＭＰＳダウンミックス信号であるとき、本発明は、一般的に、この時間領域信号をＱＭＦ領域に変換して、ＱＭＦ領域周波数成分を生成する段階と、これらの周波数成分にＱＭＦ領域で段階（ａ）と（ｂ）を実行する段階を含む。

任意的に、本方法は、例えば、反響チャンネル信号をＮチャンネル、ダウンミックスＭＰＳ信号として符号化することにより、（反響を適用した各チャンネル信号と反響を適用していない各チャンネル信号を含む）Ｙ個の反響チャンネル信号をＮチャンネルダウンミックスしたものを生成する段階も含む。

本発明の方法の典型的な実施形態では、入力ダウンミックス信号は、５つの個別オーディオチャンネル（左前、右前、中央、左サラウンド、及び右サラウンドチャンネル）を示す２チャンネルダウンミックスＭＰＥＧサラウンド（「ＭＰＳ」）信号であり、異なる反響インパルス応答により決まる反響をこれらの５つのチャンネルの少なくともいくつかに適用して、サラウンド音質をよくする。

好ましくは、本発明の方法は、ＨＲＴＦフィルタで反響されたチャンネル信号をフィルタリングすることにより、対応する頭部伝達関数（ＨＲＴＦ）を、反響されたチャンネル信号に適用する段階も含む。ＨＲＴＦを適用して、リスナーが、本発明により適用される反響をより自然な音声として聞こえるようにする。

本発明の他の態様は、本発明の方法の実施形態を実行するように構成（プログラム）された反響器と、かかる反響器を含むバーチャライザと、かかる反響器を含むデコーダ（例えば、ＭＰＳデコーダ）と、本発明の実施形態を実施するコードを記憶するコンピュータ読み取り可能媒体（例えば、ディスク）とを含む。

従来のＭＰＥＧサラウンドデコーダシステムを示すブロック図である。 本発明の一実施形態により実施可能な、複数入力、複数出力、ＦＤＮベースの反響器（１００）を示すブロック図である。 図２の反響器１００と、従来のＭＰＳプロセッサ１０２と、反響器１００とプロセッサ１０２で処理するため、マルチチャンネル入力をＱＭＦ領域に変換する時間領域からＱＭＦ領域への変換フィルタ９９と、反響器１００とプロセッサ１０２の合成出力を時間領域に変換するＱＭＦ領域から時間領域への変換フィルタ１０１とを含む反響器システムを示すブロック図である。

本発明の多くの実施形態は技術的に実現可能である。本技術分野の当業者には、これらの実施形態をいかに実施するかは本開示から明らかである。本発明のシステム、方法、媒体の実施形態を図２及び３を参照して説明する。

ある種の実施形態では、本発明は、Ｘ個の個別オーディオチャンネルを示すＭチャンネルのダウンミックスされたオーディオ入力信号に反響を適用する方法（ここで、ＸはＭより大きい数）と、この方法を実行するように構成されたシステムである。これらの実施形態では、本方法は、次のステップを含む：
（a）ダウンミックスした入力信号の空間的イメージを示す（例えば、記述する）空間キューパラメータに応じて、（例えば、直交ミラーフィルタすなわち「ＱＭＦ」領域で）Ｙ個の離散反響チャンネル信号を生成する段階であって、時刻ｔにおける各反響チャンネル信号は、その時刻ｔにおけるＸ個の個別オーディオチャンネルの値の少なくともサブセットの線形結合である段階と、
（b）（例えば、ＱＭＦ領域における）前記反響チャンネル信号のうち少なくとも２つに個別に反響を適用して、Ｙ個の反響されたチャンネル信号を生成する段階。好ましくは、前記反響チャンネル信号の少なくとも１つに適用する反響の反響インパルス応答は、前記反響チャンネル信号の他のものに適用する反響のものとは異なる。ある実施形態では、Ｘ＝Ｙであるが、他の実施形態ではＸはＹと等しくない。ある実施形態では、ＹはＭより大きく、入力信号は、空間キューパラメータに応じてステップ（ａ）でアップミックスされ、Ｙ個の反響チャンネル信号が生成される。他の実施形態では、ＹはＭと等しいか、またはＭより小さい。

図２は、以下に説明するように実施され本方法を実行できる複数入力、複数出力、ＦＤＮベースの反響器１００を示すブロック図である。図２の反響器１００は次のものを含む：
プレミックスマトリックス３０（マトリックスＢ）。これは、５つの（Ｘ＝５）の個別アップミックスオーディオチャンネルを示す、チャンネルＩＮ１、ＩＮ２、．．．、ＩＮＭ、よりなるＭチャンネルのダウンミックスされたオーディオ入力信号を受け取り、これに応じて、４つの離散的反響チャンネル信号Ｕ１、Ｕ２、Ｕ３、及びＵ４（それぞれ入力ブランチ１′、２′、３′、４′に対応する）を生成するように結合かつ構成された４×Ｍマトリックスである。時刻ｔにおける各反響チャンネル信号は、時刻ｔにおけるＸ個の個別アップミックスオーディオチャンネルの値のサブセットの線形結合である。Ｍが４より小さい場合、マトリックスＢは入力信号をアップミックスして、反響チャンネル信号を生成する。典型的な実施形態では、Ｍは２である。マトリックス３０も、Ｍチャンネルのダウンミックスされた入力信号の空間的イメージを示す（例えば、記述する）空間キューパラメータを受信するように結合している。マトリックス３０は、空間キューパラメータに応じて、４つ（Ｙ＝４）の離散的アップミックスチャンネル信号、すなわち離散的反響チャンネル信号Ｕ１、Ｕ２、Ｕ３、及びＵ４を生成するように構成されている。

加算要素４０、４１、４２、及び４３。これは、反響チャンネル信号Ｕ１、Ｕ２、Ｕ３、Ｕ４がアサートされるマトリックス３０の出力に結合している。よそ４０は、ゲイン要素ｇ１の出力を反響チャンネル信号Ｕ１に加算（すなわち、ゲイン要素ｇ１の出力からのフィードバックを適用）するように構成されている。要素４１は、ゲイン要素ｇ２の出力を反響チャンネル信号Ｕ２に加算するように構成されている。要素４２は、ゲイン要素ｇ３の出力を反響チャンネル信号Ｕ３に加算するように構成されている。要素４３は、ゲイン要素ｇ４の出力を反響チャンネル信号Ｕ４に加算するように構成されている。

スキャタリングマトリックス３２（マトリックスＡ）。これは、加算要素４０、４１、４２、４３の出力を受け取るように結合している。マトリックス３２は、好ましくは、各加算要素４０、４１、４２、４３の出力をフィルタしたものを、対応するディレイラインｚ^−Ｍｋにアサートするように構成された４×４ユニタリマトリックスである。ここで、０≦ｋ−１≦３。また、好ましくは、最大限の拡散性を提供するため、全要素に値を有する（fully populated）マトリックスである。ディレイラインz^−Ｍ１、z^−Ｍ２、z^−Ｍ３、z^−Ｍ４は、図２においてディレイライン５０、５１、５２、５３としてそれぞれラベル付けした。

ゲイン要素ｇｋ。ここで、０≦ｋ−１≦３である。これはディレイラインｚ^−Ｍｋの出力にゲインを適用し、各アップミックスチャンネルにおいて適用される反響の減衰時間を制御するダンピングファクタを提供する。各ゲイン要素ｇｋは一般的にはローパスフィルタと結合している。ある実施形態では、ゲイン要素は、異なるＱＭＦ帯域に対して、所定の異なるゲインファクタを適用する。反響されたチャンネル信号Ｒ１、Ｒ２、Ｒ３、Ｒ４は、ゲイン要素ｇ１、ｇ２、ｇ３、ｇ４の出力でアサートされる。

ポストミックス行列３４（マトリックスＣ）。これは、ゲイン要素ｇｋの出力でアサートされる反響されたチャンネル信号Ｒ１、Ｒ２、Ｒ３、Ｒ４に結合され、これを、マトリックス３０にアサートされた空間キューパラメータのサブセット（例えば、その全部または一部）に応じて、ダウンミックス及び／またはアップミックス（及び任意的にその他のフィルタリング）をして、チャンネルＳ１、Ｓ２、．．．、ＳＮよりなるＮチャンネル、ＱＭＦ領域におけるダウンミックスされた反響されたオーディオ出力信号を生成するように構成されたＮ×４マトリックスである。図２の実施形態の変形例では、マトリックス３４は係数が空間キューパラメータに応じて時間的に変化しない定数マトリックスである。

図２の実施形態の変形例では、本発明のシステムはＹ個の反響チャンネル（ここで、Ｙは４より小さい、または大きい）を有し、プレミックスマトリックス３０は、ダウンミックスされたＭチャンネルの入力信号と空間キューパラメータに応じてＹ個の離散的反響チャンネル信号を生成するように構成され、スキャタリングマトリックス３２は、Ｙ×Ｙマトリックスで置き換えられ、本発明のシステムはＹ個のディレイラインｚ^−Ｍｋを有する。

例えば、Ｙ＝Ｍ＝２である場合、ダウンミックスされた入力信号は５つのアップミックスチャンネル（Ｘ＝５）：左前、右前、中央前、左サラウンド、及び右サラウンドを示す。本発明によると、ダウンミックスされた入力信号の空間的イメージを示す空間キューパラメータに応じて、プレミックスマトリックス（図２のマトリックス３０の変形例）は、（例えば、直交ミラーフィルタすなわち「ＱＭＦ」領域において）２つの離散的な反響チャンネル信号を生成する。一方はフロントチャンネルのミックスであり、他方はサラウンドチャンネルのミックスである。減衰応答が短い反響が一方の反響チャンネル信号から生成され（かつ適用され）、減衰応答が長い反響が他方の反響チャンネル信号から生成され（かつ適用され）る。（例えば、音響が「ライブエンド／デッドエンド」の部屋をシミュレーションする）。

再び図２を参照して、ポストプロセッサ３６は任意的にマトリックス３４の出力に結合し、マトリックス３４のダウンミックスされ反響された出力Ｓ１、Ｓ２、．．．、ＳＮに後処理を実行し、チャンネルＯＵＴ１、ＯＵＴ２、．．．、ＯＵＴＮよりなるＮチャンネルの後処理されたオーディオ出力信号を生成する。典型的に、Ｎ＝２であり、図２のシステムは、バイノーラルのダウンミックスされ反響されたオーディオ信号Ｓ１、Ｓ２、及び／またはバイノーラルの後処理されダウンミックスされ反響されたオーディオ出力信号ＯＵＴ、ＯＵＴ２を出力する。

例えば、図２のシステムのある実施形態のマトリックス３４の出力は、バイノーラルの仮想的サラウンドサウンド信号である。これは、ヘッドホンで再生すると、左（Ｌ）、中央（Ｃ）、及び右（Ｒ）のフロント音源（例えば、リスナの前に配置された物理的な左、中央、及び右スピーカ）と、左サラウンド（ＬＳ）と右サラウンド（ＲＳ）のリア音源（例えば、リスナの後に配置された物理的な左及び右スピーカ）とから放射されたサウンドとしてリスナには聞こえる。

図２のシステムのある変形例では、ポストミックス行列３４を無くし、本発明の反響器は、Ｍチャンネルのダウンミックスされたオーディオ入力に応じて、Ｙチャンネルの反響されたオーディオ（例えば、アップミックスされ反響されたオーディオ）を出力する。他の変形例では、マトリックス３４は単位マトリックスである。他の変形例では、本システムは、Ｙ個のアップミックスチャンネル（ここで、Ｙは４より大きい数）を有し、マトリックス３４はＮ×Ｙマトリックス（例えば、Ｙ＝７）である。

図２のシステムは４つの反響チャンネルと４つのディレイラインｚ^−Ｍｋを有するが、本システムの変形例（及び本発明の反響器の他の実施形態）では、４つより多い、または少ない反響チャンネルを実装してもよい。一般的に、本発明の反響器は反響チャンネルごとに１つのディレイラインを含む。

入力信号がＭチャンネルＭＰＥＧサラウンド（「ＭＰＳ」）のダウンミックスされた信号である図２のシステムの実施形態では、マトリックス３０の入力にアサートされる入力信号は、ＱＭＦ領域信号ＩＮ１（ｔ，ｆ）、ＩＮ２（ｔ，ｆ）及びＩＮＭ（ｔ，ｆ）よりなり、図２のシステムはそれにＱＭＦ領域において（例えば、マトリックス３０における）処理と反響適用を行う。かかる実施形態では、マトリックス３０にアサートされる空間キューパラメータは、典型的には、従来のＭＰＳビットストリームの一部であるチャンネルレベル差（ＣＬＤ）パラメータ、及び／またはチャンネル予測係数（ＣＰＣ）パラメータ、及び／またはチャンネル間相互相関（ＩＣＣ）パラメータである。

時間領域のＭチャンネルＭＰＳのダウンミックスされた信号に応じてかかるＱＭＦ領域入力をマトリックス３０に供給するため、本発明の方法は、この時間領域信号をＱＭＦ領域に変換してＱＭＦ領域周波数成分を生成する予備ステップを含み、これらの周波数成分に対してＱＭＦ領域において上記のステップ（ａ）と（ｂ）を実行する。

例えば、図３のシステムへの入力はＭチャンネルを有する時間領域ＭＰＳダウンミックスされたオーディオ信号Ｉ１（ｔ）、I２（ｔ）、．．．、IＭ（ｔ）なので、図３のシステムは時間領域信号をＱＭＦ領域に変換するフィルタ９９を含む。具体的に、図３のシステムは、（図２の反響器１００に対応する、または場合によっては同じ）反響器１００と、従来のＭＰＳプロセッサ１０２と、反響器１００における処理とプロセッサ１０２における従来の処理を実行するため、時間領域入力チャンネルＩ１（ｔ）、Ｉ２（ｔ）、．．．ＩＭ（ｔ）をＱＭＦ領域（すなわち、ＱＭＦ領域周波数成分のシーケンス）に変換する時間領域からＱＭＦ領域への変換フィルタ９９とを有する。 また、図３のシステムは、ＱＭＦ領域から時間領域への変換フィルタ１０１を含む。これは、反響器１００とプロセッサ１０２のＮチャンネル合成出力に結合し、これを時間領域に変換するように構成されている。

具体的に、フィルタ９９は時間領域信号Ｉ１（ｔ）、I２（ｔ）、．．．、及びIＭ（ｔ）をＱＭＦ領域信号ＩＮ１（ｔ，ｆ）、ＩＮ２（ｔ，ｆ）、．．．、ＩＮＭ（ｔ，ｆ）にそれぞれ変換し、反響器１００とプロセッサ１０２にアサートする。プロセッサ１０２からのＮチャンネル出力は各々が反響器１００の対応する反響チャンネル出力（図２に示したポストプロセッサ３６を含むとき、図３の反響器１００も図２に示したＳ１、Ｓ２、．．．、ＳＮ、または図２に示したＯＵＴ１、ＯＵＴ２、．．．、ＯＵＴＮの１つ）と（加算器で）結合される。図３のフィルタ１０１は、反響器１００とプロセッサ１０２の結合（反響した）出力（ＱＭＦ領域周波数成分Ｓ１′（ｔ，ｆ）、Ｓ２′（ｔ，ｆ）、．．．、ＳＮ′（ｔ，ｆ）のＮ個のシーケンス）を時間領域信号Ｓ１′（ｔ）、Ｓ２′（ｔ）、．．．、ＳＮ′（ｔ）に変換する。

本発明の典型的な実施形態では、入力ダウンミックス信号は、５つの個別オーディオチャンネル（左前、右前、中央、左サラウンド、及び右サラウンドチャンネル）を示す２チャンネルダウンミックスＭＰＳ信号であり、異なる反響インパルス応答により決まる反響をこれらの５つのチャンネルに適用して、サラウンド音質をよくする。

プレミックスマトリックス３０（Ｙ×ＭマトリックスＢ、Ｙ＝４、Ｍ＝２の場合、４×２マトリックスである）の係数が一定（空間キューパラメータに応じて決まる時間変化係数でない）であり、ポストミックスマトリックス３４（Ｙ＝４、Ｎ＝２の場合、２×４マトリックスである）の係数が一定であるとき、図２のシステムは、個別反響を生成して、それをＭチャンネル、ダウンミックス、（例えば、ＱＭＦ領域、ＭＰＳ符号化したＭチャンネルダウンミックス信号ＩＮ１（ｔ，ｆ）、ＩＮ２（ｔ，ｆ）、．．．、ＩＮＭ（ｔ、ｆ）に応じて）ＭＰＳ符号化した反響器への入力の個別インパルス応答に適用できない。Ｍ＝２、Ｙ＝４、Ｎ＝２の例を考え、図２のマトリックスＢとＣをそれぞれ次に一定係数を有する一定のマトリックス４×２と２×４で置き換えるものとする。

この例では、一定マトリックスＢとＣの係数は、ダウンミックス入力オーディオを示す空間キューパラメータに応じて時間の関数として変化せず、そのように修正した図２のシステムは従来のステレオ対ステレオ反響モードでは動作しない。かかる従来の反響モードでは、反響インパルス応答が同じ反響をダウンミックスの各個別チャンネルに適用する（すなわち、ダウンミックスの左前チャンネルコンテンツは、ダウンミックスの右前チャンネルコンテンツが受けるインパルス応答と同じインパルス応答を受ける）。

しかし、本発明によるＭＰＳビットストリーム（及び／または他の空間キューパラメータに応じて）の一部として入手できるチャンネルレベル差（ＣＬＤ）パラメータ、チャンネル予測係数（ＣＰＣ）、及び／またはチャンネル間相互相関（ＩＣＣ）パラメータに応じてＱＭＦ領域に反響プロセスを適用することにより、図２のシステムは、反響を生成して、各反響チャンネルに適用できる。典型的なアプリケーションでは、本発明によっては、中央チャンネルには、他の少なくとも１つの反響チャンネルよりも小さい反響を適用し、各反響チャンネルに適用される反響のインパルス応答が異なるようにする。かかるアプリケーション（及びその他のアプリケーション）では、異なる反響チャンネルに適用される反響のインパルス応答は、マトリックス３０にルーティングされる異なるチャンネルに基づかず、反響チャンネルにプレミックスマトリックス３０またはポストミックスマトリックス３４（及び／または少なくとも１つの他のシステム要素）が適用するスケールファクタが異なるだけである。

例えば、５つのアップミックスチャンネルのＱＭＦ領域ＭＰＳ符号化ステレオダウンミックスに反響を適用するように構成された図２のシステムの実施形態では、マトリックス３０は、係数ｗｉｊ（ｉは１ないし３の範囲にあり、ｊは１ないし２の範囲にある）の現在値に応じて係数が時間変化する４×２マトリックスである。

この実施形態では、Ｍ＝２、Ｘ＝５、およびＹ＝４であり、入力信号はＱＭＦ領域値ペアのシーケンスであり、ＩＮ１（ｔ、ｆ）＝Ｌ（ｔ）、ＩＮ２（ｔ、ｆ）＝Ｒ（ｔ）、５つの個別チャンネル信号Ｌ_{ｆｒｏｎｔ}、Ｒ_{ｆｒｏｎｔ}、Ｃ、Ｌ_ｓｕｒ、およびＲ_ｓｕｒの値のシーケンスを表す。５つの個別チャンネル信号の各々は値
［外５］

のシーケンスであり、Ｗは
［外６］

の形のＭＰＥＧサラウンドアップミックスマトリックスである。

この例では、係数ｗｉｊは、従来のＣＰＣパラメータＣＰＣ＿１とＣＰＣ＿２及び従来のＩＣＣパラメータＩＣＣ＿ＴＴＴ（ダウンミックス入力信号の符号化において、２対３アップミックス器（すなわちＴＴＴアップミックス器）のチャンネル間相互相関パラメータ）に応じて更新される：

また、左前/サラウンドチャンネル（ＣＬＤ_{ｒｆ＿ｌｓ}）と右前/サラウンドチャンネル（ＣＬＤ_{ｒｆ＿ｒｓ}）の従来のＣＬＤパラメータを用いるので、マトリックス３０の時間変化する係数は次の４つの時間変化するチャンネルゲイン値にも依存する。ここで、ＣＬＤ_{ｌｆ＿ｌｓ}は左前/サラウンドＣＬＤパラメータの電流値であり、ＣＬＤ_{ｒｆ＿ｒｓ}は右前/サラウンドＣＬＤパラメータの電流値である：

マトリックス３０の時間変化する係数は：

このように、実施形態では、マトリックス３０からの４つの反響チャンネル信号出力は
［外７］

である。このように、（式３に示した係数を有する）マトリックス３０により行われるマトリックス乗算は、次のように表せる：
［外８］

マトリックス乗算は、５つの個別チャンネル信号へのアップミックスと、その５つの信号の４つの反響チャンネル信号へのマトリックスＢ０によるダウンミックスと等価である。

式３に示した係数を有するマトリックス３０の実施形態の変形として、マトリックス３０を次の係数としてもよい：

ここで、Ｋ_ＬＦ、Ｋ_ＲＦ、Ｋ_Ｃ、Ｋ_ＬＳ、及びＫ_ＲＳは、異なるチャンネルの固定反響ゲイン値であり、ｇ_ｌｆ、ｇ_ｌｓ、ｇ_ｒｆ、ｇ_ｒｓ、ｗ_１１乃至ｗ_３２は、それぞれ式２と式１ａの通りである。一般的には、４つの固定反響ゲイン値は、実質的に互いに等しく、中央チャンネル（例えば、反響の少ないスピーチや会話の場合に）ＫＣの値が他の係数より少し小さいだけである。

マトリックス３０は、式４の係数で実施され、上記のＭＰＥＧサラウンドアップミックスマトリックスＷと次のダウンミックスマトリックスＢ_０の積に等しい：
［外９］

マトリックス３０を、式３（または式４）の係数で実施した場合、マトリックス３４は一般的には定数マトリックスとなる。あるいは、マトリックス３４の係数は時間変化してもよい。例えば、一実施形態では、その係数はＣ＝Ｂ^Ｔであり、ここでＢ^Ｔはマトリックス３０の転置である。式３に示した係数を有するマトリックス３０と、（その転置である）マトリックス３４とは、式１の定数ミックスマトリックスＢとＣと同じ一般的形式を有するが、可変係数は式２の可変ゲイン値により決まり、式１ａの上記の可変係数値ｗｉｊが定数要素と置き換えられる。

式３の可変係数を有するマトリックス３０の実施により、反響チャンネルＵ１、Ｕ２、Ｕ３、及びＵ４は、それぞれ、左前アップミックスチャンネル（図２のシステムの入力分岐１′）、右前アップミックスチャンネル（図２のシステムの入力分岐２′）、左サラウンドアップミックスチャンネル（図２のシステムの入力分岐３′）、及び図２のシステムの入力分岐４′の右サラウンドと中央アップミックスチャンネル（右サラウンドチャンネルと中央チャンネル）を合成したものとなる。それゆえ、図２のシステムの４つの分岐に個別に適用される反響は、個別に決定されたインパルス応答を有する。

あるいは、マトリックス３０の係数は、利用可能な空間キューパラメータに応じて他の方法で決定される。例えば、ある実施形態では、マトリックス３０の係数は、利用可能なＭＰＳ空間キューパラメータに応じて決定され、マトリックス３０が予測モード以外のモード（例えば、中央減算がある、またはないエネルギーモード）で動作するＴＴＴアップミックス器を実施するようにする。これは、ＭＰＥＧ標準（ＩＳＯ／ＩＥＣ２３００３−１：２００７）に記載された関連ケースに関する周知のアップミックスの式を用いて、本開示を読んだ本技術分野の当業者には明らかな方法で行える。

４つのアップミックスチャンネルのＱＭＦ領域、ＭＰＳ符号化した単一チャンネル（モノラル）ダウンミックスに反響を適用するように構成された図２のシステムでは、マトリックス３０は時間変化する係数を有する４×１マトリックスである：
［外１０］

ここで、係数は、従来のＭＰＳビットストリームの一部として利用できるＣＬＤパラメータＣＬＤ_{ｌｆ＿ｌｓ}、ＣＬＤ_{ｒｆ＿ｒｓ}、ＣＬＤ_ｃ＿ｌｒ、ＣＬＤ_ｌ＿ｒから求める。

図２のシステムの変形や本発明の反響器のその他の実施形態では、ダウンミックスされた入力信号から離散反響チャンネル（例えば、アップミックスチャンネル）を求め、多くの異なる方法のいずれかにより個別の反響遅延分岐に送られる。本発明の反響器の様々な実施形態では、他の空間キューパラメータを用いて、（制御チャンネル重み付けを含む）ダウンミックスされた入力信号をアップミックスする。例えば、ある実施形態では、前方−後方拡散性を記述する（従来のＭＰＳビットストリームの一部として入手できる）ＩＣＣパラメータを用いて、プレミックスマトリックスの係数を決定し、それにより反響レベルを制御する。

好ましくは、本発明の方法は、ＨＲＴＦフィルタで反響されたチャンネル信号をフィルタリングすることにより、対応する頭部伝達関数（ＨＲＴＦ）を、反響されたチャンネル信号に適用する段階も含む。例えば、図２のシステムのマトリックス３４は、好ましくは、かかるＨＲＴＦを適用して、反響されたチャンネルＲ１、Ｒ２、Ｒ３、及びＲ４に、上記のダウンミックス操作を実行するＨＲＴＦフィルタとして実施される。かかるマトリックス３４の実装により、５×４マトリックスとそれに続く２×５マトリックスと同じフィルタリングを実行することと同じである。ここで、５×４マトリックスは、ゲイン要素ｇ１、ｇ２、ｇ３、ｇ４からの４つの反響されたチャンネル信号Ｒ１−Ｒ４出力に応じて、５つの仮想的な反響ちゃん得る信号（左前、右前、中央、左サラウンド、及び右サラウンドの各チャンネル）を発生し、２×５マトリックスは適当なＨＲＴＦを仮想反響チャンネル信号の各々に適用し、その結果得られる５つのチャンネル信号をダウンミックスして、２チャンネルのダウンミックスした反響出力信号を発生する。しかし、一般的に、マトリックス３４は、５×４マトリックスと２×５マトリックスの上記の機能を実行する単一の２×４マトリックスとして実施される。ＨＲＴＦを適用して、リスナーが、本発明により適用される反響をより自然な音声として聞こえるようにする。ＨＴＲＦフィルタは、一般的に、各個別ＱＭＦ帯域に対して、複素数値を係数に有するマトリックスを乗算する。

ある実施形態では、ＱＭＦ領域においてＭＰＳ符号化されたダウンミックス入力信号から生成した反響チャンネル信号は、対応するＨＲＴＦで次のようにフィルタされる。これらの実施形態では、パラメトリックＱＭＦ領域におけるＨＲＴＦは、基本的に、ダウンミックスした入力信号を特徴付ける、左右のゲインパラメータ値と、チャンネル間位相差（IPD）パラメータ値よりなる。ＩＰＤは、任意的に、複雑さを低減するため無視する。ＩＰＤを無視すると仮定すると、ＨＲＴＦは定数ゲイン値（左右のチャンネルに対する４つのゲイン値）である。

［外１１］

次の係数を有するポストミックス行列３４の実装により、図２の反響チャンネル信号Ｒ１、Ｒ２、Ｒ３、及びＲ４にＨＲＴＦを適用できる。

［外１２］

本発明の反響器の好ましい実施形態（例えば、図２のシステムの変形として実施できるもの）では、少なくとも１つの反響チャンネルに部分遅延を適用し、及び／または少なくとも１つの反響チャンネルのオーディオデータの周波数成分の周波数帯域ごとに異なる反響を生成して適用する。

本発明の反響器の好ましい実施形態のいくつかは、（少なくとも１つの反響チャンネルで）小さい遅延及び整数サンプル遅延を適用するように較正された、図２のシステムの変形例である。例えば、かかる一実施形態では、遅延線と直列の各反響チャンネルに、サンプル期間の整数と等しい整数遅延を適用する部分遅延要素を接続する（例えば、図２の遅延ライン５０、５１、５２、及び５３の１つの後に、または直列に、各部分遅延要素を配置する）。部分遅延は、サンプル期間の部分（fraction）に対応する各ＱＭＦ帯域において、位相シフト（単位複素数の乗算）により近似できる：ｆ＝τ／Ｔ。ここで、ｆは遅延部分であり、ＴはＱＭＦ帯域の望ましい遅延であり、ＴはＱＭＦ帯域のサンプル期間である。ＱＭＦ領域で反響を適用する場合に、部分遅延をいかに適用するかは周知である（例えば、ドイツ、ベルリンにおいて２００４年５月８−１１日に開かれた１１６th Convention of the Audio Engineering SocietyにおいてJ. Engdegardたちにより発表された１２頁の「Synthetic Ambience in Parametric Stereo Coding」、及び２００９年２月３日にJ. Engdegardたちに発行された米国特許第７，４８７，０９７号を参照）。

本発明の反響器の上記の好ましい実施形態のいくつかは、反響器の実施形態の複雑さを低減するために、少なくとも１つの反響チャンネルでオーディオデータの周波数帯域ごとに反響を適用するように構成された、図２のシステムの変形例である。例えば、オーディオ入力データＩＮ１−ＩＮＭがＱＭＦ領域のＭＰＳデータであり、反響の適用をＱＭＦ領域で行ういくつかの実施形態では、各反響チャンネルのオーディオデータの次の４つの周波数帯域ごとに反響を適用する：
０ｋＨｚ−３ｋＨｚ（または０ｋＨｚ−２.４ｋＨｚ）：この帯域では、式４の係数を有するマトリックス３０で、上記の図２の実施形態のように反響を適用する；
３ｋＨｚ−８ｋＨｚ（または２.４ｋＨｚ−８ｋＨｚ）：この帯域では、実数値演算のみで反響を適用する。例えば、２００７年３月２２日に国際公開された国際出願公開第２００７／０３１１７１Ａ１号に記載された実数値演算方法を用いて行える。この文献は、オーディオデータの８個の最低周波数帯域では複素数値を処理し、その上の５６個の周波数帯域では実数値のみを処理する、６４帯域ＱＭＦフィルタバンクについて説明している。かかる８個の最低周波数帯域の１つは複素ＱＭＦバッファ帯域として用いることができ、複素数値演算はその８個の最低ＱＭＦ周波数帯域の７つだけに対して行われ（そのため、式４の係数を有するマトリックスで実施される、図２の実施形態のように、比較的低い周波数範囲で反響が適用され）、実数値演算はその他の５６ＱＭＦ周波数帯域に対して行われ、複素数値の計算と実数値の計算のクロスオーバーは（７×４４．１ｋＨｚ）／（６４×２）の周波数（約２．４ｋＨｚ）において起こる。この実施形態では、図２の実施形態のように、比較的高い周波数範囲で反響を適用するが、プレミックスマトリックス３０の簡単な実施形態を用いて、実数値計算のみを行う。図２の実施形態のように、マトリックス３０を式４の係数として、比較的低い周波数範囲（２．４ｋＨｚより下）で反響を適用する。

８ｋＨｚ−１５ｋＨｚ：この帯域では簡単な遅延方法により反響を適用する。例えば、上記の図２の実施形態に適用したのと同様に反響を適用するが、２つの反響チャンネルだけで各反響チャンネルには遅延ラインとローパスフィルタを有し、マトリックス要素３２と３４は省略し、プレミックスマトリックス３０を簡単な２×２マトリックスとし（例えば、中央チャンネルには他の各チャンネルより少ない反響を適用し）、プレミックスマトリックスの出力に対する反響チャンネルに沿ったノードからのフィードバックはしない。２つの遅延経路を単に左右の出力に入力してもよいし、左前（Ｌｆ）と左サラウンド（Ｌｓ）チャンネルからのエコーが右出力チャンネルに入り、右前（Ｒｆ）と右サラウンド（Ｒｓ）チャンネルからのエコーが左出力チャンネルに入るように切り替えてもよい。２×２プレミックスマトリックスは次の係数を有する：
［外１３］

ここで、記号は式４で定義したものである。

１５−２２.０５ｋＨｚ：この帯域では反響は適用しない。

ここに開示した実施形態（例えば、図２の実施形態）の変形例では、本発明のシステムは、空間キューパラメータには応じずに、ダウンミックス信号に応じて、Ｙ個の離散反響チャンネル信号を生成することにより、Ｘ個の個別オーディオチャンネルを示すＭチャンネルダウンミックスオーディオ入力信号に反響を適用する（ここで、ＸはＭより大きい数である）。これらの変形例では、本システムは、ダウンミックス入力信号の空間的イメージを示す空間キューパラメータに応じて、少なくとも２つの反響チャンネル信号のそれぞれに反響を個別に適用し、Ｙ個の反響チャンネル信号を生成する。例えば、かかる変形例のいくつかでは、プレミックスマトリックス（図２のマトリックス３０の変形例）の係数は空間キューパラメータに応じては決定されない。しかし、散乱マトリックス（例えば、図２のマトリックス３２の変形例）とゲイン段階（例えば、図２の要素ｇ１−ｇｋを有するゲイン段階の変形例）とポストミックスマトリックス（例えば、図２のマトリックス３４の変形例）のうち少なくとも１つは、ダウンミックス入力信号の空間的イメージを示す空間キューパラメータにより決まる方法で、反響チャンネル信号に作用し、少なくとも２つの反響チャンネル信号のそれぞれに反響を適用する。

ある実施形態では、本発明の反響器は、汎用プロセッサであり、または汎用プロセッサを含む。該汎用プロセッサは、Ｍチャンネルのダウンミックスオーディオ入力信号を示す入力データを受け取り、または生成するように構成され、ソフトウェア（またはファームウェア）でプログラムされ、及び／または本発明の方法の実施形態を含む、（例えば、制御データに応じて）入力データに対して様々な操作を実行するように構成されている。かかる汎用プロセッサは、一般的に、入力装置（例えば、マウスやキーボード）、メモリ、及びディスプレイ装置に結合していてもよい。例えば、図３のシステムは、入力Ｉ１（ｔ）、Ｉ２（ｔ）、．．．ＩＭ（ｔ）と出力Ｓ１（ｔ）、Ｓ２（ｔ）、．．．ＳＮ（ｔ）を有する汎用プロセッサで実施してもよい。入力Ｉ１（ｔ）、Ｉ２（ｔ）、．．．ＩＭ（ｔ）は、ダウンミックスオーディオデータのＭ個のチャンネルを示す入力データである。出力Ｓ１（ｔ）、Ｓ２（ｔ）、．．．ＳＮ（ｔ）は、ダウンミックス反響オーディオのＮ個のチャンネルを示す出力データである。従来のデジタル・ツー・アナログ変換器（ＤＡＣ）は、この出力データに作用して、スピーカ（例えば、ヘッドホンのペア）により再生するアナログの出力オーディオ信号を生成する。

本発明の具体的な実施形態と、本発明のアプリケーションとをここに説明したが、当業者には言うまでもなく、ここに説明し請求する本発明の範囲から逸脱することなく、ここに説明した実施形態とアプリケーションの多くの変形例が可能である。言うまでもなく、本発明の一定の形態を図示して説明したが、本発明は、説明しかつ図示した実施形態や、説明した具体的な方法には限定されない。

Claims (25)

1. Ｘ個の個別オーディオチャンネルを示すＭチャンネル・ダウンミックス・オーディオ入力信号（ＸはＭより大きい数である）に反響を適用する方法であって、
   （a）ダウンミックスした入力信号の空間的イメージを示す空間キューパラメータに応じて、前記Ｍチャンネル・ダウンミックス・オーディオ入力信号からＹ個の離散反響チャンネル信号を生成する段階であって、時刻ｔにおける各反響チャンネル信号は、その時刻ｔにおけるＸ個の個別オーディオチャンネルの値の少なくともサブセットの線形結合であり、前記Ｙ個の離散反響チャンネル信号は前記空間キューパラメータに応じて決定される時間変化する係数を含むプレミックス行列を用いて生成される段階と、
   （b）前記反響チャンネル信号の各々に個別に反響を適用して、Ｙ個の反響したチャンネル信号を生成する段階であって、各反響チャンネル信号に、対応する反響チャンネル信号を遅延させたものをフィードバックすることにより、各反響チャンネル信号に個別に反響を適用する段階とを有する方法。
2. 前記反響チャンネル信号の少なくとも１つに適用する反響の反響インパルス応答は、前記反響チャンネル信号の他のものに適用する反響のものとはことなる、請求項１に記載の方法。
3. 前記入力信号は、Ｍチャンネル、ＭＰＥＧサラウンド・ダウンミックス信号であり、前記空間キューパラメータは、チャンネルレベル差パラメータ、チャンネル予測計数パラメータ、及びチャンネル間相互相関パラメータのうち少なくとも１つを含む、請求項１に記載の方法。
4. 前記空間キューパラメータは、チャンネルレベル差パラメータ、チャンネル予測計数パラメータ、及びチャンネル間相互相関パラメータを含む、請求項３に記載の方法。
5. 前記入力信号は、ＱＭＦ領域周波数成分のＭ個のシーケンスを含むＱＭＦ領域、ＭＰＥＧサラウンドダウンミックス信号であり、前記ＱＭＦ領域においてステップ（ａ）と（ｂ）をそれぞれ実行する、請求項１に記載の方法。
6. 前記空間キューパラメータは、チャンネルレベル差パラメータ、チャンネル予測計数パラメータ、及びチャンネル間相互相関パラメータのうち少なくとも１つを含む、請求項５に記載の方法。
7. 前記空間キューパラメータは、チャンネルレベル差パラメータ、チャンネル予測計数パラメータ、及びチャンネル間相互相関パラメータを含む、請求項５に記載の方法。
8. 前記入力信号は、時間領域、ＭＰＥＧサラウンドダウンミックス信号であり、
   ステップ（ａ）の前に、前記時間領域、ＭＰＥＧサラウンドダウンミックス信号を前記ＱＭＦ領域に変換して、ＱＭＦ領域周波数成分のＭ個のシーケンスを生成する段階も含み、ステップ（ａ）と（ｂ）はＱＭＦ領域で行う、請求項１に記載の方法。
9. 前記Ｙ個の反響チャンネル信号をダウンミックスして、Ｎチャンネル、ダウンミックス、反響オーディオ信号を生成する段階も含み、ＮはＹより小さい数である、請求項１に記載の方法。
10. 前記ダウンミックスは前記空間キューパラメータの少なくともサブセットに応じて行われる、請求項９に記載の方法。
11. 頭部伝達関数フィルタにおいて前記反響チャンネル信号をフィルタリングすることにより、対応する頭部伝達関数を前記反響チャンネル信号に適用する段階も含む、請求項１に記載の方法。
12. ＹはＭより大きい、請求項１に記載の方法。
13. 前記反響チャンネル信号をダウンミックスして、対応する頭部伝達関数を前記反響チャンネル信号に適用する、請求項１に記載の方法。
14. Ｘ個の個別オーディオチャンネルを示すＭチャンネル・ダウンミックス・オーディオ入力信号（ＸはＭより大きい数である）に反響を適用するように構成された反響器であって、
    前記入力信号と、前記入力信号の空間的イメージを示す空間キューパラメータとを受け取るように結合され、前記空間キューパラメータに応じて決まる係数を適用することにより、前記入力信号に応じてＹ個の離散的反響チャンネル信号を生成するように構成された第１のサブシステムであって、生成には、時刻ｔにおける前記反響チャンネル信号の各々は、前記時刻ｔにおける前記Ｘ個の個別オーディオチャンネルの値の少なくともサブセットの線形結合であるように、前記空間キューパラメータに応じて決定される時間変化する係数を含むプレミックス行列を適用することを含む、第１のサブシステムと、
    前記第１のサブシステムに結合した、前記反響チャンネル信号の各々に個別に反響を適用して、Ｙ個の反響チャンネル信号のセットを生成するように構成された反響適用サブシステムであって、前記反響適用サブシステムはＹ個のブランチを含むフィードバック遅延ネットワークであり、各ブランチは、反響チャンネル信号ごとに個別に反響を適用するように構成されている反響適用サブシステムとを有する、反響器。
15. 前記反響適用サブシステムは、前記反響を適用するように構成された前記反響チャンネル信号の少なくとも１つに適用された前記反響が、前記反響チャンネル信号の少なくとも他の１つに適用された前記反響とことなる反響インパルス応答を有する、請求項１４に記載の反響器。
16. 前記入力信号は、ＭチャンネルＭＰＥＧサラウンドダウンミックス信号であり、前記空間キューパラメータはチャンネルレベル差パラメータ、チャンネル予測計数パラメータ、及びチャンネル間相互相関パラメータのうち少なくともいくつかを含む、請求項１４に記載の反響器。
17. 前記空間キューパラメータは、チャンネルレベル差パラメータ、チャンネル予測計数パラメータ、及びチャンネル間相互相関パラメータを含む、請求項１４に記載の反響器。
18. 前記入力信号は、ＱＭＦ領域周波数成分のＭ個のシーケンスを有するＱＭＦ領域ＭＰＥＧサラウンドダウンミックス信号であり、前記空間キューパラメータはチャンネルレベル差パラメータ、チャンネル予測計数パラメータ、及びチャンネル間相互相関パラメータのうち少なくともいくつかを含む、請求項１４に記載の反響器。
19. 前記空間キューパラメータは、チャンネルレベル差パラメータ、チャンネル予測計数パラメータ、及びチャンネル間相互相関パラメータを含む、請求項１８に記載の反響器。
20. 前記ダウンミックスオーディオ入力信号は、Ｍ個のＱＭＦ領域周波数成分のシーケンスのセットであり、前記反響器は、
    時間領域ＭＰＥＧサラウンドダウンミックス信号を受け取るように結合し、それに応じて前記Ｍ個のＱＭＦ領域周波数成分のシーケンスを生成するように構成された、時間領域からＱＭＦ領域への変換フィルタも含み、前記アップミックスサブシステムは、前記ＱＭＦ領域の前記Ｍ個のＱＭＦ領域周波数成分のシーケンスをアップミックスするように構成された、請求項１４に記載の反響器。
21. 前記反響チャンネル信号に結合し、ダウンミックスし、Ｎチャンネルダウンミックス反響オーディオ信号を生成するように構成されたポストミックスサブシステムも含み、ＮはＹより小さい数である、請求項１４に記載の反響器。
22. 少なくとも１つの頭部伝達関数を前記反響チャンネル信号の各々に適用するように結合し構成された頭部伝達関数フィルタも含む、請求項１４に記載の反響器。
23. 前記反響チャンネル信号に結合しダウンミックスし、前記反響チャンネル信号の各々に少なくとも１つの頭部伝達関数を適用し、Ｎチャンネルダウンミックス反響オーディオ信号を生成するように構成されたポストミックスサブシステムも含み、ＮはＹより小さい数である、請求項１４に記載の反響器。
24. 前記反響適用サブシステムは、
    前記反響チャンネル信号をアサートするＹ個の出力と、Ｙ個の入力とを有する、Ｙ個の遅延及びゲイン要素のセットと、
    各々が前記フィルタの異なる出力に結合した第１の入力と、前記反響チャンネル信号の異なる１つに結合し受け取る第２の入力と、出力とを有する、Ｙ個の付加要素のセットと、
    前記付加要素の前記出力に結合したマトリックス入力と、前記遅延及びゲイン要素の前記入力に結合したマトリックス出力と、を有する散乱マトリックスであって、前記散乱マトリックスは、前記遅延及びゲイン要素の対応するものの前記入力に、前記付加要素の各々の前記出力をフィルタしたものをアサートするように構成されている、請求項１４に記載の反響器。
25. 前記遅延及びゲイン要素の出力に結合され、前記空間キューパラメータの少なくともサブセットに結合し受け取る、前記空間キューパラメータの前記サブセットに応じて前記反響チャンネル信号をダウンミックスし、Ｎチャンネルダウンミックス反響オーディオ信号を生成するように構成された、ここでＮはＹより小さい数である、請求項２４に記載の反響器。

Images