JP5021809B2 - アンビエンス信号成分とマトリックスデコードされた信号成分とを制御可能に結合することによるサラウンドサウンドオーディオチャンネルのハイブリッド導出 - Google Patents

Description

本発明はオーディオ信号処理に関する。さらに詳細には、元のオーディオ信号からアンビエンス信号成分を取得し、元のオーディオ信号からマトリックスデコードされた信号成分を取得し、該アンビエンス信号成分と該マトリックスデコードされた信号成分とを制御可能に結合することに関する。

［参照としての編入］
以下の刊行物は参照としてそのすべてを本明細書に編入する。

（文献１）C. Avendano及びJean-Marc Jotによる「Frequency Domain Techniques for Stereo to Multichannel Upmix」AES 22nd Int. Conf. on Virtual，Synthetic Entertainment Audio
（文献２）E. Zwicker及びH. Fastiによる「Psycho-acoustics」第２版、Springer，1990，Germany
（文献３）B. Crockettによる「Improved Transient Pie-Noise Performance of Low Bit Rate Audio Coders Using Time Scaling Synthesis」論文番号6184, １１７回AES Conference, San Francisco、２００４年１０月
（文献４）米国特許出願10/478,538、２００２年２月２６日ＰＣＴ出願、２００４年８月２６日US2004/0165730A1として国際公開、Brett G. Crockettによる「Segmenting Audio Signals into Auditory Events」
（文献５）A. Seefeldt, M. Vinton,及びC. Robinsonによる「New Techniques in Spatial Audio Coding」論文番号6587、１１９回AES Conference，New York，２００５年１０月
（文献６）米国特許出願10/474,387、２００２年２月１２日ＰＣＴ出願、２００４年６月２４日US2004/0122662A1として国際公開、Brett Graham Crockettによる「High Quality Time-Scaling and Pitch-Scaling of Audio Signals」
（文献７）米国特許出願10/476,347、２００２年４月２５日ＰＣＴ出願、２００４年７月８日US2004/0133423A1として国際公開、Brett Graham Crockettによる「Transient Performance of Low Bit Rate Audio Coding Systems By Reducing Pre-Noise」
（文献８）米国特許出願10/478,397、２００２年２月２２日ＰＣＴ出願、２００４年７月８日US2004/0172240A1として国際公開、Brett G. Crockett等による「Comparing Audio Using Characterizations Based on Auditory Events」
（文献９）米国特許出願10/478,398、２００２年２月２５日ＰＣＴ出願、２００４年７月２９日US2004/0148159A1として国際公開、Brett G. Crockett等による「Method for Time Aligning Audio Signals Using Characterizations Based on Auditory Events」
（文献１０）米国特許出願10/478,398、２００２年２月２５日ＰＣＴ出願、２００４年７月２９日US2004/0148159A1として国際公開、Brett G. Crockett等による「Method for Time Aligning Audio Signals Using Characterizations Based on Auditory Events」
（文献１１）米国特許出願10/911,404、２００４年８月３日ＰＣＴ出願、２００６年２月９日US2006/0029239A1として国際公開、Michael John Smithersによる「Method for Combining Audio Signals Using Auditory Scene Analysis」
（文献１２）特許協力条約に基づく国際出願PCT/US2006/020882、国際出願日２００６年５月２６日、米国を指定国として指定、２００６年１２月１４日WO2006/132857A2及びA3として国際公開、Alan Jeffrey Seefeldt等による「Channel Reconfiguration With Side Information」
（文献１３）特許協力条約に基づく国際出願PCT/US2006/028874、国際出願日２００６年７月２４日、米国を指定国として指定、２００７年２月８日WO2007/016107A2として国際公開、Alan Jeffrey Seefeldt等による「Controlling Spatial Audio Coding Parameters as a Function of Auditory Events」
（文献１４）特許協力条約に基づく国際出願PCT/US2007/004904、国際出願日２００７年２月２２日、米国を指定国として指定、２００７年９月２０日WO2007/106234A1として国際公開、Mark Stuart Vintonによる「Rendering Center Channel Audio」
（文献１５）特許協力条約に基づく国際出願PCT/US2007/008313、国際出願日２００７年３月３０日、米国を指定国として指定、２００７年１１年８日WO2007/127023として国際公開、Brett G. Crockett等による「Audio Gain Control Using Specific Loudness-Based Auditory Event Detection」

標準的なマトリックスエンコードされた２チャンネルステレオ素材（これらのチャンネルはしばしば「Ｌｔ」及び「Ｒｔ」で示される）又はノンマトリックスエンコードされた２チャンネルステレオ素材（これらのチャンネルはしばしば「Ｌｏ」及び「Ｒｏ」で示される）のどちらかからマルチチャンネルオーディオ素材つくることは、サラウンドチャンネルを導き出すことにより強化される。しかしながら、各信号形式（マトリックススエンコードされた素材とノンマトリックスエンコードされた素材）でのサラウンドチャンネルの役割は全く異なる。ノンマトリックスエンコードされた素材に対しては、サラウンドチャンネルを用いて元の素材のアンビエンスを強調することによりしばしば聴覚的に心地よい結果を生み出す。しかしながら、マトリックススエンコードされた素材に対しては、元のサラウンドチャンネルをパンさせた音像を生成又は近似させることが望ましい。さらに、リスナーにデコーディングモードを選択させることなく、入力形式（ノンマトリックスエンコードされたものか、又はマトリックスエンコードされたものか）とは無関係に最も適切な方法で自動的にサラウンドチャンネルを処理するような構成を提供することが好ましい。

現在、２チャンネルをマルチチャンネルにアップミキシングするための技法が多くある。そのような技法は、サラウンドチャンネルを導き出すためにアンビエンスを抽出する技法のみならず、単純に固定された、つまり受動マトリックスデコーダから能動マトリックスデコーダまでの広がりがある。最新のものでは、サラウンドチャンネルを導き出すための周波数領域アンビエンス抽出技法（例えば、刊行物１参照）は、心地よいマルチチャンネル体験を作り出す可能性を示している。しかしながら、そのような技法は、マトリックスエンコードされた（ＬｏＲｏ）素材のために、そもそも設計されているので、マトリックスエンコードされた（ＬｔＲｔ）素材からサラウンドチャンネル音像を再表現することはしない。そのかわり、受動マトリックスデコーダと能動マトリックスデコーダとがマトリックスエンコードされた素材の独立したサラウンドパンした音像について妥当な働きを示している。しかし、アンビエンス抽出技法は、マトリックスデコーディングに対してより、ノンマトリックスエンコードされた素材に対して良い性能を発揮する。

最新世代のアップミキサーを持つリスナーには、しばしば、入力オーディオ素材と最適に適合したものを選ぶために、アップミキシングシステムを切り替えることが要求される。従って、本発明の目的は、ユーザにデコーディングの動作モードを切り替える必要なしにマトリックスエンコードされた素材とノンマトリックスエンコードされた素材の両方に対して満足のゆくオーディオが聞けるサラウンドチャンネル信号を生成することである。

本発明の１つの特徴によれば、２つの入力オーディオ信号から２つのサラウンドサウンドオーディオチャンネルを取得する方法であって、該オーディオ信号はマトリックスエンコーディングにより生成された成分を含み、該オーディオ信号からアンビエンス信号成分を取得するステップと、該オーディオ信号からマトリックスデコードされた信号成分を取得するステップと、前記サラウンドサウンドオーディオチャンネルに出力するためにアンビエンス信号成分とマトリックスデコードされた信号成分を制御可能に結合するステップとを具備する。アンビエンス信号成分を取得するステップには、入力オーディオ信号にダイナミックに変化するアンビエンス信号成分ゲインスケールファクターを適用するステップを含むことができる。アンビエンス信号成分ゲインスケールファクターは、入力オーディオ信号の相互相関の測度の関数とすることができ、例えば、アンビエンス信号成分ゲインスケールファクターは相互相関の程度が増大するにつれて減少し、またその逆となる。相互相関の測度は時間的に平滑化することができ、例えば、信号に依存する減衰積分器を採用して、又は、代替的に、移動平均を採用して時間的に平滑化することができる。時間的平滑化は、例えば、スペクトル分布の変化に応答して時間的平滑化が変化するような、信号適応性を持つことができる。

本発明の特徴によれば、アンビエンス信号成分を取得するステップには、少なくとも１つのデコリレーションフィルターシーケンスを適用するステップを含むことができる。同じデコリレーションフィルターシーケンスを入力オーディオ信号のそれぞれに適用することができ、又は、代替的に、異なったデコリレーションフィルターシーケンスを入力オーディオ信号のそれぞれに適用することができる。

本発明のさらなる特徴によれば、マトリックスデコードされた信号成分を取得するステップには、マトリックスデコーディングを入力オーディオ信号に適用するステップが含まれ、ここで、マトリックスデコーディングはそれぞれリアサラウンドサウンド方向と関連づけられた第１と第２のオーディオ信号が出力できるようにしてある。

制御可能に結合するステップには、ゲインスケールファクターを適用するステップが含まれる。ゲインスケールファクターは、アンビエンス信号成分を取得するステップで適用されるダイナミックに変化するアンビエンス信号成分ゲインスケールファクターを含むとができる。ゲインスケールファクターは、リアサラウンドサウンド方向と関連づけられた第１と第２のオーディオ信号のそれぞれに適用されるダイナミックに変化するマトリックスデコードされた信号成分ゲインスケールファクターをさらに含むとができる。マトリックスデコードされた信号成分ゲインスケールファクターは、入力オーディオ信号の相互相関の測度の関数とすることができ、例えば、マトリックスデコードされた信号成分ゲインスケールファクターは相互相関の程度の増大と共に増大し相互相関の程度の減少と共に減少する。ダイナミックに変化するマトリックスデコードされた信号成分ゲインスケールファクター及びダイナミックに変化するアンビエンス信号成分ゲインスケールファクターは、マトリックスデコードされた信号成分とアンビエンス信号成分とを結合したエネルギーを保存するような方法で、相互に増大及び減少する。このゲインスケールファクターは、さらに、サラウンドサウンドオーディオチャンネルのゲインを制御する、ダイナミックに変化するサラウンドサウンドオーディオチャンネルゲインスケールファクターをさらに含むことができる。サラウンドサウンドオーディオチャンネルゲインスケールファクターは入力オーディオ信号の相互相関の測度の関数とすることができ、例えば、その関数は、相互相関の測度がその値以下になるとサラウンドサウンドオーディオチャンネルのゲインスケールファクターが減少するような値になるまで、相互相関の測度が減少するにつれて、このサラウンドサウンドオーディオチャンネルゲインスケールファクターを増大させるような関数とすることができる。

本発明の種々の特徴は、時間‐周波数領域で実行することができ、例えば、本発明の特徴は、時間‐周波数領域の１以上の周波数帯域で実行することができる。

マトリックスエンコードされた２チャンネルオーディオ素材のアップミキシング又はノンマトリックスエンコードされた２チャンネル素材のアップミキシングは、一般に、サラウンドチャンネルの生成を必要とする。よく知られたマトリックスデコーディングシステムは、マトリックスエンコードされた素材に対してうまく働く一方、アンビエンス「抽出」技法は、ノンマトリックスエンコードされた素材に対してうまく働く。リスナーがアップミキシングの２つのモードを切り替える必要性をなくすため、本発明の特徴は、入力信号形式に応じて自動的に適切なアップミキシングを行うために、マトリックスデコーディングとアンビエンス抽出とを変更可能に混ぜ合わせる。これを実行するために、元の入力チャンネル同士の相互相関の測度により、部分マトリックスデコーダ（マトリックスデコーダがサラウンドチャンネルをデコードするためにだけ必要であるという意味で「部分」を用いた）からの直接信号成分とアンビエント信号成分との比率を制御する。２つの入力チャンネルが高い相関を持つ場合は、アンビエンス信号成分より多くの直接信号成分がサラウンドチャンネルのチャンネルに適用される。逆に、２つの入力チャンネルが無相関の場合は、直接信号成分より多くのアンビエンス信号成分がサラウンドチャンネルのチャンネルに適用される。

刊行物１に記載されているような、アンビエンス抽出技法は、元のフロントチャンネルからアンビエントオーディオ成分を除去し、サラウンドチャンネルにそれをパンする。これは、フロントチャンネルの幅を強め、包み込まれるような感覚を向上させる。しかし、アンビエンス抽出技法では、個々の音像をサラウンドチャンネルにパンすることはない。一方、マトリックスデコーディング技法は、直接音像（反射又は「間接」的な反響音つまりアンビエントサウンドとは対照的に、音源からリスナー位置への直接経路を有するサウンドという意味で「直接」とした）をサラウンドチャンネルにパンするときに比較的うまく働き、従って、マトリックスエンコードされた素材より忠実に再現することができる。両方のデコーディングシステムの強みをうまく生かして、アンビエンス抽出とマトリックスデコーディングの混成が本発明の１つの特徴である。

本発明の目的は、マトリックスエンコード又はノンマトリックスエンコードされた２チャンネル信号から、リスナーがモードを切り替えることを必要としないで、心地よく聞こえるマルチチャンネル信号を生成させることである。簡単にするために、本発明は、左チャンネル、右チャンネル、左サラウンドチャンネル、及び右サラウンドチャンネルを用いる４チャンネルシステムを前提として説明する。しかしながら、本発明は５チャンネル又はそれ以上に拡張することができる。５番目のチャンネルとして中央チャンネルを提供するために既知の多くの技法を採用することができるが、特に実用的な技法は、特許協力条約に基づき公開された国際出願、ＷＯ２００７／１０６３２４Ａｌ、２００７年２月２２日に出願され、２００７年９月２０日に公開された、Ｍａｒｋ Ｓｔｕａｒｔ Ｖｉｎｔｏｎによる、表題「Ｒｅｎｄｅｒｉｎｇ Ｃｅｎｔｅｒ Ｃｈａｎｎｅｌ Ａｕｄｉｏ」に記載されている。この刊行物ＷＯ２００７／１０６３２４Ａｌは、そのすべてを参照として本明細書に組み込まれる。

本発明の特徴による２入力オーディオ信号から２つのサラウンドサウンドオーディオチャンネルを導き出すための装置又は処理の概略機能ブロックダイアグラムを示す。 時間-周波数領域で処理が行われる、本発明の特徴によるオーディオアップミキサー又はオーディオアップミキシング処理の概略機能ブロックダイアグラムを示す。図２の構成の一部には、図１の装置又は処理の時間-周波数領域での実施の形態が含まれる。 本発明の特徴を実行するために静養することのできる時間-周波数変換に用いることのできる短時間離散フーリエ変換（ＳＴＤＦＴ）の２つの連続する時間ブロックに対する適切な分析／合成窓の対を示す。 それぞれ２分の１の臨界帯域幅を持つスペクトル帯域において、ゲインスケールファクターがそれぞれの係数に適用される、本発明の特徴を実行するために採用することのできる４４１００Ｈｚのサンプリングレートに対する、ヘルツ（Ｈｚ）単位での各帯域の中央周波数をプロットしたものを示す。 平滑係数（縦軸）対変換ブロック数（横軸）のプロットにおいて、本発明の特徴を実行する相互相関の測度の時間分散を減少させるために用いる推定器として用いることのできる、信号に依存する減衰積分器のアルファパラメータの典型的な応答を示す。周辺に生じる聴覚イベントは、ブロック２０の手前のブロック境界の平滑係数における鋭い下降として現れている。 本発明の特徴による図２のオーディオアップミキサー又はオーディオアップミキシング処理のサラウンドサウンド取得部分の概略機能ブロックダイアグラムを示す。分かりやすく示すために、図６は、多数の周波数帯域の内の１つの概略フローを示しており、多数の周波数帯域のすべてを結合する動作によりサラウンドサウンドオーディオチャンネルＬｓ及びＲｓを生成することが分かる。 ゲインスケールファクターＧ’_Ｆ及びＧ’_Ｂ（縦軸）対双関係数（ρ_ＬＲ（ｍ，ｂ）（横軸）を示す。

（本発明を実施するための最良の形態）
図１は、本発明の特徴による２入力オーディオ信号から２つのサラウンドサウンドオーディオチャンネルを導き出すための装置又は処理の概略機能ブロックダイアグラムを示す。入力オーディオ信号は、マトリックスエンコーディングにより生成された成分を含むことができる。入力オーディオ信号は、一般に左サウンドと右サウンドの方向で表される立体音響の２つのオーディオチャンネルとすることができる。上述のとおり、標準的なマトリックスエンコードされた２チャンネルステレオ素材に対して、チャンネルはしばしば「Ｌｔ」及び「Ｒｔ」で表され、ノンマトリックスエンコードされた２チャンネルステレオ素材に対して、チャンネルはしばしば「Ｌｏ」及び「Ｒｏ」で表される。従って、入力オーディオ信号は、あるときはマトリックスエンコードされ、それ以外のときはマトリックスエンコードされていないものであり、その入力は図１において「Ｌｏ／Ｌｔ」「Ｒｏ／Ｒｔ」で表される。

図１の例における両方の入力オーディオ信号は、１対のオーディオ信号に応答してマトリックスデコードされた信号成分を生成する部分マトリックスデコーダ又は部分マトリックスデコーディング機能（部分マトリックスデコーダ）２に適用される。マトリックスデコードされた信号成分は、２つの入力オーディオ信号から取得する。特に部分マトリックスデコーダ２は、それぞれ（左サラウンド及び右サラウンドのような）リアサラウンドサウンド方向と関係付けられた第１のオーディオ信号と第２のオーディオ信号とを提供するようにつくられる。したがって、例えば、部分マトリックスデコーダ２は、２：４マトリックスデコーダ又は２：４マトリックスデコーディング機能（すなわち、「部分」マトリックスデコーダ又は「部分」マトリックス機能）のサラウンドチャンネル部分として実施させることができる。マトリックスデコーダは受動型とすることも能動型とすることもできる。部分マトリックスデコーダ２は、「直接信号経路」（ここで「直接」の語は上記に説明した意味で用いられる）（図６及び以下の説明を参照のこと）中にあることを特徴とすることができる。

図１の例では、１つ又は２つのアンビエンス信号成分出力を出力するために、１つ又は２つの入力オーディオ信号に応答して動作する、アンビエンスを生成し、導き出し又は抽出する種々の既知の装置又は機能のうちの１つであるアンビエンス４に、両方の入力が適用される。アンビエンス信号成分はこの２つの入力オーディオ信号から取得する。アンビエンス４には、アンビエンスを入力信号から（例えば、左と右の立体音響信号から１以上の異なった信号（Ｌ−Ｒ，Ｒ−Ｌ）を導き出す１９５０年代のＨａｆｌｅｒアンビエンス抽出器、又はアンビエンスが入力信号に応答して（例えば、ディジタル（遅延器、コンボルバ、等）又はアナログ（チャンバ、プレート、スプリング、遅延器、等）の反射器により）「付加」又は「生成」されたものとみなすことができる、刊行物（１）及び（２）に記載されたような、近代的な時間‐周波数領域のアンビエンス抽出器による方法で）抽出したものとみなすことができる装置又は機能（１）を含ませることができる。

近代的な周波数領域のアンビエンス抽出器において、入力チャンネル同士の相互相関を監視し、デコリレートされた（ゼロに近い、小さい相関係数を有する）時間及び／又は周波数の成分を抽出することにより、アンビエンスの抽出を達成することができる。アンビエンスの抽出をさらに強化するために、アンビエンス信号にデコリレーションを適用して前／後の分離性能を改善することができる。このようなデコリレーションは、抽出したデコリレートされた信号又は、デコリレートされた信号を抽出するために用いる処理や装置の混同すべきではない。このようなデコリレーションの目的は前方チャンネルと取得したサラウンドチャンネルとの間に残された相関関係を減少させるためのものである。以下の表題「サラウンドチャンネルのデコリレーション装置」の項を参照のこと。

１つの入力オーディオ信号と２つのアンビエンス出力信号の場合、２つの入力オーディオ信号を結合することができ、又は、そのうちの１つを使うことができる。２つの入力と１つの出力の場合、同じ出力を両方のアンビエンス信号出力に用いることができる。２つの入力と２つの出力の場合、装置又は機能は独立して各入力に働き、各アンビエンス信号出力が特定の入力にのみ応答させ、あるいは、２つの出力が両方の入力に応答又は依存するようにする。アンビエンス４は、「アンビエンス信号経路」中にあるとみなすことができる。

図１の例において、アンビエンス信号成分とマトリックスデコードされた信号成分は、制御可能に結合して、２つのサラウンドサウンドオーディオチャンネルを出力する。これは、図１に示す方法又は同等の方法で達成することができる。図１の例において、ダイナミックに変化するマトリックスデコードされた信号成分ゲインスケールファクターは、部分マトリックスデコーダ２の両方の出力に適用される。これは、それぞれが部分マトリックスデコーダ２の出力中に置かれた、２つのそれぞれの乗算器６及び８への同じ「直接経路ゲイン」ケールファクターへの適用として示される。ダイナミックに変化するアンビエンス信号成分ゲインスケールファクターは、アンビエンス４の両方の出力に適用される。これは、それぞれがアンビエンス４の出力中に置かれた、２つのそれぞれの乗算器１０及び１２への同じ「アンビエント経路ゲイン」ケールファクターへの適用として示される。乗算器６からのダイナミックにゲインを調整するマトリックスデコード出力は、加算器１４（加算記号Σで示す）で、乗算器１０からのダイナミックにゲインを調整するアンビエンス出力に加算されてサラウンドサウンド出力の一方を生成する。乗算器８からのダイナミックにゲインを調整するマトリックスデコード出力は、加算器１６（加算記号Σで示す）で、乗算器１２からのダイナミックにゲインを調整するアンビエンス出力に加算されてもう一方のサラウンドサウンド出力を生成する。加算器１４からの左サラウンド（Ｌｓ）出力を出力させるために、乗算器６からのゲイン調整された部分マトリックスデコード信号は、部分マトリックスデコーダ２の左サラウンド出力から取得し、乗算器１０からのゲイン調整されたアンビエンス信号は、左サラウンド出力を対象としたアンビエンス４の出力から取得する。同様に、加算器１６から右サラウンド（Ｒｓ）出力を出力させるために、乗算器８からのゲイン調整された部分マトリックスデコード信号は、部分マトリックスデコーダ２の右サラウンド出力から取得し、乗算器１２からのゲイン調整されたアンビエンス信号は、右サラウンド出力を対象としたアンビエンス４の出力から取得する。

サラウンドサウンド出力を出力する信号に対するダイナミックに変化するゲインスケールファクターの適用は、そのようなサラウンドサウンド出力へ及びそのようなサラウンドサウンド出力からの信号の「パンニング（ｐａｎｎｉｎｇ）」と特徴づけることができる。 直接信号経路及びアンビエンス信号経路はゲイン調整され、入ってくる信号に基づき適切な量の直接信号オーディオとアンビエント信号オーディオを出力する。入力信号が十分相関関係があるのなら、直接信号の大部分は最終のサラウンドチャンネル信号に含まれるべきである。あるいは、入力信号が実質的にデコリレートされているならば、アンビエンス信号経路の大部分は最終のサラウンドチャンネル信号に含まれるべきである。

入力信号のサウンドエネルギーがサラウンドチャンネルに送られるので、さらに、再生された音圧が実質的に変化しないように、前方チャンネルのゲインを調整することが好ましいかもしれない。図２の例を参照のこと。

刊行物１に記載されているような時間−周波数領域アンビエンス抽出技法を採用したとき、アンビエンス抽出は、入力オーディオ信号のそれぞれにダイナミックに変化するアンビエンス信号成分ゲインスケールファクターを適用することにより達成することができるであろうことに留意すべきである。この場合、アンビエント経路ゲインスケールファクターをオーディオ入力信号Ｌｏ／Ｌｔ及びＲｏ／Ｒｔのそれぞれに独立して適用するように、アンビエンス４ブロックを乗算器１０及び１２に含めることを考慮することができる。

広い本発明の特徴の中で、図１の例で特徴づけられるものとして、本発明は（１）時間−周波数領域又は周波数領域、（２）広帯域ベース又は帯域分けしたベース、及び（３）アナログ、ディジタル又はアナログ／ディジタルハイブリッド方式で実施することができる。

サラウンドチャンネルを作り出すために部分マトリックスデコードされたオーディオ素材をアンビエンス信号で相互に混合させる技法は広帯域手法で行うことができるが、複数の周波数帯域の各々で望ましいサラウンドチャンネルを計算することで性能を向上させることができる。周波数帯域中の望ましいサラウンドチャンネルを導き出す方法は、元の２チャンネル信号の分析と最終のマルチチャンネル信号の合成の両方に重複させた短時間離散フーリエ変換を採用することである。とはいえ、分析及び合成のために信号の細分化を時間及び周波数の両方で行う（例えば、フィルターバンク、直交ミラーフィルターなど）良く知られた技法は多く存在する。

図２は、時間−周波数領域で処理を行う本発明の特徴によるオーディオアップミキシング又はオーディオアップミキシング処理の概略機能ブロックダイアグラムを示す。図２の構成の一部には図１の装置又は処理の時間−周波数領域での実施形態が含まれる。１対の立体音響入力信号Ｌｏ／Ｌｔ及びＲｏ／Ｒｔがアップミキシング又はオーディオアップミキシング処理に適用される。時間−周波数領域で実行される図２及び本明細書に示した他の例において、ゲインスケールファクターは変換ブロックレート又は時間平滑化されたブロックレートと同じ頻度でダイナミックに更新することができる。

原則として、本発明の特徴はアナログ、ディジタル又はアナログ／ディジタルのハイブリッドの実施形態で実行されるが、図２及び以下に述べる他の例は、ディジタルの実施形態を示す。従って、入力信号は、アナログオーディオ信号から導き出された時間サンプルとすることができる。時間サンプルはリニアパルスコード変調（ＰＣＭ）信号としてエンコードすることができる。各リニアＰＣＭオーディオ入力信号は、２０４８ポイントの窓処理された短時間離散フーリエ変換（ＳＴＤＦＴ）のような、同相で直交出力を有するフィルターバンク機能又はフィルターバンク装置により処理することができる。

このように、２チャンネル立体音響入力信号は、短時間離散フーリエ変換（ＳＴＤＦＴ）装置又は短時間離散フーリエ変換（ＳＴＤＦＴ）処理２０（時間−周波数変換）を用いて周波数領域に変換し、帯域にグループ化することができる（グループ化については図示せず）。各帯域は独立に処理することができる。装置又は機能（後方／前方ゲイン計算）２２において制御経路は後方／前方ゲインスケールファクター比率（Ｇ_Ｆ及びＧ_Ｂ）（式１２，１３，図７及び以下のその説明参照）を計算する。４チャンネルシステムに対して、２入力信号は前方ゲインスケールファクターＧ_Ｆ（記号２４及び２６で示す）で乗算され、逆変換又は逆変換処理（周波数−時間変換）２８を経由して、ゲインで縮小拡大がなされているので、入力信号とはレベルが異なっている、左右の出力チャンネル（Ｌ’ｏ／Ｌ’ｔ及びＲ’ｏ／Ｒ’ｔ）を出力することができる。サラウンドチャンネル信号Ｌｓ及びＲｓは、図１の装置又は処理（サラウンドチャンネル生成）３０の時間−周波数領域形態から得られ、アンビエンスオーディオ成分とマトリックスデコードされたオーディオ成分の可変な混合として表され、逆変換又は逆変換処理（周波数−時間変換）３６の前に、後方ゲインスケールファクター（乗算記号３２及び３４で示される）により乗算される。

（時間−周波数変換２０）
入力された２チャンネル信号から２つのサラウンドチャンネルを生成するために用いられる時間−周波数変換２０は良く知られた短時間離散フーリエ変換（ＳＴＤＦＴ）に基づく。巡回畳み込みの影響を最小限にするために、７５％の重複を分析と合成において用いることができる。分析窓と合成窓を適切に選択することにより、スペクトルに振幅変調と位相変調を適用することができる一方、重複させたＳＴＤＦＴを巡回畳み込みの可聴な影響を最小限にするために用いることができる。特定の窓の対が必須ということではないが、図３は、２つの連続するＳＴＤＦＴ時間ブロックの適切な分析窓／合成窓の対を示す。

重複させた分析窓の和が選択した重複区間について一様になるよう分析窓を設計する。特定の窓の使用が本発明に必須であるということではないが、矩形のカイザー‐ベッセル派生窓（ＫＢＤ）を採用することができる。このような分析窓を用いて、重複させたＳＴＤＦＴｓのために修正をしていない場合は、合成窓なしで、分析された信号を完全に合成することができる。しかしながら、この典型的な実施形態に適用される振幅の改変及びこの形態に用いられるデコリレーションシーケンスのために、可聴なブロック不連続点が生じるのを避けるために分析窓を傾けることが望ましい。典型的な空間オーディオオーディオコーディングシステムに用いられる窓のパラメータを以下に示す。

ＳＴＤＦＴ長さ： ２０４８
分析窓メインローブ長さ（ＡＷＭＬ）： １０２４
ホップサイズ（ＨＳ）： ５１２
先行ゼロパッド（ＺＰ_ｌｅａｄ）： ２５６
遅れゼロパッド（ＺＰ_ｌａｇ）： ７６８
分析窓傾斜（ＳＷＴ）： １２８
（帯域化（Ｂａｎｄｉｎｇ））
本発明の特徴に基づくアップミキシングの典型的な実施形態ではゲインスケールファクターを計算し、臨界帯域幅の約半分のスペクトル帯域におけるそれぞれの係数に適用する（例えば、刊行物２参照）。図４にサンプルレート４４１００Ｈｚのヘルツ（Ｈｚ）で示した各帯域の中央周波数のプロットを示し、表１に、サンプルレート４４１００Ｈｚにおける各帯域の中央周波数を示す。

（信号適応減衰積分器）
本発明の特徴に基づく典型的なアップミキシングにおいて、各統計値及び変量を全スペクトル帯域にわたって最初に計算し、時間で平滑化する。各変量の時間平滑化は式１に示すような簡単な一次ＩＩＲである。しかし、アルファパラメータは時間に順応する。聴覚イベントが検出されると（例えば、刊行物３又は刊行物４参照）、アルファパラメータは減少して低い値になり、その後時間とともに大きな値に積み上がる。このようにして、システムはオーディオにおける変化に、より速く対応する。

聴覚イベントは、例えば、楽器の響きの変化や話者の声の始まりのような、オーディオ信号の突然の変化として定義することができる。それ故に、イベントを検出した点の近くの急激な変化を推定することにアップミキシングの意味がある。さらに、人間の聴覚システムは、過渡現象／イベントの開始時は感度が落ち、オーディオセグメントのそのような瞬間は、システムの統計値の推定の不安定性を隠すために使うことができる。イベントは、時間的に隣り合う２つのブロック間のスペクトル分布の変化により検出することができる。

図５は、聴覚イベントを検出したときの帯域（図５の例では、聴覚イベントの境界は変換ブロック２０の直前となる）中のアルファパラメータの典型的な応答を示す（下式（１）参照）。式（１）は、相互相関の測度の時間分散を減少させるために用いられる推定器として用いることのできる、信号に依存する減衰積分器を記述している（下記の式（４）についての説明も参照のこと）。

ここで、Ｃ（ｎ，ｂ）は、ブロックｎのスペクトル帯域ｂ全体にわたって計算された変数であり、Ｃ’（ｎ，ｂ）は、ブロックｎで時間平滑化された変数である。

（サラウンドチャンネルの計算）
図６は、本発明の特徴による図２のオーディオアップミキサー又はオーディオアップミキシング処理のサラウンドサウンド取得部分の概略機能ブロックダイアグラムを示す。分かりやすく示すために、図６は、多数の周波数帯域の内の１つの概略フローを示しており、多数の周波数帯域のすべてを結合する動作によりサラウンドサウンドオーディオチャンネルＬｓ及びＲｓを生成することが分かる。

図６に示すように、入力信号（Ｌｏ／Ｌｔ及びＲｏ／Ｒｔ）のそれぞれは、３つの経路に分配される。最初の経路は、「制御経路」４０であり、この例では、前方／後方比ゲインスケールファクター（Ｇ_Ｆ及びＧ_Ｂ）及び、直接／アンビエント比ゲインスケールファクター（Ｇ_Ｄ及びＧ_Ａ）を、入力信号の相互相関の測度を出力する装置又は処理（図示せず）を具備するコンピュータ又はコンピュータ機能により、計算する。他の２つの経路は、「直接信号経路」４４とアンビエンス信号経路４６であり、それらの出力は、Ｇ_Ｄ及びＧ_Ａゲインスケールファクターの制御の下で制御可能に混合されて、１対のサラウンドチャンネル信号Ｌｓ及びＲｓを出力する。直接信号経路には、受動マトリックスデコーダ又は受動マトリックスデコーディング処理（受動マトリックスデコーダ）４８がある。あるいは、受動マトリックスデコーダの代わりに能動マトリックスデコーダを採用して、特定の信号条件の下でサラウンドチャンネルの分解性能を上げることができる。多くのこのような能動マトリックスデコーダ及び受動マトリックスデコーダ及びこれらのデコーディング機能は、当業者によく知られており、このような装置又は処理のうちの特定のものを使用することが本発明にとって必須であるということではない。

任意選択的に、Ｇ_Ａゲインスケールファクターを適用してアンビエント信号成分をサラウンドチャンネルにパンすることによりエンベロップメント効果をさらに改善するために、左右の入力信号からのアンビエンス信号成分をそれぞれのデコリレータに適用又は、マトリックスデコーダ４８からの直接音像オーディオ成分と混合する前に、それぞれのデコリレーションフィルターシーケンス（デコリレータ）５０で乗算させることができる。デコリレータ５０はお互いに同じものであるが、リスナーによっては同じものでないときの性能を選択するかもしれない。多くの形式のデコリレータをアンビエンス信号経路で用いることができるが、デコリレートされたオーディオ素材をデコリレートされていない信号と混合させることにより生じる可聴な櫛型フィルター効果を最小限にするよう注意すべきである。以下に特に有用なデコリレータについて記載するが、これが本発明にとって必須であるということではない。

直接信号経路４４は、乗算器５２及び５４を含むことを特徴とし、そこで、直接信号成分ゲインスケールファクターＧ_Ｄが左サラウンド及び右サラウンドのマトリックスデコードされた信号成分に適用され、その出力が加算器５６及び５８（それぞれ加算記号Σで示す）に適用される。あるいは、直接信号成分ゲインスケールファクターＧ_Ｄは、直接信号経路４４への入力に適用することもできる。そして、後方ゲインスケールファクターＧ_Ｂを乗算器６４及び６６にて加算器５６及び５８の各出力に適用し、左右のサラウンド出力Ｌｓ及びＲｓを出力する。

あるいは、Ｇ_Ｂ及びＧ_Ｄゲインスケールファクターをお互いに乗算して、それぞれ左サラウンドと右サラウンドのマトリックスデコードされた信号成分に適用しその結果を加算器５６及び５８に適用することもできる。

アンビエント信号経路は、それぞれ乗算器６０及び６２を有することを特徴とし、そこで、アンビエンス信号成分ゲインスケールファクターＧ_Ａを、すでに任意的なデコリレータ５０が適用されている左右の入力信号に適用することができる。あるいは、アンビエント信号成分ゲインスケールファクターＧ_Ａを、アンビエント信号経路４６の入力に適用することができる。ダイナミックに変化するアンビエンス信号成分ゲインスケールファクターＧ_Ａを適用することにより、デコリレータ５０を採用するしないにかかわらず、左右の入力信号からのアンビエンス信号成分を抽出するという結果が得られる。このような左右のアンビエンス信号成分は、次いで、それぞれ加算器５６及び５８に適用される。加算器５６及び５８の後に適用されない場合は、Ｇ_Ｂゲインスケールファクターは、ゲインスケールファクターＧ_Ａと乗算し、左右のアンビエンス信号成分に適用した後、その結果を加算器５６及び５８に適用する。

図６の例で必要とする、サラウンドサウンドチャンネルの計算は、以下のステップ及びサブステップで特徴付けることができる。

（ステップ１）
（各信号を帯域にグループ化する）
図６に示すように、制御経路ではゲインスケールファクターＧ_Ｆ，Ｇ_Ｂ，Ｇ_Ｄ，及びＧ_Ａを生成する。これらのゲインスケールファクターは算出されて各周波数帯域で適用される。ゲインスケールファクターを計算する最初のステップは、式（２）及び（３）に示すように各入力信号を帯域にグループ化することである。

ここで、ｍは時間インデックスであり、ｂは帯域インデックスであり、Ｌ（ｍ，ｋ）は時刻ｍにおける左チャンネルのｋ番目のスペクトルサンプルであり、Ｒ（ｍ，ｋ）は時刻ｍにおける右チャンネルのｋ番目のスペクトルサンプルである。

（ステップ２）
（各帯域における２つの入力信号間の相互相関の測度を計算する）
次のステップでは、各帯域における２つの入力信号のチャンネル同士の相関（すなわち、相互相関）の測度を計算する。

（サブステップ２ａ）
（減少させた時間分散［時間平滑化］の相互相関の測度を計算する）
最初に、式（４）に示すように、減少させた時間分散のチャンネル同士の相関の測度を計算する。式（４）及び本明細書に記載した他の式において、Ｅは推定演算子（ｅｓｔｉｍａｔｏｒ ｏｐｅｒａｔｏｒ）である。この例では、推定器は（式（１）のような）減衰積分式に依存する信号を表す。測定したパラメータの時間分散を減少させるための推定器として用いることのできる技法（例えば、単純な移動平均）は多く存在し、どんな特定の推定器を用いることも本発明にとって必須ということではない。

（サブステップ２ｂ）
（相互相関の偏りのある測度を構築する）
サラウンドチャンネルにパンするアンビエント信号と直接信号の量を制御するために相関係数を用いることができる。しかし、左右の信号か全く異なっている場合、例えば２つの異なる楽器がそれぞれ左右のチャンネルにパンされた場合、相互相関がゼロになり、サブステップ２ａのような方法が適用されるならば、実際にパンされた楽器がサラウンドチャンネルにパンされてしまう。そのような結果となることを避けるために、式（５）に示すような、左右の入力信号の偏りのある相互相関の測度を構築することができる。

φ_ＬＲ（ｍ，ｂ）は０から１の範囲の値をとることができる。

ここで、φ_ＬＲ（ｍ，ｂ）は左右のチャンネル間の相関係数の偏りのある推定値である。

（サブステップ２ｃ）
（相互相関の偏りのない測度と偏りのある測度の結合）
式（４）で得られる偏りのない相互相関の推定値と式（５）で得られる偏りのある推定値とを結合してチャンネル間の相関の最終測度とし、サラウンドチャンネルにパンするアンビエンス信号と直接信号とを制御するために用いることができる。この結合は式６で表すことができ、相関係数（式（５））の偏りのある推定値が閾値以上である場合は、チャンネル間でのコヒーレンスが相関係数と同じであり、そうでない場合は、チャンネル間でのコヒーレンスは直線的に１に近づく。式（６）が目指すものは、入力信号で実際に左右にパンする楽器がサラウンドチャンネルにパンしないようにすることである。式（６）は多くのそのような目的を達成するためのものの中で可能性のある１つの方法である。

ここで、μ_０は所定の閾値。閾値μ_０はできるだけ小さくすべきであるがゼロでないことが好ましい。これは、偏りのある相関係数φ_ＬＲ（ｍ，ｂ）の推定値の分散にほぼ等しい。

（ステップ３）
（前方及び後方ゲインスケールファクターＧ_Ｆ及びＧ_Ｂを計算する）
次に、前方及び後方ゲインスケールファクターＧ_Ｆ及びＧ_Ｂの計算を行う。この例では、３つのサブステップにより達成できる。サブステップ３ａと３ｂはどちらを先にしてもよく同時に行ってもよい。

（サブステップ３ａ）
（アンビエンス信号のみに起因する前方及び後方ゲインスケールファクターＧ'_Ｆ及びＧ'_Ｂを計算する）
次いで、前方／後方パンニングゲインスケールファクター（Ｇ'_Ｆ及びＧ'_Ｂ）のセットの最初の中間的値を、それぞれ式（７）及び（８）で示すようにして計算する。これらは、アンビエンス信のみを検出することによる、前方／後方パンニングの好ましい値を示す。最終の前方／後方パンニングゲインスケールファクターは、以下に示すように、アンビエンスパンニングとサラウンド音像パンニングの両方を考慮する。

ここで、σ_０は、所定の閾値であり、前方サウンドフィールドからサラウンドチャンネルにパンすることのできるエネルギーの最大量を制御する。この閾値σ_０は、サラウンドチャンネルに送られたアンビエントの内容量を制御するために、ユーザにより選択される。

式（７）及び（８）におけるＧ'_Ｆ及びＧ'_Ｂの表示は適切であり出力を保存するが、これは本発明に必須ではない。Ｇ'_Ｆ及びＧ'_Ｂが概ね相互に逆になるような他の関係を採用することもできる。

図７は、ゲインスケールファクターＧ'_Ｆ及びＧ'_Ｂ対相関係数（ρ_ＬＲ（ｍ，ｂ））のプロットを示す。相関係数が減少するに従って、多くのエネルギーがサラウンドチャンネルにパンすることに留意すべきである。しかしながら、相関係数が一定の点、閾値μ_０を下回ると、信号はパンして前方チャンネルに戻る。これにより、もともと左右のチャンネルにあった孤立した実際にパンする楽器がサラウンドチャンネルにパンしてしまうことを防止することができる。図７は、左右の信号エネルギーが等しい状態のみを示す。左右のエネルギーが違っている場合は、信号は、相関係数が高い値のところで信号はパンして前方チャンネルに戻る。具体的には、ターニングポイント、閾値μ_０は、相関係数が高い値のところでに生じる。

（サブステップ３ｂ）
（マトリックスデコードした直接信号のみに起因する前方及び後方ゲインスケールファクターＧ"_Ｆ及びＧ"_Ｂを計算する）
ここまでで、アンビエントオーディオ素材の検出に起因してサラウンドチャンネルにどれだけのエネルギーが投入されるかが計算された。次のステップは、マトリックスデコードされた個々の音像のみに起因する好ましいサラウンドチャンネルレベルを計算することである。このような個々の音像に起因するサラウンドチャンネルのエネルギー量を計算するためには、式（９）に示すように、最初に、式（４）の相関係数の実部を推定する。

マトリックスエンコーディング処理（ダウンミキシング）中に９０度の位相シフトが起こるので、元のマルチチャンネル信号中の音像が、ダウンミキシング前に、前方チャンネルからサラウンドチャンネルに移動するときに、相関係数の実部は０から−１まで滑らかに動く。従って、式（１０）及び（１１）に示すような前方／後方パンニングゲインスケールファクターの中間的な値をさらに構築することができる。

ここで、Ｇ"_Ｆ（ｍ，ｂ）及びＧ"_Ｂ（ｍ，ｂ）は、それぞれ時刻ｍにおける帯域ｂのマトリックスデコードされた直接信号についての前方及び後方ゲインスケールファクターである。

式（１０）及び（１１）におけるＧ"_Ｆ（ｍ，ｂ）及びＧ"_Ｂ（ｍ，ｂ）の表現は適切でありエネルギーを保存するが、これらは本発明に必須ではない。一般に、Ｇ"_Ｆ（ｍ，ｂ）及びＧ"_Ｂ（ｍ，ｂ）を相互に逆にする他の関係を採用することもできる。

（サブステップ３ｃ）
（サブステップ３ａ及び３ｂの結果を用いて、最終的な前方及び後方ゲインスケールファクターＧ_Ｆ及びＧ_Ｂを計算する）
ここで、式（１２）及び（１３）により、最終の前方及び後方ゲインスケールファクターを計算する。

ここで、ＭＩＮは、Ｇ'_Ｆ（ｍ，ｂ）がＧ"_Ｆ（ｍ，ｂ）より小さい場合は、Ｇ_Ｆ（ｍ，ｂ）はＧ'_Ｆ（ｍ，ｂ）に等しく、そうでない場合は、Ｇ_Ｆ（ｍ，ｂ）はＧ"_Ｆ（ｍ，ｂ）に等しいことを意味する。

式（１０）及び（１１）におけるＧ_Ｆ（ｍ，ｂ）及びＧ_Ｂ（ｍ，ｂ）の表現は適切でありエネルギーを保存するが、これらは本発明に必須ではない。一般に、Ｇ_Ｆ（ｍ，ｂ）及びＧ_Ｂ（ｍ，ｂ）を相互に逆にする他の関係を採用することもできる。

（ステップ４）
（アンビエントデコードされた直接ゲインスケールファクターＧ_Ｄとマトリックスデコードされた直接ゲインスケールファクターＧ_Ａを計算する）
この時点で、アンビエンス信号の検出とマトリックスデコードされた直接信号の検出とに起因する、サラウンドチャンネルに送られたエネルギーの量が算定された。しかし、ここでサラウンドチャンネルに存在する各信号タイプの量を制御することが新たに必要となる。直接信号とアンビエンス信号（Ｇ_ＤとＧ_Ａ）との間で相互に行う混合を制御するゲインスケールファクターを計算するために、式（４）の相関係数ρ_ＬＲ（ｍ，ｂ）を用いることができる。左右の入力信号がそれぞれ相関関係がない場合は、直接信号成分より多くのアンビエンス信号成分がサラウンドチャンネルに存在する。入力信号に十分相関関係がある場合は、アンビエンス信号成分より多くの直接信号成分がサラウンドチャンネルに存在する。従って、式（１４）に示すように、直接／アンビエント比のゲインスケールファクターを導き出すことができる。

式（１４）のＧ_Ｄ及びＧ_Ａについての表現は適切でありエネルギーを保存するが、これらは本発明に必須ではない。一般に、Ｇ_Ｄ及びＧ_Ａを相互に逆にする他の関係を採用することもできる。

（ステップ５）
（マトリックスデコードされた信号成分とアンビエンス信号成分を構築する）
次に、マトリックスデコードされた信号成分とアンビエンス信号成分を構築する。これは、２つのサブステップにより達成でき、どちらを先にしてもよく同時に行ってもよい。

（サブステップ５ａ）
（帯域ｂについてマトリックスデコードされた信号成分を構築する）
例えば式（１５）に示すように、帯域ｂについてマトリックスデコードされた信号成分を構築する。

（ステップ５ｂ）
（帯域ｂについてアンビエント信号成分を構築する）
時間平滑変換ブロックレートでダイナミックに変化する、ゲインスケールファクターＧ_Ａを適用することにより、アンビエンス信号成分を導き出すことができる。（例えば、刊行物１参照。）ダイナミックに変化するゲインスケールファクターＧ_Ａは、アンビエント信号経路の前後で適用することができる。導き出されたアンビエンス信号成分は、デコリレータのスペクトル領域の表現を元の左右の信号の全スペクトルに乗算することによりさらに改善することができる。帯域ｂ時刻ｍにおいて、左右のサラウンド信号が、例えば式（１６）と（１７）により得られる。

（ステップ６）
（ゲインスケールファクターＧ_Ｂ，Ｇ_Ｄ，Ｇ_Ａを適用してサラウンドチャンネル信号を取得する）
制御信号ゲインＧ_Ｂ，Ｇ_Ｄ，Ｇ_Ａ（ステップ３及び４）及びマトリックスデコードされた信号成分及びアンビエント信号成分（ステップ５）を導き出したので、図６に示すようにこれらを適用して、各帯域で最終のサラウンドチャンネル信号を取得することができる。最終の左右のサラウンド信号は式（１８）により得られる。

ステップ５ｂで上述したとおり、当然のことながら、時間平滑化された変換ブロックレートでダイナミックに変化するゲインスケールファクターＧ_Ａを適用することは、アンビエンス信号成分を導き出すために考慮することができる。

サラウンドサウンドチャンネルの計算は以下のように要約することができる。

１．各入力信号を帯域にグループ化する（式（２）及び（３））。

２．各帯域における２つの入力信号間の相互相関の測度を計算する。

ａ．相互相関の低減した時間分散（時間平滑化した）測度を計算する（式（４））。

ｂ．相互相関の偏りのある測度を構築する（式（５））。

ｃ．相互相関の偏りのない測度と相互相関の偏りのある測度とを結合する（式（６））。

３．前方及び後方ゲインスケールファクターＧ_Ｆ及びＧ_Ｂを計算する。

ａ．アンビエント信号のみに起因する前方及び後方ゲインスケールファクターＧ'_Ｆ及びＧ'_Ｂを計算する（式（７）及び（８））。

ｂ．マトリックスデコードした直接信号のみに起因する前方及び後方ゲインスケールファクターＧ"_Ｆ及びＧ"_Ｂを計算する（式（１０）及び（１１））。

ｃ．サブステップ３ａ及び３ｂを用いて、前方及び後方ゲインスケールファクターＧ_Ｆ及びＧ_Ｂを計算する（式（１２）及び（１３））。

４．アンビエントデコードされた直接ゲインスケールファクターＧＤとマトリックスデコードされた直接ゲインスケールファクターＧ_Ａを計算する（式（１４））。

５．マトリックスデコードされた信号成分とアンビエント信号成分を構築する。

ａ．帯域ｂのマトリックスデコードされた信号成分を構築する（式（１５））。

ｂ．帯域ｂのアンビエント信号成分を構築する（式（１７）、（１８）、Ｇ_Ａの適用）。

６．ゲインスケールファクターＧ_Ｂ，Ｇ_Ｄ，Ｇ_Ａを構築した信号に適用してサラウンドチャンネル信号を取得する（式（１８））。

（代案）
本発明の特徴の１つの適切な実施の形態は、上述のそれぞれの処理ステップを実行し、上述と帰納的に関連する処理ステップ又は装置を採用する。上述のステップは、上記のステップの順序で動作するコンピュータソフトウェア命令のシーケンスにより実行することができるが、特定の個数はそれより前の方法で導き出されることを考慮すると、他のステップの順序で同等の又は類似の結果を得ることができることは了解されよう。例えば、特定のシーケンスステップを並行して実行するように、マルチスレッドのコンピュータソフトウェア命令のシーケンスを採用することができる。他の例として、上記の例において、あるステップの順序は任意であり結果に影響を与えずに変更することができる。例えば、サブステップ３ａと３ｂとを逆にすることができ、サブステップ５ａと５ｂとを逆にすることができる。また、式（１８）を検討すれば明らかであるが、ゲインスケールファクターはゲインスケールファクターＧ_Ａ及びＧ_Ｄの計算とは別に計算する必要はない。単一のゲインスケールファクターＧ_ＢＧ_Ａと、単一のゲインスケールファクターＧ_ＢＧ_Ｄとを計算し、カッコ内にゲインスケールファクターＧ_Ｂを組み込んだ、式（１８）を変形したものに適用することができる。あるいは、記載したスッテプを記載した機能を実行する装置として実施することができ、多くの装置が上述の相互関係機能を有する。

（サラウンドチャンネルのデコリレータ）
前方チャンネルとサラウンドチャンネルとの分離を改善するために（又は、元のオーディオ素材のエンベロープを強調するために）、サラウンドチャンネルにデコリレーションを適用することができる。次に説明するようにデコリレーションは、刊行物５に提案されているものと似ているかもしれない。次に説明するデコリレータが特にぴったりするからといって、本発明に必須というものではなく、他のデコリレーション技法を採用することもできる。

各フィルターのインパルス応答は、正弦波シーケンスが続いている間周波数がπから０に単調に減少するような有限長正弦波シーケンスとして表すことができる。

特定されたインパルス応答は、小鳥のさえずり（チャープ：ｃｈｉｒｐ）のようなシーケンスの形を有しており、結果としてそのようなフィルターでオーディオ信号をフィルターすることにより、トランジエントの位置で可聴な「チャーピング（ｃｈｉｒｐｉｎｇ）」アーティファクトと生じる結果となる。このような効果はフィルター応答の位相の瞬時値にノイズ項を加えることにより減少させることができる。

このノイズシーケンスＮ_ｉ［ｎ］は、小さなπの分数である分散を持つホワイトガウスノイズに等しくすることは、インパルス応答サウンドをチャープではなくノイズのようにするのには十分である一方、周波数とω_ｉ（ｔ）で定められる時間遅れとの間の好ましい関係は広く維持される。

非常に小さい周波数において、チャープシーケンスにより作られる時間遅れは非常に長く、従って、アップミックスしたオーディオ素材が２チャンネルにミックスバックされたとき、可聴ノッチを導くことになる。このアーティファクトを減少させるために、チャープシーケンスは２．５ｋＨｚ以下の周波数で９０度の位相反転に置き換えることができる。位相は、対数間隔での反転により正負の９０度の反転が起こる。

アップミックスシステムでは、十分ゼロパッドを行った（上述のとおり）ＳＴＤＦＴを採用するので、式（２１）で与えられるデコリレータフィルターを、空間領域での乗算を用いて適用することができる。

（実施形態）
本発明は、ハードウェア又はソフトウェア又は両方を組み合わせたもの（例えば、プログラマブルロジックアレー）で実施することができる。特に記載がない限り、本発明の一部として含まれているアルゴリズムも、特定のコンピュータや他の装置と関連付けられるものではない。特に、種々の汎用機をこの記載に従って書かれたプログラムと共に用いてもよい、あるいは、要求の方法を実行するために、より特化した装置（例えば、集積回路）を構成することが便利かもしれない。このように、本発明は、それぞれ少なくとも１つのプロセッサ、少なくとも１つの記憶システム（揮発性及び非揮発性メモリー及び／又は記憶素子を含む）、少なくとも１つの入力装置又は入力ポート、及び少なくとも１つの出力装置又は出力ポートを具備する、１つ以上のプログラマブルコンピュータシステム上で実行される１つ以上のコンピュータプログラムにより実現することができる。ここに記載した機能を遂行し、出力情報を出力させるために入力データにプログラムコードを適用する。この出力情報は、公知の方法で、１以上の出力装置に適用される。

このようなプログラムの各々は、コンピュータシステムとの通信のために、必要とされるどんなコンピュータ言語（機械語、アセンブリ、又は、高級な、手続言語、論理型言語、又は、オブジェクト指向言語を含む）ででも実現することができる。いずれにせよ、言語はコンパイル言語であってもインタープリタ言語であってもよい。このようなコンピュータプログラムの各々は、ここに記載の手順を実行するために、コンピュータにより記憶媒体又は記憶装置を読み込んだとき、コンピュータを設定し動作させるための、汎用プログラマブルコンピュータ又は専用プログラマブルコンピュータにより、読み込み可能な記憶媒体又は記憶装置（例えば、半導体メモリー又は半導体媒体、又は磁気又は光学媒体）に保存又はダウンロードすることが好ましい。本発明のシステムはまた、コンピュータプログラムにより構成されるコンピュータにより読み込み可能な記憶媒体として実行することを考えることもできる。ここで、この記憶媒体は、コンピュータシステムを、ここに記載した機能を実行するために、具体的にあらかじめ定めた方法で動作させる。

本発明の多くの実施の形態について記載した。しかしながら、本発明の精神と技術範囲を逸脱することなく多くの修正を加えることができることは明らかであろう。例えば、ここに記載したステップのいくつかの順序は独立であり、従って、記載とは異なる順序で実行することができる。

Claims (23)

1. ２つの入力オーディオ信号から２つのサラウンドサウンドオーディオチャンネルを取得する方法であって、該オーディオ信号はマトリックスエンコーディングにより生成された成分を含むことができ、
   前記オーディオ信号からアンビエンス信号成分を取得するステップと、
   前記オーディオ信号からマトリックスデコードされた信号成分を取得するステップと、
   前記サラウンドサウンドオーディオチャンネルに出力するためにアンビエンス信号成分とマトリックスデコードされた信号成分を制御可能に結合するステップであって、該制御可能に結合するステップには、複数のゲインスケールファクターを適用するステップが含まれることを特徴とするステップと
   を具備することを特徴とする方法。
2. アンビエンス信号成分を取得するステップには、入力オーディオ信号にダイナミックに変化するアンビエンス信号成分ゲインスケールファクターを適用するステップが含まれ、前記複数のゲインスケールファクターには、アンビエンス信号成分を取得するときに適用するダイナミックに変化するアンビエンス信号成分ゲインスケールファクターが含まれることを特徴とする請求項１に記載の方法。
3. マトリックスデコードされた信号成分を取得するステップには前記入力オーディオ信号にマトリックスデコーディングを適用するステップが含まれ、該マトリックスデコーディングは、それぞれリアサラウンドサウンド方向に関連づけられた第１のオーディオ信号と第２のオーディオ信号とを出力するようになっており、前記複数のゲインスケールファクターには、リアサラウンドサウンド方向に関連づけられた第１のオーディオ信号と第２のオーディオ信号とに適用されるマトリックスデコードされた信号成分ゲインスケールファクターがさらに含まれることを特徴とする請求項２に記載の方法。
4. 前記マトリックスデコードされた信号成分ゲインスケールファクターは前記入力信号の相互相関の測度の関数であることを特徴とする請求項３に記載の方法。
5. 前記ダイナミックに変化するマトリックスデコードされた信号成分ゲインスケールファクターは、前記相互相関の程度が増大するにつれて増大し、信号成分ゲインスケールファクターは、前記相互相関の程度が減少するにつれて減少することを特徴とする請求項４に記載の方法。
6. 前記ダイナミックに変化するマトリックスデコードされた信号成分ゲインスケールファクターと前記ダイナミックに変化するアンビエンス信号成分ゲインスケールファクターとは、マトリックスデコードされた信号成分とアンビエンス信号成分とを結合したエネルギーを保存するような方法で、相互に増大及び減少することを特徴とする請求項５に記載の方法。
7. 前記複数のゲインスケールファクターには、前記サラウンドサウンドオーディオチャンネルのゲインを制御するためのダイナミックに変化するサラウンドサウンドオーディオチャンネルゲインスケールファクターがさらに含まれることを特徴とする請求項３乃至請求項６のいずれか１項に記載の方法。
8. 前記サラウンドサウンドオーディオチャンネルゲインスケールファクターは前記入力オーディオ信号の相互相関の測度の関数であることを特徴とする請求項７に記載の方法。
9. 前記関数は、相互相関の測度が予め設定された値以下になるとサラウンドサウンドオーディオチャンネルのゲインスケールファクターが減少するような値になるまで、相互相関の測度が減少するにつれて、前記サラウンドサウンドオーディオチャンネルゲインスケールファクターを増大させるような関数であることを特徴とする請求項８に記載の方法。
10. 前記方法は時間−周波数領域で実行されることを特徴とする請求項９に記載の方法。
11. 前記方法は時間−周波数領域の１以上の周波数帯域で実行されることを特徴とする請求項１０に記載の方法。
12. 前記アンビエンス信号成分ゲインスケールファクターは、前記入力オーディオ信号の相互相関の測度の関数であることを特徴とする請求項２に記載の方法。
13. 前記アンビエンス信号成分ゲインスケールファクターは前記相互相関の程度が増大するにつれて減少し、またその逆となることを特徴とする請求項１２に記載の方法。
14. 前記相互相関の測度は時間的に平滑化されることを特徴とする請求項１２または請求項１３に記載の方法。
15. 前記相互相関の測度は、信号に依存する減衰積分器を採用して時間的に平滑化されることを特徴とする請求項１４に記載の方法。
16. 前記相互相関の測度は、移動平均を採用して時間的に平滑化されることを特徴とする請求項１４に記載の方法。
17. 前記時間的平滑化は、信号適応性を持つことを特徴とする請求項１３乃至請求項１６のいずれか１項に記載の方法。
18. 前記時間的平滑化は、スペクトル分布の変化に応答して変化することを特徴とする請求項１７に記載の方法。
19. 前記アンビエンス信号成分を取得するステップには、少なくとも１つのデコリレーションフィルターシーケンスを適用するステップが含まれることを特徴とする請求項１乃至請求項１８のいずれか１項に記載の方法。
20. 同じデコリレーションフィルターシーケンスを前記入力オーディオ信号のそれぞれに適用することを特徴とする請求項１９に記載の方法。
21. 異なったデコリレーションフィルターシーケンスを前記入力オーディオ信号のそれぞれに適用することを特徴とする請求項１９に記載の方法。
22. 請求項１乃至請求項２１のいずれか１項に記載の方法を実行するように作られた装置。
23. コンピュータに請求項１乃至請求項２１のいずれか１項に記載の方法を実行させるための、コンピュータ読み取り可能な媒体に保存された、コンピュータプログラム。

Images