JP5595602B2 - 予め計算された参照曲線を用いて入力信号を分解する装置および方法 - Google Patents

Description

本発明は、オーディオ処理に関し、特に、例えば知覚的に識別可能な成分のような異なる成分へのオーディオ信号の分解に関する。

人間の聴覚システムは、全ての方向から音を感知する。知覚される聴覚環境（「聴覚」は知覚されることを表し、一方で「サウンド」は物理的現象を記載するために用いられる）は、サラウンド空間と発生しているサウンドイベントの音響的特性のインプレッションを生成する。特定の音場において知覚される聴覚インプレッションは、自動車の入口における３つの異なるタイプの信号：直接音（ダイレクトサウンド）、初期反射および拡散反射を考慮してモデル化する（少なくとも部分的に）ことができる。これらの信号は、知覚された聴覚空間像の形成に寄与する。

直接音は、妨害なしに直接音源からリスナーに最初に到達する各サウンドイベントの波動を表す。それは、音源に対して特有であり、サウンドイベントの入射の方向に関する最も少ない妥協された情報を提供する。水平面における音源の方向を推定する主なキューは、左耳と右耳の入力信号間の差、すなわち、両耳間時間差（ＩＴＤ）および両耳間レベル差（ＩＬＤ）である。引き続いて、直接音の多数の反射が、異なる方向から異なる相対的時間遅延とレベルで耳に到着する。時間遅延の増加によって、直接音と比較して、反射の密度は、それらが統計的攪乱（クラッター）を構成するまで増加する。

反射音は、距離の知覚と、聴覚空間インプレッション（これは少なくとも２つの成分：見かけの音源幅（ＡＳＷ）（ＡＳＷに対して一般的に用いられる他の用語は聴覚広さである）とリスナーエンベロープ（ＬＥＶ）から構成される）に寄与する。ＡＳＷは、音源の見かけ上の幅の広がりとして定められ、主として初期の横方向の反射によって決定される。ＬＥＶは、音に包まれているリスナーの感覚に関連し、主に遅れて到着する反射によって決定される。電気音響学の立体音響再生の目標は、気持ちよい聴覚空間像の知覚を喚起することである。これは、自然のまたは構造上のレファレンス（例えば、ホールにおけるコンサートの録音）を有することができるか、または実際には存在しない音場（例えば電気音響学の音楽）とすることができる。

コンサートホール音響の分野から、主観的に気持ちよい音場を取得するために、不可欠な部分であるＬＥＶによる聴覚空間インプレッションの強い感覚が重要であることがよく知られている。拡散音場を再生することによって包囲する音場を再生するスピーカセットアップの能力は興味深い。合成音場において、専用の変換器を用いて全ての自然に生ずる反射を再生することはできない。それは、拡散後反射に対して特に正しい。拡散反射のタイミングとレベルの特性は、スピーカ供給として「反響」信号を用いることによってシミュレートすることができる。それらが十分に無相関の場合、再生に用いられるスピーカの数と位置は、音場が拡散であると知覚されるかどうかを決定する。目標は、離散した数の変換器のみを用いて、連続する拡散音場の知覚を喚起することである。それは、音の到来の方向を推定することができず、特に単一の変換器をローカライズすることができない音場を生成する。合成音場の主観的拡散は、主観的試験において評価することができる。

立体音響再生は、離散した数の変換器のみを用いて、連続する音場の知覚を喚起することを目的とする。最も望ましい機能は、ローカライズされた音源の方向安定性と周囲の聴覚環境の現実的なレンダリングである。立体音響録音を記憶するまたは転送するために今日用いられるフォーマットの大半は、チャンネルベースである。各チャンネルは、特定の位置において、関連するスピーカ上で再生されることが意図された信号を伝達する。録音またはミキシングプロセスの間、特定の聴覚像がデザインされる。この像は、再生に用いられるスピーカセットアップが、録音に対してデザインされたターゲットセットアップに似ている場合、この像は正確に再現される。

実行可能な転送および再生のチャンネル数は、絶えず大きくなり、あらゆる新生のオーディオ再生フォーマットによって、実際の再生システム上でレガシーフォーマットコンテンツをレンダリングする要望に近づく。アップミックスアルゴリズムは、この要望に対する解法であり、レガシー信号から、より多くのチャンネルによって信号を演算する。多くのステレオアップミックスアルゴリズムは、例えば、非特許文献１、非特許文献２、非特許文献３において提案されている。これらのアルゴリズムの多くは、ターゲットスピーカセットアップに適合されたレンダリングに従うダイレクト／アンビエント信号分解に基づいている。

記載されたダイレクト／アンビエント信号分解は、多重チャンネルサラウンド信号に対して直ちに適用可能ではない。Ｎ個のオーディオチャンネルから対応するＮ個のダイレクトサウンドとＮ個のアンビエントサウンドのチャンネルを取得するために、信号モデルとフィルタリングを定式化することは容易でない。ステレオのケースで用いられる単純な信号モデル（例えば、非特許文献２参照）は、全てのチャンネル間で相関するダイレクトサウンドを仮定しており、サラウンド信号チャンネル間に存在することができるチャンネル関係の多様性を獲得していない。

立体音響再生の一般的な目標は、限定された数の伝送チャンネルと変換器のみを用いて連続音場の知覚を喚起することである。２つのスピーカは、空間サウンド再生に対する最小の必要条件である。最新の消費者システムは、しばしば、より多数の再生チャンネルを提供する。基本的に、立体音響信号（チャンネル数から独立している）は、各音源に対して、直接音が特定の方向キューによって多数のチャンネルにコヒーレント（＝従属する）に入り、反射独立音が見かけの音源幅とリスナーエンベロープに対するキューを決定する多数のチャンネルに入るように、録音またはミックスされる。意図された聴覚像の正しい知覚は、通常、録音において意図された再生セットアップにおける理想的な観測ポイントにおいてのみ可能である。与えられたスピーカセットアップに対してより多くのスピーカを加えることは、通常、自然音場のより現実的な復元／シミュレーションを可能にする。入力信号が他のフォーマットで与えられる場合に、拡張されたスピーカセットアップの最大限の利点を用いるため、あるいは入力信号の知覚的に識別可能な部分を操作するために、それらは別々にアクセス可能でなければならない。本明細書は、以下において、任意の数の入力チャンネルを備える立体音響録音の従属成分と独立成分を分離する方法を記述する。

オーディオ信号の知覚的に識別可能な成分への分解は、高品質信号修正、強調、適応再生および知覚的符号化のために必要である。２チャンネルの入力信号からの知覚的に識別可能な信号成分の操作および／または抽出を可能にする多くの方法が最近提案されている。２チャンネルよりも多い入力信号がますます一般的になっているので、記載された操作は多重チャンネル入力信号に対しても望ましい。しかしながら、２チャンネル入力に対して記載された大部分のコンセプトは、任意のチャンネル数を有する入力信号と連動するように容易に拡張することができない。

ダイレクト部分とアンビエント部分への信号解析を、例えば、左チャンネル、中央チャンネル、右チャンネル、左サラウンドチャンネル、右サラウンドチャンネルおよび低周波強調（サブウーファー）を有する５．１チャンネルサラウンド信号によって実行した場合、ダイレクト／アンビエント信号解析をどのように適用すべきであるかは簡単ではない。結局は１５までの異なる比較演算を有する階層処理に結果としてなる６チャンネルの各ペアを比較することを考えるかもしれない。そして、各チャンネルがすべての他のチャンネルと比較されるこれらの１５の比較演算の全てがなされるとき、１５の結果をどのように評価すべきかについて決定しなければならない。これは、時間を消費し、結果の解釈が難しく、相当数の処理リソースのために、例えばダイレクト／アンビエント分離のリアルタイムアプリケーション、または、一般に、例えば、アップミックスの文脈または他のいかなるオーディオ処理演算においても用いることができる信号分解に対して使えない。

非特許文献４において、主（＝ダイレクト）信号とアンビエント信号の分解を実行するために、入力チャンネル信号に対して主成分分析が適用される。

非特許文献２および非特許文献５において用いられたモデルは、ステレオ信号およびマイクロフォン信号において、それぞれ非相関または部分的に相関する拡散音を仮定している。それらは、この仮定を与える拡散／アンビエント信号を抽出するフィルタを導き出す。これらのアプローチは、単一および２チャンネルのオーディオ信号に限定される。

更なる文献は、非特許文献１である。非特許文献４は、非特許文献１について、次のようにコメントしている。この文献は、ステレオ入力信号からアンビエントを抽出するために、時間−周波数マスクを生成することを含むアプローチを提供する。しかしながら、そのマスクは左右のチャンネル信号間の相互相関に基づいており、その結果、このアプローチは任意の多重チャンネル入力からアンビエントを抽出する問題に対して直ちに適用することはできない。この高次のケースにおいて、いずれかのこのような相関ベースの方法を用いることは、階層的なペアワイズの相関分析を必要とし、有意の演算コスト、または多重チャンネル相関のいくつかの代替測定を要する。

空間インパルス応答レンダリング（ＳＩＲＲ）（非特許文献６）は、Ｂフォーマットインパルス応答において、方向および拡散音によってダイレクトサウンドを推定する。ＳＩＲＲに非常に類似して、方向オーディオ符号化（ＤｉｒＡＣ）（非特許文献７）は、Ｂフォーマットの連続オーディオ信号に対して類似するダイレクトおよび拡散サウンド解析を実施する。

非特許文献８において提案されたアプローチは、入力としてバイノーラル信号を用いたアップミックスを記載している。

非特許文献９は、反響する音場に対して空間的に最適であるウィーナーフィルタの導出を記載している。反響する部屋における２マイクロフォンのノイズ消去に対するアプリケーションが与えられている。拡散音場の空間的相関から導き出された最適フィルタは、音場の局所的挙動を捕え、それ故、反響する部屋における従来の適応ノイズ消去フィルタよりも、より低次で、潜在的に、より空間的にロバストである。無制約および因果的に制約される最適フィルタに対する定式化が提案され、２マイクロフォンのスピーチ強調に対する実施例のアプリケーションがコンピュータシミュレーションを用いて実証されている。

ウィーナーフィルタリング・アプローチは、反響する部屋の雑音取り消しのために有用な結果を提供することができますが、それは計算上非能率的なものとなることがあり、また、それは幾つかの例に対して信号分解にそれほど役立たない。

Carlos Avendano and Jean-Marc Jot、「多重チャンネルアップミックスに対する周波数ドメインアプローチ」、Journal of the Audio Engineering Society、52巻、7/8号、740-749頁、2004年 Christof Faller, 「ステレオ信号の多重スピーカ再生」、Journal of the Audio Engineering Society、54巻、11号、1051-1064号、2006年11月 John Usherand Jacob Benesty、「空間音響品質の強調：新しい反響抽出オーディオアップミキサー」、IEEE Transactions on Audio, Speech and Language Processing、15巻、7号、2141-2150頁、2007年９月 M. M. Goodwin and J. M. Jot、「空間オーディオ符号化および強調のための主要アンビエント信号分解およびベクトルベースの局所化」、Proc. Of ICASSP 2007、2007年 C. Faller、「高指向性２カプセルベースマイクロフォンシステム」、Preprint 123rd Conv. Aud. Eng. Soc.、2007年10月 Juha Merimaa and Ville Pulkki、「空間インパルス応答レンダリング」、Proc. of the 7th Int. Conf. on Digital Audio Effects (DAFx'04)、2004年 Ville Pulkki、「方向オーディオ符号化による空間サウンド再生」、Journal of the Audio Engineering Society、55号、６号、503-516頁、2007年６月 Julia Jakka、バイノーラルから多重チャンネルへのアップミックス、ヘルシンキ工科大学、博士論文、修士論文、2005年 Boaz Rafaely、「反響する音場における空間最適ウィーナーフィルタリング」、IEEE Workshop on Applications of Signal Processing to Audio and Acoustics 2001、2001年10月21-24日、New Paltz, New York Richard K. Cook, R. V. Waterhouse, R. D. Berendt, Seymour Edelman, and Jr. M.C. Thompson、「反響する音場における相関係数の測定」、Journal Of The Acoustical Society Of America、27巻、６号、1072-1077頁、1955年11月 Richard O. Duda and William L. Martens、「球状ヘッドモデルの応答のレンジ依存」、Journal Of The Acoustical Society Of America、104巻、５号、3048-3058頁、1998年11月 Brian R. Glasberg and Brian C. J. Moore、「ノッチノイズデータからの聴覚フィルタシェイプの導出」、Hearing Research、47巻、103-138頁、1990年

本発明の目的は、入力信号を分解する改良されたコンセプトを提供することである。

この目的は、請求項１にかかる入力信号を分解する装置、請求項１４にかかる入力信号を分解する方法、または請求項１５にかかるコンピュータプログラムによって達成される。

本発明は、信号解析が、参照曲線として予め計算された周波数依存類似度曲線に基づいて実行されるとき、信号分解の目的に対して特別な効率性が得られるという発見に基づいている。用語「類似度」は、相関とコヒーレンスを含み、ここで、−厳格な−数学的センスにおいて、相関は、２つの信号間で付加的な時間シフトなしに計算され、コヒーレンスは、信号が最大の相関を有するように２つの信号を時間／位相においてシフトすることによって計算され、周波数上の実際の相関は、適用される時間／位相シフトによってそのとき計算される。このテキストに対して、類似度、相関およびコヒーレンスは、同じこと、すなわち２つの信号間の定量的な類似度の程度を意味すると考えられ、例えば、高い絶対値の類似度は２つの信号がより類似することを意味し、低い絶対値の類似度は２つの信号がより類似しないことを意味する。

曲線は、直接的な比較演算および／または重み係数の計算に対して用いることができるので、参照曲線のような相関曲線の使用は、非常に効率的に実施できる解析を可能とすることが示されている。予め計算された周波数依存相関曲線の使用は、より複雑なウィーナーフィルタリング演算よりもむしろ簡単な計算のみを実行することを可能とする。さらにまた、問題の解決を得るために現在のセットアップからできる限り多くの情報が導入されるので、周波数依存相関曲線のアプリケーションは、問題が統計的な観点から対処されるのではなく、より解析的な方法で対処されるという事実により特に有用である。加えて、参照曲線は多くの異なる方法によって得ることができので、この手続の柔軟性は非常に高い。一つの方法は、特定のセットアップにおける２つ以上の信号を実際に測定し、そして測定された信号から周波数上の相関曲線を計算することである。それ故、異なるスピーカから独立信号を、または予め知られた一定程度の従属性を有する信号を放射することができる。

他の好ましい変形例は、独立信号の仮定下で、単に相関曲線を計算することである。この場合、結果は信号と独立しているので、いかなる信号も実際には必要でない。

信号解析に対して参照曲線を用いた信号分解は、ステレオ処理に対して、すなわちステレオ信号の分解に対して適用することができる。あるいは、この手続は、多重チャンネル信号を分解するダウンミキサーとともに実施することもできる。あるいは、この手続は、階層的な方法において信号のペア毎の評価が予想されるとき、多重チャンネル信号に対してダウンミキサーを用いることなく実施することもできる。

さらなる実施例において、多重チャンネル信号の分解に対して、入力信号によって直接に、すなわち少なくとも３つの入力チャンネルを有する信号によって、異なる信号成分に関する解析を実行しないことが有効なアプローチである。その代わりに、少なくとも３つの入力チャンネルを有する多重チャンネル入力信号は、入力信号をダウンミックスしてダウンミックス信号を取得するダウンミキサーによって処理される。ダウンミックス信号は、入力チャンネル数より小さい、好ましくは２つのダウンミックスチャンネル数を有する。そのとき、入力信号の解析は、入力信号に関して直接よりも、ダウンミックス信号に関して実行され、解析は解析結果に帰着する。しかしながら、この解析結果はダウンミックス信号に適用されないが、入力信号、または、代替として、入力信号から導き出された信号に適用される。ここで、この入力信号から導き出される信号は、アップミックス信号とすることができるか、または、入力信号のチャンネル数に依存して、ダウンミックス信号とすることもできるが、入力信号から導き出されるこの信号は、解析が実行されたダウンミックス信号からは異なる。例えば、入力信号が５．１のチャンネル信号であるケースが考慮されるとき、解析が実行されるダウンミックス信号は、２チャンネルを有するステレオダウンミックスであるかもしれない。解析結果は、そのとき、直接５．１入力信号に直接に、７．１出力信号のような高いアップミックスに、または、３チャンネルオーディオレンダリング装置のみが手元にあるとき、例えば左チャンネル、中央チャンネルおよび右チャンネルの３チャンネルのみを有する入力信号の多重チャンネルダウンミックスに適用される。しかしながら、いずれにせよ、信号処理器によって解析結果が適用される信号は、解析が実行され、信号成分に関して解析が実行されるダウンミックス信号よりも通常は多いチャンネルを有するダウンミックス信号からは異なる。

ダウンミックスは、通常は異なる方法における入力チャンネルの追加から構成されるので、個々の入力チャンネルにおけるいかなる信号成分もダウンミックスチャンネルにおいて生ずると仮定することができるという事実により、いわゆる「間接的な」解析／処理が可能である。１つの簡単なダウンミックスは、例えば、個々の入力チャンネルがダウンミックスルールまたはダウンミックスマトリクスによって要求されるように重み付けされ、重み付けされた後に一緒に加算される。代替のダウンミックスは、ＨＲＴＦフィルタのような特定のフィルタによって入力チャンネルをフィルタリングすることから構成され、ダウンミックスは、フィルタリングされた信号、すなわち、先行技術において知られたようなＨＲＴＦフィルタによってフィルタリングされた信号を用いることによって実行される。５チャンネルの入力信号に対して１０個のＨＲＴＦフィルタを必要とし、左辺／左耳に対するＨＲＴＦフィルタ出力は一緒に加算され、右チャンネルフィルタに対するＨＲＴＦフィルタ出力は右耳に対して一緒に加算される。代替のダウンミックスは、信号解析器において処理されなければならないチャンネル数を減らすために適用することができる。

それ故、本発明の実施形態は、解析信号を考慮することによって任意の入力信号から知覚的に識別可能な成分を抽出し、その一方で解析の結果が入力信号に適用される新規なコンセプトを記述する。このような解析信号は、例えば、チャンネルまたはスピーカ信号から耳への伝播モデルを考慮することによって得ることができる。これは、人間の聴覚システムも音場を評価するために単に２つのセンサ（左右の耳）を用いるという事実によってある程度動機づけられる。このように、知覚的に識別可能な成分の抽出は、以下においてダウンミックスとして表される解析信号の考慮に基本的に低減される。この文書の全体にわたって、用語「ダウンミックス」は、解析信号（これは、例えば、伝搬モデル、ＨＲＴＦ、ＢＲＩＲ、単純なクロスファクタダウンミックスを含むことができる）に結果としてなる多重チャンネル信号のいかなる前処理に対しても用いられる。

与えられた入力のフォーマットおよび抽出される信号の要求される特性を知っていると、理想的なチャンネル間の関係は、ダウンミックスフォーマットなどに対して定めることができ、この解析信号の解析は、多重チャンネル信号の分解に対する重みづけマスク（または多重の重みづけマスク）を生成するのに十分である。

実施形態において、多重チャンネルの問題は、サラウンド信号のステレオダウンミックスを用い、ダイレクト／アンビエント解析をダウンミックスに適用することによって、簡単化される。その結果、すなわちダイレクトサウンドおよびアンビエントサウンドの短時間パワースペクトル推定に基づいて、Ｎチャンネルの信号をＮ個のダイレクトサウンドとＮ個のアンビエントサウンドのチャンネルに分解するためのフィルタが導き出される。

本発明は、信号解析がより小さいチャンネル数に適用され、必要な処理時間を有意に低減するという事実により有利であり、その結果、本発明のコンセプトは、アップミックスするまたはダウンミックスするまたは信号の知覚的に異なる成分のような異なる成分が必要とされるいかなる他の信号処理演算に対するリアルタイムアプリケーションにおいてさえも適用することができる。

本発明の更なる利点は、ダウンミックスが実行されるにもかかわらず、これが入力信号における知覚的に識別可能な成分の検出性を悪化させないことが判っていることである。換言すると、入力チャンネルがダウンミックスされるときでさえも、個々の信号成分は、それでも大部分は分離することができる。さらにまた、ダウンミックスは、全ての入力チャンネルの全ての信号成分の２つのチャンネルへの一種の「収集（collection）」として動作し、これらの「収集された」ダウンミックス信号に関して適用される単一の解析は、もはや解釈される必要がなく、信号処理に対して直接用いることができるユニークな結果を提供する。

本発明の好ましい実施態様は、以下の付随する図面に関して引き続いて記述される。
ダウンミキサーを用いて入力信号を分解する装置を示すブロック図である。 本発明の更なる態様による予め計算された周波数依存相関曲線による解析器を用いた少なくとも３つの入力チャンネル数を有する信号を分解する装置の実施態様を示すブロック図である。 ダウンミックス、解析および信号処理に対して周波数ドメイン処理を有する本発明の更なる好ましい実施態様を示す。 図１または図２に示された解析のための参照曲線に対する例示的な予め計算された周波数依存相関曲線を示す。 独立成分を抽出するための更なる処理を示すブロック図である。 独立した拡散成分、独立したダイレクト成分およびダイレクト成分が抽出される更なる処理に対する実施態様のブロック図を示す。 解析信号生成器としてダウンミキサーを実装するブロック図を示す。 図１または図２の信号解析器における好ましい処理方法を示すフローチャートを示す。 異なる数および位置の音源（スピーカのような）を有するいくつかの異なるセットアップに対して参照曲線として用いることができる、異なる予め計算された周波数依存相関曲線を示す。 異なる数と位置の音源（スピーカのような）を有するいくつかの異なるセットアップに対して参照曲線として用いることができる、異なる予め計算された周波数依存相関曲線を示す。 異なる数と位置の音源（スピーカのような）を有するいくつかの異なるセットアップに対して参照曲線として用いることができる、異なる予め計算された周波数依存相関曲線を示す。 異なる数と位置の音源（スピーカのような）を有するいくつかの異なるセットアップに対して参照曲線として用いることができる、異なる予め計算された周波数依存相関曲線を示す。 異なる数と位置の音源（スピーカのような）を有するいくつかの異なるセットアップに対して参照曲線として用いることができる、異なる予め計算された周波数依存相関曲線を示す。 拡散成分が分解される成分である拡散推定に対する他の実施形態を示すブロック図を示す。 周波数依存相関曲線なしに、ウィーナーフィルタリングアプローチによって信号解析を適用する実施例の式を示す。 周波数依存相関曲線なしに、ウィーナーフィルタリングアプローチによって信号解析を適用する実施例の式を示す。

図１は、少なくとも３つの入力チャンネル数、一般的にはＮ個の入力チャンネルを有する入力信号１０を分解する装置を示す。これらの入力チャンネルは、ダウンミックス信号１４を取得するために入力信号をダウンミックスするダウンミキサー１２に入力され、ダウンミキサー１２は、「ｍ」で示されるダウンミックス信号１４のダウンミックスチャンネル数が、少なくとも２つで、入力信号１０の入力チャンネルの数よりも小さいようにダウンミックスするように構成される。ｍ個のダウンミックスチャンネルは、解析結果１８を導き出すためにダウンミックス信号を解析する解析器１６に入力される。解析結果１８は、入力信号１０、または解析結果を用いて信号導出器２２によって入力信号から導き出された信号を処理するように構成される信号処理器２０に入力され、信号処理器２０は、入力チャンネルまたは入力信号から導き出された信号２４のチャンネルに解析結果を適用し、分解された信号２６を取得するように構成される。

図１に示された実施形態において、入力チャンネル数はｎであり、ダウンミックスチャンネル数はｍであり、導き出されたチャンネル数はｌであり、入力信号よりもむしろ導き出された信号が信号処理器によって処理されるとき、出力チャンネル数はｌに等しい。あるいは、信号導出器２２が存在しないとき、入力信号は、信号処理器によって直接処理され、図１において「ｌ」によって示される分解された信号２６のチャンネル数はｎに等しくなる。それ故、図１は２つの異なる実施例を示す。１つの実施例は、信号導出器２２を有さず、入力信号は信号処理器２０に直接適用される。他の実施例は、信号導出器２２が実装され、入力信号１０よりもむしろ導き出された信号２４が信号処理器２０によって処理される。信号導出器は、例えば、より多くの出力チャンネルを生成するアップミキサーのようなオーディオチャンネルミキサーとすることができる。この場合、ｌはｎより大きい。他の実施形態では、信号導出器は、入力チャンネルに対して重みづけ、遅延または他に何かを実行する他のオーディオ処理器とすることができ、この場合、信号導出器２２の出力チャンネル数ｌは入力チャンネル数ｎに等しい。更なる実施態様において、信号導出器は、入力信号から、導き出された信号までチャンネル数を低減するダウンミキサーとすることができる。この実施態様において、本発明の利点の１つを有するために、すなわち信号解析がより少ないチャンネル信号数に適用されるために、ｌはダウンミックスチャンネル数ｍよりもなお大きいことが好ましい。

解析器は、知覚的に識別可能な成分に関してダウンミックス信号を解析するために動作する。これらの知覚的に識別可能な成分は、一方では個々のチャンネルにおいて独立な成分とすることができ、他方では従属する成分とすることができる。本発明によって解析される代替の信号成分は、一方ではダイレクト成分であり、他方ではアンビエント成分である。ここでは、異なる楽器等によって提供される多重ピッチ信号成分における、音楽成分からの音声成分、音声成分からのノイズ成分、音楽成分からのノイズ成分、低周波ノイズ成分に関する高周波ノイズ成分のような、本発明によって分離することができる多くの他の成分がある。これは、図１１ａ、１１ｂの文脈において述べられるウィーナーフィルタリングのような強力な解析ツール、または本発明による例えば図８の文脈において述べられる周波数依存相関曲線を用いるような他の解析手続があるという事実による。

図２は、解析器が、予め計算された周波数依存相関曲線１６を用いるために実装される他の態様を示す。このように、複数のチャンネルを有する信号２８を分解する装置は、例えば、図１の文脈において示されたようなダウンミックス演算によって、入力信号と同一のまたは入力信号に関連する解析信号の２つのチャンネル間の相関を解析する解析器１６を備える。解析器１６によって解析された解析信号は、少なくとも２つの解析チャンネルを有し、解析器１６は、解析結果１８を決定するために、参照曲線として予め計算された周波数依存相関曲線を用いるように構成される。信号処理器２０は、図１の文脈において述べられたのと同じ方法で動作することができ、解析信号、または信号導出器２２によって解析信号から導き出された信号を処理するように構成され、信号導出器２２は、図１の信号導出器２２の文脈において述べられたのと同様に実施することができる。あるいは、信号処理器は、それから解析信号が導き出される信号を処理することができ、信号処理は、分解された信号を取得するために解析結果を用いる。それ故、図２の実施形態においては、入力信号は解析信号と同一とすることができ、この場合に、解析信号は、図２に示されたようなちょうど２つのチャンネルを有するステレオ信号とすることもできる。あるいは、解析信号は、入力信号から、図１の文脈において記載されたダウンミックスのようないかなる種類の処理によっても、あるいはアップミックスのような他のいかなる処理などによっても導き出すことができる。加えて、信号処理器２０は、解析器に入力されたのと同じ信号に信号処理を適用するのに有用とすることができ、すなわち、信号処理器は、図１の文脈において示されたような、それから解析信号が導き出される信号に信号処理を適用することができるか、または信号処理器は、アップミックスなどによる解析信号から導き出された信号に信号処理を適用することができる。

それ故、信号処理器に対して異なる可能性が存在し、これらの全ての可能性は、解析結果を決定するために参照曲線として予め計算された周波数依存相関曲線を用いる解析器のユニークな演算により有利である。

引き続いて、更なる実施形態が述べられる。図２の文脈において述べられたように、２チャンネルの解析信号（ダウンミックスなし）の使用さえ考慮される点に留意する必要がある。それ故、図１および図２の文脈において異なる態様で述べられたように、一緒にまたは分離した態様として用いることができる本発明は、ダウンミックスは解析器によって処理することができるか、または、ダウンミックスによっておそらく生成されなかった２チャンネルの信号は信号解析器によって予め計算された参照曲線を用いて処理することができる。この文脈において、実施態様の引き続く記載は、特定の特徴が両方の態様よりもむしろ１つの態様に対してのみに記載されているときでさえも、図１および図２に概略的に示された両方の態様に対して適用することができる点に留意する必要がある。例えば、図３が考慮される場合、図３の周波数ドメインの特徴が図１に示された態様の文脈において記載されていることは明らかとなるが、図３に関して引き続いて記載されるような時間／周波数変換および逆変換は、ダウンミキサーを有しないが、予め計算された周波数依存相関曲線を用いる特定の解析器を有する図２の実施に対しても適用することができることは明らかである。

特に、解析信号が解析器に入力される前に、時間／周波数変換器が解析信号を変換するために置かれ、処理された信号を時間ドメインに戻すために、周波数／時間変換器が信号処理器の出力に置かれる。信号導出器が存在するとき、信号導出器、解析器および信号処理器が、全て周波数／サブバンドドメインにおいて動作するように、時間／周波数変換器が信号導出器の入力に置かれるであろう。この文脈において、周波数サブバンドは、周波数表現の周波数における部分を基本的に意味する。

図１における解析器は、さらに多くの異なる方法で実施できることは明らかであるが、この解析器は、一実施形態において、図２において述べられた解析器、すなわち、ウィーナーフィルタリングまたは他のいかなる解析法にも代わるものとして、予め計算された周波数依存相関曲線を用いる解析器としても実施される。

図３の実施形態は、２チャンネル表現を取得するために、ダウンミックス手続を任意の入力信号に適用する。図３に示されるように、時間−周波数ドメインにおける解析が実行され、入力信号の時間周波数表現によって掛け合わされた重みづけマスクが計算される。

図において、Ｔ／Ｆは、時間周波数変換、一般に短時間フーリエ変換（ＳＴＦＴ）を表す。ｉＴ／Ｆは、それぞれの逆変換を表す。［ｘ₁（ｎ）,…,ｘ_N（ｎ）］は、時間ドメインの入力信号であり、ここで、ｎは時間インデックスである。［Ｘ₁（ｍ,ｉ）,…,Ｘ_N（ｍ,ｉ）］は、周波数分解の係数を表し、ここで、ｍは分解の時間インデックスであり、ｉは分解の周波数インデックスである。［Ｄ₁（ｍ,ｉ）,Ｄ₂（ｍ,ｉ）］は、２つのチャンネルのダウンミックスされた信号である。

Ｗ（ｍ,ｉ）は、計算された重みである。［Ｙ₁（ｍ,ｉ）,…,Ｙ_N（ｍ,ｉ）］は、各チャンネルの重みづけられた周波数分解である。Ｈ_ij（ｉ）は、ダウンミックス係数であり、実数値または複素数値とすることができ、この係数は時間的に一定または可変とすることができる。それ故、ダウンミックス係数は、ちょうど定数とすることができるか、または、ＨＲＴＦフィルタ、残響フィルタまたは類似するフィルタのようなフィルタとすることができる。

図３において、全てのチャンネルに対して同じ重みが適用されるケースが描かれている。

［ｙ₁（ｎ）,…,ｙ_N（ｎ）］は、抽出された信号成分を備える時間ドメインの出力信号である。（入力信号は、任意のターゲット再生スピーカセットアップに対して生成される任意のチャンネル数（Ｎ）を有することができる。ダウンミックスは、耳入力信号、聴覚フィルタのシミュレーション、その他を取得するために、ＨＲＴＦを含むことができる。ダウンミックスは、時間ドメインにおいても実行することができる。）

実施形態において、参照相関の間の差異（この文書を通して、用語「相関」は、チャンネル間の類似度に対する同義語として用いられ、用語「コヒーレンス」に対して通常用いられる時間シフトの評価を含むことができる。時間シフトが評価される場合でさえも、結果として生ずる値は符号を有することができる。一般に、コヒーレンスは、正値だけを有するように定められる）は、周波数の関数（ｃ_ref（ω））であり、ダウンミックス入力信号の実際の相関（ｃ_sig（ω））が演算される。参照曲線からの実際の曲線の偏差に依存して、それが従属成分または独立成分を備えるかどうかを示す各時間−周波数タイルに対する重み係数が計算される。取得された時間−周波数重みは、独立成分を表し、識別可能であるまたは拡散であるとして知覚することができる独立部分を含む多重チャンネル信号（チャンネル数は入力チャンネル数に等しい）をもたらすために、入力信号の各チャンネルにすでに適用することができる。

参照曲線は、異なる方法で定めることができる。例えば、
・独立成分からなる理想化された２次元または３次元の拡散音場に対する理想的な理論上の参照曲線
・与えられた入力信号に対する参照ターゲットスピーカセットアップ（例えば、方位角（±３０°）を有する標準ステレオセットアップまたは方位角（０°,±３０°,±１１０°）を有するＩＴＵ−Ｒ ＢＳ.７７５による標準５チャンネルセットアップ）によって達成可能な理想的な曲線
・実際に提示されたスピーカセットアップに対する理想的な曲線（実際の位置は測定することができるかまたはユーザー入力によって知ることができる。参照曲線は、与えられたスピーカにわたる独立信号の再生を仮定して計算することができる。）
・各入力チャンネルの実際の周波数依存短時間パワーは、参照の演算に組み入れることができる。

周波数依存参照曲線（ｃ_ref（ω））が与えられると、上側閾値（ｃ_hi（ω））と下側閾値（ｃ_lo（ω））を定めることができる（図４を参照）。閾値曲線は、参照曲線と一致することができる（ｃ_ref（ω）＝ｃ_hi（ω）＝ｃ_lo（ω））か、または、可検出閾値を仮定して定めることができるか、または発見的に導き出すことができる。

参照曲線からの実際の曲線の偏差が閾値によって与えられる境界内にある場合、実際のビンは、独立成分を示す重みを得る。上側閾値より上または下側閾値より下では、ビンは従属として表される。この表示は、バイナリーとすることができるか、または段階的（すなわち、ソフト判定関数に従う）とすることができる。特に、上側閾値および下側閾値が参照曲線と一致する場合、適用される重みは参照曲線からの偏差に直接関係する。

図３に関して、参照符号３２は、短時間フーリエ変換として、またはＱＭＦフィルタバンクなどのようなサブバンド信号を生成するいかなる種類のフィルタバンクとしても実施することができる時間／周波数変換器を示す。時間／周波数変換器３２の詳細な実施とは独立して、時間／周波数変換器の出力は、各入力チャンネルｘ_iに対する、入力信号の各時間周期のスペクトルである。それ故、時間／周波数処理器３２は、個々のチャンネル信号の１ブロックの入力サンプルを常にとり、低周波数から高周波数まで延びているスペクトル線を有するＦＦＴスペクトルのような周波数表現を計算するように実施することができる。次に、次の時間ブロックに対して、同じ手続が実行され、その結果、各入力チャンネル信号に対して一連の短時間スペクトルが最終的に計算される。入力チャンネルの特定のブロックの入力サンプルに関する特定の周波数範囲の特定のスペクトルは、「時間／周波数タイル」と呼ばれ、好ましくは、解析器１６における解析は、これらの時間／周波数タイルに基づいて実行される。それ故、解析器は、１つの時間／周波数タイルに対する入力として、第１のダウンミックスチャンネルＤ₁の特定のブロックの入力サンプルに対する第１の周波数におけるスペクトル値を受信し、第２のダウンミックスチャンネルＤ₂の同じ周波数および同じブロック（時間において）に対する値を受信する。

次に、図８に示される実施例として、解析器１６は、サブバンドおよび時間ブロック毎の２つの入力チャンネル間の相関値、すなわち時間／周波数タイルに対する相関値、を決定する（８０）ように構成される。次に、解析器１６は、図２または図４に関して示された実施形態において、参照相関曲線から対応するサブバンドに対する相関値を読み出す（８２）。例えば、サブバンドが図４において４０で示されるサブバンドであるとき、ステップ８２は、−１と＋１の間の相関を示す値４１に結果としてなり、値４１は、そのとき読み出された相関値である。次に、ステップ８３において、サブバンドに対する結果は、ステップ８０から決定された相関値およびステップ８２において取得された読み出された相関値４１を用いて、比較および引き続く判定を実行することによってなされるか、または実際の差分を計算することによってなされる。結果は、前に述べられたように、ダウンミックス／解析信号において考慮された実際の時間／周波数タイルが独立成分を有するというバイナリーの結果とすることができる。この判定は、実際に判定された相関値（ステップ８０における）が参照相関値に等しいかまたは参照相関値に非常に近いときになされる。

しかしながら、判定された相関値が参照相関値より高い絶対値の相関を示すと判定されたとき、考慮中の時間／周波数タイルは従属成分を備えると判定される。それ故、ダウンミックスまたは解析信号の時間／周波数タイルの相関が参照曲線より高い絶対値の相関値を示すとき、この時間／周波数タイルにおける成分はお互いに従属しているということができる。しかしながら、相関が参照曲線に非常に近いことが示されるとき、成分は独立しているということができる。従属成分は「１」のような第１の重み値を受信することができ、独立成分は「０」のような第２の重み値を受信することができる。好ましくは、図４に示されたように、単独で参照曲線を用いるよりも適した良好な結果を提供するために、基準線から離れて配置されている上下の閾値が用いられる。

さらに、図４に関して、相関は−１と＋１の間で変化することができる点に留意する必要がある。負の符号を有する相関は、信号間の１８０°の位相シフトを付加的に示す。それ故、０と１の間でのみ延びている他の相関を同様に適用することができ、そこでは相関の負の部分は単に正にされる。この手続においては、相関の判定の目的に対して、時間シフトまたは位相シフトを無視する。

結果を計算する代替方法は、ブロック８０において決定された相関値とブロック８２において取得された読み出された相関値の間の距離を実際に計算し、それから距離に基づいて重み係数として０と１の間の基準値を決定することである。図８における第１の変形例（１）は、０または１の値にのみ結果としてなるのに対して、可能性（２）は、好ましくは、いくつかの実施態様において、０と１の間の値に結果としてなる。

図３における信号処理器２０は、乗算器として示され、図８において８４で示されるように、解析結果は、ちょうど解析器から信号処理器まで転送され、入力信号１０の対応する時間／周波数タイルに適用される決定された重み係数である。例えば実際に考慮されたスペクトルが、一連のスペクトルにおける第２０番目のスペクトルであるとき、そして実際に考慮された周波数ビンがこの第２０番目のスペクトルの第５番目の周波数ビンであるとき、時間／周波数タイルは（２０、５）として表すことができる（ここで、第１の数は時間におけるブロック番号を示し、第２の数はこのスペクトルにおける周波数ビンを示す）。次に、時間／周波数タイル（２０、５）に対する解析結果は、図３における入力信号の各チャンネルの対応する時間／周波数タイル（２０、５）に適用されるか、または、図１に示されたように信号導出器が実装されるとき、導き出された信号の各チャンネルの対応する時間／周波数タイルに適用される。

引き続いて、参照曲線の計算が更に詳細に述べられる。しかしながら、本発明に対して、参照曲線がどのように導き出されたかは基本的に重要でない。それは、任意の曲線、すなわち、例えば、ダウンミックス信号Ｄにおける入力信号ｘ_j、または図２の文脈における解析信号の理想的なまたは所望の関係を示すルックアップテーブルにおける値とすることができる。以下の導出は例示である。

音場の物理的な拡散は、Cook他（非特許文献１０）により導入された方法によって評価することができ、以下の式（４）に示されるように、２つの空間的に分離されたポイントにおける平面波の定常状態の音圧の相関係数（ｒ）を利用する。

ここで、ｐ₁（ｎ）とｐ₂（ｎ）は２つのポイントでの音圧測定値であり、ｎは時間インデックスであり、＜・＞は時間平均を表す。定常状態の音場において、以下の関係を導き出すことができる。

ここで、ｄは２つの測定ポイント間の距離であり、ｋ＝２π／λは波数である（ここでλは波長）。（物理的参照曲線ｒ（ｋ,ｄ）は、更なる処理に対して、既にｃ_refとして用いることができる。）

音場の知覚的な拡散に対する尺度は、音場で測定された両耳間の相互相関係数（ρ）である。測定することは、圧力センサ（それぞれの耳の）間の半径が固定されることを意味する。この制限を含むことで、ｒはラジアン周波数ω＝ｋｃによる周波数の関数になる（ここで、ｃは空気中の音速である）。さらにまた、圧力信号は、リスナーの耳介、頭部および胴部によって生じる反射、回折およびベンディング効果により、前に考慮された自由音場信号とは異なる。空間聴覚に対して本質的なそれらの効果は、頭部関連伝達関数（ＨＲＴＦ）によって記述される。それらの影響を考慮すると、耳の入口で結果として生じる圧力信号は、ｐ_L（ｎ,ω）とｐ_R（ｎ,ω）である。その計算に対して、測定されたＨＲＴＦデータを用いることができるか、または、解析モデル（例えば、非特許文献１１）を用いて近似を取得することができる。

人間の聴覚システムは限られた周波数選択性を有する周波数解析器として作用するので、さらに、この周波数選択性を組み込むことができる。聴覚フィルタは、オーバーラップするバンドパスフィルタのように振る舞うとみなされる。以下の実施例の説明において、矩形フィルタによってこれらのオーバーラップするバンドパスを近似するために、クリチカルバンドアプローチが用いられる。等価な矩形のバンド幅（ＥＲＢ）は、中心周波数の関数として計算することができる（非特許文献１２）。バイノーラル処理が聴覚フィルタリングに従うことを考慮して、ρは、以下の周波数依存圧力信号を生ずる分離した周波数チャンネルに対して計算されなければならない。

ここで、積分の範囲は実際の中心周波数に従ってクリチカルバンドの境界によって与えられる。係数1／ｂ（ω）は、式（７）および（８）において用いても用いなくてもよい。

音圧測定の１つが、周波数に独立な時間差によって進められるまたは遅らされる場合、信号のコヒーレンスを評価することができる。人間の聴覚システムは、このような時間アラインメント特性を用いることが可能である。通常、両耳間のコヒーレンスは、±１ｍｓ内で計算される。利用可能な処理パワーに依存して、計算は、遅延ゼロ値（低い複雑性に対して）、または時間前進および遅延を有するコヒーレンス（高い煩雑性が可能である場合）のみを用いて実施することができる。以下においては、両方のケースの間で区別はなされない。

理想的な挙動は、理想的な拡散音場を考慮して達成され、それは全方向に伝搬する等しく強い、無相関の平面波からなる波動場（すなわち、ランダムな位相関係および一様に分布する伝搬方向を有する無限数の伝搬する平面波の重畳）として理想化することができる。スピーカによって放射される信号は、十分に遠くに位置するリスナーに対する平面波と考えることができる。この平面波の仮定は、スピーカ上の立体音響再生において一般的である。このように、スピーカによって再生される合成音場は、限定された数の方向からの寄与する平面波から構成される。

スピーカ位置［ｌ₁,ｌ₂,ｌ₃, ... ,ｌ_N］によるセットアップ上の再生に対して生成されるＮチャンネルを有する入力信号が与えられる（水平のみの再生セットアップのケースでは、ｌｉは方位角を示す。一般的なケースにおいて、ｌ_i＝（方位、高低）はリスナーの頭部に対するスピーカの位置を示す。リスニングルームに存在するセットアップが参照セットアップと異なる場合、ｌ_iは、実際の再生セットアップのスピーカ位置を代わりに表現することができる。）。この情報によって、拡散音場シミュレーションに対する両耳間コヒーレンス参照曲線ρ_refは、独立信号が各スピーカに供給されるという仮定下で、このセットアップに対して計算することができる。各時間−周波数タイルにおいて各入力チャンネルに寄与する信号パワーは、参照曲線の計算に含めることができる。実施例の実施において、ρ_refは、ｃ_refとして用いられる。

周波数依存参照曲線または相関曲線に対する実施例としての異なる参照曲線は、図９ａ〜９ｅにおいて、異なる数の音源に対して、図に示されるように異なる音源の位置および異なる頭部方位において示される。

引き続いて、図８の文脈において述べられたような参照曲線に基づく解析結果の計算が、より詳細に述べられる。

目標は、独立信号が全てのスピーカから再生されるという仮定下で、ダウンミックスチャンネルの相関が、計算された参照相関に等しい場合に、１に等しい重みを導き出すことである。ダウンミックスの相関が＋１または−１に等しい場合に、導き出される重みは、独立成分が存在しないことを示す、０でなければならない。それらの極端なケースの間において、重みは、独立している（Ｗ＝１）または完全に従属している（Ｗ＝０）ような表示の間で合理的な遷移を表現しなければならない。

参照相関曲線ｃ_ref（ω）と、実際の再生セットアップ上で再生される実際の入力信号の相関／コヒーレンスの推定ｃ_sig（ω）（ｃ_sigは、ダウンミックスの相関のそれぞれのコヒーレンスである）が与えられると、ｃ_sig（ω）のｃ_ref（ω）からの偏差を計算することができる。この偏差（おそらくは、上下の閾値を含む）は、独立成分を切り離すために全ての入力チャンネルに適用される重み（Ｗ（ｍ,ｉ））を取得するため、範囲［０；１］にマッピングされる。

以下の実施例は、閾値が参照曲線に対応するときに可能なマッピングを示す。

実際の曲線ｃ_sigの参照曲線ｃ_refからの偏差（Δで表される）の大きさは、次式によって与えられる。

相関／コヒーレンスが［−１；＋１］の間で制限されると、＋１または−１に対する最大限可能な偏差は、各周波数に対して、次式で与えられる。

各周波数に対する重みは、従って次式から取得される。

周波数分解の時問依存性および限られた周波数分解能を考慮すると、重み値は、以下のように導き出される。（ここで、時間上で変化することができる参照曲線の一般的なケースが与えられる。時間独立参照曲線（すなわち、ｃ_ref（ｉ））も可能である。）

このような処理は、計算量の理由のために、そしてより短いインパルス応答を有するフィルタを取得するために、知覚的に動機づけられたサブバンドに分類される周波数係数による周波数分解において実行することができる。さらにまた、平滑フィルタを適用することができ、そして圧縮関数（すなわち、所望の方法で重みを歪め、付加的に最小および／または最大の重み値を導入する）を適用することができる。

図５は、ダウンミキサーがＨＲＴＦおよび聴覚フィルタを用いて実施される本発明の更なる実施態様を示す。さらに、図５は、解析器１６によって出力される解析結果が、各時間／周波数ビンに対する重み係数であることを付加的に示し、信号処理器２０は、独立成分を抽出する抽出器として示される。そのとき、処理器２０の出力は、再びＮチャンネルであるが、各チャンネルは、ここで独立成分のみを含み、いかなる従属成分も含まない。この実施態様において、解析器は、図８の第１の実施態様において、独立成分が１の重み値を受信し、従属成分が０の重み値を受信するように、重みを計算する。そのとき、処理器２０によって処理される、従属成分を有するオリジナルのＮチャンネルにおける時間／周波数タイルは、０にセットされる。

その他の変形例においては、図８において０と１の間の重み値があり、解析器は、参照曲線までの距離が小さい時間／周波数タイルは高い値（より１に近い）を受信し、参照曲線までの距離が大きい時間／周波数タイルは小さい重み係数（より０に近い）を受信するように、重みづけを計算する。例えば、図３の２０において示された引き続く重みづけにおいて、独立成分はそのとき増幅され、一方で従属成分は減衰される。

しかしながら、信号処理器２０が独立成分を抽出しないが、従属成分を抽出するように実施されるとき、重みは、図３に示された乗算器２０において重みづけが実行されるときに、独立成分が減衰され、従属成分が増幅されるように、反対に割り当てられる。それ故、各信号処理器は、実際に抽出された信号成分の判定が重み値の実際の割り当てによって決定されるので、信号成分の抽出に対して適用することができる。

図６は、発明コンセプトの更なる実施態様を示し、ここでは処理器２０の異なる実施態様を有する。図６の実施形態において、処理器２０は、独立の拡散部分、独立のダイレクト部分、およびダイレクト部分／成分自体を抽出するように実施される。

分離された独立成分（Ｙ₁,…,Ｙ_N）から、包囲する／アンビエント音場の知覚に寄与する部分を取得するため、更なる制約条件を考慮しなければならない。一つのそのような制約条件は、包囲するアンビエントサウンドが各方向から等しく強いという仮定とすることができる。従って、包囲するアンビエント信号を取得するために（それは、高い数のアンビエントチャンネルを取得するために、更に処理することができる）、例えば、独立のサウンド信号のあらゆるチャンネルにおける各時間−周波数タイルの最小限のエネルギーを抽出することができる。
実施例：

ここで、Ｐは、短時間パワー推定を表す。（この実施例は、最も単純なケースを示す。適用することができない一つの明白な例外的ケースは、１つのチャンネルがこのチャンネルにおけるパワーが非常に低いまたはゼロである信号休止期間を含むときである。）

いくつかのケースにおいては、全ての入力チャンネルの等しいエネルギー部分を抽出し、この抽出されたスペクトルのみを用いて重みを計算することが有益である。

抽出された従属部分（それらは、例えば、Ｙ_dependent＝Ｙ_j（ｍ,ｉ）−Ｘ_j（ｍ,ｉ）として導き出すことができる）は、チャンネルの従属性を検出し、入力信号において固有の方向キューを推定するなどし、例えばリパニングのような更なる処理を許容するために用いることができる。

図７は、一般的なコンセプトの変形例を表す。Ｎチャンネルの入力信号は、解析信号発生器（ＡＳＧ）に供給される。Ｍチャンネルの解析信号の生成は、例えば、チャンネル／スピーカから耳への伝搬モデル、またはこの文書を通してダウンミックスとして表される他の方法を含むことができる。識別可能な成分の表示は、解析信号に基づいている。異なる成分を示すマスクは、入力信号に適用される（Ａ抽出／Ｄ抽出（２０ａ、２０ｂ））。重みづけられた入力信号は、特定の性質を有する出力信号を得るために、更に処理することができ（Ａ後処理／Ｄ後処理（７０ａ、７０ｂ））、ここで、この実施例においては、表記「Ａ」と「Ｄ」は、抽出される成分が「アンビエントサウンド」と「ダイレクトサウンド」のいずれかを示すように選定されている。

引き続いて、図１０が記述される。定常的な音場は、サウンドエネルギーの方向分布が方向に依存しない場合に、拡散と呼ばれる。方向エネルギー分布は、高い指向性のマイクロフォンを用いて全ての方向を測定することによって評価することができる。室内音響において、包囲空間において反響する音場は、拡散音場としてしばしばモデル化される。拡散音場は、全方向に伝搬する等しく強い、無相関の平面波から成る波動場として理想化することができる。この種の音場は、等方性で、均一である。

エネルギー分布の均一性に特に関心がある場合、２つの空間的に分離された位置における定常状態の音圧Ｐ１（ｔ）とＰ２（ｔ）の２点間の相関係数

は、音場の物理的な拡散を評価するために用いることができる。正弦波音源によって引き起こされる想定上の理想的な三次元および二次元の定常状態の拡散音場に対して、以下の関係を導き出すことができる。

ここで、ｋ＝２π／λ（ここでλ＝波長）は波数であり、ｄは測定ポイントの間の距離である。これらの関係が与えられると、音場の拡散は、測定データを参照曲線と比較することによって評価することができる。理想的な関係のみが必要であるが、充分な条件でないので、マイクロフォンが接続される異なる方位の軸による多くの測定を考慮することができる。

音場におけるリスナーを考慮して、音圧測定は、耳入力信号ｐ_l（ｔ）とｐ_r（ｔ）によって与えられる。従って、測定ポイント間の想定された距離ｄは固定され、ｒは、ｆ＝ｋｃ／２π（ここで、ｃは大気の音速である）による周波数のみの関数になる。耳入力信号は、リスナーの耳介、頭部および胴部によって生じる効果の影響により、前に考慮された自由音場信号から異なる。空間聴覚に対して重要なそれらの効果は、頭部関連伝達関数（ＨＲＴＦ）によって記述される。測定されたＨＲＴＦデータは、これらの効果を組み入れるために用いることができる。我々は、ＨＲＴＦの近似をシミュレートするために、解析モデルを使用する。頭部は、半径が８．７５ｃｍ、耳位置が方位角±１００°、高低角０°による剛体球としてモデル化される。理想的な拡散音場におけるｒの理論上の挙動とＨＲＴＦの影響が与えられると、拡散音場に対する周波数に依存する両耳間の相互相関参照曲線を決定することができる。

拡散推定は、シミュレートされたキューの、想定された拡散音場参照キューとの比較に基づいている。この比較は、人間の聴覚の制限を受ける。聴覚システムにおいて、バイノーラル処理は、外耳、中耳および内耳から構成される聴覚周辺に従う。球モデルによって近似されない外耳の効果（例えば、耳介形状、耳道）と中耳の効果は、考慮されない。内耳のスペクトル選択性は、オーバーラップするバンドパスフィルタバンク（図１０において聴覚フィルタとして表された）としてモデル化される。クリチカルバンドアプローチは、矩形のフィルタによってこれらのオーバーラップするバンドパスを近似するために用いられる。等価な矩形のバンド幅（ＥＲＢ）が、次式に従って、中心周波数の関数として計算される。

人間の聴覚システムは、コヒーレント信号成分を検出するために時間アラインメントを実行することができ、複合音が存在する場合において、相互相関解析がアラインメント時間（ＩＴＤに相当する）の推定に用いられると想定される。およそ１〜１．５ｋＨｚに至るまで、キャリア信号の時間シフトは、波形の相互相関を用いて評価されるが、より高い周波数においては、包絡相互相関が関連するキューになる。以下においては、我々はこの区別をしない。両耳間コヒーレンス（ＩＣ）推定は、次式の正規化された両耳間相互相関関数の最大絶対値としてモデル化される。

バイノーラル知覚のいくつかのモデルは、実行中の両耳間相互相関解析を考慮する。我々は、定常信号を考慮するので、時間に関する従属を考慮しない。クリチカルバンド処理の影響をモデル化するために、次のような周波数依存の正規化された相互相関関数を演算する。

ここで、Ａはクリチカルバンド毎の相互相関関数であり、ＢおよびＣはクリチカルバンド毎の自己相関関数である。バンドパス相互スペクトルとバンドパス自己スペクトルによる周波数ドメインに対するそれらの関係は、以下の通りに定式化することができる。

異なる角度における２つ以上の音源からの信号が重畳される場合、振動性のＩＬＤキューおよびＩＴＤキューが喚起される。このような時間および／または周波数の関数のようなＩＬＤおよびＩＴＤの変化は、広大さを生成することができる。しかしながら、長時間の平均においては、拡散音場においてＩＬＤおよびＩＴＤがあってはならない。ゼロの平均ＩＴＤは、信号間の相関が時間アラインメントによって増加することができないことを意味する。ＩＬＤは、原則として、完全な可聴周波数範囲上で評価することができる。頭部は低い周波数において障害物を構成しないので、ＩＬＤは、中周波および高周波において最も効率的である。

引き続いて、図１１ａおよび１１ｂは、図１０または図４の文脈において述べられたような参照曲線を用いない解析器の代替の実施態様を示すために述べられる。

ダウンミックスステレオ信号に基づいて、フィルタＷ_DおよびＷ_Aは、式（２）および（３）において、ダイレクトサウンドとアンビエントサウンドのサラウンド信号推定を取得するために演算される。

アンビエントサウンド信号が全ての入力チャンネル間で無相関であると仮定すると、我々は、この仮定がダウンミックスチャンネルに対しても保持されるようにダウンミックス係数を選ぶ。従って、式（４）においてダウンミックス信号モデルを定式化することができる。

Ｄ₁とＤ₂は、相関したダイレクトサウンドＳＴＦＴスペクトルを表し、Ａ₁とＡ₂は、無相関のアンビエントサウンドを表す。各チャンネルにおけるダイレクトサウンドとアンビエントサウンドが相互に無相関であると更に仮定する。

ダイレクトサウンドの推定は、最小自乗平均のセンスにおいて、アンビエンスを抑制するために、オリジナルのサラウンド信号に対してウィーナーフィルタを適用することによって達成される。全ての入力チャンネルに適用することができる単一のフィルタを導き出すために、我々は、式（５）におけるように、ダウンミックスにおいて、左右のチャンネルに対して同じフィルタを用いてダイレクト成分を推定する。

この推定のための結合平均自乗誤差関数は、式（６）によって与えられる。

Ｅ｛・｝は除外オペレータであり、Ｐ_DとＰ_Aはダイレクト成分とアンビエント成分の短期間パワー推定の合計である（式（７））。

誤差関数（６）は、その導き出されたものをゼロにセットすることによって最小化される。ダイレクトサウンドの推定に対して結果として生じるフィルタは、式（８）にある。

同様に、アンビエントサウンドに対する推定フィルタは、式（９）におけるように導き出すことができる。

以下において、Ｗ_DとＷ_Aの演算に必要な、Ｐ_DとＰ_Aに対する推定が導き出される。
ダウンミックスの相互相関は、式（１０）によって与えられる。

ここで、ダウンミックス信号モデル（４）が与えられると、式（１１）が参照される。

ダウンミックスにおけるアンビエント成分が左右のダウンミックスチャンネルにおいて同じパワーを有すると更に仮定して、式（１２）を書くことができる。

式（１２）を式（１０）の最終行へ置換し、式（１３）を考慮し、式（１４）と（１５）が得られる。

図４の文脈において述べられたように、最小限の相関に対する参照曲線の生成は、再生セットアップにおいて２つ以上の音源を置くことによって、そして、この再生セットアップにおいてリスナーの頭部を特定の位置に置くことによって、推測することができる。そのとき、完全に独立な信号は、異なるスピーカによって放射される。２スピーカセットアップに対して、２つのチャンネルは、いかなるクロスミックス生成物もないケースにおいて、相関が０に等しいように完全に無相関でなければならない。しかしながら、これらのクロスミックス生成物は、人間の聴覚システムの左側から右側へのクロスカップリングによって起こり、他のクロスカップリングも部屋の残響等によって起こる。それ故、図４または図９ａ〜９ｄに示されたような結果として生じる参照曲線は、必ずしも０ではなく、このシナリオにおいて推測された参照信号が完全に独立であったにも拘らず、特に０から異なる値を有する。しかしながら、実際にはこれらの信号を必要としないことを理解することは重要である。参照曲線を計算するときに、２つ以上の信号間の完全独立を仮定することも差し支えない。しかしながら、この文脈において、例えば、完全には独立でないが、ある程度の予め知られた従属性または互いの間の従属の程度を有する信号を用いてまたは仮定して、他のシナリオに対して他の参照曲線を計算することができる点に注意すべきである。このような異なる参照曲線が計算されるとき、重み係数の解釈または提供は、完全な独立信号が仮定される参照曲線に関して異なる。

いくつかの態様が装置の文脈において記載されたが、これらの態様は、ブロックまたはデバイスが方法ステップまたは方法ステップの機能に対応する、対応する方法の記載をも表すことは明らかである。同様に、方法ステップの文脈において記載された態様は、対応する装置の対応するブロックまたはアイテムまたは機能の記載を表す。

本発明の分解された信号は、デジタル記憶媒体上に記憶することができ、または、無線伝送媒体のような伝送媒体またはインターネットのような有線伝送媒体上を伝送することができる。

特定の実施要求条件に依存して、本発明の実施形態は、ハードウェアにおいてまたはソフトウェアにおいて実施することができる。実施は、その上に格納された電子的に読取可能な制御信号を有し、それぞれの方法が実行されるように、プログラム可能なコンピュータシステムと協働する（または協働することができる）デジタル記憶媒体、例えばフロッピー（登録商標）ディスク、ＤＶＤ、ＣＤ、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭまたはフラッシュメモリを用いて実行することができる。

本発明によるいくつかの実施形態は、電子的に読取可能な制御信号を有し、本願明細書に記載された方法の１つが実行されるようにプログラム可能なコンピュータシステムと協働することができる固定のデータキャリアを備える。

一般に、本発明の実施形態は、コンピュータプログラムコードがコンピュータ上で動作するときに、本発明の方法の１つを実行するように動作するプログラムコードを有するコンピュータプログラム製品として実施することができる。プログラムコードは、例えば、機械読取可能なキャリア上に記憶することもできる。

他の実施形態は、本願明細書に記載された方法の１つを実行する機械読取可能なキャリアに記憶されたコンピュータプログラムを備える。

言い換えれば、本発明の方法の実施形態は、それ故に、コンピュータプログラムがコンピュータ上で動作するときに、本願明細書に記載された方法の１つを実行するプログラムコードを有するコンピュータプログラムである。

本発明の方法の更なる実施形態は、それ故に、本願明細書に記載された方法の１つを実行するコンピュータプログラムがその上に格納されたデータキャリア（またはデジタル記憶媒体またはコンピュータ読取可能媒体）である。

本発明の方法の更なる実施形態は、それ故に、本願明細書に記載された方法の１つを実行するコンピュータプログラムを表現するデータストリームまたは信号のシーケンスである。データストリームまたは信号のシーケンスは、例えば、データ通信接続、例えばインターネットを介して転送されるように構成することができる。

更なる実施形態は、処理手段、例えば本願明細書に記載された方法の１つを実行するように構成されたまたは適合されたコンピュータまたはプログラム可能なロジックデバイスを備える。

更なる実施形態は、本願明細書に記載された方法の１つを実行するコンピュータプログラムがその上にインストールされたコンピュータを備える。

いくつかの実施形態において、本願明細書に記載された方法のいくつかまたはすべての機能を実行するために、プログラム可能なロジックデバイス（例えば、フィールドプログラマブルゲートアレイ）を用いることができる。いくつかの実施形態において、フィールドプログラマブルゲートアレイは、本願明細書に記載された方法の１つを実行するために、マイクロプロセッサと協働することができる。一般に、方法は、好ましくはいかなるハードウェア装置によっても実行される。

上述の実施形態は、単に本発明の原理を示している。本願明細書に記載された構成および詳細の修正および変更は、他の当業者に対して自明であると理解される。それ故に、本発明は、特許クレームのスコープのみによって限定され、本願明細書の実施形態の記載および説明の方法によって表される特定の詳細に限定されないことが意図される。

Claims (15)

1. 複数のチャンネルを有する信号を分解する装置であって、
   解析結果（１８）を決定するように、参照曲線として予め計算された周波数依存類似度曲線を用いるように構成され、前記予め計算された周波数依存類似度曲線は、周波数レンジに関する２つの信号間の類似性の量的程度を得るために前記２つの信号に基づいて計算され、前記解析結果（１８）を得るために複数のチャンネルを有する信号に関連した解析信号の２つのチャンネルの類似度を解析する解析器（１６）、および
   分解された信号を得るために、前記解析結果を用いて、導き出される前記解析信号、または前記解析信号から導き出される信号、または前記解析信号が導き出される信号を処理する信号処理器（２０）、
   を含む、装置。
2. 参照曲線が予め記憶されるルックアップテーブルをさらに含む、請求項１に記載の装置。
3. 前記信号または前記解析信号あるいは複数のサブバンドを有する各周波数表現（周波数表示）の時間系列に区分される前記解析信号を変換する時間−周波数変換器（３２）さらに含み、
   前記解析器（１６）は、各々のサブバンドのために、前記周波数依存類似度曲線から、そして、サブバンドのための前記解析結果を決定するように前記サブバンドの前記２つのチャンネルと前記参照類似度との類似度を用いるように構成される、請求項１または請求項２に記載の装置。
4. 前記解析器（１６）は、前記解析信号の２つのチャンネルから導き出される類似度を参照曲線により決定された対応する類似度と比較することによって、そして、比較の結果に従って重み付けの値を割り当てるために、または、前記解析信号の２つのチャンネルから導き出される類似度と参照曲線から決定された対応する類似度の間の差を計算することによって、前記解析結果を計算するように構成される、請求項１〜請求項３のいずれか１項に記載の装置。
5. 前記解析器（１６）は、前記解析結果として、重み係数（Ｗ（ｍ，ｉ））を生成するように構成され、
   前記信号処理器（２０）は、前記重み係数を前記入力信号または前記入力信号から導き出された信号に適用し、前記重み係数で重み付けするように構成される、請求項１〜請求項４のいずれか１項に記載の装置。
6. 前記解析信号に入力信号をダウンミックスするダウン・ミキサー（１２）をさらに含み、前記入力信号は、前記解析信号よりも多くのチャンネルを備え、
   前記処理器（２０）は、前記解析信号と異なる前記入力信号から導き出される入力信号または信号を処理するように構成される、請求項１〜請求項５のいずれか１項に記載の装置。
7. 前記解析器（１６）は、事前に知られた依存度を有する信号によって発生された２つの信号間の周波数依存類似度を示す予め計算された参照曲線を用いるように構成される、請求項１〜請求項６のいずれか１項に記載の装置。
8. 前記解析器は、リスナー位置における２つ以上の信号間の周波数依存類似度を示す予め記憶された周波数依存類似度曲線を、前記信号が知られた類似度特徴を有し、前記信号が知られたスピーカ位置においてスピーカによって放射することができるという仮定下で用いるように構成される、請求項１〜請求項７のいずれか１項に記載の装置。
9. 前記参照信号の類似度特性が知られている、請求項７または請求項８に記載の装置。
10. 前記参照信号は、完全に無相関化されている、請求項７〜請求項９のいずれか１項に記載の装置。
11. 前記解析器（１６）は、人間の耳の周波数分解能によって決定されるサブバンドにおいて前記ダウンミックスチャンネルを解析するように構成される、請求項１〜請求項１０のいずれか１項に記載の装置。
12. 前記解析器（１６）は、前記ダウンミックスされた信号を解析し、ダイレクト・アンビエント分解を可能にする解析結果を生成するように構成され、
    前記信号処理器（２０）は、前記解析結果を用いて、前記ダイレクト部分または前記アンビエント部分を抽出するように構成される、請求項１〜請求項１１のいずれか１項に記載の装置。
13. 前記解析器（１６）は、前記参照曲線と異なる、より低いかまたはより高い境界を用いるように構成され、 前記解析器は、前記解析チャンネルの周波数依存類似度結果をより低いものと比較するように構成されるか、あるいは、より高い前記解析結果を決定するように構成される、請求項１〜請求項１２のいずれか１項に記載の装置。
14. 複数のチャンネルを有する信号を分解する方法であって、
    解析結果（１８）を決定するように、参照曲線として予め計算された周波数依存類似度曲線を用いるように構成され、前記予め計算された周波数依存類似度曲線は、周波数レンジ上の２つの信号間の類似性の量的程度を得るために、前記２つの信号に基づいて計算され、複数のチャンネルを有する信号に関連した解析信号の２つのチャンネルの類似度を解析するステップ（１６）、および
    分解された信号を得るために、前記解析結果を用いて、導き出される前記解析信号、または前記解析信号から導き出される信号、または前記解析信号が導き出される信号を処理するステップ（２０）、
    を含む、方法。
15. コンピュータプログラムは、コンピュータまたはプロセッサによって実行されるときに、請求項１４に記載の方法を実行する、コンピュータプログラム。

Images