JP7083405B2

JP7083405B2 - 周囲信号を複数の周囲信号チャネルに分配するオーディオ信号プロセッサ、システムおよび方法

Info

Publication number: JP7083405B2
Application number: JP2020562845A
Authority: JP
Inventors: ウーリー・クリスチャン; ヘルムス・オリバー; ハーヴンステイン・ジュリア; レオナルド・ティモシー; ラング・マティアス; ホプフェル・マルク; プロケイン・ピーター
Original assignee: フラウンホーファー－ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン
Priority date: 2018-01-29
Filing date: 2019-01-28
Publication date: 2022-06-10
Anticipated expiration: 2039-01-28
Also published as: EP3518562A1; EP4300999A3; MX2020007863A; CN111919455B; CN111919455A; BR112020015360A2; RU2020128498A3; US20200359155A1; RU2020128498A; AU2019213006B2; EP3747206B1; AU2019213006A1; JP2021512570A; EP4300999A2; WO2019145545A1; KR20200128671A; EP3747206C0; RU2768974C2; KR102547423B1; US11470438B2

Description

本発明による実施形態は、入力オーディオ信号に基づいて周囲信号チャネルを提供するためのオーディオ信号プロセッサに関する。

本発明による実施形態は、マルチチャネル入力オーディオ信号によって表現されるオーディオコンテンツをレンダリングするためのシステムに関する。

本発明による実施形態は、入力オーディオ信号に基づいて周囲信号チャネルを提供するための方法に関する。

本発明による実施形態は、マルチチャネル入力オーディオ信号によって表現されるオーディオコンテンツをレンダリングするための方法に関する。

本発明による実施形態は、コンピュータプログラムに関する。

本発明による実施形態は、一般に、複数の出力チャネルによる周囲信号抽出に関する。

オーディオ信号の処理とレンダリングは新しい技術分野である。特に、直接音と周囲音の両方を含むマルチチャネル信号を適切にレンダリングすることは困難な課題を提供している。

オーディオ信号は、複数の直接音と周囲（または拡散）音の混合であり得る。直接音信号は、音源、例えば楽器から発せられ、音源と聴取者との間の直接（最短）経路で聴取者の耳に到達する。聴取者は、空間音像内でのそれらの位置を特定し、音源が位置する方向を指すことができる。位置特定に関連する聴覚的手がかりは、両耳間レベル差、両耳間時間差、および両耳間コヒーレンスである。同一の両耳間レベル差と両耳間時間差を誘発する直接音波は、同じ方向から来るものとして知覚される。拡散音がない場合、左右の耳または他の多数のセンサーに到達する信号はコヒーレントである［１］。

対照的に、周囲音は拡散していると認識され、位置を特定できないため、聴取者は（「音に浸されている」）包み込みの印象を呼び起こす。間隔を空けた多数のセンサーを使用して周囲音場を取り込む場合、記録された信号は少なくとも部分的に非干渉性である。周囲音は、間隔を空けた多数の音源から構成される。一例は拍手、つまり複数の位置での多くの拍手の重ね合わせである。別の例は、残響、つまり境界または壁に反射した音の重ね合わせである。音波が部屋の壁に到達すると、その一部が反射され、部屋でのすべての反射の重ね合わせである残響が最も顕著な周囲音である。すべての反射音は、直接音源によって生成された励起信号から発生する、例えば残響スピーチは、配置可能な位置にある部屋のスピーカによって生成される。

音響のポストプロダクションと再生の様々な用途は、オーディオ信号の直接信号成分と周囲信号成分への分解、すなわち直接－周囲分解（ＤＡＤ）、または周囲（拡散）信号の抽出、すなわち周囲信号抽出（ＡＳＥ）を応用している。周囲信号抽出の目的は、すべての直接信号成分が減衰され、拡散信号成分のみが聞こえる周囲信号を算出することである。

これまで、周囲信号の抽出は、入力信号と同じ数またはそれ以下のチャネルを有する出力信号に制限されていた（例えば、参考文献［２］、［３］、［４］、［５］、［６］、［７］、［８］を参照されたい）。２チャネルのステレオ信号を処理すると、１チャネルまたは２チャネルを有する周囲信号が生成される。

サラウンドサウンド信号から周囲信号を抽出する方法は、［９］で提案されており、それはＮ＞２であるＮチャネルにより入力信号を処理する。本方法は、マルチチャネル入力信号のダウンミックスから各入力チャネルに適用されるスペクトル重みを算出し、それによってＮ個の信号により出力信号を生成する。

さらに、聴覚信号成分または直接信号成分をステレオ画像内でのそれらの位置に従ってのみ分離するための様々な方法が提案されており、例えば、［２］、［１０］、［１１］、［１２］である。

従来の解決策を考慮して、改善された聴覚印象を得ることを可能にする周囲信号を得るための概念を創造することが望まれている。

本発明による実施形態は、入力オーディオ信号に基づいて周囲信号チャネルを提供するためのオーディオ信号プロセッサを作成する。オーディオ信号プロセッサは、周囲信号チャネルを取得するように構成され、異なるオーディオコンテンツを含む取得された周囲信号チャネルの数は、入力オーディオ信号のチャネルの数よりも大きい。オーディオ信号プロセッサは、入力オーディオ信号内の音源の位置または方向に応じて、周囲信号成分が周囲信号チャネル間で分配されるように、周囲信号チャネルを取得するように構成される。

本発明によるこの実施形態は、入力オーディオ信号のチャネルの数よりも多い数の周囲信号チャネルを有することが望ましく、そのような場合に、周囲信号チャネルを提供するときの音源の位置または方向を考慮することが有利であるという発見に基づく。したがって、周囲信号のコンテンツは、入力オーディオ信号によって表現されるオーディオコンテンツに適合させることができる。例えば、周囲オーディオコンテンツは、異なる周囲信号チャネルに含めることができ、異なる周囲信号チャネルに含まれる周囲オーディオコンテンツは、入力オーディオ信号の解析に基づいて決定することができる。したがって、どの周囲信号チャネルにどの周囲オーディオコンテンツを含めるかについての決定は、異なる周囲オーディオコンテンツを励起する音源（例えば、直接音源）の位置または方向に応じて行うことができる。

したがって、最初に入力オーディオ信号の方向ベースの分解（またはアップミキシング）があり、次に直接／周囲分解がある実施形態があり得る。しかしながら、最初に直接／周囲分解があり、その後に、抽出された周囲信号成分の（例えば、周囲チャネル信号への）アップミキシングが行われる実施形態もある。また、組み合わされたアップミキシングと周囲信号抽出（または直接／周囲分解）があり得る実施形態もある。

好ましい実施形態では、オーディオ信号プロセッサは、それぞれの周囲信号成分を励起する直接音源の位置または方向に従って周囲信号成分が周囲信号チャネルに分配されるように、周囲信号チャネルを取得するように構成される。したがって、良好な聴覚印象を得ることができ、周囲信号チャネルが、所与の位置または所与の方向の直接音源のオーディオコンテンツに適合しない周囲オーディオコンテンツを含むことを回避することができる。換言すれば、周囲音を励起する直接音が到達しない位置または方向に関連付けられたオーディオチャネル内に周囲音がレンダリングされることを回避することができる。周囲音を均一に分配すると、不満足な聴覚印象が生じることがあり、そのような不満足な聴覚印象は、それぞれの周囲信号成分を励起する直接音源の位置または方向に応じて周囲信号成分を分配するという概念を使用することによって回避できることが分かった。

好ましい実施形態では、オーディオ信号プロセッサは、入力オーディオ信号の１つまたは複数のチャネルを複数のアップミックスされたチャネルに分配するように構成され、アップミックスされたチャネルの数は、入力オーディオ信号のチャネルの数より大きい。また、オーディオ信号プロセッサは、アップミックスされたチャネルから周囲信号チャネルを抽出するように構成される。したがって、直接信号成分と周囲信号成分の単純な結合アップミキシングが実行されるので、効率的な処理を得ることができる。周囲信号成分と直接信号成分との間の分離は、アップミキシング（入力オーディオ信号の１つまたは複数のチャネルの、複数のアップミックスされたチャネルへの分配）の後に実行される。その結果、適度な労力で、直接信号が周囲信号を励起するように同様の方向から周囲信号が発生することを実現することができる。

好ましい実施形態では、オーディオ信号プロセッサは、マルチチャネル周囲信号抽出を使用して、またはマルチチャネル直接信号／周囲信号分離を使用して、アップミックスされたチャネルから周囲信号チャネルを抽出するように構成される。したがって、周囲信号抽出または直接信号／周囲信号分離において、複数のチャネルの存在を利用することができる。言い換えると、アップミックスされたチャネル間の類似点および／または相違点を利用して周囲信号チャネルを抽出することが可能であり、これにより、（例えば、個別のチャネルに基づいて個別の周囲信号抽出と比較すると）周囲信号チャネルの抽出が容易になり、良好な結果がもたらされる。

好ましい実施形態では、オーディオ信号プロセッサは、アップミキシング係数を決定し、周囲信号抽出係数を決定するように構成される。また、オーディオ信号プロセッサは、アップミキシング係数および周囲信号抽出係数を使用して周囲信号チャネルを取得するように構成される。したがって、（例えば、アップミキシング係数および周囲信号抽出係数に基づいて単一の処理行列を導出することによって）単一の処理ステップで周囲信号チャネルを導出することが可能である。

本発明による実施形態（任意選択的に上記の特徴の１つまたは複数を含むことができる）は、入力オーディオ信号（例えば、マルチチャネル入力オーディオ信号であってもよい）に基づいて周囲信号チャネルを提供するためのオーディオ信号プロセッサを作成する。オーディオ信号プロセッサは、入力オーディオ信号に基づいて周囲信号を抽出するように構成される。

例えば、オーディオ信号プロセッサは、（中間）周囲信号を導出（「抽出」）するために、入力オーディオ信号に基づいて直接－周囲分離または直接－周囲分解を実行するように構成することができ、あるいはオーディオ信号プロセッサは、周囲信号を導出するために周囲信号抽出を実行するように構成することができる。例えば、直接－周囲分離または直接－周囲分解または周囲信号抽出を代替的に実行することができる。例えば、周囲信号はマルチチャネル信号であってもよく、周囲信号のチャネルの数は、例えば、入力オーディオ信号のチャネルの数と同一であってもよい。

さらに、信号プロセッサは、（抽出された）周囲信号を複数の周囲信号チャネルに分配する（または「アップミックスする」）ように構成され、（例えば、異なる信号コンテンツを有する周囲信号チャネルの）周囲信号チャネルの数は、入力オーディオ信号内の音源（例えば、直接音源）の位置または方向に応じて、入力オーディオ信号のチャネルの数よりも大きい（および／または、例えば、抽出された周囲信号のチャネルの数よりも大きい）。

言い換えると、オーディオ信号プロセッサは、抽出された周囲信号をより多くの数のチャネルにアップミックスする場合に、入力オーディオ信号内の音源（例えば、直接音源）の方向または位置を考慮するように構成することができる。

したがって、周囲信号は周囲信号チャネルに「均一に」分配されないが、周囲信号の基礎となる（またはそれを生成する、または励起する）音源の位置または方向が考慮される。

周囲信号が周囲信号チャネルに任意に分配されない（周囲信号チャネルの数は入力オーディオ信号のチャネル数よりも大きい）が、入力オーディオ信号内の音源の位置または方向に依存するという概念は、多くの状況でより好ましい聴覚印象を提供するということが分かった。例えば、周囲信号をすべての周囲信号チャネルに均一に分配すると、非常に不自然な、または混乱させる聴覚印象になる可能性がある。例えば、これは、直接音源が特定の到来方向に明確に割り当てられ、一方、前記音源のエコー（周囲信号である）がすべての周囲信号チャネルに分配される場合に当てはまることが分かった。

結論として、周囲信号チャネルが導出される入力オーディオ信号内の１つまたは複数の音源の位置または方向が、抽出された周囲信号の周囲信号チャネルへの分配において考慮される場合には、複数の周囲信号チャネルを含む周囲信号によって引き起こされる聴覚印象がしばしば改善されるが、それは、（例えば、入力オーディオ信号内の音源の位置または方向を考慮せずに、周囲信号の均一なまたは任意の分配と比較した場合）、（入力オーディオ信号内の音源の位置または方向に応じた）入力オーディオ信号内の周囲信号コンテンツの不均一な分配が現実をより良く反映するためであることが分かった。

好ましい実施形態では、オーディオ信号プロセッサは、（中間）周囲信号を導出するために、入力オーディオ信号に基づいて直接－周囲分離（例えば、オーディオ信号の直接音成分と周囲音成分への分解であり、これは直接－周囲分解とも呼ばれ得る）を実行するように構成される。このような技法を使用すると、入力オーディオ信号に基づいて周囲信号と直接信号の両方を取得することができ、通常、直接信号と周囲信号の両方がさらなる処理に必要になるため、これにより処理の効率が向上する。

好ましい実施形態では、オーディオ信号プロセッサは、（例えば、マルチチャネルの周囲信号であってもよい抽出された周囲信号の）周囲信号成分を、それぞれの周囲信号成分を励起する直接音源の位置または方向に従って周囲信号チャネル間で分配するように構成される（周囲信号チャネルの数は、例えば、入力オーディオ信号のチャネル数よりも大きくてもよい、および／または抽出された周囲信号のチャネル数よりも大きくてもよい）。したがって、周囲信号成分を励起する直接音源の位置または方向を考慮することができ、それによって、例えば、異なる位置にある異なる直接音源によって励起される異なる周囲信号成分を、周囲信号チャネル間で異なって分配することができる。例えば、所与の直接音源によって励起された周囲信号成分は、それぞれの直接音源の直接信号成分が主に分配される１つまたは複数の直接信号チャネルに関連付けられた１つまたは複数の周囲信号チャネルに主に分配され得る。したがって、異なる周囲信号チャネルへの周囲信号成分の分配は、それぞれの周囲信号成分を励起する直接信号成分の異なる直接信号チャネルへの分配に対応することができる。その結果、レンダリング環境では、周囲信号成分は、それぞれの周囲信号成分を励起する直接音源のように、同じ方向または同様の方向から発生していると認識され得る。このように、場合によっては不自然な聴覚印象を回避することができる。例えば、エコーを励起する直接音源と比較した場合、エコー信号が完全に異なる方向から到着することは、いくつかの望ましい合成聴覚環境に適合しないが、これを回避することができる。

好ましい実施形態では、周囲信号チャネルは、様々な方向に関連付けられる。例えば、周囲信号チャネルは、対応する直接信号チャネルと同じ方向に関連付けられてもよく、または対応する直接信号チャネルのような同様の方向に関連付けられてもよい。したがって、周囲信号成分を周囲信号チャネルに分配して、周囲信号成分が、それぞれの周囲信号成分を励起する直接音源の方向と相関する特定の方向から生じると知覚できるようにすることができる。

好ましい実施形態では、直接信号チャネルは、異なる方向に関連付けられ、周囲信号チャネルおよび直接信号チャネルは、（例えば、少なくとも方位角方向に関して、かつ少なくとも例えば、＋／－２０°または＋／－１０°の妥当な許容誤差内で）同じ方向のセットに関連付けられる。さらに、オーディオ信号プロセッサは、それぞれの直接音成分の位置または方向に従って、直接信号成分を直接信号チャネル間で分配する（または、同等に、直接信号成分を直接信号チャネルにパンする）ように構成される。さらに、オーディオ信号プロセッサは、直接信号成分が分配されるのと同じように（例えば、同じパンニング係数またはスペクトル重みを使用して）、それぞれの周囲信号成分を励起する直接音源の位置または方向に従って（例えば、抽出された周囲信号の）周囲信号成分を周囲信号チャネルに分配するように構成される（周囲信号チャネルは、好ましくは直接信号チャネル、すなわち独立したチャネルとは異なる）。したがって、直接信号成分の（空間的）分配を考慮せずに周囲信号を任意に分配することが不自然に聞こえるいくつかの状況では、良好な聴覚印象を得ることができる。

好ましい実施形態では、オーディオ信号プロセッサは、周囲信号成分の基礎となる音源信号（例えば、それぞれの周囲信号成分を生成した直接音源信号）の位置に従って周囲信号が周囲信号成分に分離されるように、周囲信号チャネルを提供するように構成される。したがって、異なる直接音源から発生すると予想される異なる周囲信号成分を分離することが可能である。これにより、様々な音源によって励起された直接音信号と周囲信号の個別の処理（例えば、操作、スケーリング、遅延、フィルタリングなど）が可能になる。

好ましい実施形態では、オーディオ信号プロセッサは、（処理が時間周波数領域で行われるように）周囲信号を周囲信号チャネルに分配（またはアップミックスまたはパン）するために、スペクトル重み（例えば、時間に依存するおよび周波数に依存するスペクトル重み）を適用するように構成される。スペクトル重みを使用する時間周波数領域でのこのような処理は、複数の音源がある場合の処理に非常に適していることが分かっている。この概念を使用して、位置または到来方向を各スペクトルビンに関連付けることができ、複数の周囲信号チャネルへの周囲信号の分配も、スペクトルビンごとに行うことができる。言い換えれば、各スペクトルビンについて、周囲信号が周囲信号チャネルにどのように分配されるべきかを決定することができる。また、時間に依存するおよび周波数に依存するスペクトル重みの決定は、入力信号内の音源の位置または方向の決定に対応することができる。したがって、入力オーディオ信号内の音源の位置または方向に応じて、周囲信号が複数の周囲信号チャネルに分配されることを容易に実現することができる。

好ましい実施形態では、オーディオ信号プロセッサは、複数の周囲信号チャネルに周囲信号をアップミックス（またはパン）するために、スペクトル重みを適用するように構成され、スペクトル重みは、それらの位置または方向に従って直接音源を分離するために計算される。あるいは、オーディオ信号プロセッサは、周囲信号を複数の周囲信号チャネルにアップミックスするために、スペクトル重みの遅延バージョンを適用するように構成され、スペクトル重みの遅延バージョンは、直接音源をそれらの位置または方向に従って分離するために計算される。これらのスペクトル重みを適用することにより、計算の複雑さを抑えて良好な聴覚印象を達成できることが分かっており、これらのスペクトル重みは、複数の周囲信号チャネルへの周囲信号の分配（またはアップミックスまたはパンニング）のために、それらの位置または方向、またはそれらの遅延バージョンに従って直接音源を分離するために計算される。スペクトル重みの遅延バージョンの使用は、例えば、直接信号とエコーとの間の時間シフトを考慮するのに適切であり得る。

好ましい実施形態では、オーディオ信号プロセッサは、スペクトル重みが時間に依存し、かつ周波数に依存するように、スペクトル重みを導出するように構成される。したがって、直接音源の時間変化信号および直接音源の可能な動きを考慮することができる。また、直接音源の強度を変えることも考えられる。したがって、周囲信号の周囲信号チャネルへの分配は静的ではなく、複数の（アップミックスされた）周囲信号チャネルにおける周囲信号の相対的な重み付けは動的に変化する。

好ましい実施形態では、オーディオ信号プロセッサは、入力オーディオ信号の空間音像における音源の位置に応じてスペクトル重みを導出するように構成される。したがって、スペクトル重みは、周囲信号を励起する直接音源の位置を十分に反映し、したがって、特定の音源によって励起された周囲信号成分を、（入力オーディオ信号の空間音像における）直接音源の方向に対応する適切な周囲信号チャネルに関連付けることが容易に可能である。

好ましい実施形態では、入力オーディオ信号は少なくとも２つの入力チャネル信号を含み、オーディオ信号プロセッサは、少なくとも２つの入力チャネル信号間の差に応じてスペクトル重みを導出するように構成される。入力チャネル信号間の差（例えば、位相差および／または振幅差）は、直接音源の方向に関する情報を得るために十分に評価できることが分かっており、スペクトル重みは、直接音源の方向に少なくともある程度対応することが好ましい。

好ましい実施形態では、オーディオ信号プロセッサは、（例えば、周囲信号チャネルの）他のチャネルと比較した場合に、与えられた位置または方向（例えば、位置ｐから）に由来するスペクトル成分がそれぞれの位置または方向に関連する（例えば、周囲信号チャネルの）チャネル内でより強く重み付けされるように、（例えば、入力信号または直接信号における直接音成分の）スペクトル成分が発生する位置または方向に応じてスペクトル重みを決定するように構成される。言い換えれば、スペクトル重みは、周囲信号成分を励起する直接音成分が発生する方向に応じて、周囲信号成分を区別する（または分離する）ように決定される。したがって、例えば、異なる音源から生じる周囲信号が、異なる周囲信号チャネルに分配され、異なる周囲信号チャネルが、異なる周囲信号成分（例えば、異なるスペクトルビン）の異なる重み付けを通常有するように達成され得る。

好ましい実施形態では、オーディオ信号プロセッサは、スペクトル重みが複数の出力チャネル信号における（例えば、入力信号の）入力チャネル信号のスペクトル成分の重み付けを記述するようにスペクトル重みを決定するように構成される。例えば、スペクトル重みは、所与の入力チャネル信号が強い重み付けで第１の出力チャネル信号に含まれ、同じ入力チャネル信号がより小さい重み付けで第２の出力チャネル信号に含まれることを記述することができる。重みは、異なるスペクトル成分に対して個別に決定され得る。入力信号は、例えば、マルチチャネル信号であり得るので、スペクトル重みは、複数の出力チャネル信号における複数の入力チャネル信号の重み付けを記述することができ、通常、入力チャネル信号よりも多くの出力チャネル信号が存在する（アップミキシング）。また、特定の入力チャネル信号からの信号が特定の出力チャネル信号に引き継がれないという可能性がある。例えば、レンダリング環境の左側に関連付けられている入力チャネル信号がレンダリング環境の右側に関連付けられている出力チャネル信号に含まれていなかったり、その逆の場合もある。

好ましい実施形態では、オーディオ信号プロセッサは、直接信号成分を直接信号チャネルに分配するために、および周囲信号の周囲信号成分を周囲信号チャネルに分配するために、同じスペクトル重みのセットを適用するように構成される（周囲信号成分を分配するときに、時間遅延を考慮に入れることができる）。したがって、周囲信号成分は、直接信号成分が直接信号チャネルに割り当てられるのと同じ方法で周囲信号チャネルに分配され得る。その結果、場合によっては、周囲信号成分はすべて直接信号成分に適合し、特に良好な聴覚印象が得られる。

好ましい実施形態では、入力オーディオ信号は少なくとも２つのチャネルを含み、および／または周囲信号は少なくとも２つのチャネルを含む。本明細書で説明される概念は、２つ以上のチャネルを有する入力オーディオ信号に特によく適しており、それは、このような入力オーディオ信号が、信号成分の場所（または方向）を表現できるからであることに留意されたい。

本発明による実施形態は、マルチチャネル入力オーディオ信号によって表現されるオーディオコンテンツをレンダリングするためのシステムを作成する。システムは、上述のようなオーディオ信号プロセッサを含み、オーディオ信号プロセッサは、３つ以上の直接信号チャネルおよび３つ以上の周囲信号チャネルを提供するように構成される。さらに、システムは、一組の直接信号スピーカと一組の周囲信号スピーカとを含むスピーカ配置を含む。直接信号チャネルの各々は、少なくとも１つの直接信号スピーカに関連付けられ、周囲信号チャネルの各々は、少なくとも１つの周囲信号スピーカに関連付けられる。したがって、直接信号および周囲信号は、例えば、異なるスピーカを使用してレンダリングされてもよく、例えば、直接信号スピーカと対応する周囲信号スピーカとの間に空間的相関があってもよい。したがって、直接信号（または直接信号成分）および周囲信号（または周囲信号成分）の両方を、入力オーディオ信号のチャネルの数よりも多い数のスピーカにアップミックスすることができる。周囲信号または周囲信号成分は、複数のスピーカによって不均一にレンダリングされ、音源が配置されている方向に従って異なる周囲信号スピーカに分配される。その結果、良好な聴覚印象を得ることができる。

好ましい実施形態では、各周囲信号スピーカは、１つの直接信号スピーカと関連付けられる。したがって、直接信号成分が直接信号スピーカに分配されるのと同じ方法で、周囲信号スピーカに周囲信号成分を分配することにより、良好な聴覚印象を実現することができる。

好ましい実施形態では、周囲信号スピーカの位置は、直接信号スピーカの位置に対して高くなっている。このような構成により、良好な聴覚印象を実現できることが分かっている。また、この構成は、例えば車両で使用することができ、そのような車両で良好な聴覚印象を提供することができる。

本発明による実施形態は、入力オーディオ信号（好ましくは、マルチチャネル入力オーディオ信号であってもよい）に基づいて、周囲信号チャネルを提供するための方法を作成する。本方法は、入力オーディオ信号に基づいて周囲信号を抽出するステップを含む（周囲信号を導出するために、すなわち、いわゆる「周囲信号抽出」のために、例えば、入力オーディオ信号に基づいて直接－周囲分離または直接－周囲合成を実行するステップを含むことができる）。

さらに、本方法は、周囲信号を複数の周囲信号チャネルに分配する（例えば、アップミキシングする）ステップを含み、周囲信号チャネル（これは、例えば、関連する異なる信号コンテンツを有してもよい）の数は、入力オーディオ信号内の音源の位置または方向に応じて、入力オーディオ信号のチャネルの数よりも大きい（例えば、抽出された周囲信号のチャネルの数よりも大きい）。本方法は、上記の装置と同じ考察に基づいている。また、本方法は、対応する装置に関して本明細書で説明されている特徴、機能、および詳細のいずれかによって補足できることに留意されたい。

別の実施形態は、マルチチャネル入力オーディオ信号によって表現されるオーディオコンテンツをレンダリングする方法を含む。本方法は、上述のように、入力オーディオ信号に基づいて周囲信号チャネルを提供するステップを含む。この場合、３つ以上の周囲信号チャネルが提供される。さらに、本方法は、３つ以上の直接信号チャネルを提供するステップも含む。本方法は、周囲信号チャネルおよび直接信号チャネルを、一連の直接信号スピーカおよび一連の周囲信号スピーカを含むスピーカ配置に供給するステップも含み、直接信号チャネルの各々は、少なくとも１つの直接信号スピーカに供給され、周囲信号チャネルの各々は、少なくとも１つの周囲信号スピーカに供給される。本方法は、上記のシステムと同じ考察に基づいている。また、本方法は、上述のシステムに関して本明細書で説明されている任意の特徴、機能、および詳細によって補足できることに留意されたい。

本発明による別の実施形態は、コンピュータプログラムがコンピュータ上で実行されるときに、前述の方法の１つを実行するためのコンピュータプログラムを作成する。

本発明の一実施形態による、オーディオ信号プロセッサのブロック概略図である。本発明の一実施形態による、オーディオ信号プロセッサのブロック概略図である。本発明の一実施形態による、システムのブロック概略図である。本発明の一実施形態による、オーディオ信号プロセッサにおける信号フローの概略図である。本発明の一実施形態による、スペクトル重みの導出の概略図である。本発明の一実施形態による、周囲信号チャネルを提供するための方法のフローチャートを示す図である。本発明の一実施形態による、オーディオコンテンツをレンダリングするための方法のフローチャートを示す図である。２チャネルステレオフォニーのための２つのスピーカ（左側および右側に、それぞれ「Ｌ」、「Ｒ」）を備えた標準的なスピーカ設定の概略図である。４つのスピーカ（前左「ｆＬ」、前右「ｆＲ」、後左「ｒＬ」、後右「ｒＲ」）を備えた４チャネルスピーカ設定の概略図である。「ｈ」とマークされた追加の高さスピーカを備えた４チャネルスピーカ設定の概略図である。

１．図１ａおよび図１ｂによるオーディオ信号プロセッサ
１ａ）図１ａによるオーディオ信号プロセッサ。

図１ａは、本発明の実施形態による、オーディオ信号プロセッサのブロック概略図を示す。図１ａによるオーディオ信号プロセッサは、全体として符号１００で示されている。

オーディオ信号プロセッサ１００は、例えば、マルチチャネル入力オーディオ信号であってもよい、入力オーディオ信号１１０を受信する。入力オーディオ信号１１０は、例えば、Ｎ個のチャネルを含むことができる。さらに、オーディオ信号プロセッサ１００は、入力オーディオ信号１１０に基づいて、周囲信号チャネル１１２ａ、１１２ｂ、１１２ｃを提供する。

オーディオ信号プロセッサ１００は、入力オーディオ信号１１０に基づいて（中間周囲信号とみなすこともできる）周囲信号１３０を抽出するように構成される。この目的のために、オーディオ信号プロセッサは、例えば、周囲信号抽出１２０を含むことができる。例えば、周囲信号抽出１２０は、周囲信号１３０を導出するために、入力オーディオ信号１１０に基づいて直接－周囲分離または直接周囲分解を実行することができる。例えば、周囲信号抽出１２０は、直接信号（例えば、推定または抽出された直接信号）も提供することができ、それは

で表すことができ、図１ａには示されていない。あるいは、周囲信号抽出は、直接信号を提供することなく、入力オーディオ信号１２０から周囲信号１３０のみを抽出してもよい。例えば、周囲信号抽出１２０は、「ブラインド」直接－周囲分離または直接－周囲分解または周囲信号抽出を実行することができる。しかしながら、代替として、周囲信号抽出１２０は、直接周囲分離または直接周囲分解または周囲信号抽出をサポートするパラメータを受け取ることができる。

さらに、オーディオ信号プロセッサ１００は、（中間周囲信号とみなすことができる）周囲信号１３０を複数の周囲信号チャネル１１２ａ、１１２ｂ、１１２ｃに分配する（例えば、アップミックスする）ように構成され、周囲信号チャネル１１２ａ、１１２ｂ、１１２ｃの数は、入力オーディオ信号１１０のチャネルの数よりも大きい（そして、通常、中間周囲信号１３０のチャネルの数よりも多い）。周囲信号１３０を複数の周囲信号チャネル１１２ａ、１１２ｂ、１１２ｃに分配する機能は、例えば、（中間）周囲信号１３０を受信することができ、かつ入力オーディオ信号１１０、または、例えば、入力オーディオ信号内の音源の位置または方向に関する情報も受信することができる、周囲信号分配１４０によって実行することができることに留意されたい。また、オーディオ信号プロセッサは、入力オーディオ信号１１０内の音源の位置または方向に応じて、周囲信号１３０を複数の周囲信号チャネルに分配するように構成されることに留意されたい。したがって、周囲信号チャネル１１２ａ、１１２ｂ、１１２ｃは、例えば、異なる信号コンテンツを含むことができ、複数の周囲信号チャネル１１２ａ、１１２ｂ、１１２ｃへの（中間）周囲信号１３０の分配も時間に依存し、および／または周波数に依存し、入力オーディオ信号の基礎となる音源の様々な位置および／または様々な内容を反映することができる。

結論として、オーディオ信号プロセッサ１１０は、周囲信号抽出を使用して（中間）周囲信号１３０を抽出し、次に（中間）周囲信号１３０を周囲信号チャネル１１２ａ、１１２ｂ、１１２ｃに分配することができ、周囲信号チャネルの数は、入力オーディオ信号のチャネルの数よりも大きい。（中間）周囲信号１３０の周囲信号チャネル１１２ａ、１１２ｂ、１１２ｃへの分配は、静的に定義されなくてもよいが、入力オーディオ信号内の音源の時間変化する位置または方向に適応することができる。また、周囲信号１３０の信号成分は、分配が周囲信号を励起する直接音源の位置または方向に対応するように、周囲信号チャネル１１２ａ、１１２ｂ、１１２ｃにわたって分配されてもよい。

したがって、異なる周囲信号チャネル１１２ａ、１１２ｂ、１１２ｃは、例えば、異なる周囲信号成分を含むことができ、周囲信号チャネルの１つは、主に、第１の直接音源に由来する（またはそれによって励起される）周囲信号成分を含むことができ、別の周囲信号チャネルは、主に、別の直接音源から生じる（または別の直接音源によって励起される）周囲信号成分を含むことができる。

結論として、図１ａによるオーディオ信号プロセッサ１００は、例えば、周囲信号成分が空間的に分配され得るように、異なる直接音源から生じる周囲信号成分を異なる周囲信号チャネルに分配することができる。

これにより、状況によって聴覚印象が改善され、直接音の発生元の方向に「絶対に適合しない」方向に関連付けられている周囲信号チャネルを介して、周囲信号成分がレンダリングされるのを回避することができる。

さらに、図１ａによるオーディオ信号プロセッサは、個々におよび組み合わせての両方で、本明細書に記載された任意の特徴、機能性および詳細によって補足され得ることに留意されたい。

１ｂ）図１ｂによるオーディオ信号プロセッサ
図１ｂは、本発明の実施形態による、オーディオ信号プロセッサのブロック概略図を示す。図１ｂによるオーディオ信号プロセッサは、全体として１５０で示されている。

オーディオ信号プロセッサ１５０は、例えば、マルチチャネル入力オーディオ信号であってもよい、入力オーディオ信号１６０を受信する。入力オーディオ信号１６０は、例えば、Ｎ個のチャネルを含むことができる。さらに、オーディオ信号プロセッサ１５０は、入力オーディオ信号１６０に基づいて、周囲信号チャネル１６２ａ、１６２ｂ、１６２ｃを提供する。

オーディオ信号プロセッサ１５０は、入力オーディオ信号内の音源の位置または方向に応じて、周囲信号成分が周囲信号チャネル間で分配されるように、周囲信号チャネルを提供するように構成される。

このオーディオ信号プロセッサは、周囲信号チャネルが直接信号コンテンツに直接適応するという利点をもたらし、これは、直接信号チャネルに含めることができる。さらなる詳細については、「発明の概要」の項の上記の説明、および他の実施形態に関する説明を参照されたい。

さらに、信号プロセッサ１５０は、本明細書で説明される任意の特徴、機能、および詳細によって任意選択的に補足され得ることに留意されたい。

２）図２によるシステム
図２は、本発明の一実施形態による、システムのブロック概略図を示す。システムは、全体として符号２００で示されている。システム２００は、入力オーディオ信号１１０に対応することができるマルチチャネル入力オーディオ信号２１０を受信するように構成される。さらに、システム２００は、例えば、図１ａまたは図１ｂを参照して説明されるようなオーディオ信号プロセッサ１００の機能を含むことができるオーディオ信号プロセッサ２５０を含む。しかしながら、オーディオ信号プロセッサ２５０は、いくつかの実施形態では、増大した機能を有することができることに留意されたい。

さらに、システムはまた、例えば、一組の直接信号スピーカ２６２ａ、２６２ｂ、２６２ｃおよび一組の周囲信号スピーカ２６４ａ、２６４ｂ、２６４ｃを含むことができるスピーカ配置２６０も含む。例えば、オーディオ信号プロセッサは、複数の直接信号チャネル２５２ａ、２５２ｂ、２５２ｃを直接信号スピーカ２６２ａ、２６２ｂ、２６２ｃに提供することができ、オーディオ信号プロセッサ２５０は、周囲信号チャネル２５４ａ、２５４ｂ、２５４ｃを周囲信号スピーカ２６４ａ、２６４ｂ、２６４ｃに提供することができる。例えば、周囲信号チャネル２５４ａ、２５４ｂ、２５４ｃは、周囲信号チャネル１１２ａ、１１２ｂ、１１２ｃに対応することができる。

したがって、一般的に言えば、オーディオ信号プロセッサ２５０は、３つ以上の直接信号チャネル２５２ａ、２５２ｂ、２５２ｃおよび３つ以上の周囲信号チャネル２５４ａ、２５４ｂ、２５４ｃを提供すると言うことができる。直接信号チャネル２５２ａ、２５２ｂ、２５２ｃの各々は、直接信号スピーカ２６２ａ、２６２ｂ、２６２ｃのうちの少なくとも１つに関連付けられる。また、周囲信号チャネル２５４ａ、２５４ｂ、２５４ｃのそれぞれは、周囲信号スピーカ２６４ａ、２６４ｂ、２６４ｃのうちの少なくとも１つと関連付けられる。

加えて、例えば、直接信号スピーカと周囲信号スピーカとの間に関連（例えば、ペアをなす関連）があってもよい。しかしながら、代わりに、直接信号スピーカのサブセットと周囲信号スピーカとの間に関連があってもよい。例えば、周囲信号スピーカよりも直接信号スピーカが多くてもよい（例えば、６つの直接信号スピーカと４つの周囲信号スピーカ）。したがって、直接信号スピーカのうちの一部のみが関連する周囲信号スピーカを有してもよく、他のいくつかの直接信号スピーカは関連する周囲信号スピーカを有さない。例えば、周囲信号スピーカ２６４ａは直接信号スピーカ２６２ａと関連付けることができ、周囲信号スピーカ２６４ｂは直接信号スピーカ２６２ｂと関連付けることができ、周囲信号スピーカ２６４ｃは直接信号スピーカ２６２ｃと関連付けることができる。例えば、関連付けられたスピーカは、等しいまたは類似した方位角位置に配置することができる（例えば、聴取者の位置から見た場合に、２０°以下または１０°以下の違いがあってもよい）。しかしながら、関連するスピーカ（例えば、直接信号スピーカおよびその関連する周囲信号スピーカは、異なる高さを含んでもよい。

以下では、オーディオ信号プロセッサ２５０に関するいくつかの詳細が説明される。オーディオ信号プロセッサ２５０は、例えば、周囲信号抽出１２０に対応することができる直接－周囲分解２２０を含む。直接－周囲分解２２０は、例えば、入力オーディオ信号２１０を受信し、ブラインド（または、代替的に、ガイドされた）直接－周囲分解を実行することができ、（ガイドされた直接－周囲分解は、例えば、異なる周波数帯域またはサブバンドの直接成分と周囲成分に対応するエネルギーを記述するオーディオエンコーダーからパラメータを受け取って使用する）、これにより、（中間）直接信号（

で示すことができる）および（中間）周囲信号２３０を提供することができ、（中間）周囲信号２３０は、例えば、（中間）周囲信号１３０に対応することができ、例えば、

で示すことができる。直接信号２２６は、例えば、直接信号分配２４６に入力することができ、それは（中間の）直接信号２２６（例えば、２つのチャネルを含むことができる）を直接信号チャネル２５２ａ、２５２ｂ、２５２ｃに分配する。例えば、直接信号分配２４６は、アップミキシングを実行することができる。また、直接信号分配２４６は、例えば、直接－周囲分解２２６からの（中間）直接信号２２６をアップミックスして直接信号チャネル２５２ａ、２５２ｂ、２５２ｃを取得するときに、直接信号源の位置（または方向）を考慮することができる。直接信号分配２４６は、例えば、入力オーディオ信号２１０から、例えば、マルチチャネル入力オーディオ信号２１０の異なるチャネル間の差から、音源の位置または方向についての情報を導き出すことができる。

例えば、周囲信号分配１４０に対応することができる周囲信号分配２４０は、（中間）周囲信号２３０を周囲信号チャネル２５４ａ、２５４ｂ、２５４ｃに分配する。（中間）周囲信号２３０のチャネルの数は、通常、周囲信号チャネル２５４ａ、２５４ｂ、２５４ｃの数よりも少ないので、周囲信号分配２４０は、アップミキシングを実行することもできる。

周囲信号分配２４０はまた、アップミキシング機能を実行するときに、入力オーディオ信号２１０内の音源の位置または方向を考慮することができ、（周囲信号チャネル２５４ａ、２５４ｂ、２５４ｃは通常、様々なレンダリング位置に関連付けられているので）周囲信号の成分も空間的に分配される。

さらに、直接信号分配２４６および周囲信号分配２４０は、例えば、協調して動作することができることに留意されたい。信号成分の分配（例えば、直接信号および周囲信号の時間周波数領域表現の時間周波数ビンまたはブロックの分配）は、直接信号分配２４６によっておよび周囲信号分配２４０によって同様に分配され得る（直接信号成分に対する周囲信号成分の遅延を適切に考慮するために、周囲信号分配の動作に時間シフトがあり得る）。言い換えると、直接信号分配２４６による時間周波数ビンまたはブロックのスケーリング２４６（直接信号分配２４６が直接信号の時間－周波数領域表現で動作する場合に実行され得る）は、周囲信号２３０から周囲信号チャネル２５４ａ、２５４ｂ、２５４ｃを導出するために周囲信号分配２４６によって適用される対応する時間－周波数ビンまたはブロックのスケーリングと同一であり得る。このオプション機能の詳細については、以下で説明する。

結論として、図２によるシステム２００では、（中間）直接信号と（中間）周囲信号（どちらもマルチチャネル中間信号であり得る）との間に分離がある。その結果、（中間）直接信号および（中間）周囲信号は、それぞれの直接信号チャネルおよび周囲信号チャネルを得るために分配（アップミックス）される。直接信号チャネルおよび周囲信号チャネルは空間位置に関連付けることができるので、アップミキシングは、直接信号成分および周囲信号成分の空間分布に対応することができる。また、（中間）直接信号と（中間）周囲信号のアップミキシングを調整することができるので、対応する信号成分（例えば、それらの周波数に関して対応し、かつそれらの時間に関して対応する－おそらく周囲信号成分と直接信号成分との間の時間シフトを考慮して）を同じ方法で（例えば、同じアップミックススケーリングで）分配することができる。したがって、良好な聴覚印象を得ることができ、周囲信号が適切な位置から発信されていると知覚されることを回避することができる。

さらに、システム２００またはそのオーディオ信号プロセッサ２５０は、本明細書で説明される特徴および機能および詳細のいずれかによって、個別にまたは組み合わせて補足することができることに留意されたい。さらに、オーディオ信号プロセッサ２５０に関して説明した機能は、オプションの拡張としてオーディオ信号プロセッサ１００に組み込まれてもよいことに留意されたい。

３）図３および図４による信号処理
以下では、信号処理について図３および図４を参照して説明するが、それは、例えば、図１ａのオーディオ信号プロセッサ１００において、または図１ｂによるオーディオ信号プロセッサにおいて、または図２によるオーディオ信号プロセッサ２５０において実施され得る。

しかし、以下で説明する特徴、機能、および詳細は任意選択であるとみなすべきであることに留意されたい。さらに、以下で説明する特徴、機能、および詳細は、個別に、または組み合わせて、オーディオ信号プロセッサ１００、２５０に導入できることに留意されたい。

以下では、最初に図３を参照して全体的な信号の流れについて説明する。続いて、図４に示す例を参照して、スペクトル重み計算の詳細について説明する。

ここで図３の信号フローを参照すると、Ｎ個のチャネルを有する入力オーディオ信号３１０があり、Ｎは通常２以上であると仮定されていることに留意されたい。入力オーディオ信号は、入力オーディオ信号の時間領域表現を示すｘ（ｔ）、あるいは入力オーディオ信号の周波数領域表現またはスペクトル領域表現または時間周波数領域表現を示すＸ（ｍ，ｋ）として表現することもできる。例えば、ｍは時間インデックスであり、ｋは周波数ビン（またはサブバンド）インデックスである。

さらに、入力オーディオ信号が時間領域表現である場合、任意選択的に時間領域からスペクトル領域への変換があり得ることに留意されたい。また、処理は、好ましくは、スペクトル領域で（すなわち、信号Ｘ（ｍ，ｋ）に基づいて）実行されることに留意されたい。

また、入力オーディオ信号３１０は、入力オーディオ信号１１０および入力オーディオ信号２１０に対応できることに留意されたい。

さらに、入力オーディオ信号３１０に基づいて実行される直接／周囲分解３２０がある。必須ではないが、好ましくは、直接／周囲分解３２０は、入力オーディオ信号のスペクトル領域表現Ｘ（ｍ，ｋ）に基づいて実行される。また、直接／周囲分解は、例えば、周囲信号抽出１２０および直接／周囲分解２２０に対応することができる。

さらに、当業者には、直接／周囲分解２２０の様々な実施態様が公知であることに留意されたい。例えば、ＰＣＴ／ＥＰ２０１３／０７２１７０に記載されている周囲信号分離が参照される。しかし、当業者に公知の直接／周囲分解の概念のいずれもここで使用できることに留意されたい。

したがって、直接／周囲分解は、（入力オーディオ信号３１０のように）通常はＮ個のチャネルを含む（中間）直接信号を提供する。（中間）直接信号は符号３２２で示され、

で示すこともできる。（中間）直接信号は、例えば、（中間）直接信号２２６に対応することができる。

さらに、直接／周囲分解３２０はまた、（中間）周囲信号３２４も提供し、これは、例えば、（入力オーディオ信号３１０のように）Ｎ個のチャネルも含むことができる。（中間）周囲信号は、

で示すこともできる。

直接／周囲分解３２０は、完全な直接／周囲分解または直接／周囲分離を必ずしも提供しないことに留意されたい。言い換えると、（中間）直接信号３２０は元の直接信号を完全に表現する必要はなく、（中間）周囲信号は元の周囲信号を完全に表現する必要はない。しかし、（中間）直接信号

と（中間）周囲信号

は、元の直接信号と元の周囲信号の推定値とみなすべきであり、推定の質は、直接／周囲分解３２０に使用されるアルゴリズムの質（および／または複雑さ）に依存する。しかし、当業者に知られているように、直接信号成分と周囲信号成分との間の合理的な分離は、文献から知られているアルゴリズムによって達成することができる。

図３に示す信号処理３００はまた、スペクトル重み計算３３０を含む。スペクトル重み計算３３０は、例えば、入力オーディオ信号３１０および／または（中間）直接信号３２２を受け取ることができる。直接信号のアップミキシングと、聴覚シーン内の信号源の（推定）位置または方向に応じて周囲信号のアップミキシング用のスペクトル重み３３２を提供することが、スペクトル重み計算３３０の目的である。スペクトル重み計算は、例えば、入力オーディオ信号３１０の解析に基づいてこれらのスペクトル重みを決定することができる。一般的に言えば、入力オーディオ信号３１０の解析により、スペクトル重み計算３３０は、特定のスペクトルビン内の音が発生する位置または方向を推定（またはスペクトル重みの直接導出）することができる。例えば、スペクトル重み計算３３０は、入力オーディオ信号のチャネル（例えば、左チャネルおよび右チャネル）のスペクトルビン（または複数のスペクトルビン）の振幅および／または位相を比較（または、一般的に言えば、評価）することができる。そのような比較（または評価）に基づいて、考慮されているスペクトルビンのスペクトル成分がどの位置または方向から生じているかについての（明示的または暗黙的な）情報を導き出すことができる。したがって、特定のスペクトルビンの音がどの位置または方向から発生しているかの推定に基づいて、スペクトル成分を（アップミックスされた）オーディオチャネル信号のどの１つまたは複数のチャネルにアップミックスするべきか（およびどの強度またはスケーリングを使用するか）を結論づけることができる。言い換えると、スペクトル重みの組み合わせ３３０によって提供されるスペクトル重み３３２は、例えば、（中間）直接信号３２２の各チャネルについて、直接信号のアップミキシング３４０で使用される重みを定義することができる。

言い換えれば、直接信号のアップミキシング３４０は、（中間）直接信号３２２およびスペクトル重み３３２を受信し、その結果、Ｑ＞ＮであるＱ個のチャネルを含むことができる直接オーディオ信号３４２を導出することができる。さらに、アップミックスされた直接オーディオ信号３４２のチャネルは、例えば、直接信号チャネル２５２ａ、２５２ｂ、２５２ｃに対応することができる。例えば、スペクトル重み計算３３０によって提供されるスペクトル重み３３２は、アップミックスされた直接オーディオ信号３４２のＱ個のチャネルの計算における（中間）直接信号３２２のＮ個のチャネルに関連する重みを定義するアップミックス行列Ｇ_ｐを定義することができる。スペクトル重み、および結果としてアップミキシング３４０によって使用されるアップミックス行列Ｇ_ｐは、例えば、スペクトルビンごとに（またはスペクトルビンの異なるブロック間で）異なっていてもよい。

同様に、スペクトル重み計算３３０によって提供されるスペクトル重み３３２はまた、（中間）周囲信号３２４のアップミキシング３５０において使用されてもよい。アップミキシング３５０は、Ｎ個のチャネル３２４を含むことができるスペクトル重み３３２および（中間）周囲信号を受け取ることができ、それに基づいて、Ｑ＞ＮであるＱ個のチャネルを含むことができるアップミックスされた周囲信号３５２を提供する。例えば、アップミックスされた周囲オーディオ信号３５２のＱ個のチャネルは、例えば、周囲信号チャネル２５４ａ、２５４ｂ、２５４ｃに対応することができる。また、アップミキシング３５０は、例えば、図２に示す周囲信号分配２４０および図１ａまたは図１ｂに示す周囲信号分配１４０に対応することができる。

この場合も、スペクトル重み３３２は、アップミックスされた周囲オーディオ信号３５２のＱ個のチャネルの提供において直接／周囲分解３２０によって提供される（中間）周囲信号３２４のＮ個のチャネルの寄与（重み）を記述するアップミックス行列を定義することができる。

例えば、アップミキシング３４０およびアップミキシング３５０は、同じアップミキシング行列Ｇ^ｐを使用することができる。ただし、異なるアップミックス行列の使用も可能である。

この場合も、周囲信号のアップミックスは周波数に依存し、（異なるスペクトルビンまたは異なるグループのスペクトルビンに対して異なるアップミックス行列Ｇ^Ｐを使用して）個別に実行することができる。

スペクトル重み計算３３０によって実行されるスペクトル重みの可能な計算に関するオプションの詳細は、以下で説明される。

さらに、例えば、スペクトル重み計算３３０に関して、直接信号のアップミキシング３４０に関して、および周囲信号のアップミキシング３５０に関して、ここで説明される機能は、任意選択的に、個別に、または組み合わせて、図１および図２による実施形態に組み込まれ得ることに留意されたい。

以下において、スペクトル重みの計算のための簡略化された例が、図４を参照して説明される。しかしながら、スペクトル重みの計算は、例えば、国際公開第２０１３００４６９８Ａ１号に記載されているように実行されてもよいことに留意されたい。

しかしながら、Ｎチャネル信号のＱチャネル信号へのアップミキシングを意図した、スペクトル重みの計算のための異なる概念も使用できることに留意されたい。しかしながら、入力オーディオ信号に基づいてアップミキシングに従来適用されていたスペクトル重みは、（入力オーディオ信号に基づいて）直接／周囲分解３２０によって提供される周囲信号３２４のアップミキシングに適用されることに留意されたい。しかしながら、スペクトル重みの決定は、依然として（直接／周囲分解の前の）入力オーディオ信号に基づいて、または（中間）直接信号に基づいて実行されてもよい。言い換えれば、スペクトル重みの決定は、従来のスペクトル重みの決定と同様または同一であってもよいが、本発明による実施形態では、スペクトル重みが異なるタイプの信号、すなわち抽出された周囲信号に適用され、それによって聴覚印象を改善する。

以下において、スペクトル重みを決定するための簡略化された例が、図４を参照して説明される。（例えば、信号３１０の）２チャネル入力オーディオ信号の周波数領域表現は、符号４１０で示されている。左の列４１０ａは、入力オーディオ信号の第１のチャネル（例えば、左チャネル）のスペクトルビンを表し、右の列４１８ｂは、入力オーディオ信号（例えば、入力オーディオ信号３１０）の第２のチャネル（例えば、右チャネル）のスペクトルビンを表す。異なる行４１９ａ～４１９ｄは、異なるスペクトルビンに関連付けられている。

さらに、凡例４２０に示すように、異なる信号強度は、表現４１０におけるそれぞれのフィールドの異なる塗りつぶしによって示される。

換言すれば、符号４１０における信号表現は、所与の時間（例えば、所与のフレームについて）および複数の周波数ビン（インデックスｋを有する）にわたる入力オーディオ信号Ｘの周波数領域表現を表すことができる。例えば、行４１９ａに示す第１のスペクトルビンでは、第１のチャネルおよび第２のチャネルの信号は、ほぼ同じ強度（例えば、中程度の信号強度）を有することができる。これは、例えば、音源が聴取者のほぼ正面、すなわち中央領域にあることを示す（または暗示する）ことができる。しかし、行４１９ｂに表されている第２のスペクトルビンを検討すると、第１のチャネルの信号が第２のチャネルの信号よりも大幅に強いことが分かるが、これは、例えば、音源が聴取者の特定の側（例えば、左側）にあることを示すことができる。行４１９ｃで表されている第３のスペクトルビンでは、信号は第２のチャネルと比較して第１のチャネルで強く、差（相対差）は第２のスペクトルビン（行４１９ｂで示されている）よりも小さい場合がある。これは、音源が中心からいくらかずれている、例えば、聴取者の視点から見て左側にいくらかずれていることを示すことができる。

以下では、スペクトル重みについて説明する。スペクトル重みの表現が符号４４０に示されている。４つの列４４８ａ～４４８ｄは、アップミックス信号の（すなわち、アップミックスされた直接オーディオ信号３４２の、および／またはアップミックスされた周囲オーディオ信号３５２の）異なるチャネルに関連付けられている。言い換えれば、符号４４０で示される例では、Ｑ＝４であると仮定されている。行４４９ａ～４４９ｅは、異なるスペクトルビンに関連付けられている。しかし、行４４９ａ～４４９ｅの各々は２行の数（スペクトル重み）を含むことに留意されたい。行４４９ａ～４４９ｅの各々の中の第１の上の行は、それぞれのスペクトルビンについて、（例えば、アップミックスされた直接オーディオ信号またはアップミックスされた周囲オーディオ信号の）それぞれのアップミックスされた信号のチャネルへの（中間直接信号および／または中間周囲信号の）第１のチャネルの寄与を表す。同様に、数値の２行目（スペクトル重み）は、それぞれのスペクトルビンについて（アップミックスされた直接オーディオ信号および／またはアップミックスされた周囲オーディオ信号の）それぞれのアップミックス信号の異なるチャネルへの、中間直接信号または中間周囲信号の第２のチャネルの寄与を表す。

各行４４９ａ、４４９ｂ、４４９ｃ、４４９ｄ、４４９ｅは、アップミキシング行列Ｇ^ｐの転置バージョンに対応することができることに留意されたい。

以下では、いくつかのロジックについて、入力オーディオ信号からアップミキシング係数をどのようにして導出できるかについて説明する。しかしながら、以下の説明は、本発明の基本的な理解を容易にするためだけに簡略化された例とみなされるべきである。しかし、次の例では振幅にのみ焦点を当て、位相は考慮しないでいるが、実際の実施態様では位相も考慮に入れてもよいことに留意されたい。さらに、使用されたアルゴリズムは、例えば、参考文献に記載されているように、より精巧であり得ることに留意されたい。

ここで第１のスペクトルビンを参照すると、行４１９ａに示されているように、入力オーディオ信号の第１のチャネルと第２のチャネルの振幅が類似していることが（例えば、スペクトル重み計算によって）分かる。したがって、スペクトル重み計算２３０によって、第１のスペクトルビンについて、（中間）直接信号および／または（中間）周囲信号の第１のチャネルが、アップミックスされた直接オーディオ信号またはアップミックスされた周囲オーディオ信号（のみ）の第２のチャネル（チャネル２’）に寄与するべきであると結論づけることができる。したがって、行４４９ａの上の線には、０．５の適切なスペクトル重みが見られる。同様に、スペクトル重み計算により、（中間）直接信号および／または中間周囲信号の第２のチャネルが、第１の行４４９ａの２行目の対応する値０．５から分かるように、アップミックスされた直接オーディオ信号および／またはアップミックスされた周囲オーディオ信号の第３のチャネル（チャネル３’）に寄与するべきであると結論づけることができる。例えば、アップミックスされた直接オーディオ信号およびアップミックスされた周囲オーディオ信号の第２のチャネル（チャネル２’）および第３のチャネル（チャネル３’）は、比較的聴覚シーンの中心近くにあるが、一方、例えば、第１のチャネル（チャネル１’）と第４のチャネル（チャネル４’）は、聴覚シーンの中心からより離れていると仮定することができる。したがって、スペクトル重み計算３３０によって、音源が聴取者のほぼ正面にあることが判明した場合には、この音源によって励起される周囲信号成分がオーディオシーンの中心に近い１つまたは複数のチャネルでレンダリングされる（または主にレンダリングされる）ように、スペクトル重みを選択することができる。

ここで、第２のスペクトルビンを参照すると、行４１９ｂで、音源がおそらく聴取者の左側にあることが分かる。その結果、スペクトル重み計算３３０は、このスペクトルビンの周囲信号が、聴取者の左側の遠方の話者を対象とするアップミックスされた周囲オーディオ信号のチャネルに含まれるように、スペクトル重みを選択することができる。したがって、この第２の周波数ビンについて、スペクトル重み計算３３０によって、このスペクトルビンの周囲信号は、アップミックスされた周囲オーディオ信号の第１のチャネル（チャネル１’）にのみ含まれるべきであると決定することができる。これは、例えば、第１のアップミックスチャネル（チャネル１’）に関連するスペクトル重みを０とは異なるように（例えば、１に）選択し、他のスペクトル重み（他のアップミックスチャネル２’、３’、４’に関連する）を０に選択することで実行することができる。したがって、スペクトル重み計算２３０によって、音源がオーディオシーンの左側に強くあることが判明した場合には、スペクトル重み計算は、それぞれのスペクトルビン内の周囲信号成分がオーディオシーンの左側のスピーカに関連付けられている、アップミックスされた周囲オーディオ信号の（１つまたは複数の）チャネルに分配（アップミックス）されるようにスペクトル重みを選択する。当然のことながら、（入力オーディオ信号または直接信号を考慮したときに）スペクトル重み計算３３０によって、音源がオーディオシーンの右側にあることが判明した場合には、スペクトル重み計算３３０は、抽出された周囲信号の対応するスペクトル成分が、オーディオシーンの右側のスピーカ位置に関連付けられているアップミックスされた周囲オーディオ信号の（１つまたは複数の）チャネルに分配（アップミックス）されるようにスペクトル重みを選択する。

第３の例として、第３のスペクトルビンが考慮される。第３のスペクトルビンでは、スペクトル重み計算３３０は、音源がオーディオシーンの「ある程度」左側にある（しかし、オーディオシーンの極端に左側にあるわけではない）ことを見いだすことができる。例えば、これは、第１のチャネルに強い信号があり、第２のチャネルに中程度の信号がある（行４１９ｃを参照）という事実から分かる。

この場合、スペクトル重み計算３３０は、第３のスペクトルビン内の周囲信号成分がアップミックスされた周囲オーディオ信号のチャネル１’および２’に分配されるようにスペクトル重みを設定することができ、これは、周囲信号を聴覚シーンのいくらか左側に配置することに対応する（しかし、聴覚シーンの極端に左側ではない）。

結論として、スペクトル重みを適切に選択することにより、スペクトル重み計算３３０は、抽出された周囲信号成分がオーディオ信号シーンのどこに配置（またはパン）されるかを決定することができる。周囲信号成分の配置は、例えば、スペクトルビンごとに実行される。スペクトルシーン内で抽出された周囲信号の特定の周波数ビンを配置する必要があるという決定は、入力オーディオ信号の解析に基づいて、または抽出された直接信号の解析に基づいて行うことができる。また、直接信号と周囲信号との間の時間遅延が考慮されてもよく、それにより、周囲信号のアップミックス３５０で使用されるスペクトル重みを、直接信号のアップミックス３４０で使用されるスペクトル重みと比較して、時間的に（例えば、１つまたは複数のフレームだけ）遅延させることができる。

しかしながら、入力オーディオ信号または抽出された直接信号の位相または位相差も、スペクトル重みの組み合わせによって考慮することができる。また、スペクトル重みは自然に微調整された方法で決定され得る。例えば、スペクトル重みが、（中間）周囲信号のチャネルの、アップミックスされた周囲オーディオ信号の厳密に１つのチャネルへの割り当てを表す必要はない。むしろ、複数のチャネルまたはすべてのチャネルにわたる滑らかな分配は、スペクトル重みによって示されてもよい。

図３および図４を参照して説明された機能は、本発明による実施形態のいずれにおいても任意選択的に使用できることに留意されたい。しかしながら、周囲信号の抽出および周囲信号の分配について異なる概念を使用することもできる。

また、図３および図４に関して説明された特徴、機能および詳細は、他の実施形態に個別にまたは組み合わせて導入できることに留意されたい。

４）図５による方法
図５は、入力オーディオ信号に基づいて周囲信号チャネルを提供するための方法５００のフローチャートを示す。

本方法は、ステップ５１０において、入力オーディオ信号に基づいて（中間）周囲信号を抽出するステップを含む。方法５００は、ステップ５２０において、（抽出された中間）周囲信号を複数の（アップミックスされた）周囲信号チャネルに分配するステップをさらに含み、周囲信号チャネルの数は、入力オーディオ信号内の音源の位置または方向に応じて、入力オーディオ信号のチャネルの数よりも大きい。

図５による方法５００は、個別にまたは組み合わせて、本明細書で説明されている特徴および機能のいずれかによって補足することができる。特に、図５による方法５００は、オーディオ信号プロセッサに関しておよび／またはシステムに関して説明された特徴および機能および詳細のいずれかによって補足され得ることに留意されたい。

５）図６による方法
図６は、マルチチャネル入力オーディオ信号によって表現されるオーディオコンテンツをレンダリングするための方法６００のフローチャートを示す。

本方法は、入力オーディオ信号に基づいて周囲信号チャネルを提供するステップ６１０を含み、３つ以上の周囲信号チャネルが提供される。周囲信号チャネルの提供は、例えば、図５に関して説明された方法５００に従って実行されてもよい。

方法６００はまた、３つ以上の直接信号チャネルを提供するステップ６２０を含む。

方法６００は、周囲信号チャネルおよび直接信号チャネルを、一連の直接信号スピーカおよび一連の周囲信号スピーカを含むスピーカ配置に供給するステップ６３０も含み、直接信号チャネルの各々は、少なくとも１つの直接信号スピーカに供給され、周囲信号チャネルの各々は、少なくとも１つの周囲信号スピーカに供給される。

方法６００は、個別にまたは組み合わせて、本明細書で説明される特徴および機能および詳細のいずれかによって任意選択的に補足することができる。例えば、方法６００は、オーディオ信号プロセッサに関して、またはシステムに関して説明された特徴、機能、および詳細によって補足することもできる。

６）さらなる態様および実施形態
以下に、本発明による実施形態を提示する。特に、他の実施形態のいずれにも、個別にまたは組み合わせて取り入れることができる詳細が提示される。しかし、本明細書で言及される装置およびシステムによって実行することができる方法について説明することに留意されたい。

６．１．概要
以下に概要を提示する。概要に記載されている特徴は、実施形態を形成することができ、または本明細書に記載されている他の実施形態に導入することができる。

本発明による実施形態は、周囲信号の分離を導入し、周囲信号自体がそれらの音源信号の位置に従って（例えば、周囲信号を励起する音源の位置に従って）信号成分に分離される。すべての周囲信号は拡散しているため、位置を特定できないが、多くの周囲信号、例えば残響は、位置を特定できる（直接）励起信号から生成される。取得された周囲出力信号（例えば、周囲信号チャネル１１２ｂ～１１２ｃまたは周囲信号チャネル２５４ａ～２５４ｃまたはアップミックスされた周囲オーディオ信号３５２）は、入力信号（例えば、Ｎ個のチャネル）よりも多くのチャネル（例えば、Ｑ個のチャネル）を有し、出力チャネル（例えば、周囲信号チャネル）は、周囲信号成分を生成した直接ソース信号の位置に対応する。

（例えば、周囲信号チャネル１１２ａ～１１２ｃによって、または周囲信号チャネル２５４ａ～２５４ｃによって、またはアップミックスされた周囲オーディオ信号３５２によって表現される）取得されたマルチチャネル周囲信号は、オーディオ信号のアップミキシングのために、すなわち、Ｎ個のチャネルの入力信号が与えられた場合、Ｑ個のチャネルの信号を作成するために要求され、ここでＱ＞Ｎである。マルチチャネル音響再生システムにおける出力信号のレンダリングは、以下で説明される（上記の説明でもある程度説明している）。

６．２抽出された信号の提案されたレンダリング
提示された方法（および概念）の重要な側面は、抽出された周囲信号成分（例えば、抽出された周囲信号１３０または抽出された周囲信号２３０または抽出された周囲信号３２４）が、（例えば、それぞれの周囲信号または周囲信号成分を励起する直接音源の）それらの励起信号の位置に従って、周囲チャネル信号の間（例えば、信号１１２ａ～１１２ｃの間、または信号２５４ａ～２５４ｃの間、またはアップミックスされた周囲オーディオ信号３５２のチャネルの間）で分配されるということである。一般に、すべてのチャネル（スピーカ）は、直接信号または周囲信号、あるいはその両方を再生するために使用することができる。

図７は、２つのチャネルでステレオオーディオ信号を再生するのに適した、２つのスピーカを備えた一般的なスピーカ設定を示している。言い換えると、図７は、２チャネルステレオフォニー用の２つのスピーカ（左側と右側にそれぞれ「Ｌ」と「Ｒ」）を備えた標準のスピーカ設定を示している。

より多くのチャネルを備えたスピーカ設定が利用可能な場合、２チャネル入力信号（例えば、入力オーディオ信号１１０または入力オーディオ信号２１０または入力オーディオ信号３１０）を複数のチャネル信号に分離することができ、追加の出力信号が追加のスピーカに供給される。利用可能な入力チャネルよりも多くのチャネルで出力信号を生成するこのプロセスは、一般にアップミキシングと呼ばれる。

図８は、４つのスピーカを備えたスピーカ設定を示している。言い換えると、図８は、４つのスピーカ（前左「ｆＬ」、前右「ｆＲ」、後左「ｒＬ」、後右「ｒＲ」）を備えた４チャネルスピーカ設定を示している。別の言い方をすれば、図８は４つのスピーカを備えたスピーカ設定を示している。例えば、２つのチャネルで信号を再生するときに４つすべてのスピーカを利用するには、入力信号（例えば、入力オーディオ信号１１０または入力オーディオ信号２１０または入力オーディオ信号３１０）を４つのチャネルを有する信号に分割することができる。

図９に、４つのスピーカ（「高さ」スピーカ）が持ち上げられている、例えば、リスニングルームの天井の下に取り付けられている、８つのスピーカがある別のスピーカ設定を示す。言い換えると、図９は、「ｈ」とマークされた追加の高さスピーカを備えた４チャネルスピーカ設定を示している。

入力信号よりも多くのチャネルを有するスピーカ設定を使用してオーディオ信号を再生する場合、入力信号を意味のある信号成分に分解するのが一般的である。与えられた例では、すべての直接音は４つの下部スピーカの１つに供給され、入力信号の側面にパンされた音源が後部スピーカ「ｒＬ」と「ｒＲ」によって再生される。中央にパンされた、または少しずれた音源は、前部スピーカ「ｆＬ」および「ｆＲ」にパンされる。これにより、直接音源は、ステレオパノラマにおけるそれらの知覚された位置に従ってスピーカの間で分配され得る。従来の方法では、入力信号と同じ数のチャネルを有する周囲信号を計算する。２チャネルのステレオ入力信号をアップミックスする場合、２チャネルの周囲信号は、使用可能なスピーカのサブセットに供給されるか、１つの周囲チャネル信号を複数のスピーカに供給することにより、４つすべてのスピーカに分配される。

提示された方法の重要な側面は、Ｑ＞ＮであるＮ個のチャネルの入力信号からＱ個のチャネルの周囲信号を分離することである。与えられた例では、４つのチャネルを有する周囲信号は、直接音源から励起された周囲信号が、これらの信号の方向にパンされるように計算される。

この点で、例えば、上述のスピーカ間の直接音源の分配は、直接／周囲分解２２０と周囲信号分配２４０との相互作用によって実行できることに留意されたい。例えば、スペクトル重み計算３３０は、直接信号のアップミックス３４０が、本明細書で説明されるような直接音源の分配を実行するように（例えば、入力信号の側面にパンされた音源が後部スピーカで再生され、中央またはわずかに中央からずれた音源が前部スピーカにパンされるように）、スペクトル重みを決定することができる。

また、上記の４つの下部スピーカ（ｆＬ、ｆＲ、ｒＬ、ｒＲ）は、スピーカ２６２ａ～２６２ｃに対応してもよい。また、高さスピーカｈは、スピーカ２６４ａ～２６４ｃに対応してもよい。

言い換えれば、直接音の分配に関する上記の概念は、図２によるシステム２００でも実施することができ、図３および図４に関して説明した処理によって達成することができる。

６．３信号分離方法
以下では、本発明による実施形態で使用することができる信号分離方法について説明する。

残響の多い環境（レコーディングスタジオやコンサートホール）では、音源が残響を生成し、それにより、拍手音や拡散する周囲騒音（例えば風雑音や雨など）のような他の拡散音とともに、雰囲気に寄与する。ほとんどの音楽録音では、残響は最も顕著な周囲信号である。それは、部屋で音源を録音するか、スピーカの信号を部屋に送り、残響信号をマイクで録音することで、音響的に生成することができる。残響は、信号処理によって人工的に生成することもできる。

残響は、境界（壁、床、天井）で反射される音源によって生成される。初期反射は通常最大の大きさで、最初にマイクに到達する。反射は減衰する振幅でさらに反射され、遅延した残響の原因となる。このプロセスは、音源信号の多くの遅延およびスケーリングされたコピーの加法混合としてモデル化できる。したがって、多くの場合、畳み込みによって実施される。

アップミキシングは、追加情報を使用してガイドするか、追加情報なしでオーディオ入力信号のみを使用してガイドなしで実行することができる。ここでは、ブラインドアップミキシングのより困難な手順に焦点を当てる。適切なメタデータでガイドされた手法を使用する場合も、同様の概念を適用することができる。

入力信号ｘ（ｔ）は、直接信号ｄ（ｔ）と周囲信号ａ（ｔ）の加法混合であると仮定される。
ｘ（ｔ）＝ｄ（ｔ）＋ａ（ｔ）（１）
すべての信号は複数のチャネル信号を有する。入力、直接、または周囲信号の第ｉのチャネル信号は、それぞれｘ_ｉ（ｔ）、ｄ_ｉ（ｔ）、ａ_ｉ（ｔ）で表現される。マルチチャネル信号は、ｘ（ｔ）＝［ｘ_１（ｔ）・・・ｘ_Ｎ（ｔ）］^Ｔ、ｄ（ｔ）＝［ｄ_１（ｔ）・・・ｄ_Ｎ（ｔ）］^Ｔおよびａ（ｔ）＝［ａ_１（ｔ）・・・ａ_Ｎ（ｔ）］^Ｔとして記述でき、ここでＮはチャネル数である。

処理（例えば、本発明による装置および方法によって実行される処理、例えば、装置１００またはシステム２００によって実行される処理、または図３および４に示されるような処理）は、短期フーリエ変換または別の再構成フィルタバンクを使用して、時間－周波数領域で実行される。時間周波数領域では、信号モデルは次のように記述される。

Ｘ（ｍ，ｋ）＝Ｄ（ｍ，ｋ）＋Ａ（ｍ，ｋ）、（２）
ここで、Ｘ（ｍ，ｋ）、Ｄ（ｍ，ｋ）およびＡ（ｍ，ｋ）は、それぞれｘ（ｔ）、ｄ（ｔ）およびａ（ｔ）のスペクトル係数であり、ｍは時間インデックスを示し、ｋは周波数ビン（またはサブバンド）インデックスを示す。以下では、可能な場合、時間とサブバンドのインデックスは省略される。

直接信号自体は、複数の音源によって生成される複数の信号成分

で構成することができ、周波数領域表記では次のように記述され、

（３）
そして時間領域表記では次のように記述され、

（４）
Ｓは音源の数である。信号成分は異なる位置にパンされる。

直接信号成分ｄ^ｃによる残響信号成分ｒ^ｃの生成は、線形時間不変（ＬＴＩ）プロセスとしてモデル化され、直接信号と反響プロセスを特徴付けるインパルス応答の畳み込みによって時間領域で合成できる。

（５）
音楽制作に使用される残響プロセスのインパルス応答は減衰し、指数関数的に減衰することがよくある。残響時間で減衰を指定することができる。残響時間は、初期音がミュートされた後に、残響信号のレベルが初期音の一部分に減衰するまでの時間である。残響時間は、例えば「ＲＴ６０」、つまり残響信号が６０ｄＢ減少するのにかかる時間として指定できる。一般的な部屋、ホール、その他の残響プロセスの残響時間ＲＴ６０は、１００ミリ秒から６秒の範囲である。

上記の信号ｘ（ｔ）、ｘ（ｔ）、Ｘ（ｍ、ｋ）およびｒ^ｃの上述のモデルは、入力オーディオ信号１１０の特性、入力オーディオ信号２１０の特性、および／または入力オーディオ信号３１０の特性を表すことができ、そして、周囲信号抽出１２０を実行するとき、または直接／周囲分解２２０または直接／周囲分解３２０を実行するときに利用できることに留意されたい。

以下では、本発明の基礎となる主要な概念について説明し、これは、装置１００、システム２００に適用でき、図３および図４に関して説明した機能によって実施することができる。

本発明の一態様によれば、

個のチャネルを有する周囲信号

を分離する（または提供する）ことが提案される。例えば、本方法は以下を含む。

１．

個のチャネルを有する周囲信号

を分離し、
２．すべての位置

について、入力信号からの空間画像内の位置に応じて音源を分離するためのスペクトル重み（７）を計算し、
３．スペクトル重み付け（６）により、取得した周囲信号を

個のチャネルにアップミックスする。

（６）
例えば、Ｎ個のチャネルを有する周囲信号

の分離は、周囲信号抽出１２０によって、または直接／周囲分解２２０によって、または直接／周囲分解３２０によって実行することができる。

さらに、スペクトル重みの計算は、オーディオ信号プロセッサ１００によって、またはオーディオ信号プロセッサ２５０によって、またはスペクトル重み計算３３０によって実行することができる。さらに、取得された周囲信号のＱ個のチャネルへのアップミキシングは、例えば、周囲信号分配１４０によって、または周囲信号分配２４０によって、またはアップミキシング３５０によって実行することができる。スペクトル重み（例えば、図４の行４４９ａ～４４９ｅによって表され得るスペクトル重み３３２）は、例えば、入力信号Ｘ（例えば、入力オーディオ信号１１０または入力オーディオ信号２１０または入力オーディオ信号３１０）を解析することから導出され得る。

（７）
スペクトル重み

は、入力信号から位置

にパンされた音源を分離できるように計算される。スペクトル重み

は、残響のインパルス応答（プリディレイ）の時間遅延を考慮するために、推定された周囲信号

に適用する前に、任意選択的に遅延（時間シフト）される。

信号分離の両方の処理ステップには様々な方法が可能である。以下では、２つの適切な方法について説明する。

しかしながら、以下に記載される方法は、例としてのみ考慮されるべきであり、本方法は、本発明による特定の用途に適合されるべきであることに留意されたい。周囲信号の分離方法に関しては、修正が全く不要であるか、または軽微な修正のみが必要であることに留意されたい。

さらに、スペクトル重みの計算も強く適合させる必要がないことに留意されたい。むしろ、以下に述べるスペクトル重みの計算は、例えば、入力オーディオ信号１１０、２１０、３１０に基づいて実行することができる。ただし、以下で説明する方法（スペクトル重みの計算用）によって取得されたスペクトル重みは、入力信号のアップミキシングまたは直接信号のアップミキシングではなく、抽出された周囲信号のアップミキシングに適用される。

６．４周囲信号の分離方法
周囲信号分離の可能な方法は、国際特許出願ＰＣＴ／ＥＰ２０１３／０７２１７０「Ａｐｐａｒａｔｕｓａｎｄｍｅｔｈｏｄｆｏｒｍｕｌｔｉ－ｃｈａｎｎｅｌｄｉｒｅｃｔ－ａｍｂｉｅｎｔｄｅｃｏｍｐｏｓｉｔｉｏｎｆｏｒａｕｄｉｏｓｉｇｎａｌｐｒｏｃｅｓｓｉｎｇ」に記載されている。

しかしながら、周囲信号の分離のために異なる方法を使用することができ、周囲信号の抽出または直接信号と周囲信号への入力信号の分解がある限り、前記方法への修正も可能である。

６．５空間位置のスペクトル重みを計算する方法
空間位置のスペクトル重みを計算するための可能な方法は、国際公開第２０１３００４６９８Ａ１号「Ｍｅｔｈｏｄａｎｄａｐｐａｒａｔｕｓｆｏｒｄｅｃｏｍｐｏｓｉｎｇａｓｔｅｒｅｏｒｅｃｏｒｄｉｎｇｕｓｉｎｇｆｒｅｑｕｅｎｃｙ－ｄｏｍａｉｎｐｒｏｃｅｓｓｉｎｇｅｍｐｌｏｙｉｎｇａｓｐｅｃｔｒａｌｗｅｉｇｈｔｓｇｅｎｅｒａｔｏｒ」に記載されている。

しかしながら、（例えば、行列Ｇ^ｐを定義することができる）スペクトル重みを取得するための異なる方法を使用できることに留意されたい。また、国際公開第２０１３００４６９８Ａ１号による方法は、空間画像における位置に従って音源を分離するためのスペクトル重みが、出力チャネルの所望の数に対応するいくつかのチャネルについて導出されることが保証される限り、修正することもできる。

７．結論
以下では、いくつかの結論が提供される。しかしながら、結論に記載されているアイデアは、本明細書に開示されている実施形態のいずれにも導入できることに留意されたい。

オーディオ入力信号を直接信号成分と周囲信号成分に分解する方法が説明されていることに留意されたい。本方法は、サウンドのポストプロダクションと再生に適用することができる。目的は、すべての直接信号成分が減衰され、拡散信号成分のみが聞こえる周囲信号を算出することである。

提示された方法の重要な側面は、そのような周囲信号成分がそれらの音源信号の位置に従って分離されることである。すべての周囲信号は拡散しているため、位置を有さないが、多くの周囲信号、例えば残響は、定義された位置を有する直接励起信号から生成される。例えば、周囲信号チャネル１１２ａ～１１２ｃによって、または周囲チャネル信号２５４ａ～２５４ｃによって、またはアップミックスされた周囲オーディオ信号３５２によって表すことができる、取得された周囲出力信号は、入力信号（例えば、Ｎ個のチャネル）よりも多くのチャネル（例えば、Ｑ個のチャネル）を有し、出力チャネル（例えば、周囲信号チャネル１１２ａ～１１２ｃまたは周囲信号チャネル２５４ａ～２５４ｃ）は、直接励起信号（これは、例えば、入力オーディオ信号１１０または入力オーディオ信号２１０または入力オーディオ信号３１０に含まれてもよい）の位置に対応する。

さらに結論を述べると、ステレオ画像内の位置に従ってのみ信号成分（またはすべての信号成分）または直接信号成分を分離するための様々な方法が提案されている（例えば、参考文献［２］、［１０］、［１１］および［１２］を参照）。本発明による実施形態は、この（従来の）概念を周囲信号成分に拡張する。

さらに結論すると、本発明による実施形態は、周囲信号の抽出およびアップミキシングに関する。本発明による実施形態は、例えば、自動車用途に適用することができる。

本発明による実施形態は、例えば、「シンフォリア」概念のコンテキストで適用することができる。

本発明による実施形態は、３Ｄパノラマを作成するために適用することもできる。

８．実施態様の代替例
いくつかの態様を装置のコンテキストで説明したが、これらの態様は対応する方法の説明も表し、ブロックまたはデバイスが方法ステップまたは方法ステップの特徴に対応することは明らかである。同様に、方法ステップのコンテキストで説明される態様は、対応するブロックまたは項目または対応する装置の特徴の説明も表す。方法ステップの一部またはすべては、例えば、マイクロプロセッサ、プログラム可能なコンピュータまたは電子回路などのハードウェア装置によって（または使用して）実行されてもよい。いくつかの実施形態では、最も重要な方法ステップの１つまたは複数は、そのような装置によって実行されてもよい。

特定の実施態様に応じて、本発明の実施形態は、ハードウェアまたはソフトウェアで実施することができる。実施は、電子的に読み取り可能な制御信号が格納されており、それぞれの方法が実行されるように、プログラム可能なコンピュータシステムと協働する（または協働することができる）デジタル記憶媒体、例えばフロッピーディスク、ＤＶＤ、ブルーレイ、ＣＤ、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭまたはフラッシュメモリを使用して実行することができる。したがって、デジタル記憶媒体はコンピュータで読み取り可能であってもよい。

本発明によるいくつかの実施形態は、本明細書に記載の方法の１つが実行されるように、プログラム可能なコンピュータシステムと協働することができる電子的に読み取り可能な制御信号を有するデータキャリアを含む。

一般に、本発明の実施形態は、プログラムコードを有するコンピュータプログラム製品として実施することができ、プログラムコードは、コンピュータプログラム製品がコンピュータ上で実行されるときに方法の１つを実行するように動作する。プログラムコードは、例えば、機械可読なキャリアに格納されてもよい。

他の実施形態は、機械可読なキャリアに格納された、本明細書に記載の方法の１つを実行するためのコンピュータプログラムを含む。

言い換えれば、したがって、本発明の方法の実施形態は、コンピュータプログラムがコンピュータ上で実行されるときに、本明細書に記載の方法の１つを実行するためのプログラムコードを有するコンピュータプログラムである。

したがって、本発明の方法のさらなる実施形態は、本明細書に記載の方法の１つを実行するためのコンピュータプログラムを含み、それが記録されたデータキャリア（またはデジタル記憶媒体、またはコンピュータ可読媒体）である。データキャリア、デジタル記憶媒体、または記録された媒体は、通常、有形および／または非一時的である。

したがって、本発明の方法のさらなる実施形態は、本明細書に記載の方法の１つを実行するためのコンピュータプログラムを表すデータストリームまたは信号シーケンスである。データストリームまたは信号シーケンスは、例えばインターネットなどのデータ通信接続を介して転送されるように構成されてもよい。

さらなる実施形態は、本明細書に記載の方法の１つを実行するように構成または適合された処理手段、例えばコンピュータ、またはプログラマブルロジックデバイスを含む。

さらなる実施形態は、本明細書に記載の方法の１つを実行するためのコンピュータプログラムがインストールされたコンピュータを含む。

本発明によるさらなる実施形態は、本明細書に記載の方法の１つを実行するためのコンピュータプログラムを（例えば、電子的または光学的に）受信機に転送するように構成された装置またはシステムを含む。受信機は、例えば、コンピュータ、モバイルデバイス、メモリデバイスなどであってもよい。装置またはシステムは、例えば、コンピュータプログラムを受信機に転送するためのファイルサーバーを含んでもよい。

いくつかの実施形態では、プログラマブルロジックデバイス（例えば、フィールドプログラマブルゲートアレイ）を使用して、本明細書に記載の方法の機能の一部またはすべてを実行することができる。いくつかの実施形態では、フィールドプログラマブルゲートアレイは、本明細書に記載の方法の１つを実行するためにマイクロプロセッサと協働してもよい。一般に、これらの方法は、任意のハードウェア装置によって実行されることが好ましい。

本明細書で説明する装置は、ハードウェア装置を使用して、またはコンピュータを使用して、またはハードウェア装置とコンピュータの組合せを使用して実施することができる。

本明細書で説明される装置、または本明細書で説明される装置の任意の構成要素は、少なくとも部分的にハードウェアおよび／またはソフトウェアで実施することができる。

本明細書で説明する方法は、ハードウェア装置を使用して、またはコンピュータを使用して、またはハードウェア装置とコンピュータの組合せを使用して実行することができる。

本明細書で説明される方法、または本明細書で説明される装置の任意の構成要素は、ハードウェアおよび／またはソフトウェアによって少なくとも部分的に実行することができる。

上述の実施形態は、本発明の原理の単なる例示に過ぎない。本明細書に記載の配置および詳細の修正および変更は、他の当業者には明らかであることを理解されたい。したがって、本明細書の実施形態の説明および説明として提示される特定の詳細によってではなく、差し迫った特許請求の範囲によってのみ限定されることが意図されている。

参考文
［１］ＪＢＡｌｌｅｎ，ＤＡＢｅｒｋｅｌｅｙ，ａｎｄＪＢｌａｕｅｒｔ，“Ｍｕｌｔｉ－ｍｉｃｒｏｐｈｏｎｅｓｉｇｎａｌ－ｐｒｏｃｅｓｓｉｎｇｔｅｃｈｎｉｑｕｅｔｏｒｅｍｏｖｅｒｏｏｍｒｅｖｅｒｂｅｒａｔｉｏｎｆｒｏｍｓｐｅｅｃｈｓｉｇｎａｌｓ，”ＪＡｃｏｕｓｔＳｏｃＡｍ．，ｖｏｌ６２，１９７７

［２］ＣＡｖｅｎｄａｎｏａｎｄＪ－ＭＪｏｔ，“Ａｆｒｅｑｕｅｎｃｙ－ｄｏｍａｉｎａｐ－ｐｒｏａｃｈｔｏｍｕｌｔｉ－ｃｈａｎｎｅｌｕｐｍｉｘ，”ＪＡｕｄｉｏＥｎｇＳｏｃ．，ｖｏｌ５２，２００４

［３］ＣＦａｌｌｅｒ，“Ｍｕｌｔｉｐｌｅ－ｌｏｕｄｓｐｅａｋｅｒｐｌａｙｂａｃｋｏｆｓｔｅｒｅｏｓｉｇ－ｎａｌｓ，”ＪＡｕｄｉｏＥｎｇＳｏｃ．，ｖｏｌ５４，２００６

［４］ＪＭｅｒｉｍａａ，ＭＧｏｏｄｗｉｎ，ａｎｄＪ－ＭＪｏｔ，“Ｃｏｒｒｅｌａｔｉｏｎ－ｂａｓｅｄａｍｂｉｅｎｃｅｅｘｔｒａｃｔｉｏｎｆｒｏｍｓｔｅｒｅｏｒｅｃｏｒｄｉｎｇｓ，”ｉｎＰｒｏｃＡｕｄｉｏＥｎｇＳｏｃ／２３ｒｄＣｏｎｖ．，２００７

［５］ＪＵｓｈｅｒａｎｄＪＢｅｎｅｓｔｙ，“Ｅｎｈａｎｃｅｍｅｎｔｏｆｓｐａｔｉａｌｓｏｕｎｄｑｕａｌｉｔｙ：Ａｎｅｗｒｅｖｅｒｂｅｒａｔｉｏｎ－ｅｘｔｒａｃｔｉｏｎａｕｄｉｏｕｐｒｎｉｘｅｒ，”ＩＥＥＥＴｒａｎｓＡｕｄｉｏ，Ｓｐｅｅｃｈ，ａｎｄＬａｎｇｕａｇｅＰｒｏｃｅｓｓ．，ｖｏｌ１５，ｐｐ２１４１－２１５０，２００７

［６］ＧＳｏｕｌｏｄｒｅ，“Ｓｙｓｔｅｍｆｏｒｅｘｔｒａｃｔｉｎｇａｎｄｃｈａｎｇｉｎｇｔｈｅｒｅｖｅｒｂｅｒａｎｔｃｏｎｔｅｎｔｏｆａｎａｕｄｉｏｉｎｐｕｔｓｉｇｎａｌ，”ＵＳＰａｔｅｎｔ８，０３６，７６７，Ｏｃｔ２０１１

［７］ＪＨｅ，Ｅ－ＬＴａｎ，ａｎｄＷ－ＳＧａｎ，“Ｌｉｎｅａｒｅｓｔｉｍａｔｉｏｎｂａｓｅｄｐｒｉｍａｒｙ－ａｍｂｉｅｎｔｅｘｔｒａｃｔｉｏｎｆｏｒｓｔｅｒｅｏａｕｄｉｏｓｉｇｎａｌｓ，”ＩＥＥＥ／ＡＣＭＴｒａｎｓＡｕｄｉｏ，Ｓｐｅｅｃｈ，ａｎｄＬａｎｇｕａｇｅＰｒｏｃｅｓｓ．，ｖｏｌ２２，ｎｏ２，２０１４

［８］ＣＵｈｌｅａｎｄＥＨａｂｅｔｓ，“Ｄｉｒｅｃｔ－ａｍｂｉｅｎｔｄｅｃｏｍｐｏｓｉｔｉｏｎｕｓｉｎｇｐａｒａｍｅｔｒｉｃＷｉｅｎｅｒｆｉｌｔｅｒｉｎｇｗｉｈｓｐａｔｉａｌｃｕｅｃｏｎ－ｔｒｏｌ，”ｉｎＰｒｏｃＩｎｔＣｏｎｆｏｎＡｃｏｕｓｔ．，ＳｐｅｅｃｈａｎｄＳｉｇＰｒｏｃｅｓｓ．，ＩＣＡＳＳＰ，２０１５

［９］ＡＷａｌｔｈｅｒａｎｄＣＦａｌｌｅｒ，“Ｄｉｒｅｃｔ－ａｍｂｉｅｎｔｄｅｃｏｍ－ｐｏｓｉｔｉｏｎａｎｄｕｐｍｉｘｏｆｓｕｒｒｏｕｎｄｓｏｕｎｄｓｉｇｎａｌｓ，”ｉｎＰｒｏｃＩＥＥＥＷＡＳＰＡＡ，２０１１

［１０］ＤＢａｒｒｙ，ＢＬａｗｌｏｒ，ａｎｄＥＣｏｙｌｅ，“Ｓｏｕｎｄｓｏｕｒｃｅｓｅｐ－ａｒａｔｉｏｎ：Ａｚｉｍｕｔｈｄｉｓｃｒｉｍｉｎａｔｉｏｎａｎｄｒｅｓｙｎｔｈｅｓｉｓ，”ｉｎＰｒｏｃＩｎｔＣｏｎｆＤｉｇｉｔａｌＡｕｄｉｏＥｆｆｅｃｔｓ（ＤＡＦｘ），２００４

［１１］ＣＵｈｌｅ，“Ｃｅｎｔｅｒｓｉｇｎａｌｓｃａｌｉｎｇｕｓｉｎｇｓｉｇｎａｌ－ｔｏ－ｄｏｗｎｍｉｘｒａｔｉｏｓ，”ｉｎＰｒｏｃＩｎｔＣｏｒｉｆＤｉｇｉｔａｌＡｕｄｉｏＥｆ－ｆｅｃｔｓ，ＤＡＦｘ，２０１３

［１２］ＣＵｈｌｅａｎｄＥＨａｂｅｔｓ，“Ｓｕｂｂａｎｄｃｅｎｔｅｒｓｉｇｎａｌｓｃａｌｉｎｇｕｓｉｎｇｐｏｗｅｒｒａｔｉｏｓ，”ｉｎＰｒｏｃＡＥＳ５３ｒｄＣｏｎｆＳｅｍａｎｔｉｃＡｕｄｉｏ，２０１４．

Claims

入力オーディオ信号（１１０；１６０；２１０；３１０；ｘ（ｔ）、ｘ（ｔ）、Ｘ（ｍ，ｋ））に基づいて周囲信号チャネル（１１２ａ～１１２ｃ；１６２ａ～１６２ｃ；２５４ａ～２５４ｃ；３５２；

）を提供するためのオーディオ信号プロセッサ（１００；１５０；２５０）であって、
前記オーディオ信号プロセッサは、前記周囲信号チャネルを取得するように構成され、
異なるオーディオコンテンツを含む取得された周囲信号チャネルの数（Ｑ）は、前記入力オーディオ信号のチャネルの数（Ｎ）より大きく、
前記オーディオ信号プロセッサは、前記入力オーディオ信号内の音源の位置または方向に応じて、周囲信号成分が前記周囲信号チャネル間で分配されるように、前記周囲信号チャネルを取得するように構成され、
前記オーディオ信号プロセッサは、それぞれの周囲信号成分を励起する直接音源の位置または方向に従って周囲信号成分を前記周囲信号チャネルに分配するように構成され、
異なる位置に配置された異なる音源によって励起された異なる周囲信号成分は、前記周囲信号チャネル間で異なるように分配され、
異なる周囲信号チャネルへの周囲信号成分の分配は、前記それぞれの周囲信号成分を励起する直接信号成分の異なる直接信号チャネルへの分配に対応し、
前記周囲信号チャネル（１１２ａ～１１２ｃ；２５４ａ～２５４ｃ；３５２；

）は、異なる方向に関連付けられ、
直接信号チャネル（２５２ａ～２５２ｃ；３２４；

）は異なる方向に関連付けられ、
前記周囲信号チャネル（２５４ａ～２５４ｃ；３５２；

）および前記直接信号チャネル（２５２ａ～２５２ｃ；３４２；

）は、＋／－２０°の許容誤差内で同じ方位角方向のセットに関連付けられ、あるいは、前記周囲信号チャネルは、＋／－２０°の許容誤差内で前記直接信号チャネルに関連する前記方位角方向のセットのサブセットに関連付けられ、
前記オーディオ信号プロセッサは、それぞれの直接音成分の位置または方向に従って、直接信号成分を直接信号チャネル間で分配するように構成され、
前記オーディオ信号プロセッサは、前記それぞれの周囲信号成分を励起する直接音源の位置または方向に従って前記周囲信号チャネル間で前記周囲信号成分を分配するように構成され、
前記オーディオ信号プロセッサは、直接信号成分（２２６；

；３２２）を直接信号チャネル（２５２ａ～２５２ｃ；３４２；

）に分配するために、および前記周囲信号の周囲信号成分（２３０；

；３２４）を周囲信号チャネル（１１２ａ～１１２ｃ；２５４ａ～２５４ｃ；３５２；

）に分配するために、同じパンニング係数またはスペクトル重み（３３２；Ｇ ^ｐ）を使用するように構成される、
オーディオ信号プロセッサ（１００；１５０；２５０）。
入力オーディオ信号（１１０；１６０；２１０；３１０；ｘ（ｔ）、ｘ（ｔ）、Ｘ（ｍ，ｋ））に基づいて周囲信号チャネル（１１２ａ～１１２ｃ；１６２ａ～１６２ｃ；２５４ａ～２５４ｃ；３５２；

）を提供するためのオーディオ信号プロセッサ（１００；１５０；２５０）であって、
前記オーディオ信号プロセッサは、前記周囲信号チャネルを取得するように構成され、
異なるオーディオコンテンツを含む取得された周囲信号チャネルの数（Ｑ）は、前記入力オーディオ信号のチャネルの数（Ｎ）より大きく、
前記オーディオ信号プロセッサは、前記入力オーディオ信号内の音源の位置または方向に応じて、周囲信号成分が前記周囲信号チャネル間で分配されるように、前記周囲信号チャネルを取得するように構成され、
前記オーディオ信号プロセッサは、前記入力オーディオ信号に基づいて、直接音成分を含む直接信号を取得するように構成され、
前記オーディオ信号プロセッサは、前記入力オーディオ信号に基づいて周囲信号（１３０；２３０；３２４；

）を抽出するように構成され、
前記信号プロセッサは、前記入力オーディオ信号内の音源の位置または方向に応じて、前記周囲信号を複数の周囲信号チャネルに分配するように構成され、周囲信号チャネルの数（Ｑ）は、前記入力オーディオ信号のチャネル数（Ｎ）よりも大きく、
前記周囲信号チャネル（１１２ａ～１１２ｃ；２５４ａ～２５４ｃ；３５２；

）は、異なる方向に関連付けられ、
直接信号チャネル（２５２ａ～２５２ｃ；３２４；

）は異なる方向に関連付けられ、
前記周囲信号チャネル（２５４ａ～２５４ｃ；３５２；

）および前記直接信号チャネル（２５２ａ～２５２ｃ；３４２；

）は、同じ方向のセットに関連付けられ、あるいは、前記周囲信号チャネルは、前記直接信号チャネルに関連する前記方向のセットのサブセットに関連付けられ、
前記オーディオ信号プロセッサは、それぞれの直接音成分の位置または方向に従って、直接信号成分を直接信号チャネル間で分配するように構成され、
前記オーディオ信号プロセッサは、前記直接信号成分の分配に使用するのと同じパンニング係数またはスペクトル重みを使用して、前記それぞれの周囲信号成分を励起する直接音源の位置または方向に従って前記周囲信号成分を前記周囲信号チャネルに分配するように構成される、
オーディオ信号プロセッサ（１００；１５０；２５０）。
入力オーディオ信号（１１０；１６０；２１０；３１０；ｘ（ｔ）、ｘ（ｔ）、Ｘ（ｍ，ｋ））に基づいて周囲信号チャネル（１１２ａ～１１２ｃ；１６２ａ～１６２ｃ；２５４ａ～２５４ｃ；３５２；

）を提供するためのオーディオ信号プロセッサ（１００；１５０；２５０）であって、
前記オーディオ信号プロセッサは、前記周囲信号チャネルを取得するように構成され、
異なるオーディオコンテンツを含む取得された周囲信号チャネルの数（Ｑ）は、前記入力オーディオ信号のチャネルの数（Ｎ）より大きく、
前記オーディオ信号プロセッサは、前記入力オーディオ信号内の音源の位置または方向に応じて、周囲信号成分が前記周囲信号チャネル間で分配されるように、前記周囲信号チャネルを取得するように構成され、
前記オーディオ信号プロセッサは、前記入力オーディオ信号に基づいて、直接音成分を含む直接信号を取得するように構成され、
前記オーディオ信号プロセッサは、前記入力オーディオ信号に基づいて周囲信号（１３０；２３０；３２４；

）を抽出するように構成され、
前記信号プロセッサは、前記入力オーディオ信号内の音源の位置または方向に応じて、前記周囲信号を複数の周囲信号チャネルに分配するように構成され、周囲信号チャネルの数（Ｑ）は、前記入力オーディオ信号のチャネル数（Ｎ）よりも大きく、
前記オーディオ信号プロセッサは、前記入力オーディオ信号に基づいて直接信号を取得するように構成され、
前記オーディオ信号プロセッサは、前記周囲信号（１３０；２３０；３２４；

）を前記周囲信号チャネル（１１２ａ～１１２ｃ；２５４ａ～２５４ｃ；３５２；

）に分配するために、パンニング係数またはスペクトル重み（３３２；Ｇ^ｐ）を適用するように構成され、
前記オーディオ信号プロセッサは、直接信号成分（２２６；

；３２２）を直接信号チャネル（２５２ａ～２５２ｃ；３４２；

）に分配するために、および前記周囲信号の周囲信号成分（２３０；

；３２４）を周囲信号チャネル（１１２ａ～１１２ｃ；２５４ａ～２５４ｃ；３５２；

）に分配するために、同じパンニング係数またはスペクトル重み（３３２；Ｇ^ｐ）のセットを適用するように構成される、
オーディオ信号プロセッサ（１００；１５０；２５０）。
前記オーディオ信号プロセッサは、前記周囲信号成分が、前記それぞれの周囲信号成分を励起する直接音源の位置または方向に従って前記周囲信号チャネル間で分配されるように、前記周囲信号チャネル（１１２ａ～１１２ｃ；１６２ａ～１６２ｃ；２５４ａ～２５４ｃ；３５２；

）を取得するように構成される、請求項１から３のいずれか一項に記載のオーディオ信号プロセッサ（１００；１５０；２５０）。
前記オーディオ信号プロセッサは、前記入力オーディオ信号の前記１つまたは複数のチャネルを複数のアップミックスされたチャネルに分配するように構成され、アップミックスされたチャネルの数は、前記入力オーディオ信号の前記チャネルの数より大きく、
前記オーディオ信号プロセッサは、アップミックスされたチャネルから前記周囲信号チャネルを抽出するように構成される、
請求項１から４のいずれか一項に記載のオーディオ信号プロセッサ（１５０；２５０）。
前記オーディオ信号プロセッサは、マルチチャネル周囲信号抽出を使用して、またはマルチチャネル直接信号／周囲信号分離を使用して、前記アップミックスされたチャネルから前記周囲信号チャネルを抽出するように構成される、請求項５に記載のオーディオ信号プロセッサ（１５０；２５０）。
前記オーディオ信号プロセッサは、アップミキシング係数を決定し、周囲信号抽出係数を決定するように構成され、前記オーディオ信号プロセッサは、前記アップミキシング係数および前記周囲信号抽出係数を使用して前記周囲信号チャネルを取得するように構成される、請求項１から４のいずれか一項に記載のオーディオ信号プロセッサ（１５０；２５０）。
入力オーディオ信号（１１０；２１０；３１０；ｘ（ｔ）、ｘ（ｔ）、Ｘ（ｍ，ｋ））に基づいて、周囲信号チャネル（１１２ａ～１１２ｃ；２５４ａ～２５４ｃ；３５２；

）を提供するための請求項１から７のいずれか一項に記載のオーディオ信号プロセッサ（１００；２５０）であって、
前記オーディオ信号プロセッサは、前記入力オーディオ信号に基づいて周囲信号（１３０；２３０；３２４；

）を抽出するように構成され、
前記信号プロセッサは、前記入力オーディオ信号内の音源の位置または方向に応じて、前記周囲信号を複数の周囲信号チャネルに分配するように構成され、周囲信号チャネルの数（Ｑ）は、前記入力オーディオ信号のチャネル数（Ｎ）よりも大きい、
オーディオ信号プロセッサ（１００；２５０）。
前記オーディオ信号プロセッサは、前記周囲信号を導出するために、前記入力オーディオ信号（１１０；２１０；３１０；ｘ（ｔ）、ｘ（ｔ）、Ｘ（ｍ，ｋ））に基づいて直接－周囲分離（１２０；２２０；３２０）を実行するように構成される、請求項１から８のいずれか一項に記載のオーディオ信号プロセッサ。
前記オーディオ信号プロセッサは、それぞれの周囲信号成分を励起する直接音源の位置または方向に従って周囲信号成分を前記周囲信号チャネルに分配するように構成される、請求項１から９のいずれか一項に記載のオーディオ信号プロセッサ。
前記周囲信号チャネル（１１２ａ～１１２ｃ；２５４ａ～２５４ｃ；３５２；

）は、異なる方向に関連付けられる、請求項１０に記載のオーディオ信号プロセッサ。
直接信号チャネル（２５２ａ～２５２ｃ；３２４；

）は異なる方向に関連付けられ、
前記周囲信号チャネル（２５４ａ～２５４ｃ；３５２；

）および前記直接信号チャネル（２５２ａ～２５２ｃ；３４２；

）は、同じ方向のセットに関連付けられ、あるいは、前記周囲信号チャネルは、前記直接信号チャネルに関連する前記方向のセットのサブセットに関連付けられ、
前記オーディオ信号プロセッサは、それぞれの直接音成分の位置または方向に従って、直接信号成分を直接信号チャネル間で分配するように構成され、
前記オーディオ信号プロセッサは、前記直接信号成分が分配されるのと同じ方法で、前記それぞれの周囲信号成分を励起する直接音源の位置または方向に従って前記周囲信号チャネル間で前記周囲信号成分を分配するように構成される、
請求項１１に記載のオーディオ信号プロセッサ。
前記オーディオ信号プロセッサは、周囲信号成分の基礎となる音源信号の位置に従って前記周囲信号が前記周囲信号成分に分離されるように、前記周囲信号チャネル（１１２ａ～１１２ｃ；２５４ａ～２５４ｃ；３５２；

）を提供するように構成される、請求項１から１２のいずれか一項に記載のオーディオ信号プロセッサ。
前記オーディオ信号プロセッサは、前記周囲信号（１３０；２３０；３２４；

）を前記周囲信号チャネル（１１２ａ～１１２ｃ；２５４ａ～２５４ｃ；３５２；

）に分配するために、スペクトル重み（３３２；Ｇ^ｐ）を適用するように構成される、請求項１から１３のいずれか一項に記載のオーディオ信号プロセッサ。
前記オーディオ信号プロセッサは、前記周囲信号（１３０；２３０；３２４；

）を前記複数の周囲信号チャネル（１１２ａ～１１２ｃ；２５４ａ～２５４ｃ；３５２；

）にアップミックスするために、スペクトル重み（３３２；Ｇ^ｐ）を適用するように構成され、前記スペクトル重み（３３２；Ｇ^ｐ）は、指向性音源をそれらの位置または方向に従って分離するために計算され、あるいは
前記オーディオ信号プロセッサは、前記周囲信号を前記複数の周囲信号チャネルにアップミックスするために、スペクトル重みの遅延バージョンを適用するように構成され、前記スペクトル重みの遅延バージョンは、指向性音源をそれらの位置または方向に従って分離するために計算される、請求項１４に記載のオーディオ信号プロセッサ。
前記オーディオ信号プロセッサは、前記スペクトル重みが時間に依存し、かつ周波数に依存するように、前記スペクトル重み（３３２；Ｇ^ｐ）を導出するように構成される、請求項１４または１５に記載のオーディオ信号プロセッサ。
前記オーディオ信号プロセッサは、前記入力オーディオ信号（１１０；２１０；３１０；ｘ（ｔ）、ｘ（ｔ）、Ｘ（ｍ，ｋ））の空間音像における音源の位置または方向に応じて前記スペクトル重み（３３２；Ｇ^ｐ）を導出するように構成される、請求項１４から１６のいずれか一項に記載のオーディオ信号プロセッサ。
前記入力オーディオ信号（１１０；２１０；３１０；ｘ（ｔ）、ｘ（ｔ）、Ｘ（ｍ，ｋ））は少なくとも２つの入力チャネル信号を含み、前記オーディオ信号プロセッサは、前記少なくとも２つの入力チャネル信号間の差に応じて前記スペクトル重み（３３２；Ｇ^ｐ）を導出するように構成される、
請求項１４から１７のいずれか一項に記載のオーディオ信号プロセッサ。
前記オーディオ信号プロセッサは、所与の位置または方向に由来するスペクトル成分が、他のチャネルと比較した場合、それぞれの位置または方向に関連するチャネルでより強く重み付けされるように、前記スペクトル成分が由来する位置または方向に応じて前記スペクトル重み（３３２；Ｇ^ｐ）を決定するように構成される、請求項１４から１８のいずれか一項に記載のオーディオ信号プロセッサ。
前記オーディオ信号プロセッサは、前記スペクトル重みが、複数の出力チャネル信号（３４２、３５２）における入力チャネル信号（３２２、３２４）のスペクトル成分の重み付けを記述するように、前記スペクトル重み（３３２；Ｇ^ｐ）を決定するように構成される、請求項１４から１９のいずれか一項に記載のオーディオ信号プロセッサ。
前記オーディオ信号プロセッサは、直接信号成分（２２６；

；３２２）を直接信号チャネル（２５２ａ～２５２ｃ；３４２；

）に分配するために、および前記周囲信号の周囲信号成分（２３０；

；３２４）を周囲信号チャネル（１１２ａ～１１２ｃ；２５４ａ～２５４ｃ；３５２；

）に分配するために、同じスペクトル重み（３３２；Ｇ^ｐ）のセットを適用するように構成される、請求項１４から２０のいずれか一項に記載のオーディオ信号プロセッサ。
前記入力オーディオ信号（１１０；２１０；３１０；ｘ（ｔ）、ｘ（ｔ）、Ｘ（ｍ，ｋ））は少なくとも２つのチャネルを含み、および／または前記周囲信号（１３０；２３０；３２４；

）は少なくとも２つのチャネルを含む、請求項１から２１のいずれか一項に記載のオーディオ信号プロセッサ。
マルチチャネル入力オーディオ信号（２１０、Ｘ）によって表現されるオーディオコンテンツをレンダリングするためのシステム（２００）であって、
請求項１から２２のいずれか一項に記載のオーディオ信号プロセッサ（１００；２５０）であって、３つ以上の直接信号チャネル（２５２ａ～２５２ｃ）および３つ以上の周囲信号チャネル（２５４ａ～２５４ｃ）を提供するように構成されたオーディオ信号プロセッサと、
一組の直接信号スピーカ（２６２ａ～２６２ｃ）および一組の周囲信号スピーカ（２６４ａ～２６４ｃ）を含むスピーカ配置（２６０）と、を含み、
前記直接信号チャネルの各々は、前記直接信号スピーカのうちの少なくとも１つに関連付けられ、
前記周囲信号チャネルの各々は、前記周囲信号スピーカのうちの少なくとも１つに関連付けられる、
システム（２００）。
前記周囲信号スピーカ（２６４ａ～２６４ｃ）の各々は、前記直接信号スピーカ（２６２ａ～２６２ｃ）のうちの１つと関連付けられる、請求項２３に記載のシステム。
前記周囲信号スピーカ（２６４ａ～２６４ｃ；ｈ）の位置は、前記直接信号スピーカ（２６２ａ～２６２ｃ；ｆＬ、ｆＲ、ｒＬ、ｒＲ）の位置に対して高くなっている、請求項２３または２４に記載のシステム。
入力オーディオ信号に基づいて周囲信号チャネルを提供するための方法であって、
前記方法は、前記入力オーディオ信号内の音源の位置または方向に応じて、周囲信号成分が前記周囲信号チャネル間で分配されるように、前記周囲信号チャネルを取得するステップを含み、
異なるオーディオコンテンツを含む取得された周囲信号チャネルの数は、前記入力オーディオ信号のチャネルの数よりも大きく、
周囲信号成分は、それぞれの周囲信号成分を励起する直接音源の位置または方向に従って前記周囲信号チャネル間で分配され、
異なる位置に配置された異なる音源によって励起された異なる周囲信号成分は、前記周囲信号チャネル間で異なるように分配され、
異なる周囲信号チャネルへの周囲信号成分の分配は、前記それぞれの周囲信号成分を励起する直接信号成分の異なる直接信号チャネルへの分配に対応し、
前記周囲信号チャネル（１１２ａ～１１２ｃ；２５４ａ～２５４ｃ；３５２；

）は、異なる方向に関連付けられ、
直接信号チャネル（２５２ａ～２５２ｃ；３２４；

）は異なる方向に関連付けられ、
前記周囲信号チャネル（２５４ａ～２５４ｃ；３５２；

）および前記直接信号チャネル（２５２ａ～２５２ｃ；３４２；

）は、＋／－２０°の許容誤差内で同じ方位角方向のセットに関連付けられ、あるいは、前記周囲信号チャネルは、＋／－２０°の許容誤差内で前記直接信号チャネルに関連する前記方位角方向のセットのサブセットに関連付けられ、
それぞれの直接音成分の位置または方向に従って、直接信号成分が、直接信号チャネル間で分配され、
前記それぞれの周囲信号成分を励起する直接音源の位置または方向に従って前記周囲信号チャネル間で周囲信号成分が分配され、
直接信号成分（２２６；

；３２２）を直接信号チャネル（２５２ａ～２５２ｃ；３４２；

）に分配するために、および前記周囲信号の周囲信号成分（２３０；

；３２４）を周囲信号チャネル（１１２ａ～１１２ｃ；２５４ａ～２５４ｃ；３５２；

）に分配するために、同じパンニング係数またはスペクトル重み（３３２；Ｇ ^ｐ）が使用される、
方法。
入力オーディオ信号に基づいて周囲信号チャネルを提供するための方法であって、
前記方法は、前記入力オーディオ信号内の音源の位置または方向に応じて、周囲信号成分が前記周囲信号チャネル間で分配されるように、前記周囲信号チャネルを取得するステップを含み、
異なるオーディオコンテンツを含む取得された周囲信号チャネルの数は、前記入力オーディオ信号のチャネルの数よりも大きく、
前記方法は、前記入力オーディオ信号に基づいて、直接音成分を含む直接信号を取得するステップを含み、
前記方法は、前記入力オーディオ信号に基づいて周囲信号（１３０；２３０；３２４；

）を抽出するステップを含み、
前記方法は、前記入力オーディオ信号内の音源の位置または方向に応じて、前記周囲信号を複数の周囲信号チャネルに分配するステップを含み、
周囲信号チャネルの数（Ｑ）は、前記入力オーディオ信号のチャネル数（Ｎ）よりも大きく、
前記周囲信号チャネル（１１２ａ～１１２ｃ；２５４ａ～２５４ｃ；３５２；

）は、異なる方向に関連付けられ、
直接信号チャネル（２５２ａ～２５２ｃ；３２４；

）は異なる方向に関連付けられ、
前記周囲信号チャネル（２５４ａ～２５４ｃ；３５２；

）および前記直接信号チャネル（２５２ａ～２５２ｃ；３４２；

）は、同じ方向のセットに関連付けられ、あるいは、前記周囲信号チャネルは、前記直接信号チャネルに関連する前記方向のセットのサブセットに関連付けられ、
直接信号成分は、それぞれの直接音成分の位置または方向に従って直接信号チャネル間に分配され、
前記周囲信号成分は、前記直接信号成分の分配に使用するのと同じパンニング係数またはスペクトル重みを使用して、前記それぞれの周囲信号成分を励起する直接音源の位置または方向に従って前記周囲信号チャネル間に分配される、
方法。
入力オーディオ信号に基づいて周囲信号チャネルを提供するための方法であって、
前記方法は、前記入力オーディオ信号内の音源の位置または方向に応じて、周囲信号成分が前記周囲信号チャネル間で分配されるように、前記周囲信号チャネルを取得するステップを含み、
異なるオーディオコンテンツを含む取得された周囲信号チャネルの数は、前記入力オーディオ信号のチャネルの数よりも大きく、
前記方法は、前記入力オーディオ信号に基づいて、直接音成分を含む直接信号を取得するステップを含み、
前記方法は、前記入力オーディオ信号に基づいて周囲信号（１３０；２３０；３２４；

）を抽出するステップを含み、
前記周囲信号は、前記入力オーディオ信号内の音源の位置または方向に応じて、複数の周囲信号チャネルに分配され、
周囲信号チャネルの数（Ｑ）は、前記入力オーディオ信号のチャネル数（Ｎ）よりも大きく、
前記直接信号は前記入力オーディオ信号に基づいて取得され、
前記周囲信号（１３０；２３０；３２４；

）を前記周囲信号チャネル（１１２ａ～１１２ｃ；２５４ａ～２５４ｃ；３５２；

）に分配するために、パンニング係数またはスペクトル重み（３３２；Ｇ^ｐ）が適用され、
直接信号成分（２２６；

；３２２）を直接信号チャネル（２５２ａ～２５２ｃ；３４２；

）に分配するために、および前記周囲信号の周囲信号成分（２３０；

；３２４）を周囲信号チャネル（１１２ａ～１１２ｃ；２５４ａ～２５４ｃ；３５２；

）に分配するために、同じパンニング係数またはスペクトル重み（３３２；Ｇ^ｐ）のセットが適用される、方法。
請求項２６から２８のいずれか一項に記載の入力オーディオ信号に基づいて周囲信号チャネルを提供するための方法（５００）であって、
前記方法は、前記入力オーディオ信号に基づいて周囲信号を抽出するステップ（５１０）を含み、
前記方法は、前記入力オーディオ信号内の音源の位置または方向に応じて、前記周囲信号を複数の周囲信号チャネルに分配するステップ（５２０）を含み、
周囲信号チャネルの数は、前記入力オーディオ信号のチャネルの数よりも大きい、
方法（５００）。
マルチチャネル入力オーディオ信号によって表現されるオーディオコンテンツをレンダリングするための方法（６００）であって、
入力オーディオ信号に基づいて周囲信号チャネルを提供する請求項２６から２９のいずれか一項に記載の方法のステップ（６１０）であって、３つ以上の周囲信号チャネルが提供される、ステップと、
３つ以上の直接信号チャネルを提供するステップ（６２０）と、
前記周囲信号チャネルおよび前記直接信号チャネルを、一組の直接信号スピーカおよび一組の周囲信号スピーカを含むスピーカ配置に供給するステップ（６３０）と、を含み、
前記直接信号チャネルの各々は、前記直接信号スピーカのうちの少なくとも１つに供給され、
前記周囲信号チャネルの各々は、前記周囲信号スピーカのうちの少なくとも１つに供給される、
方法（６００）。
コンピュータ上で実行された場合に、請求項２６から３０のいずれか一項に記載の方法を実行するためのコンピュータプログラム。
マルチチャネル入力オーディオ信号（２１０、Ｘ）によって表現されるオーディオコンテンツをレンダリングするためのシステム（２００）であって、
入力オーディオ信号（１１０；１６０；２１０；３１０；ｘ（ｔ）、ｘ（ｔ）、Ｘ（ｍ、ｋ））に基づいて周囲信号チャネル（１１２ａ～１１２ｃ；１６２ａ～１６２ｃ；２５４ａ～２５４ｃ；３５２；

）を提供するためのオーディオ信号プロセッサ（１００；１５０；２５０）であって、
前記オーディオ信号プロセッサは、前記周囲信号チャネルを取得するように構成され、
異なるオーディオコンテンツを含む取得された周囲信号チャネルの数（Ｑ）は、前記入力オーディオ信号のチャネルの数（Ｎ）より大きく、
前記オーディオ信号プロセッサは、前記入力オーディオ信号内の音源の位置または方向に応じて、周囲信号成分が前記周囲信号チャネル間で分配されるように、前記周囲信号チャネルを取得するように構成され、
３つ以上の直接信号チャネル（２５２ａ～２５２ｃ）および３つ以上の周囲信号チャネル（２５４ａ～２５４ｃ）を提供するように構成されたオーディオ信号プロセッサと、
一組の直接信号スピーカ（２６２ａ～２６２ｃ）および一組の周囲信号スピーカ（２６４ａ～２６４ｃ）を含むスピーカ配置（２６０）と、を含み、
前記直接信号チャネルの各々は、前記直接信号スピーカのうちの少なくとも１つに関連付けられ、
前記周囲信号チャネルの各々は、前記周囲信号スピーカのうちの少なくとも１つに関連付けられ、
直接信号および周囲信号は異なるスピーカを使用してレンダリングされる、
システム（２００）。
請求項３２に記載のシステムであって、
直接信号スピーカと周囲信号スピーカとの間には関連がある、または
前記直接信号スピーカのサブセットと前記周囲信号スピーカとの間には関連がある、
請求項３２に記載のシステム。