JP6728400B2 - 多チャネルオーディオ信号を処理する装置及び方法 - Google Patents

Description

本発明は、多チャネルオーディオ信号を処理する装置に関する。多チャネルオーディオ信号は、複数の−すなわち少なくとも２つの−チャネル信号を含む。この装置は、多チャネルオーディオ信号の時間スケール修正を実行する。本発明は、対応する方法およびコンピュータプログラムにも関する。

時間スケール修正（ＴＳＭ）は、オーディオ信号のピッチに影響を及ぼすことなくオーディオ信号の再生をスローダウンまたはスピードアップする処理を指す。サンプルレート変換と組み合わせたＴＳＭはまた、テンポを変更することなくピッチを変更することを可能にする。ＴＳＭに関する課題は、（テンポまたはピッチのいずれかを除く）オーディオ信号の他のすべての特性、特に音質を維持することである。その処理は、可聴アーチファクトを生成すべきではない。

単一チャネル入力信号の場合、主要な重要特徴は音色(timbre)である。複数のチャネルを有する信号の場合、空間的特性も維持される必要がある。空間的特性は、直接音源の位置および幅と、周囲音の拡散とを含む。それらは、チャネル間レベル差(ICLD)、チャネル間時間差(ICTD)、チャネル間位相差(ICPD)、またはチャネル間コヒーレンス(ICC)によって定量化することができる。

時間スケール修正に対する基本的に異なる２つのアプローチが存在する。一方は時間ドメインで適用され、他方は周波数ドメインで適用される。

時間ドメインでの処理は、同期オーバーラップ加算（ＳＯＬＡ）スキームを使用する。信号はオーバーラップするフレームにカットされ、これらのフレームはシフトされ、信号を伸張又は収縮させるために結合される。シフト位置は、典型的には、類似性の尺度、例えば信号フレームとそのシフトされたコピーとの相関関係を最大化することによって計算される。

時間ドメインにおけるこの方法は、計算量が少ない。出力信号における不連続性および破壊的干渉を回避するために、シフトオフセットは基本周波数の周期の整数倍として決定することができるので、（ポリフォニックと対照的な)モノフォニック信号、例えばスピーチまたはフルートのトーンについて良好な結果が得られる。言い換えると、シフトされた信号フレームが位相コヒーレント方式で加算される。異なる基本周波数を有する複数のトーンを有するポリフォニック入力の場合、すべてのトーン(ピッチ)に対して波形の類似性が満たされるようにシフトが決定されることは不可能である。

多くの音楽信号では、周波数ドメインで処理を施すことにより、音質の点でより良好な結果が得られる。この方法は、例えば図１に示されるブロック図に示されるような位相ボコーダスキーム［非特許文献１］を使用し、簡単に説明すると、以下の通りである。

入力されたオーディオ信号ｘ（ｎ）は、短時間フーリエ変換（ＳＴＦＴ）を用いて周波数ドメインに変換される。同様に、別のタイプのフィルタバンクまたは変換を使用することもでき、その場合でも、十分に小さい再構成誤差で逆処理を適用することができる。

上述の実施形態では、入力信号ｘ（ｎ）はオーバーラップするフレームにカットされ、以下の式（１）に従って各フレームについて離散フーリエ変換（ＤＦＴ）が計算され、信号の短時間フーリエ変換（ＳＴＦＴ）表現を得る。これはＳＴＦＴ係数（又はスペクトル係数）とも呼ばれる。

時間フレームインデックスはｍで示され、ｋは０≦ｋ≦Ｎ−１である離散周波数インデックスであり、ｗ_aは窓関数である。正規化された角周波数Ω_kは、Ω_k＝２πｋ／Ｎで与えられる。ＤＦＴはサイズＮを有し、Ｒ_aは分析ホップサイズである。

時間および周波数のインデックスは、簡潔にするために、この明細書では可能な場合は省略されている。

出力時間ドメイン信号ｙ（ｎ）は、ＳＴＦＴの逆を用いる合成ステージにおいて出力スペクトル係数Ｙ（ｍ，ｋ）から計算され、その合成ステージは２つのステップで実行される。

第１に、次式に従ってＭ個のフレーム毎に逆離散フーリエ変換が計算される。

第２に、任意の合成窓ｗ_s（ｎ）と合成ホップサイズＲ_sとを用いて、次式に従ってオーバーラップ加算手順が適用される。

時間スケール修正は、合成ホップサイズＲ_sと分析ホップサイズＲ_aとを異なる値に設定することによって達成される。すなわち、Ｒ_a＜Ｒ_sである場合には信号が時間的に伸張され、Ｒ_a＞Ｒ_sである場合には収縮される。

分析窓ｗ_aおよび合成窓ｗ_sは、Ｒ_a＝Ｒ_sおよびＹ（ｍ，ｋ）＝Ｘ（ｍ，ｋ）の場合、入力信号と出力信号とが同一であるように選択される。

実数値の入力信号（本件で考慮対象とするオーディオに該当する）のための短時間フーリエ変換係数Ｘ（ｍ，ｋ）は、次式のように、それらの大きさ｜Ｘ｜および位相Φｘによって、極座標で表すことができる複素数値である。

ここで、ｊ＝√（−１）である。

２つのホップサイズＲ_aおよびＲ_sが異なる場合、すなわちＲ_a≠Ｒ_sである場合、「水平位相コヒーレンス」が達成されるように、Ｙ（ｍ，ｋ）の位相を修正する必要がある。これは、一定周波数の正弦波に対して、連続するフレームが不連続または位相キャンセル（破壊的干渉）なしにコヒーレントにオーバーラップすることを意味する。

位相ボコーダの手法は、例えば音楽録音などのポリフォニック入力に適している。その欠点は、位相の修正が「過渡スミアリング」として知られるアーチファクトを生成し得ることである。すなわち、信号の時間的包絡が修正された結果、音の始まりは、よりパンチが無くよりパーカッションが効かない音と知覚される恐れがある。例えば「位相同期(phase locking)」［非特許文献２］と呼ばれる方法を適用し、または無音期間中に位相をリセット［非特許文献３］することで、出力位相に付加的な処理を適用し、過渡スミアリングを緩和することもできる。

位相を修正する適切な手順の後、出力が得られる。出力のスペクトル係数は、極座標を用いて、

として記述することができ、ここで、Φ_yは修正された位相を示す。位相Φ_yを計算するプロセスは、以下では位相適応（ＰＡ）と呼ばれる。

２チャネルオーディオ入力信号を処理する様々な方法が知られている。

１つの選択肢は、多チャネル信号を単一チャネル信号にダウンミックスすること、すなわち、すべてのチャネルのスケーリングされたバージョンを加算し、その単一チャネル（モノラル）信号を処理することである。入力信号のモノラル・ダウンミックスを処理することは、立体音響情報が失われ、それによって音質が低下するという欠点がある。

別の選択肢は、分離された入力チャネル信号を独立して処理することである。各チャネル信号を別々に処理することの主な欠点は、ステレオ音像を歪めるチャネル間の任意のデコリレーションが導入されることである。時間スケール修正の位相適応は信号依存処理であるので、対応するチャネル信号が異なる場合、個々のチャネルの位相間の関係は維持されない。空間情報の歪みは、直接音源(例えば歌手又はソリスト)のステレオ音像のぼやけ又は拡大として知覚され得る。

[1] M. Dolson, "The Phase Vocoder: A Tutorial", Computer Music Journal, vol. 10, pp. 14 − 27, 1986. [2] J. Laroche and M. Dolson, "Improved Phase Vocoder Time-Scale Modification of Audio", IEEE Transaction on Speech and Audio Processing, vol. 7, no. 3, pp. 323−332, 1999. [3] T. Karrer, E. Lee, and J. Borchers, "PhaVoRIT: A Phase Vocoder for Real-Time Interactive Time-Stretching," in Proc. of ICMC, 2006.

本発明の目的は、処理済み信号の空間特性の品質−例えばステレオ音像−に関して、既存の時間スケール修正方法を改善することである。

この目的は、本発明の装置及び方法によって達成される。

この目的は、多チャネルオーディオ信号を処理する装置によって達成される。多チャネルオーディオ信号は、複数の−または少なくとも２つの−チャネル信号を含む。この装置は、多チャネルオーディオ信号の時間スケール修正を実行するように構成され、即ち、多チャネルオーディオ信号は、そのピッチに影響を及ぼすことなくスローダウンされるか又はスピードアップされる。この装置は、位相アダプタとセパレータとを含む。位相アダプタは、チャネル信号同士の結合に基づくある信号の位相を修正することによって、少なくとも１つの処理済み信号を提供するように構成される。セパレータは、少なくとも１つの処理済み信号に基づいて複数の分離信号を提供するように構成される。

本発明は、信号の処理、特にオーディオ信号またはスピーチ信号の処理を改善する。特に、２以上のチャネルを有する立体音響入力信号の処理に係る課題が解決される。

本発明の利点は、知覚されるステレオ音像が歪められないように、入力オーディオ信号の空間特性が維持されることである。特に、ＴＳＭ処理に起因して音源位置や拡散性が変化することがない。

このように、本発明は、従来技術において出力信号の空間特性がひどく歪められている、という課題を解決するものであり、その課題は、ステレオ音像の中心にパンされた音源を聴取する際に最も顕著である。

本装置は、位相適応を実行することによって多チャネルオーディオ信号の時間スケール修正を実行する。従来技術では、位相を修正する様々な手順(位相同期及び他の手段を含む)が知られている。

位相を修正するための一実施形態は、合成ホップサイズＲ_sを有する隣接するフレーム間の位相伝播が、分析ホップサイズＲ_aに対する入力信号の位相伝播と同一であるように、位相を修正することを含む。これにより、水平位相コヒーレンス（すなわち、各周波数ビンにおける位相の時間的進展）が維持されることが保証される。これは、現在の時間フレームおよび前の時間フレームの入力位相、分析ホップサイズＲ_aおよびＳＴＦＴ（短時間フーリエ変換）パラメータを所与として、時間フレームｍでの瞬時周波数を計算することによって達成される。所望の位相伝播は、瞬時周波数および合成ホップサイズＲ_sを使用して計算される。

追加の実施形態では、前述の方法は、「位相同期」を含む方法によって強化される。位相同期は、垂直位相コヒーレンスを改善すること、すなわち各フレーム内の隣接する周波数ビン間の位相の関係を維持することを目的とする。これは、例えば、過渡またはパーカッションが効いた音を含む音楽信号を処理するときに顕著となる方法で、音質を改善する。

位相アダプタは、多チャネルオーディオ信号に含まれるチャネル信号の少なくとも１つの結合の位相を適応させるように構成される。このために、位相アダプタによって処理される信号は、極座標を用いて大きさと位相とを与えられる。

位相アダプタに続くセパレータは、処理済み信号に基づいて、すなわち修正された位相を有する信号に基づいて分離信号を提供する。セパレータは、信号の結合を逆転させ、分離信号を抽出または生成する。

したがって、この装置は、チャネル信号同士の少なくとも１つの結合の位相を修正し、チャネル信号の位相適応された結合を分離信号に分離することによって、個々の修正された信号を提供する。

本発明の位相適応は、位相ボコーダすなわち周波数ドメインにおける処理を使用する、時間スケール修正への拡張として最も適している。しかし、それは時間ドメインにおけるＴＳＭへの拡張として適用することもできる。このために、時間ドメインＴＳＭは、多チャネルオーディオ信号に含まれるチャネル信号を結合することによって得られる、少なくとも１つの信号を処理するように構成される。時間ドメインＴＳＭに続くセパレータは、処理済み信号に基づいて分離信号を提供する。

一実施形態では、位相アダプタは、Ｎ個のチャネル信号の結合に基づくＮ個の信号の位相を修正することによって、Ｎ個の処理済み信号を提供するように構成される。セパレータは、その処理済み信号に基づいてＮ個の分離信号を提供するように構成される。Ｎは多チャネルオーディオ信号に含まれるチャネル信号の数であり、Ｎは２以上の整数である。一実施形態では、Ｎは多チャネルオーディオ信号に含まれる全てのチャネル信号の数である。その場合、Ｎ個のチャネル信号はＮ個の結合信号に変換され、これらＮ個の結合信号は−位相適応後に−Ｎ個の信号に分離される。

一実施形態によれば、チャネル信号のＮ個の結合は、チャネル信号の線形結合である。一実施形態では、位相アダプタはチャネル信号の様々な結合を取り扱うが、その結合は線形結合であり、例えばチャネル信号の和または差である。

一実施形態では、Ｎは２に等しく（Ｎ＝２）、２つのチャネル信号の２つの結合は、和信号および差信号である。別の実施形態では、Ｎは２より大きい。

さらなる実施形態では、この装置は変換器を含む。変換器は、信号を時間ドメインから周波数ドメインへ変換することによって変換済み信号を提供するように構成される。変換器は、信号を時間ドメインから周波数ドメインへ変換し、その後、これらの信号を周波数ドメインで処理することを可能にする。変換されるべき信号は、一実施形態では、多チャネルオーディオ信号に含まれるチャネル信号である。

一実施形態によれば、変換器は、短時間フーリエ変換を適用することによって変換済み信号を提供するように構成される。短時間フーリエ変換または代替的に短期フーリエ変換とも呼ばれる変換(STFT)は、時間とともに変化する信号の局部セクションのフーリエ関連変換である。実際には、長い信号は等しい長さの短いセグメントに分割され、フーリエ変換は各セグメントに対して別個に計算される。

さらなる実施形態では、この装置は結合器を含み、結合器はチャネル信号に基づいて結合信号を提供するように構成される。変換器は、変換を適用することによって、結合信号に基づく変換済み信号を提供するように構成される。ここでは、チャネル信号は結合され、それら結合は周波数ドメインに変換される。

別の実施形態では、結合器および変換器のシーケンスの順序は逆転される。この実施形態では、この装置に含まれる結合器は、変換器によって提供される変換済み信号に基づいて、結合信号を提供するように構成される。この実施形態では、結合器は、変換器から変換済み信号を受信し、結合信号を提供するためにそれらを結合する。このように、チャネル信号は、個別に周波数ドメインに変換され、結合器によってこのドメイン内で結合される。

さらなる実施形態では、結合器は、２つの変換済み信号の和を計算することによって、結合信号としての和信号を提供するように構成される。この実施形態では、変換済み信号を介した和の形態でのチャネル信号の線形結合が、少なくとも１つの結合信号を提供するために使用される。多チャネルオーディオ信号が、例えばステレオ信号として２つのチャネル信号を含む場合、和信号である１つの結合信号を得るために、両方のチャネル信号が互いに加算される。別の実施形態では、結合器は、少なくとも２つのチャネル信号から成る複数のチャネル信号の和を計算する。

一実施形態によれば、結合器は、２つの変換済み信号間の差を計算することによって、結合信号としての差信号を提供するように構成される。この実施形態では、信号の線形結合は、２つの信号間の差である。結合されるべき信号は、ここでは変換済み信号である。別の実施形態では、結合器は２つのチャネル信号間の差を計算する。

一実施形態によれば、結合器は、Ｎ個の変換済み信号を含む多チャネル信号に対し、次式に従ってＮ×Ｎの寸法を有するミキシング行列−ｇと呼ぶ−を適用することによって、結合信号を提供するように構成される。

Ｎは多チャネルオーディオ信号に含まれるチャネル信号の数であり、

は変換済み信号に基づく行列化された（matriced）多チャネル信号であり、従って、結合信号を一般的な形式で表す。

換言すると、結合器は、Ｎ個の変換済み信号−望ましくは行列化されたフォーマットで−に対してＮ×Ｎの寸法を有するミキシング行列を適用することにより結合信号を提供するように構成され、ここで、変換済み信号は多チャネルオーディオ信号に属するＮ個のチャネル信号に基づいている。

ミキシング行列が同数の列と行とを有するので、結合される信号の数は、次式に示されるように、結合信号の数に等しい。

ミキシング行列の適用は、次式に示すように、その行列のｋ番目の行の対応する要素により乗算された多チャネルオーディオ信号の全てのチャネル信号を合計することによって、結合信号のｋ番目のチャネル信号を計算することと等価である。

別の実施形態では、定義されたミキシング行列はＮ個のチャネル信号に基づいたある信号に適用される。ミキシング行列は、変換済み信号またはチャネル信号のいずれかである任意の所与の数の信号を結合することを可能にする。

さらなる実施形態では、位相アダプタは、位相ボコーダ法を適用することによって、位相を修正するように構成される。位相ボコーダは、位相情報を使用することにより、オーディオ信号の周波数ドメインと時間ドメインとの両方をスケーリングするボコーダである。

一実施形態によれば、位相アダプタは、振幅と修正された位相とを有する処理済み信号をそれらの極座標によって提供するように構成される。したがって、Ｎ＝２チャネル信号Ｙ_s，Ｙ_dを有する一実施形態では、処理済み信号は次式により与えられ、

ここで、Φ_s/d＝ａｒｇ Ｙ_s/dおよびｊ＝√（−１）である。

セパレータは、結合信号に基づく処理済み信号に基づいた個別の信号を提供する。セパレータによって提供される信号は、時間スケール修正されたチャネル信号として使用される。したがって、一実施形態によれば、多チャネルオーディオ信号がＮ個のチャネル信号を含む場合、セパレータはＮ個の分離信号を提供する。

一実施形態によれば、セパレータは、処理済み信号のうちの２つの間の差に基づく１つの分離信号を提供するように構成される。

さらなる実施形態では、セパレータは、処理済み信号のうちの２つの和に基づく１つの分離信号を提供するように構成される。

一実施形態では、セパレータは、処理済み信号の各結合の振幅に対してある係数−例えば０．５−を適用する。

一実施形態によれば、セパレータは、Ｎ×Ｎの寸法を持つ逆ミキシング行列を、Ｎ個の処理済み信号に基づく行列化された信号に適用することにより、Ｎ個の分離信号を提供するように構成される。Ｎは、多チャネルオーディオ信号に含まれるチャネル信号の数である。この実施形態は、任意の所与の数の処理済み信号を処理し、対応する数の分離信号を提供することを可能にする。逆ミキシング行列は、結合信号を得るために使用されるミキシング行列の逆行列である。

一実施形態によれば、この装置は補正器を含み、補正器は、分離信号の振幅を多チャネルオーディオ信号に含まれるチャネル信号の振幅に基づく振幅で置換することによって、分離信号を補正するように構成される。

この実施形態は、チャネル信号の線形結合を処理すること、及び信号が周波数ドメインにおいて修正された後に振幅補正手順を適用することを含む。

このように、本方法の新しさは、この実施形態では２つの段階にある。すなわち、
１）ＴＳＭ処理を、好ましくは線形結合、例えば和信号および差信号に適用すること、及び
２）チャネル間レベル差（ＩＣＬＤ）を回復するために、時間−周波数ドメインにおける出力信号の振幅を回復する処理を適用することである。

さらなる実施形態では、補正器は、分離信号の振幅を、変換器によって提供された対応する変換済み信号の振幅、すなわち周波数ドメインにおけるチャネル信号の振幅によって置換するように構成される。

このように、補正器は、適応された位相を有する分離信号の振幅を適応化前の対応する信号の振幅によって置換する。したがって、元の振幅が回復される。

以下の実施形態は、周波数ドメインにおいて信号を処理し、かつ時間ドメインにおいてそれらを処理することを可能にする。

一実施形態では、この装置は逆変換器を含む。逆変換器は、逆変換を適用することによって、分離信号に基づく修正済みチャネル信号を提供するように構成される。この逆変換は、一実施形態では、周波数ドメインから時間ドメインへ信号を変換する。

他の実施形態によれば、本装置は逆変換器を含む。逆変換器は、逆変換を適用することによって、補正器によって提供された補正済み信号に基づいて補正され修正されたチャネル信号を提供するように構成される。

別の実施形態によれば、逆変換器は、逆短時間フーリエ変換を適用するように構成される。

このように、逆変換器は、位相適応の前のステップで実行されるある種の変換を逆転するように構成される。

一実施形態によれば、この装置は抽出器を含み、抽出器は、多チャネルオーディオ信号に含まれるチャネル信号を提供するように構成される。この実施形態では、本装置は、例えば多チャネルオーディオ信号を受信し、抽出器は個々のチャネル信号を提供する。別の実施形態では、チャネル信号はこの装置に個別に供給される。

以下の実施形態は、計算ステップが容易になり、そのユニットに対する要件が緩和され得る。

一実施形態によれば、この装置は、チャネル信号の他の結合よりも、より精度の低い信号間の差に基づくチャネル信号の結合に対してステップを実行するように構成される。

この目的は、多チャネルオーディオ信号を処理する方法によっても達成される。

この方法は、少なくとも以下のステップを含む：
多チャネルオーディオ信号に含まれるチャネル信号に基づく少なくとも１つの結合信号を提供するステップ、
結合信号の時間スケール修正を実行することによって処理済み信号を提供するステップ、及び
処理済み信号の分離に基づいて修正済みチャネル信号を提供するステップ。

時間スケール修正は、一実施形態では、位相適応によって実行される。

一実施形態によれば、本方法は、振幅を、対応するチャネル信号の振幅に基づく振幅で置換することによって、修正済みチャネル信号の振幅を修正するステップをさらに含む。

この実施形態では、以下のステップが起こる。すなわち、チャネル信号は結合信号へと結合される。結合信号又はこの結合信号に基づく信号は、時間スケール修正を実行するために位相適応を受ける。位相適応された信号は、分離信号に分離される。それら信号は位相と振幅とを含む。これら信号の振幅／大きさは、チャネル信号に基づく振幅によって置換される。

本装置の実施形態は、方法のステップおよび方法の対応する実施形態によって実施することもできる。したがって、装置の実施形態について与えられた説明は、本方法についても当てはまる。

この目的は、コンピュータまたはプロセッサ上で実行されるときに、前述の実施形態のいずれかの方法を実行するコンピュータプログラムによっても達成される。

以下では、添付図面および添付図面に記載された実施形態に関連して、本発明について説明する。

従来技術による周波数ドメインにおける時間スケール修正方法のブロック図である。 ２つのチャネルを有する入力オーディオ信号のための本発明の時間スケール修正方法のブロック図である。 本装置の一実施形態を概略的に示す。 この装置の異なる実施形態を示す。 図４の実施形態の一般的なバージョンを示す。

２つのチャネル（例えばステレオサウンドの左チャネルおよび右チャネル）を有する入力信号の例である、本発明方法の一実施形態のブロック図が図２に示されている。

入力オーディオ信号はｘ＝［ｘ₁ｘ₂］^Tであり、ここで、ｘ₁は第１チャネル信号を表し、ｘ₂は第２チャネル信号を表す。短時間フーリエ変換（ＳＴＦＴ）表現は、ｘ₁およびｘ₂に対して計算され、ステップＳＴＦＴにおいてそれぞれＸ₁およびＸ₂を得る。

本発明によれば、和信号Ｘ_sおよび差信号Ｘ_dが、多チャネルオーディオ信号のチャネル信号−ここでは変換済みチャネル信号Ｘ₁およびＸ₂−から、ＭＳと名付けられたステップにおいて、次式に従って計算される。

別の実施形態では、ＳＴＦＴとステップＭＳにおける信号の結合との順序が切り替えられる。これは、和信号及び差信号の計算は時間ドメインでも実行することができ、かつＳＴＦＴを時間ドメインの和信号及び差信号から計算できる、ことを考慮している。しかしながら、計算負荷を低減するために、図２に示すような順序を適用するのが有利である。

次に、和信号Ｘ_s及び差信号Ｘ_dは、位相適応（ＰＡ）法によって、例えば［非特許文献２］に記載された位相ボコーダ法又は他の時間スケール修正法を使用して、処理される。処理された和信号および差信号は、それぞれＹ_sおよびＹ_dで示される。

これに続いて、例えば信号Ｙ_sおよびＹ_dを逆短時間フーリエ変換により変換することによって、ステップｉｎｖｅｒｓｅＭＳにおける逆変換が行われる。

第１及び第２のチャネルについての処理済み信号は、図示の実施例においては、以下の式（８）及び（９）を適用することにより、すなわち式（６）及び（７）の逆処理を適用することにより、得られる。

したがって、２つの分離信号Ｙ₁およびＹ₂は、図示の実施形態では、次式で与えられる。

一般的な形態では、（結合信号の例としての）和信号と差信号の計算は、次式のように行列表記で表され、

ここで、入力信号のＳＴＦＴ係数Ｘ＝［Ｘ₁…Ｘ_N］^T、チャネル数Ｎ、行列化された信号のＳＴＦＴ係数

及びサイズＮ×Ｎのミキシング行列ｇを用いる。

例えば、和信号Ｘ_sと差信号Ｘ_d−式（６）、（７）で与えられる−とは、Ｎ＝２について、

及び

と設定することにより、取得される。

行列演算の逆処理、すなわち行列化された信号

からチャネル信号Ｙ＝［Ｙ₁…Ｙ_N］^Tを計算することは、次式から得られ、

ここで、

は

に適用されたＰＡ処理の結果であり、ｇ^-1は行列ｇの逆行列である。この一般化を用いて、提案の方法は、２より多いチャネルを有する信号にも適用することができる。

上述の実施形態の非常に有利なステップは、スペクトル係数の大きさを補正することであり、それにより、結果として得られる複素値スペクトル係数は、式（８）および（９）を使用する分離ステップの結果の位相と、変換済みチャネル信号Ｘ₁およびＸ₂の大きさとを有する。

分離信号は、極座標で次式のように与えられる。

ここで Φ_y,1/2＝ａｒｇ Ｙ_1/2及びｊ＝√−１である。

したがって、図示された２チャネル入力信号に対して、ステップＭＣに続く補正済み信号Ｚ₁及びＺ₂は、次式で与えられる。

このステップは、オーディオ信号のチャネル間レベル差(ICLD)が保持されることを保証する。

つまりこのステップでは、処理済み信号の大きさが変換済みチャネル信号の元の振幅によって置換される。

２より多いチャネルを有する入力信号の一般的な場合において逆行列演算後−すなわち個別の位相適応後に分離信号への分離後−の各出力信号は、一実施形態において、その大きさが対応する−好ましくは変換済みの−チャネル信号（行列化前、すなわち異なるチャネル信号の結合を計算する前）の大きさによって置換されるように修正される。

このＰＡ処理は、かなりの計算複雑性を有する。それは、計算負荷を低減するために、より低い精度で実施され得る様々な処理ステップを含む。

例えば、デカルト座標によって与えられる複素数(実数成分および虚数成分)の極座標(大きさおよび位相)の計算は、より低いまたはより高い精度で実施することができる。より低い精度での計算は、より低い計算コストを有するが、誤差を導入してしまいがちである。

計算負荷は、典型的なオーディオ信号（例えば音楽録音又は放送信号）について、和信号が差信号よりも高いエネルギーを有するという事実を有利に利用することによって、低減することができる。計算における近似に起因する誤差は、それらが差信号に導入される場合にはより小さい影響を有し、和信号に生じる場合にはより大きな影響を有する。これは、差信号Ｙ_dを計算する際により低い精度の方法を適用し、かつ和信号Ｙ_sを計算する際により高い精度の方法を適用することによって、活用することができる。

計算負荷を低減するための他の手段は、ある処理ステップをスキップすることである。例えば、差信号Ｙ_dを算出する際に、位相同期をスキップすることができる。位相同期とは、音質を改善するための付加的な処理ステップのことである。計算負荷を低減するために、位相同期処理を適用することなく位相伝播が維持されるように、差信号Ｙ_dの位相が計算される。

計算負荷を低減するための別の手段は、ある最大周波数値までだけに、高品質（位相同期のようなすべての処理ステップを含む高い精度）での処理を適用することである。例えば、４８ｋＨｚでサンプリングされたデジタル信号の場合、高品質の処理は、１０ｋＨｚの最大値までの周波数帯域にのみ適用される。差信号の計算については、最良の可能な品質で処理が適用される最大周波数をさらに低減することができる。

図３は、多チャネルオーディオ信号１００の時間スケール修正を実行する装置１の一実施形態を示す。多チャネルオーディオ信号１００は、２よりも多いチャネル信号を含んでもよい。時間スケール修正は、位相適応によって達成される。

抽出器２は、多チャネルオーディオ信号１００に含まれるチャネル信号ｘ₁,ｘ₂を回収する。図示の実施形態では、２つのチャネル信号のみが存在する。しかしながら、本発明は、２チャネル信号に限定されるものではない。

異なる実施形態−図示せず−では、チャネル信号ｘ₁,ｘ₂は装置１に別個に供給される。したがって、このような実施形態では抽出器は必要とされない。

チャネル信号ｘ₁、ｘ₂は時間ドメインの信号であり、図示の実施形態では変換器３に送られる。変換器３はチャネル信号ｘ₁,ｘ₂を周波数ドメインに変換し、変換済み信号Ｘ₁，Ｘ₂を供給する。

変換済み信号Ｘ₁，Ｘ₂は結合器４に送られる。結合器４は、−この実施例では−変換済み信号Ｘ₁,Ｘ₂の線形結合を適用すること、例えば変換済み信号の和Ｘ_sを計算し、かつそれらの間の差Ｘ_dを計算することによって、変換済み信号Ｘ₁,Ｘ₂を結合する。結合信号の数は、一実施形態ではチャネル信号の数と同じである。

異なる実施形態−図示せず−では、変換器３と結合器４とのシーケンスは逆転される。これは、この異なる図示されていない実施例では、結合器４がチャネル信号を結合してから、変換器３がその結合信号を変換することを意味する。

図示の実施形態では、結合信号−変換され結合されたチャネル信号である−Ｘ_sおよびＸ_dは位相アダプタ５に送られる。

位相アダプタ５は、結合信号Ｘ_sおよびＸ_dの位相を修正し、処理済み信号Ｙ_sおよびＹ_dを提供する。処理済み信号Ｙ_sおよびＹ_dは、結合信号Ｘ_sおよびＸ_dの適切な時間スケール修正を反映している適応された位相を有する。このように、結合信号は、スローダウンされるかまたはスピードアップされる。

時間スケール修正されたチャネル信号を得るために、処理済み信号Ｙ_sおよびＹ_dは、分離信号Ｙ₁およびＹ₂を提供するセパレータ６によって分離され、これら分離信号は逆変換器７によって逆変換される。結果として得られた修正済みチャネル信号ｙ₁およびｙ₂は時間信号であり、所望の時間スケールを有する。

図４は、装置１の異なる実施形態を示す。

図４に示す装置１の構造は、図３に示した実施形態と同様である。両実施形態の差は、セパレータ６に続くユニットによって与えられる。他の要素についての説明は、図３の説明を参照されたい。

図４に示された実施形態におけるセパレータ６も、分離信号Ｙ₁及びＹ₂を提供する。これら周波数ドメイン信号Ｙ₁およびＹ₂は、この実施形態では逆変換器７の上流にある補正器８に送られる。

補正器８は、分離信号Ｙ₁及びＹ₂の振幅を、対応する変換済み信号Ｘ₁及びＸ₂の振幅によって置換する。即ち、位相適応前及び特にチャネル信号の結合前の振幅又は大きさを用いて置換する。

結果として得られる補正され又は振幅修正された信号Ｚ₁及びＺ₂（式（１２）及び（１３）と比較する）は、逆変換器７に送られ、補正されかつ修正されたチャネル信号ｚ₁,ｚ₂として時間ドメインに変換される。

補正を可能にするために、変換器３は補正器８と接続されている。

図示されていない更なる実施形態では、変換器３と結合器４の順序が逆転し、よって変換器３は結合信号を変換する。その場合、分離信号Ｙ₁，Ｙ₂の補正のために、補正器８は対応するチャネル信号ｘ₁，ｘ₂のさらなる変換信号を参照する。

図５の実施例は、図４に示された実施例の一般化されたバージョンである。

ここで、多チャネルオーディオ信号１００はＮ個のチャネル信号ｘ₁,ｘ₂,…,ｘ_Nを含み、Ｎは２より大きい整数である。

抽出器２によって回収された時間信号であるチャネル信号ｘ₁，ｘ₂,…,ｘ_Nは変換器３へ送られ、変換器３は、周波数ドメインにおける変換済み信号Ｘ₁，Ｘ₂,…,Ｘ_Nを提供し、これら変換済み信号はここではベクトル

によって与えられる（代替的にはＸによって与えられる）。

次の結合器４は、式（１０）を適用することによって、線形結合のベクトル

を提供する。

次に、位相アダプタ５が処理済み信号（ここではベクトル

によって与えられる）を提供し、その処理済み信号はセパレータ６によって分離される。分離信号Ｙ₁,Ｙ₂,…,Ｙ_N（ここではベクトル

によって与えられる)は、補正器８によってそれらの振幅に関して補正される。補正済み信号Ｚ₁,Ｚ₂,…,Ｚ_N（ここではベクトル

によって与えられる）が逆変換器７に送られ、補正されかつ修正されたＮ個のチャネル信号ｚ₁、ｚ₂,…,ｚ_Nを得る。大文字から小文字への切り替えは、周波数ドメインから時間ドメインへの変換を示している。

いくつかの態様が装置に関して説明されてきたが、これらの態様は、ブロックまたはデバイスが方法ステップまたは方法ステップの特徴に対応する、対応する方法の説明を表すことは明らかである。同様に、方法ステップの文脈において説明される態様は、対応する装置の対応するブロックまたはアイテムまたは特徴の説明を表す。方法ステップの一部または全部は、例えばマイクロプロセッサ、プログラム可能なコンピュータ、または電子回路などのハードウェア装置によって実行される(または使用される)ことが可能である。いくつかの実施形態において、最も重要な方法ステップのうちのいくつかの一つまたは複数は、そのような装置によって実行されてもよい。

本発明の伝送されまたは符号化された信号は、デジタル記憶媒体に記憶することができ、または無線伝送媒体またはインターネットなどの有線伝送媒体のような伝送媒体上で伝送することができる。

特定の実施要件に応じて、本発明の実施形態は、ハードウェアで実施されてもよいし、ソフトウェアで実施されてもよい。この実施は、それぞれの方法が実行されるようにプログラム可能なコンピュータシステムと協働する(または協働することができる)電子的に読み取り可能な制御信号を記憶するデジタル記憶媒体、例えばフロッピー(登録商標)ディスク、DVD、ブルーレイ、CD、ROM、PROMおよびEPROM、EEPROMまたはフラッシュメモリを使用して実行することができる。したがって、デジタル記憶媒体は、コンピュータ可読であってもよい。

本発明によるいくつかの実施形態は、本明細書に記載される方法のうちの一つが実行されるように、プログラム可能なコンピュータシステムと協働することができる、電子的に読み取り可能な制御信号を有するデータキャリアを含む。

一般に、本発明の実施形態は、コンピュータプログラム製品がコンピュータ上で実行されるときに、その方法の一つを実行するように動作するプログラムコードを有するコンピュータプログラム製品として実装することができる。プログラムコードは、例えば、機械読み取り可能なキャリアに格納されてもよい。

他の実施形態は、機械可読キャリアに格納された、本明細書に記載された方法のうちの一つを実行するコンピュータプログラムを含む。

言い換えると、本発明の方法の実施形態は、コンピュータプログラムがコンピュータ上で実行されるときに、本明細書に記載された方法の一つを実行するプログラムコードを有するコンピュータプログラムである。

したがって、本発明の方法のさらなる実施形態は、本明細書に記載される方法のうちの一つを実行するコンピュータプログラムを記録したデータキャリア(または、デジタル記憶媒体などの非一時的記憶媒体、またはコンピュータ可読媒体)である。データキャリア、デジタル記憶媒体、または記録媒体は、典型的には、有形および／または非一時的である。

したがって、本発明の方法のさらなる実施形態は、本明細書に記載されている方法の一つを実行するコンピュータプログラムを表すデータストリームまたは信号シーケンスである。データストリームまたは信号シーケンスは、例えば、インターネットを介するなど、データ通信接続を介して転送されるように構成されてもよい。

さらなる実施形態は、本明細書に記載される方法の一つを実行するように構成されるか、または適応されるように構成される、処理手段、例えば、コンピュータまたはプログラム可能な論理デバイスを含む。

さらなる実施形態は、本明細書に記載される方法の一つを実行するコンピュータプログラムをその上にインストールされたコンピュータを含む。

本発明によるさらなる実施形態は、本明細書に記載される方法の一つを実行するコンピュータプログラムを受信機に転送する(例えば、電子的にまたは光学的に)ように構成された装置またはシステムを含む。受信機は、例えば、コンピュータ、モバイル機器、メモリ機器などであってもよい。装置またはシステムは、例えば、コンピュータプログラムを受信機に転送するためのファイルサーバを備えることができる。

いくつかの実施形態において、プログラム可能な論理デバイス(例えば、フィールドプログラマブルゲートアレイ)は、本明細書に記載される方法の機能のいくつかまたは全ての機能を実行するために使用され得る。いくつかの実施形態では、フィールドプログラマブルゲートアレイは、本明細書で説明される方法のうちの一つを実行するためにマイクロプロセッサと協働することができる。一般に、本方法は、任意のハードウェア装置によって実行されることが好ましい。

上述した実施形態は、本発明の原理を説明するためのものである。本明細書中に記載される配置および詳細の変更および変形は、当業者には明らかであることが理解される。従って、本明細書の実施形態の説明および記載によって提示される特定の詳細によるものではなく、本願の特許請求の範囲によってのみ限定されることが意図される。

Claims (24)

1. 複数のチャネル信号（ｘ₁,ｘ₂）を含む多チャネルオーディオ信号（１００）を処理する装置（１）であって、
   前記装置（１）は、前記多チャネルオーディオ信号（１００）の時間スケール修正を実行するように構成され、
   前記装置（１）は、
   前記チャネル信号（ｘ₁,ｘ₂）に基づく結合信号（Ｘ_s，Ｘ_d）を提供する結合器（４）であって、２つのチャネル信号（ｘ₁,ｘ₂）の和を計算することによって和信号（Ｘ_s）を提供し、かつ２つのチャネル信号（ｘ₁,ｘ₂）の差を計算することによって差信号（Ｘ_d）を提供するよう構成される、結合器（４）と、
   位相アダプタ（５）であって、前記位相アダプタ（５）は、前記和信号（Ｘ_s）の位相を修正することによって少なくとも１つの処理済み信号（Ｙ_s）を提供し、任意に前記差信号の位相を修正することによって処理済み差信号（Ｙ_d）を提供するよう構成されており、前記位相アダプタ（５）は、位相ボコーダ法を適用して前記位相を修正するよう構成されるか、位相同期を適用して前記位相を修正するよう構成されるか、又は水平位相コヒーレンスが維持されるように前記位相を修正するよう構成される、位相アダプタ（５）と、
   前記少なくとも１つの処理済み信号（Ｙ_s）と前記差信号（Ｘ_d）又は前記処理済み差信号（Ｙ_d）とに基づいて分離信号（Ｙ₁,Ｙ₂）を提供するように構成されるセパレータ（６）であって、前記結合器（４）によって適用される前記チャネル信号の結合を逆転するよう構成される、セパレータ（６）と、
   を備える装置（１）。
2. 前記位相アダプタ（５）は、Ｎ個のチャネル信号（ｘ₁,ｘ₂）の結合に基づくＮ個の信号（Ｘ_s，Ｘ_d）の位相を修正することによって、Ｎ個の処理済み信号（Ｙ_s，Ｙ_d）を提供するように構成され、
   前記セパレータ（６）は、前記処理済み信号（Ｙ_s，Ｙ_d）に基づいてＮ個の分離信号（Ｙ₁,Ｙ₂）を提供するように構成され、
   Ｎは、前記多チャネルオーディオ信号（１００）に含まれるチャネル信号（ｘ₁,ｘ₂）の数である、請求項１に記載の装置（１）。
3. 前記チャネル信号（ｘ₁,ｘ₂）のＮ個の結合は、前記チャネル信号（ｘ₁,ｘ₂）の線形結合であることを特徴とする、請求項２に記載の装置（１）。
4. 請求項１乃至３のいずれか１項に記載の装置（１）であって、
   前記装置（１）は変換器（３）を備え、
   前記変換器（３）は、信号を時間ドメインから周波数ドメインに変換することによって変換信号（Ｘ₁,Ｘ₂）を提供するよう構成される、装置（１）。
5. 請求項４に記載の装置（１）であって、
   前記変換器（３）は、短時間フーリエ変換を適用するよう構成されている、装置（１）。
6. 請求項４又は５に記載の装置（１）であって、
   前記結合器（４）は、前記チャネル信号（ｘ₁,ｘ₂）に基づいて結合信号（Ｘ_s，Ｘ_d）を提供するように構成され、
   前記変換器（３）は、前記結合信号に変換を適用することによって、変換済み信号を提供するよう構成される、装置（１）。
7. 請求項４または５に記載の装置（１）であって、
   前記結合器（４）は、前記変換器（３）によって提供される変換信号（Ｘ₁,Ｘ₂）に基づいて結合信号（Ｘ_s，Ｘ_d）を提供するよう構成される、装置（１）。
8. 請求項７に記載の装置（１）において、
   前記結合器（４）は、２つの変換済み信号（Ｘ₁,Ｘ₂）の和を計算することによって和信号（Ｘ_s）を提供するよう構成されている、装置（１）。
9. 請求項７または８に記載の装置（１）であって、
   前記結合器（４）は、２つの変換済み信号（Ｘ₁,Ｘ₂）間の差を計算することによって差信号（Ｘ_d）を提供するよう構成されている、装置（１）。
10. 請求項７に記載の装置（１）であって、
    前記結合器（４）は、前記多チャネルオーディオ信号（１００）に属するＮ個のチャネル信号（ｘ₁,ｘ₂）に基づくＮ個の変換済み信号（Ｘ₁,Ｘ₂）に対し、Ｎ×Ｎの寸法を持つミキシング行列（ｇ）を適用することによって、前記結合信号（Ｘ_s，Ｘ_d）を提供するよう構成され、
    前記Ｎは、前記多チャネルオーディオ信号（１００）に含まれるチャネル信号（ｘ₁,ｘ₂）の数である、装置（１）。
11. 請求項４又は５に記載の装置（１）であって、
    前記変換器（３）は分析ホップサイズＲ_aを有し、
    前記装置（１）は逆変換器（７）をさらに含み、前記逆変換器（７）は合成ホップサイズＲ_sを有し、
    前記合成ホップサイズＲ_sと分析ホップサイズＲ_aとは異なる値に設定され、Ｒ_a＜Ｒ_sの場合に前記時間スケール修正は時間的な信号伸張であり、又はＲ_a＞Ｒ_sの場合に前記時間スケール修正は時間的な信号収縮である、装置（１）。
12. 請求項２乃至１１のいずれか１項に記載の装置（１）であって、
    前記セパレータ（６）は、前記処理済み信号（Ｙ_s，Ｙ_d）の２つの間の差に基づいて１つの分離信号（Ｙ₁,Ｙ₂）を提供するように構成されている、装置（１）。
13. 請求項２乃至１２のいずれか１項に記載の装置（１）であって、
    前記セパレータ（６）は、前記処理済み信号（Ｙ_s，Ｙ_d）の２つの和に基づいて１つの分離信号（Ｙ₁,Ｙ₂）を提供するよう構成されていることを特徴とする、装置（１）。
14. 請求項２乃至１３のいずれか１項に記載の装置（１）であって、
    前記セパレータ（６）は、Ｎ個の処理済み信号（Ｙ_s，Ｙ_d）に基づく行列化された信号に対し、Ｎ×Ｎの寸法を持つ逆ミキシング行列（ｇ^-1）を適用することによって、Ｎ個の分離信号（Ｙ₁,Ｙ₂）を提供するように構成され、
    Ｎは、前記多チャネルオーディオ信号（１００）に含まれるチャネル信号（ｘ₁,ｘ₂）の数である、装置（１）。
15. 請求項１乃至１４のいずれか１項に記載の装置（１）であって、
    前記装置（１）は補正器（８）を備え、
    前記補正器（８）は、前記分離信号（Ｙ₁,Ｙ₂）の振幅を前記チャネル信号（ｘ₁,ｘ₂）の振幅に基づく振幅で置換することによって、前記分離信号（Ｙ₁,Ｙ₂）を補正するように構成されている、装置（１）。
16. 請求項１５に記載の装置（１）であって、
    前記補正器（８）は、前記分離信号（Ｙ₁,Ｙ₂）の振幅を、変換器（３）によって提供される変換済み信号（Ｘ₁,Ｘ₂）の振幅で置換するように構成されている、装置（１）。
17. 請求項１乃至１６のいずれか１項に記載の装置（１）であって、
    前記装置（１）は逆変換器（７）を備え、
    前記逆変換器（７）は、前記分離信号（Ｙ₁,Ｙ₂）に逆変換を適用することによって、修正されたチャネル信号（ｙ₁，ｙ₂）を提供するよう構成される、装置（１）。
18. 請求項１５又は１６に記載の装置（１）であって、
    前記装置（１）は逆変換器（７）を備え、
    前記逆変換器（７）は、前記補正器（８）によって提供される補正済み信号（Ｚ₁，Ｚ₂）に逆変換を適用することによって、補正され修正されたチャネル信号（ｚ₁，ｚ₂）を提供するように構成されている、装置（１）。
19. 請求項１７または１８に記載の装置（１）であって、
    前記逆変換器（７）は、逆短時間フーリエ変換を適用するように構成されている、装置（１）。
20. 請求項１乃至１９のいずれか１項に記載の装置（１）であって、
    前記装置（１）は抽出器（２）を備え、
    前記抽出器（２）は、前記多チャネルオーディオ信号（１００）に含まれるチャネル信号（ｘ₁,ｘ₂）を提供するよう構成される、装置（１）。
21. 請求項１乃至２０のいずれか１項に記載の装置（１）であって、
    前記装置（１）は、チャネル信号の他の結合よりも、精度の低い信号間の差に基づくチャネル信号（ｘ₁,ｘ₂）の結合に対してステップを実行するように構成されている、装置（１）。
22. 複数のチャネル信号（ｘ₁,ｘ₂）を含む多チャネルオーディオ信号（１００）を処理する方法であって、前記方法は、前記多チャネルオーディオ信号（１００）の時間スケール修正を実行するように構成され、
    前記方法は、
    前記チャネル信号（ｘ₁,ｘ₂）に基づく結合信号（Ｘ_s，Ｘ_d）を提供するステップであって、前記結合信号は、２つのチャネル信号（ｘ₁,ｘ₂）の和から計算される和信号（Ｘ_s）と、２つのチャネル信号（ｘ₁,ｘ₂）の差から計算される差信号（Ｘ_d）とを含む、ステップと、
    前記和信号（Ｘ_s）の位相を修正することによって少なくとも１つの処理済み信号（Ｙ_s）を提供し、任意に前記差信号の位相を修正することによって処理済み差信号（Ｙ_d）を提供するステップであって、前記処理済み信号を提供するステップは、位相ボコーダ法を適用して前記位相を修正するか、位相同期を適用して位相を修正するか、又は水平位相コヒーレンスが維持されるように前記位相を修正するかを含む、ステップと、
    前記少なくとも１つの処理済み信号（Ｙ_s）と前記差信号（Ｘ_d）又は前記処理済み差信号（Ｙ_d）とに基づく分離信号（Ｙ₁,Ｙ₂）を提供するステップであって、前記分離信号（Ｙ₁,Ｙ₂）を提供するステップは前記結合信号（Ｘ_s，Ｘ_d）を提供するステップによって適用される、前記チャネル信号の結合の逆転を含む、ステップと、
    を含む方法。
23. 請求項２２に記載の方法であって、
    修正済みチャネル信号の振幅を、対応するチャネル信号の振幅に基づく振幅で置換することによって、前記修正済みチャネル信号の振幅を修正するステップをさらに含む、方法。
24. コンピュータまたはプロセッサ上で実行されたときに、請求項２２または２３に記載の方法を実行するコンピュータプログラム。

Images