JP7174081B2 - マルチチャンネル音声符号化 - Google Patents

Description

本願発明は、パラメトリックマルチチャンネル音声符号化に関する。

低ビットレートでのステレオ信号の損失性パラメトリック符号化についての最新の方法は、ＭＰＥＧ－４パート３［1］で規格化されたパラメトリックステレオに基づいている。一般的な考えは、デコーダにサイド情報として送られるステレオ／空間パラメータを抽出した後に２つの入力チャンネルからダウンミックス信号を計算することによって、マルチチャンネルシステムのチャンネル数を削減することである。これらのステレオ／空間パラメータは、一般に、チャンネル間レベル差ＩＬＤ、チャンネル間位相差ＩＰＤ、及びチャンネル間コヒーレンスＩＣＣから構成されてもよく、これらはサブバンドで計算されてもよく、特定の拡張のための空間像をある程度捉えることができる。

しかしながら、この方法は、例えば、ＡＢマイク設定で録音された音声をダウンミックスまたは再生するためにあるいはバイノーラルにレンダリングされたシーンを合成するために望ましいチャンネル間時間差（ＩＴＤ（複数））を補償したり合成したりすることはできない。ＩＴＤ合成は、バイノーラルキュー符号化（ＢＣＣ）［２］で対処されており、一般に、パラメータＩＬＤ及びＩＣＣが使用されるがＩＴＤ（複数）は推定され、チャンネル調整は周波数領域で実行される。

時間領域ＩＴＤ推定量は存在するが、通常ＩＴＤ推定にとって、時間－周波数変換を適用することが好ましく、これは、相互相関関数のスペクトルフィルタリングを可能にし、また、計算量も効率的でもある。複雑であるという理由から、ステレオ／空間パラメータの抽出や可能ならばチャンネルのダウンミックスにも使用される同じ変換を使用することは、望ましいが、これはＢＣＣアプローチ内でも行われている。

しかしながら、これには欠点がある：ステレオパラメータの正確な推定は、調整されたチャンネル上で実行されるのが理想的である。しかし、チャンネルが、例えば周波数領域内での循環シフトによって、周波数領域で調整されている場合、これは、分析ウインドウ内でのオフセットを引き起こす可能性があり、パラメータ推定に悪影響を及ぼす可能性がある。ＢＣＣの場合、これは、主に、ＩＣＣの測定に影響を及ぼし、たとえ入力信号が実際には全体的にコヒーレントであっても、ウインドウオフセットの増加は、最終的にＩＣＣ値をゼロに向けて押し上げる。

このように、本願発明は、空間パラメータ推定に対する悪影響を回避しつつ、チャンネル間時間差を補償することを可能にする、マルチチャンネル音声符号化でのパラメータ計算の概念を提供することを目的とする。

この目的は、同封された独立請求項の主題によって達成される。

本願発明は、マルチチャンネル音声符号化においてパラメトリック音声エンコーダによって使用される周波数領域内の任意の２つのチャンネル間のＩＴＤ補償についての少なくとも1つの比較パラメータを計算することによって、改善された計算効率が達成される可能性があるという知見に基づいている。少なくとも前記１つの比較パラメータは、空間パラメータ推定での上述の悪影響を軽減するために、パラメトリックエンコーダによって使用されてもよい。

実施の形態は、少なくとも１つのダウンミックス信号と追加のステレオまたは空間パラメータによって、ステレオまたは一般的な空間コンテンツを表現することを目的とするパラメトリック音声エンコーダを備えていてもよい。これらステレオ／空間パラメータには、残りのステレオ／空間パラメータを計算する前に、周波数領域で推定され補償されたＩＴＤ（複数）が含まれてもよい。この手順では、他のステレオ／空間パラメータに偏りが生じる可能性があり、そうでなければ、コストがかかる方法で解決しなければならない問題は、周波数－時間変換を再計算することになる。前述の実施の形態では、この問題は、むしろ、ＩＴＤの値及び基本的な変換の特定のデータを使用できる計算量の少ない補正スキームを適用することによって、むしろ軽減できるかもしれない。

実施の形態は、重み付けられた、ミッド／サイド変換アプローチに基づいていてもよく、ステレオ／空間パラメータＩＰＤ、ＩＴＤ、ならびに、２つのゲイン係数を用いてもよく、周波数領域で動作してもよい、非可逆パラメトリック音声エンコーダに関する。他の実施形態では、異なる変換を用いてもよく、適宜異なる空間パラメータを用いてもよい。

実施の形態では、パラメトリック音声エンコーダは、周波数領域内のＩＴＤ（複数）の補償及び合成の両方が可能であってもよい。それは、前述のウインドウオフセットの悪影響を軽減する計算効率の高いゲイン補正スキームを特徴としていてもよい。また、ＢＣＣコーダについての補正スキームも、提案されている。

本願発明の有利な実施例は、従属項の主題である。本願発明の好ましい実施の形態は、図面に関して以下に説明される。

図１は、本願発明の実施の形態に従った、パラメトリックエンコーダ用の比較装置のブロック図を示す。 図２は、本願発明の実施の形態に従った、パラメトリックエンコーダのブロック図を示す。 図３は、本願発明の実施の形態に従った、パラメトリックデコーダのブロック図を示す。

図１は、マルチチャンネル音声信号用の比較装置１００を示す。図示の通り、それは、一対のステレオチャンネルについての音声信号、すなわち、左音声チャンネル信号ｌ（τ）及び右音声チャンネル信号ｒ（τ）についての入力を備えていてもよい。他の実施の形態は、もちろん、音源の空間特性を捕捉するために複数のチャンネルを備えていてもよい。

時間領域音声信号ｌ（τ）、ｒ（τ）を周波数領域に変換する前に、同一の重複するウインドウ関数１１、２１、ｗ（τ）は、左、及び右入力チャンネル信号ｌ（τ）、ｒ（τ）にそれぞれ適用されてもよい。さらに、実施の形態では、一定量のゼロパディング（ｚｅｒｏ ｐａｄｄｉｎｇ）が、周波数領域内でのシフトを可能にするために加えられてもよい。その後、ウインドウ処理された音声信号は、対応する離散フーリエ変換（ＤＦＴ）ブロック１２、２２に提供されて時間－周波数変換を実行されてもよい。これらは、一対のチャンネルの音声信号の周波数変換として時間－周波数ビンＬ_t,k及びＲ_t,k、ｋ＝０，・・・，ｋ－１を生じさせてもよい。

前記周波数変換Ｌ_t,k及びＲ_t,kは、ＩＴＤ検出及び補償ブロック２０に提供されてもよい。後者は、前記分析ウインドウｗ（τ）内の一対のチャンネルの音声信号の周波数変換Ｌ_t,k及びＲ_t,kを用いて、一対のチャンネルについての音声信号間のＩＴＤを表すＩＴＤパラメータ、ここでは、ＩＴＤτを導出するように構成されていてもよい。他の実施の形態では、時間領域内のＤＦＴブロックの前に決定されてもよいＩＴＤパラメータを導出するために異なるアプローチを使用してもよい。

ＩＴＤを計算するためのＩＴＤパラメータの導出は、可能な限り重み付けられた、自己相関、または相互相関関数の計算を含んでいてもよい。従来は、これは、逆離散フーリエ変換（ＩＤＦＴ）を項（Ｌ_t,kＲ^* _t,kω_t,k）_kに適用することにより、時間－周波数ビンＬ_t,k、及びＲ_t,kから計算することができる。

実施の形態では、ＩＴＤ_t／２サンプルによって、これは遅延チャンネルを進めてもよく、または、遅延チャンネルを遅らせてもよい。しかしながら、別の実施の形態では、遅れが重要である場合、システムの遅れを増加させないＩＴＤ_tサンプルだけ遅延チャンネルを進めることは有益であるかもしれない。

その結果、ＩＴＤ検出及び補償ブロック２０は、ＩＴＤパラメータＩＴＤ_tを用いて周波数領域内の一対のチャンネルについてのＩＴＤを循環シフト［複数］によって補償して、一対のＩＴＤ補償された周波数変換Ｌ_t,k,comp、Ｒ_t,k,compをその出力で生じさせてもよい。さらに、ＩＴＤ検出及び補償ブロック２０は、例えば、パラメトリックエンコーダによる送信のために、導出されたＩＴＤパラメータ、すなわちＩＴＤ_tを出力してもよい。

図１に示すように、比較及び空間パラメータ計算ブロック３０は、ＩＴＤパラメータＩＴＤ_t、及び一対のＩＴＤ補償周波数変換Ｌ_t,k,comp、Ｒ_t,k,compをその入力信号として受信してもよい。比較及び空間パラメータ計算ブロック３０は、入力信号の一部または全部を使用して、位相間差分ＩＰＤ等のマルチチャンネル音声信号のステレオ／空間パラメータを抽出してもよい。

さらに、比較及び空間パラメータ計算ブロック３０は、ＩＴＤパラメータＩＴＤ_t、及び一対のＩＴＤ補償周波数変換Ｌ_t,k,comp，Ｒ_t,k,compに基づいて、少なくとも１つの比較パラメータ、ここでは２つのゲイン係数ｇ_t,b及びｒ_t,b,corrをパラメトリックエンコーダのために生成してもよい。他の実施の形態では、少なくとも１つの比較パラメータを生成するために、周波数変換Ｌ_t,k、Ｒ_t,k、および／または、比較及び空間パラメータ計算ブロック３０で抽出された、空間／ステレオパラメータを追加的にまたは代替的に使用してもよい。

少なくとも１つの比較パラメータは、パラメトリックエンコーダの空間／ステレオパラメータ推定での分析ウインドウｗ（τ）での前述のオフセットの悪影響を軽減する計算効率の良い補正スキームの一部として役立てることが可能であり、前記オフセットは、ＩＴＤ検出及び補償ブロック２０のＤＦＴ領域内の循環シフトによってチャンネルが調整されることによって引き起こされる。実施の形態では、少なくとも１つの比較パラメータは、デコーダで一対のチャンネルの音声信号を復元するために、例えば、ダウンミックス信号から計算されてもよい。

図２は、図１の比較装置１００が、ＩＴＤパラメータＩＴＤ_t、一対のＩＴＤ補償周波数変換Ｌ_t,k,comp，Ｒ_t,k,comp、及び比較パラメータｒ_t,b,corr及びｇ_t,bを提供するために使用されてもよいステレオ音声信号のためのこのようなパラメトリックエンコーダ２００の実施の形態を示す。

パラメトリックエンコーダ２００は、ＩＴＤ補償周波数変換Ｌ_t,k,comp、Ｒ_t,k,compを入力として使用して、左右の入力チャンネル信号ｌ（τ）、ｒ（τ）についてダウンミックスブロック４０でダウンミックス信号ＤＭＸ_t,kを生成してもよい。他の実施の形態では、周波数変換Ｌ_t,k、Ｒ_t,kを追加的にまたは代替的に使用して、ダウンミックス信号ＤＭＸ_t,kを生成してもよい。

パラメトリックエンコーダ２００は、比較及び空間パラメータ計算ブロック３０においてフレームベースで、ステレオパラメータ、例えば、ＩＰＤ等、を計算してもよい。他の実施の形態では、異なるまたはさらなるステレオ／空間パラメータを決定してもよい。図２のパラメトリックエンコーダ２００の実施の形態の符号化手順は、以下に詳細に記述された、以下のステップに大まかに従ってもよい。

１．ウインドウにおけるウインドウ処理されたＤＦＴとＤＦＴブロック１１、１２、２１、２２とを使用する、入力信号の時間－周波数変換
２．ＩＴＤ検出及び補償ブロック２０の周波数領域内のＩＴＤ推定及び補償
３．比較及び空間パラメータ計算ブロック３０のステレオパラメータ抽出及び比較パラメータ計算
４．ダウンミックスブロック４０のダウンミキシング
５．ＩＤＦＴブロック５０における周波数－時間変換に続くウインドウ処理及びオーバーラップの追加

図２のパラメトリック音声エンコーダ２００の実施の形態は、ＩＴＤ補償周波数変換Ｌ_t,k,comp、Ｒ_t,k,compならびにＩＴＤを入力として使用して、周波数領域内の入力チャンネルの重み付けられたミッド／サイド変換に基づいていてもよい。それは、さらに、ＩＰＤなどの、ステレオ／空間パラメータ、ならびに、ステレオ画像をキャプチャする２つのゲイン係数をさらに計算してもよい。それは、前述のウインドウオフセットの悪影響を軽減するかもしれない。

他の実施の形態では、他のアプローチおよび／または式が、サイドゲイン係数ｇ_t,b及び残差ゲイン係数ｒ_t,bおよび／または異なる比較パラメータを適切に計算するために使用されてもよい。

このような周波数領域のチャンネル調整は、主に、残差予測ゲイン係数ｒ_t,bに影響を与え、ＩＴＤ_tの増加とともにより大きくなることが観測されている。さらなる対策がなければ、周波数領域でのチャンネル調整は、このように、図３に示された、追加のアンビエンスをデコーダでの出力音声信号に加える。特に符号化される音声信号がクリーンなスピーチを含む場合には、人工的なアンビエンスがスピーチの明瞭性を損なうので、このような追加のアンビエンスは、望ましくない。

従って、上述の効果は、更なる比較パラメータを使用して、ノンゼロＩＴＤ（複数）が存在するときには、（予測）残差ゲイン係数ｒ_t,bを補正することによって緩和される可能性がある。

それゆえに、さらなる実施の形態は、ウインドウ処理されたＤＦＴと、式（３）に従ったパラメータＩＰＤ［のサブセット］、式（１１）に従ったサイドゲインｇ_t,b、式（１２）に従った残差ゲインｒ_t,b、及びＩＴＤ（複数）とを使用したパラメトリックオーディオ符号化に関連し、残差ゲインｒ_t,bは、式（２５）に従って調整される。

定義上、ＩＣＣは、ＩＴＤ（複数）を補償した後に測定される。しかしながら、マッチしていないウインドウ関数ｗは、ＩＣＣ測定を偏らせるかもしれない。式（１３）によって示された上述のクリーンな無反響音声の設定では、適切に調整された入力チャンネルで計算された場合、ＩＣＣは１となるであろう。

このように、更なる実施の形態は、ウインドウ処理されたＤＦＴおよび式（３）に従ったパラメータＩＰＤ［のサブセット］、式（２６）に従ったＩＣＣ、及びＩＴＣ（複数）を用いるパラメトリック音声コーディングに関し、ＩＣＣは式（２８）に従って調整される。

式（２９）では、βは、ステレオ／空間パラメータから計算された実際の絶対位相調整パラメータであってもよい。他の実施の形態では、図２に示された符号化スキームは、また、他のどのようなダウンミックス方法で動作してもよい。他の実施の形態は、周波数変換Ｌ_t,k、及びＲ_t,k、及び任意の更なるパラメータを用いてダウンミックス信号ＤＭＸ_t,kを決定してもよい。

図２の実施の形態のエンコーダでは、逆離散フーリエ変換（ＩＤＦＴ）ブロック５０は、ダウンミックスブロック４０から周波数領域ダウンミックス信号ＤＭＸ_t,kを受信してもよい。ＩＤＦＴブロック５０は、周波数領域から時間領域まで、ダウンミックス時間－周波数ビンＤＭＸ_t,k、ｋ＝０，・・・，ｋ－１を変換して時間領域ダウンミックス信号ｄｍｘ（τ）を生じさせてもよい。実施の形態では、合成ウインドウｗ_s（τ）を適用して、時間領域ダウンミックス信号ｄｍｘ（τ）に加えてもよい。

さらに、図２の実施の形態のように、コアエンコーダ６０は、ＭＰＥＧ－４パート３［１］、または、必要に応じて他の任意の適当な音声符号化アルゴリズムにも従って、単独チャンネル音声信号をエンコードするためにドメインダウンミックス信号ｄｍｘ（τ）を受信してもよい。図２の実施の形態では、コアエンコードされた時間領域ダウンミックス信号ｄｍｘ（τ）は、ＩＴＤパラメータＩＴＤ_t、サイドゲインｇ_t,b及び補正された残差ゲインｒ_t,b,corrと組み合わせてデコーダへの送信のために適切に処理され、および／またはエンコードされてもよい。

図３は、マルチチャンネルデコーダの実施形態を示す。デコーダは、時間領域内のモノラル／ダウンミックス入力信号ｄｍｘ（τ）と、フレームベースのサイド情報としての比較および／または空間パラメータからなる複合信号を受信してもよい。図３に示すデコーダは、以下に詳細に記述される、以下のステップを実行してもよい。
１．ＤＦＴブロック８０のウインドウ処理されたＤＦＴ（複数）を用いる時間周波数変換
２．アップミキシング及び空間復元ブロック９０における周波数領域の消失残差の予測
３．アップミキシング及び空間復元ブロック９０における周波数領域でのアップミキシング
４．ＩＴＤ合成ブロック１００での周波数領域のＩＴＤ合成
５．ＩＤＦＴブロック１１２、１２２、及びウインドウブロック１１１、１２１での周波数－時間領域変換、ウインドウ処理及び重複の追加

モノラル／ダウンミックス信号入力信号ｄｍｘ（τ）の時間－周波数変換は、図２のエンコーダの入力音声信号に関しては、類似した方法で行われてもよい。特定の実施の形態では、適切な量のゼロパディングが、周波数領域内のＩＴＤ復元に対して加えられてもよい。この手順は、時間－周波数ビンＤＭＸ_t,k、ｋ＝０，・・・，ｋ－１の形式で、ダウンミックス信号の周波数変換を生じさせてもよい。

上述の実施の形態は、単に、本発明の原則を説明したにすぎない。ここに記述された配置及び詳細の修正及び変更は、他の当業者にとって明らかであると理解される。したがって、差し迫った特許請求の範囲のみに限定され、そして、明細書中の実施の形態の記述及び説明によって表された特定の詳細によっては制限されないことを意味する。

参考文献
［１］ ＭＰＥＧ－４ Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ａｄｖａｎｃｅｄ Ａｕｄｉｏ Ｃｏｄｉｎｇ （ＨＥ－ＡＡＣ） ｖ２
［２］ Ｊｕｅｒｇｅｎ Ｈｅｒｒｅ， ＦＲＯＭ ＪＯＩＮＴ ＳＴＥＲＥＯ ＴＯ ＳＰＡＴＩＡＬ ＡＵＤＩＯ ＣＯＤＩＮＧ － ＲＥＣＥＮＴ ＰＲＯＧＲＥＳＳ ＡＮＤ ＳＴＡＮＤＡＲＤＩＺＡＴＩＯＮ， Ｐｒｏｃ． ｏｆ ｔｈｅ ７ｔｈ Ｉｎｔ． Ｃｏｎｆｅｒｅｎｃｅ ｏｎ ｄｉｇｉｔａｌ Ａｕｄｉｏ Ｅｆｆｅｃｔｓ （ＤＡＦＸ－０４）， Ｎａｐｌｅｓ， Ｉｔａｌｙ， Ｏｃｔｏｂｅｒ ５－８， ２００４
［３］ Ｃｈｒｉｓｔｏｐｈ Ｔｏｕｒｎｅｙ ａｎｄ Ｃｈｒｉｓｔｏｆ Ｆａｌｌｅｒ， Ｉｍｐｒｏｖｅｄ Ｔｉｍｅ Ｄｅｌａｙ Ａｎａｌｙｓｉｓ／Ｓｙｎｔｈｅｓｉｓ ｆｏｒ Ｐａｒａｍｅｔｒｉｃ Ｓｔｅｒｅｏ Ａｕｄｉｏ Ｃｏｄｉｎｇ， ＡＥＳ Ｃｏｎｖｅｎｔｉｏｎ Ｐａｐｅｒ ６７５３， ２００６
［４］ Ｃｈｒｉｓｔｏｆ Ｆａｌｌｅｒ ａｎｄ Ｆｒａｎｋ Ｂａｕｍｇａｒｔｅ， Ｂｉｎａｕｒａｌ Ｃｕｅ Ｃｏｄｉｎｇ Ｐａｒｔ ＩＩ： Ｓｃｈｅｍｅｓ ａｎｄ Ａｐｐｌｉｃａｔｉｏｎｓ， ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｓｐｅｅｃｈ ａｎｄ Ａｕｄｉｏ Ｐｒｏｃｅｓｓｉｎｇ， Ｖｏｌ． １１， Ｎｏ． ６， Ｎｏｖｅｍｂｅｒ ２００３

Claims (15)

1. 
2. 前記少なくとも１つのＩＴＤパラメータ（ＩＴＤ_t）を抽出するために、前記分析ウインドウ（ｗ（τ））内の前記少なくとも一対の前記チャンネルの前記音声信号の周波数変換（Ｌ_t,k；Ｒ_t,k）を用いるようにさらに構成される、請求項１に記載の比較装置。
3. 
4. 
5. ルックアップテーブルに記憶された前記分析ウインドウの前記自己相関関数の前記正規化バージョンの補間によって前記関数を得るようにさらに構成される、請求項４に記載の比較装置。
6. 
7. 
8. 前記少なくとも１つのサイドゲイン及び前記少なくとも１つの残差ゲインを、前記エネルギーと前記少なくとも一対のＩＴＤ補償された周波数変換 （Ｌ_t,k,comp；Ｒ_t,k,comp）の内積とを用いて計算するようにさらに構成される、請求項７に記載の比較装置。
9. 
10. 
11. 
12. 前記少なくとも１つの前記ダウンミックス信号を、少なくとも一対のＩＴＤ補償された周波数変換に基づいて生成するようにさらに構成される、請求項１ないし１１のいずれか１項に記載の比較装置。
13. 前記少なくとも１つのダウンミックス信号、前記少なくとも１つのＩＴＤパラメータ、及び前記少なくとも１つの比較パラメータを符号化して、デコーダに送信するようにさらに構成される請求項１１または請求項１２に記載の前記比較装置を備える、マルチチャンネルエンコーダ。
14. 
15. 

Images