JP5930441B2

JP5930441B2 - マルチチャネルオーディオ信号の適応ダウン及びアップミキシングを実行するための方法及び装置

Info

Publication number: JP5930441B2
Application number: JP2014556926A
Authority: JP
Inventors: ダヴィド・ヴィレット; ヤヌス・クレイサ; ウィレム・バスティアーン・クレイン
Original assignee: ホアウェイ・テクノロジーズ・カンパニー・リミテッド
Priority date: 2012-02-14
Filing date: 2012-02-14
Publication date: 2016-06-08
Anticipated expiration: 2032-02-14
Also published as: CN103493128B; EP2815399A1; CN103493128A; US9514759B2; KR20140130464A; WO2013120510A1; US20140355767A1; KR101662680B1; EP2815399B1; JP2015507228A

Description

本発明は、マルチチャネルオーディオ信号の適応ダウンミキシング及び続くアッミキシングを実行するための方法に関する。詳細には、該方法は、一般的にマルチチャネルオーディオ符号化又は空間的オーディオ符号化に使用されるダウンミックス及びアップミックス操作に関する。

従来の適応ダウンミックス方法は、信号依存であるダウンミックス変換を使用している。信号の特定の実現に応じて、最も効率的なダウンミックス変換が、利用可能なダウンミックス変換のセットから選択される。例えば、ステレオ符号化の場合、ステレオ符号化方式のダウンミックス変換は、アイデンティティ変換(すなわち、LR符号化)と、入力チャネルの和(すなわち、M/Mid-チャネル)及び差(すなわち、S/Side-チャネル)を求める変換とを含む二つの異なるダウンミックス変換を含むセットから選択されることができる。

このような従来の符号化方式は、典型的には、M/Sコーディング又はMid/Sideコーディングと呼ばれている。さらに、そのような従来のM/Sコーディングは、使用可能な変換セットは限られているため、限定されたレート歪み利得(rate distortion gain)しかを提供しない。さらに、閉ループコーディングが使用されるので、関連する複雑さは大きくなりうる。

M/Sコーディングのこれらの欠点は、ダウンミックス方法によって対処されており、そのダウンミックス変換は、2006年9月28日にカナダのモントリオールの第9回デジタルオーディオエフェクト国際会議(International Conference on Digital Audio Effects)のM. Briandと、D. Viretteと、N. Martinとによる“Parametric Coding of Stereo Audio Based on Principal Component Analysis”において公表されたチャネル間共分散行列に基づいて計算される。さらに、このアプローチは、ステレオ信号に限定されており、かつ、多い数の入力チャネルには適用させることができない。多い数のチャネルのこのアプローチを延長させることは、2003年1月の適合信号処理についてのEURASIPジャーナルvol.2003の980-992頁に、“Progressive Syntax-Rich Coding of multi-channel Audio Sources”と題されて、D. Yangと、H. Aiと、C. Kyriakakisと、C.-C. J. Kuoとによって記述されている。しかし、このアプローチは、下位互換性のあるダウンミックスを生成することはできない。

ダウンミックス変換の固定セットの使用に関するもう一つの欠点は、一般的なケースに対するダウンミックス変換の適切なセットを見出すことが困難であることである。さらに従来のダウンミックス変換が、2008年1月に、G. Hothoと、L.F. Villemoesと、J. Breebaartとによって、オーディオ、音声、及び言語処理におけるIEEEトランザクションについて、vol.16,No.1,83-93頁において“A Backward-Compatible Multichannel Audio Codec”と題されて提案されている。この従来の方法は、行列ダウンミックス変換を、一次チャネルから二次チャネルを予測することに組み合わせることによって下位互換性を達成している。その結果、パラメータが予測パラメータであるパラメトリックな符号化方式となる。しかし、Hothoらによって記載されたこの従来のアプローチは、チャネルの数が少ない場合にのみ効率的であるだけである。さらに、この従来のダウンミックスアプローチの符号化性能は、レート歪み性能の点で準最適である。

従来の適応ダウンミックス方法は、任意数のチャネルをサポートするが、元のマルチチャネルオーディオ信号の空間特性を保持しない。このことは、下位互換性が達成されないことを意味している。又は、従来の適応ダウンミックス方法は、生成されたダウンミックスにおける元のマルチチャネルオーディオ信号の空間特性を保持するが、制限された数のオーディオチャネルであるマルチチャネルオーディオ信号でしか利用可能ではない。つまり、元のマルチチャネルオーディオ信号の空間特性を保持することができ、かつ、同時に下位互換性を提供するマルチチャネルオーディオ信号の適応ダウンミックスを実行する方法及び装置が必要となる。

本発明の第一の態様の第一の実施において、
複数の入力チャネルを含むマルチチャネルオーディオ信号の適応ダウンミックスを実行するための方法が提供され、
前記入力チャネルの信号適応変換は、下位互換性のある一次チャネルのセットを提供する固定ブロックと、二次チャネルのセットを提供する信号適応ブロックとを含むダウンミックスブロック行列に、前記入力チャネルを乗算することによって実行される。

本発明の第一の態様の第一の実施の第二の可能な実施において、前記ダウンミックスブロック行列の信号適応ブロックは、前記入力チャネルのチャネル間共分散に応じて適応される。

本発明の第一の態様に基づく方法の第二の実施のさらに第三の可能な実施において、前記入力チャネルの前記チャネル間共分散に対する補助共分散行列は、補助正規直交変換によって計算される。

本発明の第一の態様に基づく方法の第三の実施のさらに第四の可能な実施において、前記補助正規直交変換は、グラム・シュミット法のイニシャライズのときに、固定ブロックに基づいて計算される。

本発明の第一の態様に基づく方法の第四の実施のさらに第五の可能な実施において、カルーネン・レーベ変換行列が、前記補助共分散行列のブロック対して計算される。

本発明の第一の態様に基づく方法の第五の実施のさらに第六の可能な実施において、前記ダウンミックスブロック行列の前記信号適応ブロックは、前記計算されたカルーネン・レーベ変換行列に基づいて計算される。

本発明の第一の態様に基づく方法の第一から第六の実施のさらに第七の可能な実施において、前記下位互換性のある一次チャネルが、単一のレガシー符号化器によって符号化され、下位互換性のある一次レガシービットストリームを生成する。

本発明の第一の態様に基づく方法の第八の可能な実施において、各下位互換性のある一次チャネルが、レガシー符号化器によって符号化され、下位互換性のある一次レガシービットストリームを生成する。

本発明の第一の態様に基づく方法の第七又は第八の実施の第九の可能な実施において、各二次チャネルが、対応する二次チャネル符号化器によって符号化される。

本発明の第一の態様に基づく方法の第七又は第八の実施の第十の可能な実施において、前記二次チャネルが、コモンマルチチャネル符号化器によって符号化され、各二次チャネルに対する二次ビットストリームを生成する。

本発明の第一の態様に基づく方法の第三の実施の第十一の可能な実施において、前記チャネル間共分散行列又は補助共分散行列が、量子化され、かつ前記二次チャネルビットストリームとともに送信される。

本発明の第一の態様に基づく方法の第九又は第十の実施の第十二の可能な実施において、前記一次ビットストリームが、前記二次ビットストリームとともに、遠隔の復号化装置に送信される。

本発明の第一の態様に基づく方法の第十二の実施の第十三の可能な実施において、前記遠隔の復号化装置は、一次チャネルを再構成するために、前記下位互換性のある一次ビットストリームを復号化するように適合された単一のレガシー復号化器を備える。

本発明の第一の態様に基づく方法の第十二の実施の第十四の可能な実施において、前記遠隔の復号化装置は、前記一次チャネルを再構成するために、前記下位互換性のある一次ビットストリームを復号化するように適合された対応する数のレガシー復号化器を備える。

さらに、本発明の第一の態様に基づく方法の第十二の実施の第十五の可能な実施において、前記遠隔の復号化装置は、前記二次チャネルを再構成するために、前記二次ビットストリームを復号化するように適合された二次チャネル復号化器を備える。

さらに、本発明の第一の態様に基づく方法の第十二から第十五の実施の第十六の可能な実施において、ビットストリームのタイプが遠隔の復号化装置にシグナリングされる。

さらに、本発明の第一の態様に基づく方法の第十六の実施の第十七の可能な実施において、前記タイプのシグナリングは、少なくとも一つのビットストリームにおいて搬送される補助データによる黙示的なシグナリングによって実行される。

さらに、本発明の第一の態様に基づく方法の第十六の実施の第十八の可能な実施において、前記タイプのシグナリングは、それぞれの前記ビットストリームの前記タイプを示すフラグによる明示的なシグナリングによって実行される。

さらに、本発明の第一の態様に基づく方法の第十九の可能な実施において、複数の入力チャネルの前記信号適応変換が、前記ダウンミックスブロック行列に、前記入力チャネルを乗算することによって実行され、下位互換性のある一次チャネルのセットと、補助チャネルのセットを提供する。

さらに、本発明の第一の態様に基づく方法の第十九の実施の第二十の可能な実施において、カルーネン・レーベ変換KLTが、補助チャネルの前記セットに適用され、二次チャネルの前記セットを提供する。

本発明の第二の態様において、受信されたビットストリームの適応アップミキシングを実行するための方法が提供され、
下位互換性のある一次ビットストリームは、レガシー復号化器によって復号化され、対応する一次チャネルを再構成し、かつ、
二次ビットストリームは、二次チャネル復号化器によって復号化され、対応する二次チャネルを再構成し、
前記復号化器ビットストリームの信号適応逆変換は、アップミックスブロック行列によって実行され、多くの出力チャネルを含むマルチチャネルオーディオ信号を再構成する。

本発明の第二の態様の第一の可能な実施において、前記アップミックスブロック行列の信号適応ブロックは、前記入力チャネルの復号化されたチャネル間共分散に応じて適合される。

さらに、本発明の第二の態様に基づく方法の第一の実施の第二の可能な実施において、前記入力チャネルの前記チャネル間共分散に対する補助共分散行列が復号化される。

さらに、本発明の第二の態様に基づく方法の第二の実施の第三の可能な実施において、補助正規直交逆変換が、グラム・シュミット法のイニシャライズのときに、固定ブロックに基づいて計算される。

さらに、本発明の第二の態様に基づく方法の第二の実施の第四の可能な実施において、カルーネン・レーベ変換行列が、前記補助共分散行列のブロックに対して計算される。

さらに、本発明の第二の態様に基づく方法の第四の実施の第五の可能な実施において、前記アップミックスブロック行列の前記信号適応ブロックが、計算されたカルーネン・レーベ変換行列に基づいて計算される。

本発明の第三の態様において、複数の入力チャネルを含むマルチチャネルオーディオ信号の適応ダウンミックスを実行するように適合されたダウンミックス装置が提供され、
前記ダウンミックス装置は、
下位互換性のある一次チャネルのセットを提供する固定ブロックを含むとともに、二次チャネルのセットを提供する信号適応ブロックを含むダウンミックスブロック行列に、前記入力チャネルを乗算することによって、前記入力チャネルの信号適応変換を実行するように適合された信号適応変換ユニットを備える。

第三の態様に基づく装置の可能な実施は、第一の態様に基づく実施の一つ、いくつか、又は全てを実行するように適合される。

本発明の第四の態様において、本発明の第三の態様に基づくダウンミックス装置を備える符号化装置が提供され、さらに、前記符号化装置は、
前記下位互換性のある一次チャネルを符号化し、少なくとも一つの下位互換性のある一次ビットストリームを生成するように適合された少なくとも一つのレガシー符号化器と、
前記二次チャネルを符号化し、少なくとも一つの二次ビットストリームを生成するように適合された少なくとも一つの二次チャネル符号化器と
を備える。

本発明の第五の態様において、復号化された一次ビットストリームと復号化された二次ビットストリームとを含む復号化されたビットストリームの適応アップミックスを実行するように適合されたアップミックス装置が提供され、
前記アップミックス装置は、
前記復号化された一次ビットストリームに対する固定ブロックと、前記復号化された二次ビットストリームに対する信号適応ブロックとを含むアップミックスブロック行列に、前記復号化されたビットストリームを乗算することによって、前記復号化されたビットストリームの信号適応逆変換を実行するように適合された信号適応再変換ユニットを備える。

本発明の第六の態様において、本発明の第五の態様に基づくアップミックス装置を備える復号化装置が提供され、さらに、前記復号化装置は、
少なくとも一つの受信された下位互換性のある一次ビットストリームを復号化し、前記アップミックス装置に供給される少なくとも一つの復号化された一次ビットストリームを生成するように適合された少なくとも一つのレガシー復号化器と、
少なくとも一つの受信された二次ビットストリームを復号化し、前記アップミックス装置に供給された少なくとも一つの復号化された二次ビットストリームを生成するように適合された少なくとも一つの二次チャネル復号化器と
を備える。

第六の態様に基づく装置の可能な実施は、前記第二の態様に基づく実施の一つ、いくつか、又は全てを実行するように適合される。

本発明の第七の態様において、
本発明の第四の態様に基づく少なくとも一つの符号化装置と、
本発明の第六の態様に基づく少なくとも一つの復号化装置と
を備えるオーディオシステムが提供され、
前記符号化装置及び前記復号化装置は、ネットワークを介してお互いに接続される。

本発明の第八の態様において、上記の方法の態様又はそれらの実施のいずれかに基づく方法を実行するためのプログラムコードを含むコンピュータプログラムが提供され、該コンピュータプログラムは、コンピュータ、プロセッサ、マイクロコントローラ、又は、任意の他のプログラム可読装置上で動作する。

前述の態様及びそれらの実装は、ハードウェア、ソフトウェア、又はハードウェア及びソフトウェアの任意の組み合わせで実装することができる。

本発明の異なる態様の以下の可能な実施形態が、添付図面を参照しながらより詳細に説明される。
本発明の第4及び第6の態様に基づく少なくとも一つの符号化装置と、少なくとも一つの復号化装置とを備える本発明の第7の態様に基づくオーディオシステムの可能な実施形態のブロック図である。本発明の第3の態様に基づくダウンミックス装置の可能な実施形態を説明するためのブロック図である。本発明の第3の態様に基づくダウンミックス装置のさらに可能な実施形態のブロック図である。本発明の態様に基づくダウンミックス装置によって実行される例示的な下位互換性のダウンミックスを説明するための概略図である。本発明の第7の態様に基づくオーディオシステムの例示的な実施形態を説明するための概略図である。本発明の態様に基づく符号化方法の例示的な実施形態のフローチャートである。本発明の態様に基づく符号化方法の例示的な実施形態のフローチャートである。本発明の態様に基づく復号化方法の例示的な実施形態のフローチャートである。

図1から理解できるように、本発明の態様に基づくオーディオシステム1は、実施形態に示されるように、ネットワーク又は信号線4を介して接続される少なくとも一つの符号化装置2及び少なくとも一つの復号化装置3を備えてもよい。図1の実施形態に示されるように、前記符号化装置2は、マルチチャネルオーディオ信号を適用できる入力信号5を備えてもよい。このマルチチャネルオーディオ信号は、数Mの入力チャネルを含んでもよい。図1の例示的な実施形態に示されるように、前記入力されたマルチチャネルオーディオ信号は、受信されたマルチチャネルオーディオ信号を前処理するように適合された前処理ブロック 6に適用される。前記前処理ブロック 6は、可能な実施形態において、前記受信されたマルチチャネルオーディオ信号の入力チャネル間で遅延調整及び/又は前記入力チャネルの時間周波数変換を実行してもよい。前記前処理されたマルチチャネルオーディオ信号は、前処理ブロック 6によって、受信された前処理されたマルチチャネルオーディオ信号の適応ダウンミックスを実行するように適合又は構成されたダウンミックス装置 7に供給される。別の実施形態として、数Mの入力チャネルを含む前記マルチチャネルオーディオ信号は、前処理を実行しないで、直接的にダウンミックス装置 7に適用されてもよい。時間周波数変換の場合、図1に示されるダウンミックス装置 7及びアップミックス装置11は、入力されたマルチチャネルオーディオ信号の各サブバンドに別々に提供される。前記サブバンドは、スペクトル係数によって表現されたバンド制限されたオーディオ信号、又は、デシメートされた時間領域オーディオ信号として定義されてもよい。サブバンド処理は、ダウンミックスブロック及びアップミックスブロックが、制限された周波数バンドに対応するバンド制限された信号において実行されるときの性能における利点を提供している。

前記ダウンミックス装置 7は、下位互換性のある一次チャネルのセットを提供する固定ブロックを含むとともに、二次チャネルのセットを提供する信号適応ブロックを含むダウンミックスブロック行列に、前記入力チャネルを乗算することによって、前記マルチチャネルオーディオ信号の受信された入力チャネルの信号適応変換を実行するように適合された信号適応変換ユニットを具備する。前記ダウンミックス装置 7によって実行される前記ダウンミックス操作は、二つのグループ、すなわちNの下位互換性のある一次チャネルの第一グループと、M-Nの二次チャネルのグループとを備えるダウンミックス領域におけるMチャネルをもたらす。ここで、1≦N≦M かつ3≦Mである。典型的に、前記提供された下位互換性のある一次チャネルは、前記二次チャネルよりも大きなエネルギーを含む。これは、前記ダウンミックス装置 7に採用されているダウンミックス方法によって成されるエネルギーコンセントレーション(energy concentration)の結果である。

図1から理解できるように、前記符号化装置2は、さらに、Nの下位互換性のあるチャネルを符号化する1つのレガシー符号化器 8、又は、その代わりにNの下位互換性のあるチャネル符号化器又はレガシー符号化器8を備える。図1に説明されているように、それぞれの下位互換性のある一次チャネルは、対応するレガシー符号化器8によって符号化され、データネットワーク4を介して復号化装置3に搬送される下位互換性のある一次レガシービットストリームを生成する。前記符号化装置2はさらに、(M-N)の二次チャネル符号化器9を備える。前記ダウンミックス装置 7によって出力される各二次チャネルは、対応する二次チャネル符号化器 9によって符号化され、前記データネットワーク 4を介して復号化装置3に搬送される、対応する二次ビットストリームを生成する。代替の実施形態において、全ての二次チャネルは、コモンマルチチャネル符号化器 9によって符号化され、各二次チャネルに対する二次ビットストリームを生成してもよい。前記生成された一次ビットストリーム及び二次ビットストリームは、信号線又はデータネットワーク4を介して、図1に示されるような遠隔の復号化装置3に送信される。前記二次チャネルに、さらに、前記チャネル間共分散行列又は前記補助共分散行列の推定値が量子化され、かつ送信されてもよい。

図1に示されるように、前記下位互換性のある一次チャネルは、単一のレガシー符号化器 8によって符号化され、又は、その代わりに、対応するレガシー復号化器に下位互換性を提供する高忠実度(high fidelity)のNの下位互換性チャネル符号化器によって、符号化される。前記二次チャネルは、前記二次チャネル符号化器9によって符号化され、一般的にパラメトリックな空間的オーディオ符号化が使用される。また、特定の実施形態において、前記二次チャネルが、オーディオシステム1内で失われて(drop)もよい。可能な実施形態において、前記二次チャネルは、重要さのレベルによって整列されてもよい。利用可能なビットレートに応じて、前記符号化装置2は、重要でない二次チャネルのいくつかを失うことを決定してもよい。

可能なシナリオにおいて、前記ダウンミックス信号の下位互換性のある一次チャネルは、レガシープレイアウトとも呼ばれるNの一次チャネルのみを用いて、プレイアウトを容易にすることができる。この場合、前記下位互換性のある一次チャネルは、レガシーNチャネルプレイアウトを使用して、知覚的に意味のある再構成を提供するために、マルチチャネルオーディオ信号の元のM の入力チャネルのいくつかの空間特性を保持する。

図1から理解できるように、前記オーディオシステム1は、データネットワーク 4を介して、前記下位互換性のある一次ビットストリームと、前記二次ビットストリームとを受信する少なくとも一つの復号化装置3を具備する。本発明の第6の態様に基づく復号化装置3は、受信された下位互換性のある一次ビットストリームを復号化し、前記復号化装置3のアップミックス装置11に供給される復号化された一次ビットストリームを生成するNのレガシー復号化器10を備える。図1に説明されるように、前記復号化装置3は、受信された二次ビットストリームを復号化し、アップミックス装置11に供給される復号化された二次ビットストリームを生成するように適合されたM-Nの二次チャネル復号化器12、又は、その代わりに、M-Nの二次ビットストリームを復号化する1つのみの二次チャネル復号化器12を備えてもよい。前記アップミックス装置11は、復号化されたビットストリームの適応アップミキシングを実行するように適合される。前記アップミックス装置11は、前記復号化された一次ビットストリームに対する固定ブロックと、前記復号化された二次ビットストリームに対する信号適応ブロックとを含むアップミックスブロック行列に、前記復号化されたビットストリームを乗算することによって、前記復号化されたビットストリームの信号適応逆変換を実行するように適合された信号適応再変換ユニットを具備してもよい。前記アップミックス装置11の出力信号は、図1の実施形態に示されるように、後処理ブロック14に供給される。前記アップミックスされた信号の後処理は、例えば時間周波数逆変換を含み及び/又は各出力信号に対する遅延を同期するように実行されてもよい。前記復号化装置3は、再構成された信号を出力するための信号出力13を具備する。

図1から理解できるように、前記下位互換性のある一次ビットストリーム及び前記二次ビットストリームは、データ搬送媒体又はデータネットワーク4を介して搬送される。このデータネットワーク4は、IPネットワークによって構成されてもよい。可能な実施形態において、前記ビットストリームは、同一のパケット又は別々のデータパケットにおいて搬送されてもよい。

可能な実施形態において、各ビットストリームは、それぞれの前記ビットストリームのタイプの指標を含んでもよい。ビットストリームのための可能なタイプは、標準ISO/IEC11172-3に基づくMP3ビットストリームである。ビットストリームのための、代わりのタイプは、標準ISO/IEC14496-3又はOPUS ビットストリームにおいて定義されるアドバンスト・オーディオ・コーディング(AAC) ビットストリームである。前記一次下位互換性のあるビットストリームは、これらのレガシータイプの一つであってよい。MP3及びAACは、広く展開され、かつ既存のレガシー復号化器は、下位互換性のある一次ビットストリームを復号化してよい。前記二次ビットストリームはまた、レガシータイプであってもよいが、次世代タイプ又はアプリケーション個別タイプであってもよい。

可能な実施形態において、それぞれの前記ビットストリームのタイプは、前記復号化装置3の遠隔の復号化装置10及び12にシグナリングされる。可能な実施形態において、前記タイプのシグナリングは、少なくとも一つのビットストリームにおいて搬送される補助データによる黙示的なシグナリングによって実行されてもよい。代替の実施形態において、前記シグナリングは、各ビットストリームのタイプを示すフラグによる明示的なシグナリングによって実行される。可能な実施形態において、黙示的なシグナリングを含む第一のシグナリングオプションと、明示的なシグナリングを含む第二のシグナリングオプションとの間で切り替えることが可能である。黙示的なシグナリングの可能な実施形態において、フラグは、少なくとも一つの下位互換性のある一次ビットストリームの補助データにおける前記二次チャネル情報の存在を示すことができる。前記レガシー復号化器10は、フラグが存在するか否かを確認せず、かつ、前記下位互換性のある一次チャネルを復号化のみを実行するだけである。例えば、前記二次チャネルビットストリームのシグナリングは、AACビットストリームの補助データに含まれてよい。さらに、前記二次ビットストリームは、AAC ビットストリームの補助データに含まれてもよい。その場合、レガシーAAC復号化器は、ビットストリームの下位互換性のある部分のみを復号化し、かつ、補助データを切り捨てる。本発明の実施形態に基づく非レガシータイプ復号化器は、フラグのような存在を確認することができ、かつ、前記フラグが受信されたビットストリームの中に存在した場合、非レガシー復号化器は、前記マルチチャネルオーディオ信号を再構成する。

明示的にシグナリングの可能な実施形態において、前記ビットストリームが、本発明の実施形態に基づくレガシータイプ二次チャネル符号化器9でないもので取得された本発明の実施形態に基づく二次ビットストリームであることを示すフラグが使用されてもよい。このフラグを解釈する方法は知られていないので、前記復号化装置3のレガシー復号化器は、ビットストリームを復号することはできない。しかし、本発明の実施形態に基づく復号化器は、復号化することが可能であり、かつ、下位互換性のある部分のみ、又は、完全なマルチチャネルオーディオ信号のいずれかを復号化することを決定することができる。

以下に、そのような下位互換性の利点を見ることができる。本発明の実施形態による移動端末機は、複雑性負荷が低くなるように統合されたバッテリのバッテリ寿命を節約するために下位互換性のある部分を復号化することを決定することができる。さらに、レンダリングシステム(rendering system)に応じて、前記復号化器は、ビットストリームのどの部分を復号化するかを決定することができる。例えば、ヘッドフォンでレンダリングするためには、受信された信号の下位互換性のある部分で十分であることが可能であり、一方で、マルチチャネルオーディオ信号は、前記端末が、例えば、マルチチャネルレンダリング能力を有するドッキングステーションに接続されるときにのみ復号化される。

本発明に基づくオーディオシステム1によって提供される下位互換性による主な利点は、マルチチャネルオーディオ信号を提供する(render)能力を有しないレガシー復号化器10において、下位互換性のある部分を直接的に復号化することができることである。さらに、レガシー復号化器10のみが統合された従来の装置は、あるコーディング形式から別のコーディング形式へのコード変換動作を実行することを必要としないで、下位互換性のあるオーディオ信号を直接復号化してもよい。これは、新たなコーディング形式の展開を容易させ、かつ、下位互換性を提供する複雑さを減少させる。

前記下位互換性のある一次チャネルは、下位互換性のある方法(fashion)において生成される。これは、一次チャネルが従来のレガシーオーディオ符号化器 8を用いて符号化されてもよいことを意味している。例えば、既存のステレオ符号化器は、下位互換性のあるダウンミックスのステレオ一次チャネルを符号化するために使用されてもよい。下位互換性のある一次チャネルを記述しているビットストリームは、元のマルチチャネルオーディオ信号の再構成を提供(render)するビットストリームから分けられていてもよい。例えば、マルチチャネルオーディオ信号は、完全なビットストリームからビットを取り除くことにより、従来のオーディオ復号化器10によって再構成されてもよい。前記再構成された一次チャネルは、入力チャネルの元の数Mよりも少ない数のチャネルを使用して再生されてもよい。例えば、5チャネル信号が、ステレオラウンドスピーカーを使用して再生されてもよい。

本発明に基づく方法によって使用されるダウンミックス変換アプローチの下位互換性の実際の実施は、下位互換性のある一次チャネルが、制限された方法で生成されることである。この制限は、レガシー符号化器8の性質に起因し、かつ、元のマルチチャネル信号のチャネルを組み合わせることによって取得される下位互換性のある一次チャネルの特定の構成要素上の要件に起因する。

可能な実施形態において、下位互換性のある一次チャネルは、下位互換性のあるダウンミックスのNの一次チャネルのためのレガシー一次ビットストリームを提供するオーディオ符号化器(モノラル、ステレオ、マルチチャネル)で符号化されてもよい。前記二次チャネル符号化器9は、マルチチャネルオーディオ信号を再構成するために、前記復号化装置3によって使用されうるビットストリームの別の部分を生成する。各二次チャネルは、シングルチャネルオーディオ符号化器 9で符号化されてもよい。その代わりに、コモンマルチチャネルが、前記二次チャネルに対して使用されてもよい。可能な実施形態において、このマルチチャネルオーディオ符号化器は、前記二次チャネルの波形を正確に符号化するように適合されている波形符号化方式を使用することができる。さらに別の実施形態において、前記二次チャネル符号化器9は、前記二次チャネルのパラメータ表現を使用してもよい。例えば、前記二次チャネルのエネルギー、時間、及び周波数エンベロープのシンプルな符号化が、前記二次チャネル符号化器9によって採用されてもよい。その場合、前記二次チャネル復号化器12は、非相関な二次チャネルの性質を使用し、人為的に復号化された二次チャネルを生成してもよい。

図2は、本発明の態様に基づくダウンミックス装置 7を備える符号化装置2の可能な実施形態を説明している。前記ダウンミックス装置7は、数Mの入力チャネルを含むマルチチャネルオーディオ信号を受信する。前記ダウンミックス装置7は、ダウンミックスブロック行列に前記入力チャネルを乗算することによってMの入力チャネルの信号適応変換を実行するように適合された信号適応変換ユニットを備える。このダウンミックスブロック行列は、下位互換性のある一次チャネルのセットを提供する固定ブロックと、二次チャネルのセットを提供する信号適応ブロックとを有してもよい。前記ダウンミックス装置 7によって提供される数Nの下位互換性のある一次チャネルは、対応するNのチャネルの下位互換性のあるチャネル符号化器、又はその代わりに、下位互換性のある数Nのチャネル符号化器8に供給されてもよい。数M-Nの二次チャネルは、二次符号化器9を具備する二次チャネル符号化器のセットに供給されてもよい。

図3は、ダウンミックス装置7のさらに可能な実施形態を示している。その実施形態において、前記ダウンミックス装置 7は、任意のM x Mユニタリーダウンミックスブロック7Aを備える。数Mの入力チャネルの信号適応変換は、ダウンミックスブロック行列に前記入力チャネルを乗算することによって実行され、下位互換性のある一次チャネルのセットと、補助チャネルのセットとを提供する。ブロック7Bにおいて、補助チャネルのセットに対してカルーネン・レーベ変換 KLTが適用され、二次チャネルのセットを提供する。

以下に、ダウンミックス操作が、実施例を参照して説明される。この実施例において、入力チャネルの数Mは、M=3であり、かつ、下位互換性のある一次チャネルの数Nは、N =1である。従って、この実施例において、前記マルチチャネルオーディオ信号は、3チャネルのオーディオ信号によって実行される。

数Mの入力チャネルを含むマルチチャネルオーディオ信号の適応ダウンミックスを実行するための方法であって、
前記入力チャネルの信号適応変換は、数Nの下位互換性のある一次チャネルのセットを提供するための固定ブロック W_Oと、数M-Nの二次チャネルのセットを提供するための信号適応ブロック W_xと含むダウンミックスブロック行列 W^Tに、前記入力チャネルを乗算することによって実行される。

提案された方法は、図3に示されるようにとても効率的に実行されることができる。前記一次及び二次チャネルを生成するプロセスは、２段階で実行されてもよい。第一の段階7Aは、M x Mユニタリー行列によってマルチチャネル信号にユニタリー変換を適用することを含む。前記変換は、Nの一次チャネルと、M-N補助チャネルとをもたらす。第二の段階7Bは、補助チャネルの部分空間におけるKLTの計算を含む。KLTは、前記補助チャネルを符号化された二次チャネルに変換する。段階7Aにおける第一の変換は、予め計算されていてもよい。KLTは、第一の変換を用いてチャネル間共分散行列を変換することによって、及び、補助チャネルに対応するブロックを選択することによって取得されてもよい。

ステップS61において、前記チャネル間共分散Σ_Xの推定値を取得する。

ステップS62において、ダウンミックス変換W₀の予め定義された制約部分を選択する。

ステップS63において、ブロックW₀を含む任意のM x M変換Vを計算する。

ステップS66において、式(9)に基づいてブロックW_Xを計算する。

いくつかの実施形態に基づいて、図7に示されるような符号化アルゴリズムが実行されてもよい。

ステップS71において、前記チャネル間共分散Σ_Xの推定値を取得する。

ステップS72において、ダウンミックス変換W₀の予め定義された制約部分を選択する。

ステップS73において、ブロックW₀を含む任意のM x M変換Vを計算する。

ステップS74において、ステップS73において取得された変換を用いて、Nの一次チャネルのセットと、M-Nの補助チャネルのセットとを生成する。

ステップS75において、既知のV及びΣ_Xに基づいて補助チャネルの部分空間に対してチャネル間共分散行列を計算する。

ステップS76において、ステップS75において取得されたチャネル間共分散行列に基づいて補助チャネルの部分空間に対してKLTを計算する。

ステップS77において、ステップS76において計算されたKLTを用いて、ステップS74において計算された補助チャネルを変換し、M-Nの補助チャネルのセットを得る。

可能な実施形態に基づいて、復号化方法が図8に示されるように実行されてもよい。

ステップS81において、サイド情報として送信されたチャネル間共分散行列Σ_Xの推定値を取得する。

ステップS82において、ダウンミックス手順において使用された制約部分と同一になるように、ダウンミックス変換W₀の予め定義された制約部分を選択する。

ステップS83において、ブロックW₀を含む逆M x M 変換を計算する。

ステップS84において、Nの一次チャネルと、M-Nの二次チャネルのセットを表すビットストリームを復号化し、かつそれらの再構成を実行する。

ステップS85において、前記補助チャネルの部分空間に対するチャネル間共分散行列を計算する。このステップS85は、Σ_Xであり、ステップS82において取得された変換が既知であるので可能である。

ステップS86において、ステップS85において取得されたチャネル間共分散行列に基づいて補助チャネルの部分空間に対して逆KLTを計算する。

ステップS87において、ステップS85において計算された逆KLTを用いて、ステップS84において再構成された二次チャネルを変換し、M-Nの補助チャネルのセットを得る。

ステップS88において、ステップS83において計算された変換と、ステップS83において取得された前記再構成された一次チャネルと、ステップS87において取得された前記再構成された補助チャネルとを使用して、アップミックスを計算する。

前記変換の制約部分は、既知であるので、非制約部分は、グラム・シュミット法を用いて計算されてもよい。ダウンミックスは、(11)で与えられる式に見ることができる。

変換行列

の適合された部分W_xは、(9)から計算されてもよく、以下が得られる。

(11)によって与えられるダウンミックス行列は、下位互換性のあるステレオダウンミックスを提供する非適応ダウンミックス方法を提供する。符号化利得Gによって評価されるようなダウンミックスの性能は、8.0である。考慮される実施例において、式(15)によって与えられる下位互換性のあるダウンミックスW^T 行列をもたらす提案されたダウンミックス方法は、26.6の符号化利得をもたらし、これは、非適応ダウンミックス方法を比較すると、かなりの改善である。変換(15)を適用した後のチャネル間共分散を確認することができ、以下のようになる。

式(16)から理解できるように、前記二次チャネルは、お互いに非相関である。

チャネルの数が大きい場合に可能な実施形態において、符号化効率は、カルーネン・レーベ変換KLTに基づいて、信号適応ダウンミックスを使用することによって改善されることができる。本発明に基づく方法は、下位互換性のあるダウンミックスチャネルを提供する信号適応ダウンミックスの生成を容易にする。

本発明に基づく方法は、特に、ダウンミックスが、下位互換性のある一次チャネルのセットと、二次チャネルのセットとを生成するときに使用されることができる。本発明に基づく方法は、チャネルの数が大きく、かつ下位互換性のある一次チャネルの数が小さい符号化シナリオに対して使用されてもよい。

本発明の方法の特定の実施要件に応じて、本発明の方法は、ハードウェア又はソフトウェア又はそれらの任意の組み合わせにおいて実施されてもよい。

前記実施は、特に、本発明の方法の少なくとも一つの実施形態が実行されるようなプログラム可能なコンピュータシステムと協働する、又は協働可能な、その上に記録された電気的に可読な制御信号を有する、フロッピー（登録商標）ディスク、CD、DVD又はブルーレイディスク、ROM、PROM、EPROM、EEPROM、又はフラッシュメモリである、デジタル記録媒体を使用して実行されてもよい。

従って、本発明のさらなる実施形態は、機会可読キャリアに記録されたプログラムコードを有するコンピュータ可読製品であるか、又はそれを具備してもよく、前記プログラムコードは、コンピュータ上で前記コンピュータプログラム製品が動作するとき、本発明の方法の少なくとも一つを実行するように動作する。

従って、換言すると、本発明の方法の実施形態は、コンピュータ上、又はプロセッサ上等でコンピュータプログラムが動作するとき、本発明の方法の少なくとも一つを実行するためのプログラムコードを有するコンピュータプログラムであるか、又はそれを具備する。

従って、本発明のさらなる実施形態は、コンピュータ上、又はプロセッサ上等でコンピュータプログラムが動作するとき、本発明の方法の少なくとも一つを実行するように動作するコンピュータプログラムを含み、又は記録される、機械可読デジタル記録媒体であるか、又はそれを具備する。

従って、本発明のさらなる実施形態は、コンピュータプログラム製品がコンピュータ上、又はプロセッサ上等で動作するとき、本発明の方法の少なくとも一つを実行するように動作するコンピュータプログラムを表す信号のデータストリーム又はシーケンスであるか、又はそれを具備する。

従って、本発明のさらなる実施形態は、本発明の方法の少なくとも一つを実行するように適合されたコンピュータ、プロセッサ、又は任意の他のプログラム可能論理デバイスであるか、又はそれを具備する。

従って、本発明のさらなる実施形態は、前記コンピュータプログラム製品が、コンピュータ、プロセッサ、又は任意の他のプログラム可能論理デバイス上で動作するとき、本発明の方法の少なくとも一つを実行するように動作するコンピュータプログラムに記録されたコンピュータ、プロセッサ、又は任意の他のプログラム可能論理デバイスである、又はそれを具備し、例えば、FPGA(Field Programmable Gate Array) 又は ASIC(Application Specific Integrated Circuit)である。

前述において、特に特定の実施形態を参照して示すとともに説明したが、それは、その精神及び範囲から逸脱することなく、当業者によって形態および詳細における様々な他の変更がなされ得ることが理解されるべきである。従って、本明細書に開示された上位概念と、特許請求の範囲によって理解されることから逸脱しないで、異なる実施形態への適合において様々な変更がなされ得ることが理解されるべきである。

１オーディオシステム
２符号化装置
３復号化装置
４データネットワーク
５入力信号
６前処理ブロック
７ダウンミックス装置
７Ａ任意のM x M ユニタリーダウンミックスブロック
７Ｂブロック
８下位互換性チャネル符号化器
９二次チャネル符号化器
１０下位互換性チャネル復号化器
１１アップミックス装置
１２二次チャネル復号化器
１３出力信号
１４後処理ブロック

Claims

数(M)の入力チャネルを含むマルチチャネルオーディオ信号の適応ダウンミックスを実行するための方法であって、
前記入力チャネルの信号適応変換は、下位互換性のある一次チャネルのセット(N)を提供する固定ブロック(W_O)と、二次チャネルのセット(M-N)を提供する信号適応ブロック(W_x)とを含むダウンミックスブロック行列(W^T)に、前記入力チャネルを乗算することによって実行され、
前記ダウンミックスブロック行列(W ^T )の前記信号適応ブロックは、前記入力チャネルのチャネル間共分散に応じて適応される、方法。
前記入力チャネルの前記チャネル間共分散に対する補助共分散行列(Σ_x)は、補助正規直交変換(V)によって計算される、請求項１に記載の方法。
前記補助正規直交変換(V)は、グラム・シュミット法のイニシャライズのときに、固定ブロック(W_O)に基づいて計算される、請求項２に記載の方法。
カルーネン・レーベ変換(KLT)行列Qが、前記補助共分散行列(Σ_x)のブロックに対して計算される、請求項２に記載の方法。
前記ダウンミックスブロック行列(W^T)の前記信号適応ブロックは、前記KLT行列Qに基づいて計算される、請求項４に記載の方法。
前記下位互換性のある一次チャネルは、単一のレガシー符号化器よって、又は、対応する数(N)のレガシー符号化器によって符号化され、下位互換性のある一次レガシービットストリームを生成し、かつ、
前記二次チャネルは、コモンマルチチャネル符号化器によって、又は、対応する数の二次チャネル符号化器によって符号化され、前記それぞれの二次チャネルに対する二次ビットストリームを生成する、請求項１〜５のいずれか一項に記載の方法。
前記一次チャネルを再構成するために、前記下位互換性のある一次ビットストリームを復号化するように適合された単一のレガシー復号化器、又は、対応する数のレガシー復号化器と、
前記二次チャネルを再構成するために、前記二次ビットストリームを復号化するように適合された単一の二次チャネル復号化器、又は、対応する数の二次チャネル復号化器と
を備える遠隔の復号化装置に、前記一次ビットストリームが、前記二次ビットストリームとともに送信される請求項６に記載の方法。
ビットストリームのタイプが、前記遠隔の復号化装置にシグナリングされ、
前記タイプの前記シグナリングは、
少なくとも一つのビットストリームにおいて搬送される補助データによる黙示的なシグナリングによって、又は、
それぞれの前記ビットストリームの前記タイプを示すフラグによる明示的なシグナリングによって、実行される請求項７に記載の方法。
前記数(M)の入力チャネルの前記信号適応変換は、前記ダウンミックスブロック行列(W^T)に、前記入力チャネルを乗算することによって実行され、下位互換性のある一次チャネルの前記セットと、補助チャネルのセットとを提供し、
補助チャネルの前記セットにカルーネン・レーベ変換(KLT)が適用され、二次チャネルの前記セットを提供する、請求項１〜８のいずれか一項に記載の方法。
受信されたビットストリームの適応アップミックスを実行する方法であって、
下位互換性のある一次ビットストリームが、レガシー復号化器によって復号化され、対応する一次チャネルを再構成し、
二次ビットストリームが二次チャネル復号化器によって復号化され、対応する二次チャネルを再構成し、前記方法は、
前記復号化されたビットストリームの信号適応逆変換を、アップミックスブロック行列(W)によって実行し、数(M)の出力チャネルを含むマルチチャネルオーディオ信号を再構成するステップ
を含み、
前記アップミックスブロック行列(W)の信号適応ブロック(W _x )は、前記一次および二次ビットストリームにおいてダウンミックスされかつ符号化された入力チャネルの復号化されたチャネル間共分散に応じて適応される、方法。
前記入力チャネルの前記チャネル間共分散に対する補助共分散行列(Σ_x)が、復号化される、請求項１０に記載の方法。
補助正規直交逆変換は、グラム・シュミット法のイニシャライズのときに、固定ブロック(W_O)に基づいて計算される、請求項１１に記載の方法。
カルーネン・レーベ変換行列(KLT)が、前記補助共分散行列(Σ_x)のブロックに対して計算される、請求項１１に記載の方法。
前記アップミックスブロック行列(W)の前記信号適応ブロック(W_x)が、前記計算されたカルーネン・レーベ変換行列に基づいて計算される、請求項１３に記載の方法。
数(M)の入力チャネルを含むマルチチャネルオーディオ信号の適応ダウンミックスを実行するように適合されたダウンミックス装置であって、
前記ダウンミックス装置は、
下位互換性のある一次チャネルのセットを提供する固定ブロックW₀を含むとともに、二次チャネルのセットを提供する信号適応ブロック(W_x)を含むダウンミックスブロック行列(W^T)に、前記入力チャネルを乗算することによって、前記入力チャネルの信号適応変換を実行し、かつ、
前記ダウンミックスブロック行列(W ^T )の前記信号適応ブロックを、前記入力チャネルのチャネル間共分散に応じて適応する
ように適合された信号適応変換ユニットを備えるダウンミックス装置。
請求項１５に記載のダウンミックス装置を備え、更に、
前記下位互換性のある一次チャネルを符号化し、下位互換性のある一次ビットストリームを生成するように適合された少なくとも一つのレガシー符号化器と、
前記二次チャネルを符号化し、二次ビットストリームを生成するように適合された少なくとも一つの二次チャネル符号化器と
を備える符号化装置。
復号化された一次ビットストリームと復号化された二次ビットストリームとを含む復号化されたビットストリームの適応アップミックスを実行するように適合されたアップミックス装置であって、前記復号化された二次ビットストリームは、前記一次および二次ビットストリームにおいてダウンミックスされかつ符号化された入力チャネルの復号化された補助共分散行列を含み、
前記アップミックス装置は、
前記復号化された一次ビットストリームに対する固定ブロックと、前記復号化された二次ビットストリームに対する信号適応ブロックとを含むアップミックスブロック行列(W)に、前記復号化されたビットストリームを乗算することによって、前記復号化されたビットストリームの信号適応逆変換を実行し、かつ、
前記アップミックスブロック行列(W)の前記信号適応ブロックを、前記復号化された補助共分散行列に応じて適応する
ように適合された信号適応再変換ユニットを備えるアップミックス装置。
請求項１７に記載されたアップミックス装置と、
受信された下位互換性のある一次ビットストリームを復号化し、前記アップミックス装置に提供される復号化された一次ビットストリームを生成するように適合された少なくとも一つのレガシー復号化器と、
受信された二次ビットストリームを復号化し、前記アップミックス装置に提供される復号化された二次ビットストリームを生成するように適合された少なくとも一つの二次チャネル復号化器と
を備える復号化装置。
請求項１６に記載された少なくとも一つの符号化装置と、
請求項１８に記載された少なくとも一つの復号化装置と
を備え、
前記符号化装置及び前記復号化装置は、ネットワークを介してお互いに接続されるオーディオシステム。