JP5113151B2 - メディア信号処理装置及びその方法 - Google Patents

Description

本発明は、メディア信号処理に関するもので、特に、メディア信号処理方法及び装置に関するものである。

一般的に、メディア信号の場合、エンコーディング装置は、マルチチャネル信号をそれぞれ圧縮する代わりに、マルチチャネル信号をモノまたはステレオ形態のダウンミックス信号に圧縮し、圧縮されたダウンミックス信号、空間情報または付加情報をデコーディング装置に転送したり保存媒体に保存する。デコーディング装置は、圧縮されたダウンミックス信号及び空間情報を用いて元のマルチチャネルを復元する。
エンコーディング装置及びデコーディング装置が基本的に圧縮して復元可能なチャネル数は決まっている。Ｎ-Ｍ-Ｎチャネル構成において、前のＮはエンコーディング装置が転送しようとするチャネル数であり、Ｍは圧縮されたダウンミックス信号の個数であり、後のＮはデコーディング装置が復元するチャネル数である。このとき、エンコーディング装置及びデコーディング装置は、５-１-５チャネル構成、５-２-５チャネル構成、７-２-７チャネル構成または７-５-７チャネル構成などを基本的に提供する。
エンコーディング装置が支援するチャネル構成より少ない数のチャネルの場合、エンコーディング装置が支援するチャネル構造にマッピングされた後でエンコーディングされる。すなわち、エンコーディング装置にエンコーディング装置が支援するチャネルより少ない数のチャネルが入力される場合、エンコーディング装置が圧縮可能なチャネル数とエンコーディング装置に入力されるチャネル数との差だけのチャネルが仮想の値を有すると仮定し、エンコーディングを行う。この場合にも、エンコーディング装置は、デコーディング装置が仮想の値を有するチャネルを復元するために必要な空間情報を生成し、これをデコーディング装置に転送する。

本発明の目的は、エンコーディング装置が基本的に圧縮可能なチャネル数より少ない数のチャネルを転送しようとする場合、チャネルを復元するのに必要な一部の空間情報を転送しないメディア信号処理方法及び装置を提供することにある。

本発明の他の目的は、仮想の値に設定されたチャネルを生成するためのデコーディングを省略するメディア信号処理方法及び装置を提供することにある。

本発明では、エンコーディング装置が基本的に圧縮可能なチャネル数より少ない数のチャネルを転送しようとする場合、基本的に圧縮可能なチャネルから転送しようとするチャネル数を除いたチャネル値を仮想の値に設定し、仮想の値を有するチャネルを復元するのに必要な空間情報を転送しない。

本発明ではデコーディング装置が、転送されたメディア信号から生成されるチャネルののうち仮想の値に設定されたチャネルがどれかを検知し、仮想の値に設定されたチャネルを生成するためのデコーディングを省略する。

本発明によると、エンコーディング装置が基本的に圧縮可能なチャネル数より少ない数のチャネルを転送するとき、有効な値を有するチャネルに対する空間情報のみを生成して転送することで、不必要なビット転送を防止することができる。

また、本発明によると、デコーディング装置が、転送されたメディア信号から生成されるチャネルのうち有効なチャネルがどれかを検知し、有効なチャネル生成のためのデコーディングのみを行い、有効でないチャネル生成のためのデコーディング演算量を減少することができる。

上記のような目的を達成するための本発明によると、生成されるマルチチャネルのうち有効な値を有するチャネルを検知する段階と；前記ダウンミックス信号及び前記空間情報信号から前記検知された有効な値を有するチャネルを生成する段階と；を含むことを特徴とするオーディオ信号デコーディング方法を提供することができる。

更に、本発明によると、受信されたビットストリームから第１マルチチャネルオーディオ信号をダウンミックスしたダウンミックス信号及び空間情報を獲得する段階と；前記空間情報から変形空間情報を生成する段階と；前記変形空間情報を用いて第２マルチチャネルを生成する段階と；を含むことを特徴とするオーディオ信号デコーディング方法を提供することができる。

更に本発明によると、Ｎ個より少ない数のチャネルの入力を受ける段階と；前記Ｎ個と前記入力されたチャネル数との差だけのチャネル値を仮想の値に定める段階と；前記仮想の値を有するチャネルを含むＮ個のチャネルをダウンミキシングする段階と；を含むことを特徴とするオーディオ信号エンコーディング方法を提供することができる。

更に本発明によると、ダウンミックス信号及び空間情報信号を読み出す読み出し部と；前記空間情報信号から生成されるマルチチャネルのうち有効な値を有するチャネルを検知し、前記ダウンミックス信号及び前記空間情報信号を用いて前記検知された有効な値を有するチャネルを生成するチャネル生成部と；を含むことを特徴とするオーディオ信号デコーディング装置を提供することができる。

更に本発明によると、Ｎ個以上のチャネルをダウンミキシングするエンコーディング装置において、前記Ｎ個より少ない数のチャネルの入力を受けて、前記Ｎ個と前記入力を受けるチャネル数との差だけのチャネル値を仮想の値に定めるチャネル値設定部と；前記Ｎ個のチャネルのうち何れのチャネルが前記入力を受けたチャネルであるかを表示する有効チャネル表示情報を含む空間情報信号を生成する空間情報抽出部と；前記仮想の値を有するチャネルを含むＮ個のチャネルをダウンミックスするダウンミキシング部と；を含むことを特徴とするオーディオ信号エンコーディング装置を提供することができる。

以下、添付した図面を参照して、本発明の好適な実施例を詳細に説明する。本発明は、メディア信号デコーディング方法及び装置に関するものである。ここで、メディア信号は、オーディオ信号またはビデオ信号を含む。

図１は、本発明の実施例に係るエンコーディング装置がデコーディング装置に転送するメディア信号の構成図である。
図１を参照すると、メディア信号は、ダウンミックス信号１０１及び空間情報信号１０３を含む。ダウンミックス信号１０１は、マルチチャネルメディア信号をダウンミキシングして生成される信号で、エンコーディング装置に含まれたダウンミキシング部（図示せず）を通して生成されたり人為的に生成される。メディア信号は、各フレームが羅列されたＥＳ（エレメンタリーストリーム）形態で存在する。ダウンミックス信号１０１及び空間情報信号１０３は、別々のＥＳ形態でそれぞれデコーディング装置に転送されるが、図１に示すように、ダウンミックス信号１０１と空間情報信号１０３とが結合されて一つのＥＳ形態でデコーディング装置に転送されることもある。
空間情報信号１０３は、マルチチャネルメディア信号をダウンミックスするときに抽出されるもので、デコーディング装置で圧縮されたダウンミックス信号１０１から元のマルチチャネルメディア信号が復元されるときに使用される。
エンコーディング装置は、エンコーディング装置に入力される全てのマルチチャネルメディア信号をダウンミックスし、空間情報信号１０３を生成することができる。しかしながら、エンコーディング装置にエンコーディング装置が支援するチャネル構成より少ない数のチャネルが入力される場合、エンコーディング装置が支援するチャネル数から入力されるチャネル数を除いたチャネルが仮想の値を有すると仮定し、仮想の値を有するチャネルに対する空間情報信号１０３を生成しないか、生成する場合にも、これを信号デコーディング装置に転送しないことがある。また、エンコーディング装置は、仮想の値を有するチャネルに対する空間情報をデフォルト値や極値を用いて簡単に表示することもできる。

空間情報信号１０３には、空間パラメーター、有効チャネル表示情報、ツリー構造情報などが含まれる。空間パラメーターは、各マルチチャネル信号の間の関係を表示する情報で、各メディア信号の間のエネルギー差を表すＣＬＤ（チャネルレベル差）、各メディア信号の間の緊密性及び類似性を表すＩＣＣ（チャネル間の相関）、他の信号を用いてメディア信号値を予想する係数を表すＣＰＣ（チャネル予測係数）などを含む。
空間情報信号１０３は、エンコーディング装置に入力されるチャネルが有効な値を有するチャネルであるか、または、エンコーディング装置のチャネル構成より少ない数のチャネルが入力され、エンコーディング装置の基本構成を支援するために生成された仮想の値を有するチャネルであるかを表示する情報が含まれている。以下、エンコーディング装置に入力されるチャネルが仮想の値でない有効な値を有するチャネルであるかどうかを表示する情報を、有効チャネル表示情報という。有効チャネル表示情報は、空間情報信号１０３のヘッダー１０５または空間フレーム１０７に含まれる。空間情報信号１０３は、チャネル信号を定められたツリー構造によってダウンミックスする過程で抽出した情報で、ここで、定められたツリー構造とは、デコーディング装置とエンコーディング装置との間で約束されたツリー構造をいう。空間情報信号１０３は、ツリー構造情報を含むことができるが、ツリー構造情報は、ツリー構造の類型に関する情報で、ツリー構造の類型によってマルチチャネルの個数、チャネル別ダウンミックス順序などが変わる。

エンコーディング装置は、エンコーディングされたダウンミックス信号１０１と空間情報信号１０３を多重化してビットストリーム形態のメディア信号を生成し、これをデコーディング装置に転送する。

図２は、本発明の実施例に係るエンコーディング及びデコーディング装置を含むメディア装置のブロック図である。
図２を参照すると、メディア装置は、ダウンミキシング部２０２、空間情報抽出部２０３、ダウンミックス信号エンコーディング部２０５、空間情報エンコーディング部２０７及び多重化部２０９を含むエンコーディング装置と、逆多重化部２１１、ダウンミックス信号デコーディング部２１３、空間情報デコーディング部２１５及びチャネル生成部２１７を含むデコーディング装置とを含む。
エンコーディング装置のダウンミキシング部２０２は、マルチチャネルメディア信号２０１をダウンミックスし、一つまたは二つのダウンミックス信号を生成し、これをダウンミックス信号エンコーディング部２０５に送る。ダウンミックス信号エンコーディング部２０５は、ダウンミックス信号をエンコーディングし、エンコーディングされたダウンミックス信号を生成し、エンコーディングされたダウンミックス信号を多重化部２０９に送る。
空間情報抽出部２０３は、マルチチャネルメディア信号２０１から空間パラメーターを抽出し、空間情報信号１０３を生成する。
図２に示していないが、エンコーディング装置は、ダウンミキシング部２０２の前にチャネル値設定部を含むことができる。チャネル値設定部は、エンコーディング装置に入力されるチャネル数が、エンコーディング装置が支援するチャネル数より少ない場合、エンコーディング装置が支援するチャネル数から入力されるチャネル数を除いた個数のチャネル値を仮想の値に設定する。デコーディング装置は、仮想の値が設定されたチャネルを復元する必要がないので、エンコーディング装置は、仮想の値が設定されたチャネルに対する空間情報を生成する必要がない。また、デコーディング装置は、仮想の値に設定されたチャネルに対する空間情報をデフォルト値や極値などに簡単に表示することもできる。
空間情報抽出部２０３は、有効な値を有するチャネルに対する空間情報信号１０３を生成し、これを空間情報エンコーディング部２０７に送る。空間情報信号１０３は、上述したように、指示子、空間パラメーター、チャネル構成識別子及び変形空間情報信号タイプなどを含むことができる。
空間情報エンコーディング部２０７は、空間情報信号１０３をエンコーディングし、エンコーディングされた空間情報信号１０３を生成し、これを多重化部２０９に送る。
多重化部２０９は、ダウンミックス信号エンコーディング部２０５から受けたエンコーディングされたダウンミックス信号、及び空間情報エンコーディング部２０７から受けたエンコーディングされた空間情報信号１０３を多重化し、ビットストリーム形態のメディア信号２１０を生成し、これをデコーディング装置に転送する。

デコーディング装置は、エンコーディング装置からビットストリーム形態のメディア信号２１０の転送を受けたり、既に保存されているメディア信号２１０を抽出する。
デコーディング装置に含まれている逆多重化部２１１は、ビットストリーム形態のメディア信号２１０をパーシングし、エンコーディングされたダウンミックス信号及びエンコーディングされた空間情報信号に分離し、エンコーディングされたダウンミックス信号をダウンミックス信号デコーディング部２１３に送り、エンコーディングされた空間情報信号を空間情報デコーディング部２１５に送る。
ダウンミックス信号デコーディング部２１３は、復号化されたダウンミックス信号を生成し、生成された復号化されたダウンミックス信号をチャネル生成部２１７に送る。空間情報デコーディング部２１５は、空間情報信号を復号化し、復号化された空間情報信号をチャネル生成部２１７に送る。
図２に示していないが、デコーディング部は、変形空間情報信号生成部を含むことができる。変形空間情報信号生成部は、空間情報信号１０３を変形し、変形された空間情報信号を生成する。変形された空間情報信号は、空間情報信号を変形して新しく生成された空間情報信号をいう。変形空間情報信号は、空間情報信号のうち一部を含むか、空間情報信号を組み合わせることで生成される。変形空間情報信号生成部は、ツリー構造情報及び出力チャネル情報などを用いて変形空間情報信号を生成することができる。出力チャネル情報は、デコーディング装置と関連しているスピーカーに関する情報で、出力チャネルの数、各出力チャネルの位置情報などを含むことができる。出力チャネル情報は、製作者によってデコーディング装置に既に入力されているか、使用者によって入力される。

デコーディング装置は、ツリー構造情報を用いてエンコーディング装置によってダウンミックスされた元のマルチチャネル数を把握し、出力チャネル情報を用いて生成するチャネル数を把握する。デコーディング装置は、ダウンミックスされた元のマルチチャネル数と生成するチャネル数とが同一であるかどうかを判断する。以下、エンコーディング装置によってダウンミックスされた元のマルチチャネルを第１マルチチャネルといい、デコーディング装置が生成するチャネルを第２マルチチャネルという。デコーディング装置は、エンコーディング装置によってダウンミックスされた第１マルチチャネルと生成する第２マルチチャネルのチャネル数が異なるか、チャネル数が同一であっても有効な値を有するチャネル数が異なる場合、変形空間情報信号生成部を用いて空間情報信号を変形することができる。変形空間情報信号は、第２マルチチャネルの有効な値との相関関係を用いて生成される。

デコーディング装置は、上述した空間パラメーター、ＣＬＤ、ＩＣＣ、ＣＰＣ、ＩＰＤなどを組み合わせることで、変形された空間情報信号を生成することができる。すなわち、第１マルチチャネルのチャネル数より第２マルチチャネルのチャネル数が少ない場合、デコーディング装置は、転送された空間パラメーターを組み合わせることで、第１マルチチャネルより少ない数のチャネルを生成することができる。例えば、エンコーディング装置で５．１チャネルからダウンミックスされて生成されたダウンミックス信号は、デコーディング装置で２チャネル信号にアップミックスされる。デコーディング装置は、転送された空間パラメーターのうち一部の空間パラメーターのみを用いて変形された空間パラメーターを生成することもできる。例えば、５．１チャネルからダウンミックスされて生成されたダウンミックス信号は、一部の空間パラメーターのみでアップミックスされ、５．１チャネルより少ない数のチャネルに生成される。このような方法で、デコーディング装置は、変形空間情報信号及びダウンミックス信号を用いて第１マルチチャネルと異なる数のチャネルを有する第２マルチチャネルを生成することができる。

チャネル生成部２１７は、復号化されたダウンミックス信号及び復号化された空間情報信号を用いてマルチチャネルメディア信号２１９を復元する。デコーディング装置は、空間情報信号１０３を用いて転送されたメディア信号２１０から生成されるマルチチャネル信号２１９のうち有効なチャネルがどのチャネルで、仮想の値を有するチャネルがどのチャネルであるかを判断することができる。デコーディング装置が空間情報信号１０３を用いて有効なチャネルを判断する方法に対しては、図３から図５を参照して詳細に説明する。デコーディング装置は、空間情報信号１０３を用いて生成されるマルチチャネル信号２１９のうち有効なチャネルを検知し、有効な値を有するチャネルを生成するためのデコーディングのみを行うことができる。すなわち、有効でない値を有するチャネル生成のためのデコーディングを行わないこともある。

以下、エンコーディング装置及びデコーディング装置が支援するチャネル数より少ない数のチャネルを効率的に圧縮、転送及び復元する方法に対して、図３を参照してエンコーディング前処理段階及びエンコーディング段階を説明し、図４及び図５を参照してデコーディング段階を説明する。

１． エンコーディング前処理段階

エンコーディング装置及びデコーディング装置が基本的に圧縮して復元可能なチャネル数がＮ個であるとき、入力されるマルチチャネルメディア信号２０１は、Ｎ個より多いか少ない数のチャネルを含むことができる。入力されるメディア信号２０１のチャネル数がＮ個より多い場合、エンコーディング及びデコーディング装置は、効率的にチャネル構成を拡張し、入力されるチャネルを圧縮して復元する。メディア信号２０１のチャネル数がＮ個より少ないとき、Ｎ個と入力されるメディア信号２０１のチャネル数との差に該当するチャネル値は、仮想の値に設定されるべきである。有効なチャネルと仮想の値を有するチャネルを含んでＮチャネル形態が構成されたとき、エンコーディング及びデコーディングが行われる。このとき、Ｎ個と入力されるメディア信号２０１のチャネル数との差に該当するチャネル値は、０に設定されることもある。

以下、エンコーディング前処理段階に対して、図３を参照して説明する。図３は、本発明の実施例に係るエンコーディング装置のダウンミキシング部２０２を示したブロック図である。
エンコーディング装置のダウンミキシング部２０２は、第１ダウンミキシング部から第５ダウンミキシング部を含む。図面では、エンコーディング装置が５．１チャネル構造を有する。５．１チャネルは、中央前のチャネルＣ、左側前のチャネルＬＦ、右側前のチャネルＲＦ、左側背後のチャネルＬＳ、右側背後のチャネルＲＳ、及びウーファ（低周波数増強）チャネルＬＦＥを含む。エンコーディング装置が５．１チャネル構造を有する場合、５．１より少ないチャネルのメディア信号は、エンコーディングする前に５．１チャネル構造にマッピングされるべきである。その後、メディア信号は、５-１-５、５-２-５などのツリー構造を用いてエンコーディングされる。図３において、エンコーディング装置に印加されるメディア信号２０１は、ＬＦチャネル及びＲＦチャネルの二つであるので、印加されない残りのチャネル、すなわち、Ｃチャネル、ＬＦＥチャネル、ＬＳチャネル及びＲＳチャネルは、仮想の値（例えば、０）を有すると仮定すべきである。エンコーディング装置は、仮想の値を有するチャネルを含んで総数が６個のチャネルに対してエンコーディングを行う。

２． エンコーディング段階

ダウンミキシング部２０２は、入力されるマルチチャネルからダウンミックス信号を生成する。ダウンミキシング部２０２は、マルチチャネルメディア信号をダウンミックスするとき、二つのチャネルを一つのチャネルにするか、三個のチャネルを二つのチャネルにするためにＯＴＴ（ワン−トゥ−ツー）ＢＯＸまたはＴＴＴ（ツー−トゥ−スリー）ＢＯＸを使用する。ＯＴＴ ＢＯＸまたはＴＴＴ ＢＯＸは、デコーディング装置でダウンミックス信号と空間情報を用いて元のマルチチャネルを復元するときに使用される概念的なＢＯＸである。すなわち、メディア信号エンコーディング装置から受信したメディア信号は、逆多重化部２１１でエンコーディングされたダウンミックス信号１０１とエンコーディングされた空間情報信号１０３にパーシングされて、それぞれ復号化された後にチャネル生成部２１７に送られるが、チャネル生成部２１７は、復号化されたダウンミックス信号１０１と空間情報信号１０３を用いて元のマルチチャネルを復元するとき、ＯＴＴ ＢＯＸまたはＴＴＴ ＢＯＸを使用して一つの入力信号を二つの信号に出力するか、或いは二つの入力信号を三つの信号に出力する。メディア信号デコーディング装置のチャネル生成部２１７でＯＴＴ ＢＯＸまたはＴＴＴ ＢＯＸが使用されることに対応して、メディア信号エンコーディング装置のダウンミキシング部２０２でもＯＴＴ ＢＯＸまたはＴＴＴ ＢＯＸが使用され、入力されるマルチチャネルを一つまたは二つの信号にダウンミックスする。以下、ＯＴＴ ＢＯＸまたはＴＴＴ ＢＯＸがメディア信号エンコーディング装置で使用されるときには第何番目のダウンミキシング部といい、ＯＴＴ ＢＯＸまたはＴＴＴ ＢＯＸがメディア信号デコーディング装置で使用されるときには第何番目のアップミキシング部という。空間情報抽出部２０３は、各入力チャネルがダウンミキシング部２０２を経るとき、各入力チャネルの間の関係を表す空間パラメーターを抽出する。図３には、便宜上、各ダウンミキシング部で抽出される空間パラメーターとしてＣＬＤのみを示したが、抽出される空間パラメーターがこれに限定されることはない。

以下、エンコーディング装置が有効なチャネルとエンコーディング装置が有効でないチャネルに対する空間パラメーター値を転送する方法を説明する。

２．１ 空間情報信号を生成する方法

２．１．１ 空間パラメーター値を最大値または最小値に設定する方法

図３において、エンコーディング装置は、エンコーディング前処理段階によって仮想の値を有するチャネルを含んで総数が６個のチャネルの入力を受ける。入力される各チャネルは、第３ダウンミキシング部から第５ダウンミキシング部に印加される。第３ダウンミキシング部から第５ダウンミキシング部は、二つの入力チャネルを一つの信号にダウンミキシングする。第４ダウンミキシング部と第５ダウンミキシング部から出る信号は第２ダウンミキシング部に入り、第２ダウンミキシング部と第３ダウンミキシング部から出る信号は第１ダウンミキシング部に入る。第３ダウンミキシング部と第５ダウンミキシング部に入力されるチャネルは、値が０である仮想のチャネルであるので、第３ダウンミキシング部と第５ダウンミキシング部は、仮想の各チャネルの間の関係を表す空間パラメーターを抽出する必要がない。第４ダウンミキシング部は、入力される二つのチャネルＬＦ及びＲＦから二つのチャネルの関係を表す空間パラメーターＣＬＤ４を抽出する。第２ダウンミキシング部は、第４ダウンミキシング部から出る信号と第５ダウンミキシング部から出る信号との間の関係を表す空間パラメーターＣＬＤ２を抽出し、第１ダウンミキシング部は、第２ダウンミキシング部から出る信号と第３ダウンミキシング部から出る信号との間の関係を表す空間パラメーターＣＬＤ１を抽出する。図３において、第１ダウンミキシング部及び第２ダウンミキシング部で抽出される空間パラメーターＣＬＤ１及びＣＬＤ２は、ＣＬＤ値の範囲のうち最大値または最小値になる。すなわち、第２ダウンミキシング部で抽出される空間パラメーターＣＬＤ２は、第４ダウンミキシング部から出る信号と第５ダウンミキシング部から出る信号との間のエネルギー差を意味するが、第４ダウンミキシング部によってダウンミックスされた信号が有効な値を有する一方、第５ダウンミキシング部によってダウンミックスされた信号の値が０であるので、エネルギー（またはレベル）は、第４ダウンミキシング部から出た信号のみに偏る。ＣＬＤ値が最大１５０から最小−１５０までの値を有するとしたとき、ＣＬＤ２値は、第４ダウンミキシング部によってダウンミックスされた信号を基準にして最大値１５０になる。これと同様に、ＣＬＤ１も、第２ダウンミキシング部によってダウンミックスされた信号を基準にして１５０になる。空間情報抽出部２０３は、ダウンミキシング部２０２がマルチチャネルをダウンミックスする過程で空間パラメーターを抽出し、抽出された空間パラメーターを用いて空間情報信号１０３を生成する。エンコーディング装置は、抽出された空間パラメーターＣＬＤ１からＣＬＤ５値を全て空間情報信号１０３に含ませてデコーディング装置に転送することができる。この場合、デコーディング装置は、ＣＬＤ１及びＣＬＤ２が１５０であることを用いて、エネルギーが二つの信号のうち一側の信号のみに向かうので、生成されるマルチチャネル信号２１９のうち有効な値を有するチャネルがどれかを検知することができる。

エンコーディング装置は、各ダウンミキシング部で抽出される空間パラメーター値が以前のパラメーター値と同一であるか、補間された値であるか、既に定められたデフォルト値であるか、または、新しく読むべき値であるかを表示する情報を空間情報信号１０３に含ませてデコーディング装置に転送する。このとき、エンコーディング装置は、上述した方法にしたがって、空間パラメーター値を新しく読むべき値に表示する情報を空間情報信号１０３に含ませて、全ての空間パラメーター値をデコーディング装置に転送することができる。この場合、有効でないチャネル生成のための不必要な空間パラメーターまで送るようになり、ビット浪費をもたらす。したがって、エンコーディング装置は、空間情報信号１０３のビット量を最小化するために、下記のような方法を使用することができる。

２．１．２ 空間パラメーター値をデフォルト値に設定する方法

エンコーディング装置は、空間パラメーター値が既に定められたデフォルト値であることを表示する情報を転送することにより、不必要な空間パラメーター転送を省略することができる。このとき、エンコーディング装置は、仮想の値を有するチャネルをダウンミックスするとき、抽出される空間パラメーター値をデフォルト値に表示してデコーディング装置に転送することにより、不必要な空間パラメーター値の転送を省略することができる。例えば、エンコーディング及びデコーディング装置のＣＬＤ値が最大値１５０である場合をデフォルト値１に定め、ＣＬＤ値が０である場合をデフォルト値０に定めた場合、エンコーディング装置は、図３のＣＬＤ１、ＣＬＤ２の値１５０をビットで表示して転送する代わりに、ＣＬＤ１及びＣＬＤ２の値がデフォルト値で、その値が１であることを表示するビットを転送することで、空間情報信号１０３のビット量を減少することができる。

２．１．３ 有効チャネル表示情報を転送する方法

エンコーディング装置は、有効なチャネルに対する空間パラメーターのみを転送することにより、空間情報信号のビット量を減少することができる。図３において、エンコーディング装置は、ＣＬＤ３またはＣＬＤ５を空間情報信号１０３に含ませずに、有効な値を有するチャネルＬＦ及びＲＦから生成される空間パラメーターＣＬＤ４のみを空間情報信号１０３に含ませてデコーディング装置に転送することができる。この場合、デコーディング装置は、エンコーディング装置から転送された空間情報信号１０３に第３アップミキシング部（図示せず）及び第５アップミキシング部（図示せず）に印加される空間パラメーターがないので、その値が無意味であると判断し、第３アップミキシング部及び第５アップミキシング部から出力されるチャネル値が０であると判断することができる。このように、エンコーディング装置が一部の空間パラメーターのみを空間情報信号１０３に含ませてデコーディング装置に転送する場合、どのチャネルが有効であるかをデコーディング装置が判断できるように、エンコーディング装置は、有効チャネル表示情報を生成し、これを空間情報信号１０３に含ませてデコーディング装置に転送することができる。
有効チャネル表示情報は、エンコーディング装置に入力されるチャネルが仮想の値でない有効な値を有するチャネルであるかどうかを表示する情報である。有効チャネル表示情報を生成する方法としては、各チャネルの順にチャネルが有効なチャネルであるかを表示する方法と、各ダウンミキシング部または各ダウンミキシング部に対応して各アップミキシング部が有効なチャネルを生成するかを表示する方法が考慮される。また、エンコーディング装置及びデコーディング装置は、圧縮及び復元可能なチャネル数より少ない数のチャネルが印加される場合に備えて、エンコーディング装置及びデコーディング装置の相互間に予めエンコーディング装置が支援するチャネル数より少ない数の入力チャネルに対するチャネル構成を約束し、エンコーディング装置が印加されるチャネルのチャネル構成をデコーディング装置に知らせる方法も考慮することができる。

図３を参照して、各チャネルの順に有効なチャネルであるかを表示する方法を説明する。５-１-５_１チャネル構成で入力されるチャネルは、上から順にＬＦチャネル、ＲＦチャネル、Ｃチャネル、ＬＦＥチャネル、ＬＳチャネル及びＲＳチャネルである。これらのうちＬＦチャネル及びＲＦチャネルは、有効チャネルであるので１に表示し、残りのチャネルは、値のない仮想のチャネルであるので０に表示し、上からチャネルの順に１１００００のように６ビットで有効チャネル表示情報を生成することができる。各ダウンミキシング部またはアップミキシング部が有効であるかを表示する方法を説明すると、エンコーディング装置は、第１ダウンミキシング部から第５ダウンミキシング部の順に、ダウンミキシング部が使用される場合に１に表示し、ダウンミキシング部が使用されない場合に０に表示することができる。図３では、転送しようとする二つのチャネルＬＦ、ＲＦチャネルをダウンミックスするために第４ダウンミキシング部のみを使用するので、０００１０のように各ダウンミキシング部の使用可否を５ビットで表示し、有効チャネル表示情報を生成することができる。エンコーディング装置は、有効チャネル表示情報としてチャネル構成識別子を転送することもできる。エンコーディング装置及びデコーディング装置の相互間に予めチャネル組み合わせによるチャネル構成を約束する方法を、表１を参照して説明する。

５．１チャネル構造の場合を例に挙げて説明すると、５．１チャネル以下のチャネルの組み合わせは、表１のようなチャネル構成を有する。エンコーディング装置及びデコーディング装置は、表１のようにチャネル構成を互いに約束した後、入力チャネル数によってチャネル構成識別子を生成し、これをデコーディング装置に転送することができる。図３を参照すると、エンコーディング装置に印加される入力チャネル数は２個であるので、エンコーディング装置は、チャネル構成識別子１（００１）をデコーディング装置に転送し、有効チャネルがＬＦチャネル及びＲＦチャネルであることをデコーディング装置に知らせることができる。エンコーディング装置は、有効チャネル表示情報を空間情報信号１０３のヘッダー１０５または空間フレーム１０７に含ませてデコーディング装置に転送することができる。エンコーディング装置は、上述したように、効率的に空間情報信号１０３を生成し、これをダウンミックス信号１０１と一緒にまたは別個にデコーディング装置に転送することができる。

３． デコーディング段階

３．１ 有効チャネルであるかどうかを判断する方法

デコーディング装置は、エンコーディング装置から転送されたり、既に保存されていたダウンミックス信号１０１及び空間情報信号１０３を用いてエンコーディング装置に入力された元のマルチチャネルメディア信号２１９を復元する。デコーディング装置は、空間情報信号１０３から空間パラメーターを抽出し、これを各アップミキシング部に適用して元のチャネルを復元する。デコーディング装置は、空間情報信号１０３から変形空間情報信号のタイプを表示する情報を抽出し、空間情報信号１０３から識別されたタイプの変形空間情報信号を生成することができる。変形空間情報のタイプは、部分空間情報信号または拡大空間情報信号を含む。部分空間情報信号は、空間パラメーターのうち一部のみを含むもので、拡大空間情報は、拡張空間情報信号及び空間情報信号を用いて生成されたものである。デコーディング装置は、空間情報信号１０３に変形空間情報信号のタイプを識別する信号が含まれている場合、これを用いて空間情報信号１０３を変形し、変形空間情報信号を生成し、変形空間情報信号を用いてダウンミックス信号をデコーディングする。デコーディング装置は、変形空間情報信号のタイプが部分空間情報信号である場合、デコーディング装置が支援するチャネル数より少ない数のチャネルが復元されることを検知する。すなわち、有効でない値を有するチャネルが復元されることを検知する。デコーディング装置は、エンコーディング装置が転送した空間情報信号１０３を用いて復元するチャネルのうち何れのチャネルが有効な値を有するチャネルであるかを判断することができる。デコーディング装置は、空間情報信号１０３から各アップミキシング部に適用する空間パラメーター値を抽出し、これを用いて復元するチャネルが有効チャネルであるかどうかを判断したり、空間情報信号１０３から抽出した有効チャネル表示情報またはチャネル構成識別子を用いて復元するチャネルが有効チャネルであるかどうかを判断することができる。

図４を参照して、５-１-５_１チャネル構成を有するデコーディング装置が有効チャネルを復元する方法を説明し、図５を参照して、５-１-５_２チャネル構成を有するデコーディング装置が有効チャネルを復元する方法を説明する。
図４は、図３のようなダウンミキシング部２０２を有するエンコーディング装置からメディア信号の転送を受けて、ＬＦ及びＲＦチャネルを復元するデコーディング装置のチャネル生成部２１７を示したブロック図である。
図４を参照すると、デコーディング装置は、空間情報信号１０３から空間パラメーター値を抽出し、抽出した空間パラメーター値を第１アップミキシング部から第５アップミキシング部に適用して元の信号を復元する。
デコーディング装置は、空間フレーム１０７ごとにアップミキシング部に対する情報を読む。アップミキシング部に対する情報は、各アップミキシング部に適用される空間パラメーター値に対する情報を含む。空間パラメーター値は、デフォルト値であるか、以前のパラメーター値と同一の値であるか、補間された補間値であるか、または、新しく空間情報信号１０３から抽出された符号化された値になる。空間パラメーター値が、空間情報信号１０３から抽出された符号化された値である場合、デコーディング装置は、空間パラメーター値を抽出して復号化した後、これを各アップミキシング部に適用する。
図３において、エンコーディング装置がダウンミックスするとき、抽出された空間パラメーターＣＬＤ１からＣＬＤ５値を全て空間情報信号１０３に含ませてデコーディング装置に転送した場合、デコーディング装置は、第１アップミキシング部に印加されるＣＬＤ１及び第２アップミキシング部に印加されるＣＬＤ２が１５０であることを用いて、第１アップミキシング部及び第２アップミキシング部が図面の矢印の方向に全てのエネルギーを進行させることを検知することができる。
デコーディング装置は、空間情報信号１０３から空間パラメーターＣＬＤ４を抽出し、これを第４アップミキシング部に印加することで、ＬＦ、ＲＦチャネルを復元することができる。
デコーディング装置は、第３アップミキシング部及び第５アップミキシング部にエネルギーが移らないことを用いて、第３アップミキシング部及び第５アップミキシング部から出力されるＣチャネル、ＬＦＥチャネル、ＬＳチャネル及びＲＳチャネル値が０であることを判断することができる。すなわち、デコーディング装置は、上位のアップミキシング部に適用される空間パラメーター値を用いて、下位のアップミキシング部から出力されるチャネルが０であることを判断することができる。したがって、上位のアップミキシング部に適用される空間パラメーター値によって、下位のアップミキシング部に適用される空間パラメーター値が必要でない場合が生じる。
エンコーディング装置が空間パラメーター値をデフォルト値に表示してデコーディング装置に転送した場合、デコーディング装置は、新しく空間パラメーター値を読まずに、デフォルト値による空間パラメーター値を各アップミキシング部に適用する。図３において、エンコーディング装置は、ＣＬＤ１及びＣＬＤ２が１５０であるので、これをデフォルト値１に表示してデコーディング装置に転送することができる。図４において、デコーディング装置は、デフォルト値１を用いてＣＬＤ１及びＣＬＤ２が１５０であることを検知することができる。デコーディング装置は、第１アップミキシング部及び第２アップミキシング部にＣＬＤ１及びＣＬＤ２値を適用し、全てのエネルギーが上方向に向かうことを検知し、これによって、有効な値を有するチャネル及び有効でない仮想の値を有するチャネルがどれかを判断することができる。
デコーディング装置は、空間情報信号１０３に含まれている有効チャネル表示情報またはチャネル構成識別子から有効チャネルがどれかを判断することもできる。
デコーディング装置は、各チャネルの順にチャネルが有効なチャネルであるかを表示する有効チャネル表示情報を用いたり、各アップミキシング部が有効なチャネルを生成するかを表示する方法を用いることができる。図４において、デコーディング装置は、各チャネルの順に有効チャネルであるかを表示する情報が１１００００であることを用いて、ＬＦ及びＲＦチャネルのみが有効なチャネルで、残りの４個のチャネルの値が０であることを検知することができる。また、デコーディング装置は、各アップミキシング部の順に信号を生成するかどうかを表示する有効チャネル表示情報０００１０を用いて、第４アップミキシング部のみが有効チャネルを生成するために活性化され、残りのアップミキシング部は有効チャネルを生成しないことを判断し、有効チャネルがＬＦ及びＲＦチャネルであることを判断することができる。また、デコーディング装置は、チャネル構成識別子が１（００１）であることを用いて、ＬＦ及びＲＦチャネルが有効なチャネルであることを判断することもできる。

図５は、５-１-５_２チャネル構成を有するデコーディング装置が有効なチャネルを判断する方法を示した図である。
図５を参照すると、デコーディング装置は、空間情報信号１０３から空間パラメーター値を抽出したり、その値がデフォルト値である場合、デフォルト値に相応する空間パラメーター値を用いて各アップミキシング部に適用する。
デコーディング装置は、抽出したＣＬＤ１が１５０で、抽出したＣＬＤ１に対するデフォルト値が１であることを用いて、第１アップミキシング部から出力される信号が上方向のみに向かうことを検知することができる。デコーディング装置は、ＣＬＤ２が０、またはデフォルト値が０であることを用いて、第２アップミキシング部から信号が二分されて出力されることを検知することができる。また、デコーディング装置は、ＣＬＤ４及びＣＬＤ５が１５０で、デフォルト値が１であることを用いて、第４アップミキシング部から出力される信号及び第５アップミキシング部から出力される信号が上方向のみに向かうことを検知することができる。したがって、デコーディング装置は、ＬＦ及びＲＦチャネルが有効なチャネルであることを判断することができる。また、上述したように、デコーディング装置は、空間情報信号１０３に含まれている有効チャネル表示情報を用いて有効なチャネルがどれかを判断することができる。図５に示すように、各出力チャネルの順にしたがって表示された有効チャネル表示情報が１０１０００である場合、デコーディング装置は、最初の出力チャネル及び三番目の出力チャネルであるＬＦ及びＲＦチャネルが有効なチャネルであることを判断することができる。各アップミキシング部の順にしたがって表示された有効チャネル表示情報が０１０００である場合、デコーディング装置は、二番目のアップミキシング部が有効なチャネルを生成することを検知し、ＬＦ及びＲＦチャネルが有効なチャネルであることを判断することができる。また、デコーディング装置は、チャネル構成識別子が１（００１）である場合、これを用いて出力チャネルのうち有効なチャネルがＬＦ及びＲＦチャネルであることを判断することもできる。

３．２ 有効チャネルでないチャネルに対するデコーディングを省略する方法

デコーディング装置は、元のチャネル構成より少ない数のチャネルを有する信号が転送されたとき、元のチャネル構成によってデコーディングを行うことができる。しかしながら、この場合、デコーディング装置は、有効でない値を有する仮想のチャネルまで復元するようになる。したがって、デコーディング装置は、有効でないと判断されるチャネルを生成するための一連のデコーディング過程、すなわち、デコリレータを用いて非相関信号を生成する過程、合成フィルタバンク、マトリックス演算、係数生成などの過程を省略することができる。

３．３ 有効チャネル表示

デコーディング装置は、マルチチャネル信号２１９に含まれているチャネルが有効なチャネルであるか、または有効でない仮想の値を有するチャネルであるかをユーザーまたは後処理装置に表示することができる。デコーディング装置は、マルチチャネルメディア信号２１９を復元する前に、上述した方法を用いて有効なチャネルがどれかを判断することができるが、これに限定されるものではない。デコーディング装置は、メディア信号２１０をデコーディングし、マルチチャネルメディア信号２１９を全て復元した後、復元されたチャネルのうち有効なチャネルがどれかを判断し、これを外部に表示することもできる。後処理装置は、デコーディング装置から出力されるマルチチャネル信号２１９のうちデコーディング装置が表示した有効なチャネルのみを用いてユーザーの選択によるダウンミックスを行ったり、音場表現などの後処理を行うことができる。

本発明の実施例に係るエンコーディング装置がデコーディング装置に転送するメディア信号の構成図である。 本発明の実施例に係るエンコーディング及びデコーディング装置を含むメディア装置のブロック図である。 本発明の実施例に係るダウンミキシング部を示したブロック図である。 チャネル生成部を示したブロック図である。 デコーディング装置が有効なチャネルを判断する方法を示した図である。

Claims (12)

1. オーディオ信号のデコーディング方法において、
   Ｎ個のチャネルを有するダウンミックス信号と空間情報を受信する段階であって、前記Ｎ個のチャネルはＭチャネルと仮想のチャネルを含む段階と、
   前記ダウンミックス信号から生成される有効な値を有する前記Ｍチャネルと、前記仮想のチャネルとを、前記空間情報を用いて検知する段階であって、前記Ｍチャネルのチャネル数は前記Ｎ個のチャネルのチャネル数より少ない段階と、
   前記空間情報に基づいて前記ダウンミックス信号をアップミックスして、前記有効な値を有する前記の検知されたＭチャネルのオーディオ信号を生成する段階であって、前記仮想のチャネルに関連した少なくとも１つの空間情報が前記少なくとも１つの空間情報の範囲で最大値又は最小値を有する段階と、
   を含むオーディオ信号のデコーディング方法。
2. 前記仮想のチャネルのエネルギーレベルはゼロである、請求項１に記載の方法。
3. 前記仮想のチャネルに関連する空間情報はデフォルト値を有する、請求項１に記載の方法。
4. 前記空間情報は有効チャネル表示情報を含み、前記有効チャネル表示情報は、前記の生成されるチャネルが前記有効な値を有するチャネルであるかを表示する識別子を含むか、１つの信号を２つの信号に、又は２つの信号を３つの信号に変換して、前記ダウンミックス信号から前記Ｍチャネルを生成するためのアップミキシング部の使用であるかを表示する情報を含むか、或いは、前記Ｍチャネルの構成情報を表示する情報を含む、請求項３に記載の方法。
5. Ｎ個のチャネルのオーディオ信号のエンコーディング方法において、
   チャネル数が前記Ｎ個のチャネルより少ないＭチャネルのオーディオ信号を受信する段階と、
   前記Ｍチャネルのオーディオ信号を、仮想の値を有する仮想のチャネルを含む前記Ｎ個のチャネルのオーディオ信号に設定する段階であって、前記仮想の値はゼロである段階と、
   前記Ｎ個のチャネルのオーディオ信号からダウンミックス信号と空間情報を生成する段階であって、前記仮想のチャネルに関連する少なくとも１つの空間情報が前記少なくとも１つの空間情報の範囲で最大値又は最小値を有する段階と、
   前記仮想チャネルを含む前記Ｎ個のチャネルのオーディオ信号をダウンミックスする段階と、
   を含むオーディオ信号のエンコーディング方法。
6. オーディオ信号のデコーディング装置において、
   Ｎ個のチャネルと空間情報を有するダウンミックス信号を抽出する抽出部であって、前記Ｎ個のチャネルはＭチャネルと仮想のチャネルを含む抽出部と、
   前記空間情報を用いて前記空間情報と前記仮想のチャネルから生成される前記Ｎ個のチャネルの中の有効な値を有する前記Ｍチャネルを検知するチャネル生成部であって、前記Ｍチャネルのチャネル数が前記Ｎ個のチャネルのチャネル数より小さく、前記空間情報に基づいて前記ダウンミックス信号をアップミックスして前記有効な値を有する前記の検知されたＭチャネルのオーディオ信号を生成し、前記仮想のチャネルに関連した少なくとも１つの空間情報が前記少なくとも１つの空間情報の範囲内で最大値又は最小値を有するチャネル生成部と、
   を含むオーディオ信号のデコーディング装置。
7. 前記仮想のチャネルに関連した前記空間情報はデフォルト値を有する、請求項５に記載の方法。
8. 前記仮想のチャネルのエネルギーレベルはゼロである、請求項６に記載の装置。
9. 前記仮想のチャネルに関連する前記空間情報はデフォルト値を有する、請求項６に記載の装置。
10. 前記空間情報は有効チャネル表示情報を含み、前記有効チャネル表示情報は、前記の生成されるチャネルが前記有効な値を有するチャネルであるかを表示する識別子を含むか、１つの信号を２つの信号に、又は２つの信号を３つの信号に変換して、前記ダウンミックス信号から前記Ｍチャネルを生成するためのアップミキシング部の使用であるかを表示する情報を含むか、或いは、前記Ｍチャネルの構成情報を表示する情報を含む、請求項６に記載の装置。
11. Ｎ個のチャネルのオーディオ信号のエンコーディング装置において、
    チャネル数が前記Ｎ個のチャネルより小さいＭチャネルのオーディオ信号を受信し、前記Ｍチャネルのオーディオ信号を仮想な値を有する仮想なチャネルを含む前記Ｎ個のチャネルのオーディオ信号に設定するチャネル値設定部であって、前記仮想な値がゼロであるチャネル値設定部と、
    前記Ｎ個のチャネルのオーディオ信号から空間情報を生成する空間情報抽出部であって、前記仮想なチャネルに関連する少なくとも１つの空間情報は前記少なくとも１つの空間情報の範囲内で最大値又は最小値を有する空間情報抽出部と、
    前記仮想のチャネルを含む前記Ｎ個のチャネルのオーディオ信号をダウンミックスするダウンミキシング部と、
    を含むオーディオ信号のエンコーディング装置。
12. 前記仮想のチャネルに関連する前記空間情報はデフォルト値を有する、請求項１１に記載の装置。

Images