JP5462256B2 - マルチチャネルの符号化及び復号化方法並びに装置 - Google Patents

Description

本発明の実施形態は、オーディオ信号及び／または音声信号を符号化または復号化する方法及び装置に係り、さらに詳細には、複数のチャネルを備えるマルチチャネル信号を符号化して復号化する方法及び装置に関する。

一般的にマルチチャネル信号を符号化する方式は、ウェーブフォーム符号化とパラメトリック符号化とがある。ここで、パラメトリック符号化は、低いビットレートで空間情報を伝送してマルチチャネルイメージを形成する方式であって、普通４０ｋｂｐｓ未満でのみ使用する。このようなパラメトリック符号化は、マルチチャネル信号をダウンミックスし、この過程で抽出された空間情報をチャネル間エネルギーあるいはレベル差、チャネル信号間の類似度、あるいはチャネル間位相差で表現することで、マルチチャネル信号を符号化する。パラメトリック符号化の代表的な実施形態として、ＭＰＥＧサラウンドコーディングとバイノーラルキューコーディング（Ｂｉｎａｕｒａｌ Ｃｕｅ Ｃｏｄｉｎｇ）がある。しかし、このような符号化技術は反響を正確に表現できないため、符号化ビットレートを増大させても原音を復元し難い。

一つ以上の実施形態は、ダウンミックス信号を利用せずに複数のチャネル間の重複情報を除去することで、残差信号を符号化して復号化するマルチチャネル符号化及び復号化方法並びに装置を提供する。

本発明の一つ以上の実施形態によるマルチチャネルの符号化装置は、マルチチャネル信号を構成する複数のチャネル信号から少なくとも一つの基準信号を生成して符号化する基準信号符号化部と、前記基準信号と前記複数のチャネル信号間の各位相差を計算して符号化する位相差符号化部と、前記基準信号の大きさと前記複数のチャネル信号の各大きさとの比率である各利得値を計算して符号化する利得値符号化部と、前記各位相差と前記各利得値とを前記基準信号に適用して、予測されたチャネル信号と対応するチャネル信号との誤差に該当する各残差信号を抽出して符号化する残差信号符号化部と、を備える。

本発明の一つ以上の実施形態によるマルチチャネルの復号化装置は、マルチチャネル信号を構成する複数のチャネル信号から少なくとも一つの基準信号を復号化する基準信号復号化部と、前記基準信号と前記複数のチャネル信号間の各位相差を復号化する位相差復号化部と、前記基準信号の大きさと前記複数のチャネル信号の各大きさとの比率の各利得値を復号化する利得値復号化部と、前記各位相差と前記各利得値とを前記基準信号に適用して、予測されたチャネル信号と対応するチャネル信号との誤差に該当する各残差信号を復号化する残差信号復号化部と、前記位相差、前記利得値及び前記残差信号を用いて前記各チャネル信号を復元するマルチチャネル復元部と、を備える。

本発明の一つ以上の実施形態によるマルチチャネルの符号化方法は、マルチチャネル信号を構成する複数のチャネル信号から少なくとも一つの基準信号を生成して符号化する段階と、前記基準信号と前記複数のチャネル信号間の各位相差を計算して符号化する段階と、前記基準信号の大きさと前記複数のチャネル信号の各大きさとの比率の各利得値を計算して符号化する段階と、前記各位相差と前記各利得値とを前記基準信号に適用して、予測されたチャネル信号と対応するチャネル信号との誤差に該当する各残差信号を抽出して符号化する段階と、を含む。

本発明の一つ以上の実施形態によるマルチチャネルの復号化方法は、マルチチャネル信号を構成する複数のチャネル信号から少なくとも一つの基準信号を復号化する段階と、前記基準信号と前記複数のチャネル信号間の各位相差を復号化する段階と、前記基準信号の大きさと前記複数のチャネル信号の各大きさとの比率の各利得値を復号化する段階と、前記各位相差と前記各利得値とを前記基準信号に適用して、予測されたチャネル信号と対応するチャネル信号との誤差に該当する各残差信号を復号化する段階と、前記位相差、前記利得値及び前記残差信号を用いて前記各チャネル信号を復元する段階と、を含む。

本発明の一つ以上の実施形態による記録媒体は、マルチチャネル信号を構成する複数のチャネル信号から少なくとも一つの基準信号を生成して符号化する段階と、前記基準信号と前記複数のチャネル信号間の各位相差を計算して符号化する段階と、前記基準信号の大きさと前記複数のチャネル信号の各大きさとの比率の各利得値を計算して符号化する段階と、前記各位相差と前記各利得値とを前記基準信号に適用して、予測されたチャネル信号と対応するチャネル信号との誤差に該当する各残差信号を抽出して符号化する段階と、を含む方法をコンピュータで行わせるためのプログラムを記録できる。

本発明の一つ以上の実施形態による記録媒体は、マルチチャネル信号を構成する複数のチャネル信号から少なくとも一つの基準信号を復号化する段階と、前記基準信号と前記複数のチャネル信号間の各位相差を復号化する段階と、前記基準信号の大きさと前記複数のチャネル信号の各大きさとの比率の各利得値を復号化する段階と、前記各位相差と前記各利得値とを前記基準信号に適用して、予測されたチャネル信号と対応するチャネル信号との誤差に該当する各残差信号を復号化する段階と、前記位相差、前記利得値及び前記残差信号を用いて前記各チャネル信号を復元する段階と、を含む方法をコンピュータで行わせるためのプログラムを記録できる。

一つ以上の実施形態によってマルチチャネルの符号化装置を図示した図である。 一つ以上の実施形態によってマルチチャネルの復号化装置を図示した図である。 一つ以上の実施形態によってマルチチャネルの符号化方法を図示した図である。 一つ以上の実施形態によってマルチチャネルの復号化方法を図示した図である。

以下、添付した図面を参照してマルチチャネルの符号化及び復号化方法並びに装置の実施形態について詳細に説明する。

図１は、一つ以上の実施形態によってマルチチャネルの符号化装置を図示したものであって、マルチチャネルの符号化装置は、例えば、先処理部１００、変換部１１０、基準スペクトル量子化部１２０、位相差計算部１３０、位相差量子化部１３５、利得値計算部１４０、利得値量子化部１４５、残差スペクトル抽出部１５０、残差スペクトル量子化部１５５、予測検査部１６０、マルチチャネル量子化部１７０、無損失符号化部１８０及び多重化部１９０を備えることができる。ここで、先処理部１００、変換部１１０、基準スペクトル量子化部１２０、位相差計算部１３０、位相差量子化部１３５、利得値計算部１４０、利得値量子化部１４５、残差スペクトル抽出部１５０、残差スペクトル量子化部１５５、予測検査部１６０、マルチチャネル量子化部１７０、無損失符号化部１８０及び多重化部１９０のうち一つ以上は、少なくとも一つ以上のプロセッサーあるいはプロセッシングデバイスで具現あるいは集積化できる。

先処理部１００は、入力端子ＩＮ１ないしＮを通じてＮ個のチャネル信号に該当するマルチチャネル信号を入力されてＮ個のチャネル信号から符号化するために、基準になる基準信号を選択する。ここで、先処理部１００は、基準信号をＮ個のチャネル信号から選択するだけでなく、多様な方式で生成できる。例えば、先処理部１００は、もし、マルチチャネル信号が２個のチャネル信号で構成された場合、例えば、下記の式（１）に記載された行列のうち少なくとも一つの行列演算を用いて基準信号を選択したり生成できる。すなわち、マルチチャネル信号がＮ個のチャネル信号で構成された場合、Ｎ個のチャネル信号と各行列との演算を通じて、残差信号を最小化させる基準信号を選択するか、または生成できる。

また、先処理部１００により、Ｎ個のチャネル信号から選択あるいは生成される基準信号をバークバンド単位に変更できる。ここで、基準信号を選択する他の代案も同等に適用されうる。一方、マルチチャネル信号を構成するチャネルの数が増加する場合、あるいは必要に応じて基準信号は複数になりうる。

また、実施形態によるマルチチャネルの符号化装置は、先処理部１００を必ずしも含まないか、あるいは具現しなくてもよい。

変換部１１０は、各チャネル信号の大きさと位相とをいずれも表現できるように、マルチチャネル信号を周波数ドメインに変換してマルチチャネルスペクトルを生成できる。例えば、変換部１１０では、複素数変換を用いて各チャネル信号を複素数スペクトルで表現できる。変換部１１０で複素数変換を利用する場合、変換部１１０は時間ドメインに該当するマルチチャネル信号に、例えば、ＭＤＣＴ（Ｍｏｄｉｆｉｅｄ Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）を適用して実数部を計算し、例えば、ＭＤＳＴ（Ｍｏｄｉｆｉｅｄ Ｄｉｓｃｒｅｔｅ Ｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）を適用して虚数部を計算できる。

例えば、変換部１１０は、もし、マルチチャネル信号がステレオ信号のような２個のチャネル信号で構成された場合、左側信号と右側信号とを、例えば、下記の式（２）に記載されたように、ｘ（ｔ）とｙ（ｔ）スペクトルに変換できる。

ここで、ｘ（ｔ）は、第１チャネル信号である左側信号が変換部１１０で変換されたスペクトルであり、ｙ（ｔ）は、第２チャネル信号の右側信号が変換部１１０で変換されたスペクトルであり、

は、第ｉチャネルスペクトルのサイズであり、

は、第ｉチャネルスペクトルの位相である。

基準スペクトル量子化部１２０は、Ｎ個のチャネル信号から先処理部１００で基準信号として生成されて、変換部１１０で変換された基準スペクトルを量子化できる。もし、変換部１１０で、例として挙げたＭＤＣＴとＭＤＳＴとにより複素数変換を行う場合、基準スペクトル量子化部１２０は、ＭＤＣＴにより変換された基準スペクトルのみ量子化できる。また、基準スペクトル量子化部１２０では、心理音響モデルを通じて量子化ステップサイズを決定して、符号化ビット量を制御することで基準スペクトルを量子化できる。

位相差計算部１３０は、基準スペクトルに対する各チャネルスペクトルの位相差を計算できる。位相差計算部１３０は、例えば、下記の式（３）により位相差を計算できる。

ここで、

は、基準スペクトルに対する第ｉチャネルスペクトルの位相差であり、

は、基準スペクトルの位相であり、

は、第ｉチャネルスペクトルの位相である。

利得値計算部１４０は、基準スペクトルのサイズに対する各チャネルスペクトルのサイズの比率に該当する利得値を計算する。利得値計算部１４０は、例えば、下記の式（４）を用いて利得値を計算できる。

ここで、

は、第ｉチャネルスペクトルの利得値であり、

は、基準スペクトルのサイズであり、

は、第ｉチャネルスペクトルのサイズである。

一つ以上の実施形態によって、例えば、位相差計算部１３０で各チャネルスペクトルと基準スペクトル間の位相差の計算、及び例えば、利得値計算部１４０で各チャネルスペクトルの利得値の計算を、入力されるマルチチャネル信号が左側信号と右側信号とに該当する２個のチャネル信号で構成されたという仮定下で説明する。ここで、他の代案も同等に適用できる。

まず、先処理部１００で左側信号が基準信号と選択され、変換部１１０では左側信号と右側信号とを、例えば、下記の式（５）のように、複素数変換により周波数ドメインに変換して左側スペクトルと右側スペクトルとを生成できる。

ここで、Ｌは、変換部１１０で変換された左側スペクトルであり、Ｒは、変換部１１０で変換された右側スペクトルであり、

は、左側スペクトルのサイズであり、

は、右側スペクトルのサイズであり、

は、左側スペクトルの位相であり、

は、右側スペクトルの位相である。

位相差計算部１３０と利得値計算部１４０とは、例えば、下記の式（６）を最小とする位相差と利得値とを計算できる。

ここで、ｇは、利得値であり、

は、位相差である。

例えば、下記の式（７）に記載されたように、式（６）をｇと

とに対して偏微分する。

利得値ｇと位相差

とを基準信号である左側信号に適用して予測した右側信号が、実際右側信号と平均自乗誤差が最小化するように、式（７）により偏微分された式の値が‘０’になる利得値ｇと位相差

とを、例えば、下記の式（８）により計算することで、位相差計算部１３０と利得値計算部１４０とは、最終的に位相差

と利得値ｇとを計算する。

残差スペクトル抽出部１５０は、各チャネルスペクトルに対して位相差計算部１３０及び利得値計算部１４０で計算された位相差及び利得値を基準スペクトルに適用することで、予測されたスペクトルと実際チャネルスペクトルとの誤差に該当する残差スペクトルを抽出する。残差スペクトル抽出部１５０は、例えば、下記の式（９）により残差スペクトルを抽出できる。

ここで、

は、第ｉチャネルスペクトルに対応する残差スペクトルであり、

は、第ｉチャネルスペクトルの実際サイズであり、

は、第ｉチャネルスペクトルの位相であり、

は、位相差及び利得値を基準スペクトルに適用することで予測されたスペクトルの実数部であり、例えば、式（１０）により計算できる。

ここで、ｇは、利得値計算部１４０で計算された利得値であり、

は、位相差計算部１３０で計算された位相差であり、

は、基準スペクトルのサイズであり、

は、基準スペクトルの位相である。

位相差量子化部１３５は、例えば、位相差計算部１３０で計算された基準スペクトルに対する各チャネルスペクトルの位相差を量子化できる。位相差量子化部１３５では位相差を、例えば、ユニホームスケールで量子化できる。

利得値量子化部１４５は、例えば、利得値計算部１４０で計算された各チャネルスペクトルの利得値を量子化できる。利得値量子化部１４５では利得値を、例えば、ログスケールまたはユニホームスケールで量子化できる。

残差スペクトル量子化部１５５は、例えば、残差スペクトル抽出部１５０から抽出された各チャネルスペクトルに対する残差スペクトルを量子化する。残差スペクトル量子化部１５５は、心理音響モデルを通じて量子化ステップサイズを決定して、符号化ビット量を制御することで残差スペクトルを量子化できる。

また、先処理部１００、基準スペクトル量子化部１２０、位相差計算部１３０、位相差量子化部１３５、利得値計算部１４０、利得値量子化部１４５、残差スペクトル抽出部１５０及び残差スペクトル量子化部１５５は、クリティカルバンドを考慮したバークバンド単位で処理されうる。ここで、他の代案も同等に適用できる。

予測検査部１６０は、各チャネルスペクトルに対して位相差計算部１３０で計算された位相差と、利得値計算部１４０で計算された利得値とを基準スペクトルに適用することで、予測されたスペクトルが実際チャネルスペクトル、すなわち、元来のスペクトルに比べていかほど正確かつ精密に予測されたかを決定できる。

予測検査部１６０では、残差スペクトル抽出部１５０から抽出された残差スペクトルのエネルギーと、実際各チャネルスペクトルのエネルギーとを比較して、予測の正確度を決定できる。ここで、他の代案も同等に適用できる。

また、予測検査部１６０は、予測の正確度を基準にフレームを多様なタイプ別に分類して、各フレームのタイプに対応する残差スペクトルを異なって適応的に符号化できる。予測検査部１６０は、例えば、下記の式（１１）のように、予測の正確度を基準にフレームのタイプを３種に分類できる。

各フレームのタイプは、例えば、残差スペクトルを符号化するに当って、エントロピー符号化の文脈（ｃｏｎｔｅｘｔ）として利用できる。

一方、一つ以上の実施形態によるマルチチャネルの符号化装置は、予測検査部１６０を必ずしも含まないか、あるいは具現しなくてもよく、予測正確度と関係なく基準スペクトル、位相差、利得値及び残差スペクトルを符号化してもよい。

例えば、マルチチャネル量子化部１７０は、式（１１）で第３フレームタイプのように、予測検査部１６０で計算された実際チャネルスペクトル（Ｅ_{ｉｎ＿ｆｒ}）に対する予測スペクトル（Ｅ_{ｒｅｓ＿ｆｒ}）のエネルギー比率が臨界値を満たせば、例えば、臨界値より大きければ、該当チャネルスペクトルを量子化して、利得値と位相差とを‘０’に設定できる。そして、該当チャネルスペクトルに対して、位相差量子化部１３５で位相差を量子化せずに利得値量子化部１４５で利得値を量子化しなくてもよい。なぜなら、例えば、該当チャネルスペクトルに対して、位相差計算部１３０で計算された位相差と利得値計算部１４０で計算された利得値とを基準スペクトルに適用して予測されたスペクトルが正確でないので、該当チャネルスペクトルは個別的に符号化することがさらに効率的なためである。

無損失符号化部１８０は、基準スペクトル量子化部１２０で量子化した基準スペクトル、位相差量子化部１３５で量子化した各チャネルスペクトルに対する位相差、利得値量子化部１４５で量子化した各チャネルスペクトルに対する利得値、及び残差スペクトル量子化部１５５で量子化した残差スペクトルを無損失符号化できる。しかし、言及したように、無損失符号化部１８０は、予測検査部１６０で計算された実際チャネルスペクトルに対する予測スペクトルのエネルギー比率が臨界値を満たす、すなわち、臨界値より大きいバークバンドに作られたチャネルスペクトルの場合、位相差、利得値及び残差スペクトルの代りに該当チャネルスペクトルを無損失符号化できる。

多重化部１９０は、無損失符号化部１８０で無損失符号化した基準スペクトル、位相差、利得値及び残差スペクトルを含めて多重化することでビットストリームを生成し、出力端子ＯＵＴを通じて出力できる。一方、多重化部１９０は予測検査部１６０の結果によって、位相差、利得値及び残差スペクトルの代りに、該当チャネルスペクトルを多重化してビットストリームとして生成することもできる。

図２は、一つ以上の実施形態によってマルチチャネルの復号化装置を図示したものであって、マルチチャネルの復号化装置は、例えば、逆多重化部２００、無損失復号化部２１０、基準スペクトル逆量子化部２２０、第１逆変換部２２５、変換部２３０、位相差逆量子化部２３５、利得値逆量子化部２４０、残差スペクトル逆量子化部２４５、マルチチャネルスペクトル復元部２５０、第２逆変換部２５５、マルチチャネル逆量子化部２６０及び後処理部２７０を備えることができる。ここで、逆多重化部２００、無損失復号化部２１０、基準スペクトル逆量子化部２２０、第１逆変換部２２５、変換部２３０、位相差逆量子化部２３５、利得値逆量子化部２４０、残差スペクトル逆量子化部２４５、マルチチャネルスペクトル復元部２５０、第２逆変換部２５５、マルチチャネル逆量子化部２６０及び後処理部２７０は、少なくとも一つ以上のプロセッサーあるいはプロセッシングデバイスで集積化あるいは具現できる。

逆多重化部２００は、符号化したビットストリームを入力端子ＩＮを通じて入力されて逆多重化する。逆多重化部２００で逆多重化されるビットストリームは、各バークバンドに対して基準スペクトル、基準スペクトルに対する各チャネルスペクトルの位相差、基準スペクトルのサイズに対する各チャネルスペクトルのサイズの比率に該当する利得値及び残差スペクトルを含むか、または少なくとも一つのチャネルスペクトルを含むことができる。ここで、基準スペクトルは、Ｎ個のチャネル信号から生成された符号化する基準になる基準信号を変換したスペクトルであり、残差スペクトルは、位相差と利得値とを基準スペクトルに適用することで予測されたスペクトルと実際チャネルスペクトルとの誤差に該当するスペクトルでありうる。

無損失復号化部２１０は、逆多重化部２００で逆多重化した基準スペクトル、位相差、利得値及び残差スペクトルを無損失復号化するか、または少なくとも一つのチャネルスペクトルを無損失復号化できる。

基準スペクトル逆量子化部２２０は、無損失復号化部２１０で無損失復号化した基準スペクトルを逆量子化できる。

第１逆変換部２２５は、基準スペクトル逆量子化部２２０で逆量子化した基準スペクトルを、第１逆変換により時間ドメインに逆変換して基準信号を生成できる。ここで、第１逆変換の例として、複素数変換で実数部に該当するＩＭＤＣＴ（Ｉｎｖｅｒｓｅ Ｍｏｄｉｆｉｅｄ Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）でありうる。

しかし、後述するように、変換部２３０で１フレームが遅延しうるので、第１逆変換部２２５で後処理部２７０に出力する基準信号に限って１フレームを遅延させて出力できる。

変換部２３０は、例えば、第１逆変換部２２５で逆変換された基準信号を第２変換により周波数ドメインに変換できる。ここで、第２変換の例としては、複素数変換で虚数部に該当する関連したＭＤＳＴでありうる。しかし、第１逆変換部２２５で第１逆変換により逆変換された基準信号を、変換部２３０で再び第２変換により変換するので、基準信号は１フレームが遅延される。

位相差逆量子化部２３５は、例えば、無損失復号化部２１０で復号化した各チャネルスペクトルの位相差を逆量子化できる。位相差逆量子化部２３５では位相差を、例えば、ユニホームスケールに逆量子化できる。

利得値逆量子化部２４０は、例えば、無損失復号化部２１０で復号化した各チャネルスペクトルの利得値を逆量子化できる。利得値逆量子化部２４０では利得値を、例えば、ログスケールまたはユニホームスケールに逆量子化できる。

残差スペクトル逆量子化部２４５は、無損失復号化部２１０で復号化した各チャネルスペクトルに対する残差スペクトルを逆量子化する。

マルチチャネルスペクトル復元部２５０は基準スペクトル逆量子化部２２０で逆量子化し、変換部２３０で変換することで、各チャネル信号の大きさと位相とをいずれも表現できる基準スペクトルに、位相差逆量子化部２３５で逆量子化した位相差、利得値逆量子化部２４０で逆量子化した利得値、及び残差スペクトル逆量子化部２４５で逆量子化した残差スペクトルを適用して各チャネルスペクトルを復元できる。言い換えれば、マルチチャネルスペクトル復元部２５０は、位相差ほど基準スペクトルの位相を移動させ、利得値によって基準スペクトルのサイズを調節した後、残差スペクトルを加算することで各チャネルスペクトルを復元できる。

しかし、言及したように、変換部２３０で１フレームが遅延されるので、マルチチャネルスペクトル復元部２５０は１、フレームを遅延して行い始める。

第２逆変換部２５５は、マルチチャネルスペクトル復元部２５０で復元された各チャネルスペクトルを時間ドメインに逆変換できる。

マルチチャネル逆量子化部２６０は、マルチチャネルの符号化装置で位相差と利得値とを基準スペクトルに適用して予測されたスペクトルが、実際チャネルスペクトルに対して正確に予測されないと既に判断されるため、位相差、利得値及び残差スペクトルを符号化する代わりにチャネルスペクトルを逆量子化できる。

第２逆変換部２５５は、マルチチャネル逆量子化部２６０で逆量子化したチャネルスペクトルを周波数ドメインから時間ドメインに逆変換できる。

後処理部２７０は、第１逆変換部２２５で逆変換されて１フレームが遅延された基準信号と、第２逆変換部２５５で逆変換されたマルチチャネル信号とに対して後処理過程を行うことで、出力端子ＯＵＴを通じてマルチチャネル信号を出力する。ここで、後処理過程は、例えば、図１の先処理部１００で行われた演算の逆過程であり得、他の代案も同等に適用できる。例えば、後処理部２７０は、符号化端で適用された行列演算の逆演算を通じてマルチチャネル信号を復元できる。

図３は、一つ以上の実施形態によってマルチチャネルの符号化方法を図示した図である。

まず、Ｎ個のチャネル信号に該当するマルチチャネル信号を入力されて、Ｎ個のチャネル信号から符号化する基準になる基準信号を生成あるいは選択できる（第３００段階）。第３００段階では、基準信号を多様な方式で生成してもよい。第３００段階では、もし、マルチチャネル信号が２個のチャネル信号で構成された場合、例えば、下記の式（１２）に記載された行列のうち少なくとも一つを用いて基準信号を選択または生成できる。すなわち、マルチチャネル信号がＮ個のチャネル信号で構成された場合、Ｎ個のチャネル信号と各行列との演算を通じて残差信号を最小化させる基準信号を選択または生成できる。

また、第３００段階により、Ｎ個のチャネル信号から基準になる基準信号をバークバンド単位で変更できる。一方、マルチチャネル信号を構成するチャネルの数が増加する場合、あるいは必要に応じて基準信号は複数になりうる。

一つ以上の実施形態において、マルチチャネルの符号化方法は、第３００段階を必ずしも含むか、または具現しなくてもよい。

各チャネル信号の大きさと位相とをいずれも表現できるように、マルチチャネル信号を周波数ドメインに変換してマルチチャネルスペクトルを生成する（第３１０段階）。例えば、第３１０段階では、複素数変換を用いて、各チャネル信号を複素数としてスペクトルを表現できる。第３１０段階で複素数変換を利用する場合、第３１０段階では、時間ドメインに該当するマルチチャネル信号に、例えば、ＭＤＣＴを適用して実数部を計算し、例えば、ＭＤＳＴを適用して虚数部を計算できる。

例えば、第３１０段階では、もし、マルチチャネル信号がステレオ信号のような２個のチャネル信号で構成された場合、左側信号と右側信号とを、例えば、下記の式（１３）に記載されたようにｘ（ｔ）とｙ（ｔ）スペクトルに変換できる。

ここで、ｘ（ｔ）は、第１チャネル信号である左側信号が第３１０段階で変換されたスペクトルであり、ｙ（ｔ）は、第２チャネル信号の右側信号が第３１０段階で変換されたスペクトルであり、

は、第ｉチャネルスペクトルのサイズであり、

は、第ｉチャネルスペクトルの位相である。

次いで、変換された基準スペクトルを量子化できる（第３２０段階）。もし、第３１０段階で、例えば、ＭＤＣＴとＭＤＳＴとにより複素数変換を行う場合、第３２０段階では、ＭＤＣＴにより変換された基準スペクトルのみ量子化できる。また、第３２０段階では、心理音響モデルを通じて量子化ステップサイズを決定して、符号化ビット量を制御することで基準スペクトルを量子化できる。

次いで、基準スペクトルに対する各チャネルスペクトルの位相差を計算できる（第３３０段階）。第３３０段階では、例えば、下記の式（１４）により位相差を計算できる。

ここで、

は、基準スペクトルに対する第ｉチャネルスペクトルの位相差であり、

は、基準スペクトルの位相であり、

は、第ｉチャネルスペクトルの位相である。

次いで、基準スペクトルのサイズに対する各チャネルスペクトルのサイズの比率に該当する利得値を計算できる（第３４０段階）。第３４０段階では、例えば、下記の式（１５）を用いて利得値を計算できる。

ここで、

は、第ｉチャネルスペクトルの利得値であり、

は、基準スペクトルのサイズであり、

は、第ｉチャネルスペクトルのサイズである。

一つ以上の実施形態によって、第３３０段階で各チャネルスペクトルと基準スペクトル間の位相差を計算し、各チャネルスペクトルの利得値を計算する過程を、入力されるマルチチャネル信号が左側信号と右側信号とに該当する２個のチャネルで構成されたという仮定下で説明する。ここで、他の代案も同等に適用できる。

まず、例えば、第３００段階で左側信号が基準信号に選択され、第３１０段階では左側信号と右側信号とを、例えば、下記の式（１６）のように複素数変換により周波数ドメインに変換して、左側スペクトルと右側スペクトルとを生成できる。

ここで、Ｌは、第３１０段階で変換された左側スペクトルであり、Ｒは、第３１０段階で変換された左側スペクトルであり、

は、左側スペクトルのサイズであり、

は、右側スペクトルのサイズであり、

は、左側スペクトルの位相であり、

は、右側スペクトルの位相である。

第３３０段階と第３４０段階とは、例えば、下記の式（１７）を最小とする左側及び右側スペクトル間の位相差と、左側及び右側スペクトルのサイズ比率値である利得値とを計算できる。

ここで、ｇは、利得値であり、

は、位相差である。

例えば、下記の式（１８）に記載されたように、式（１７）をｇと

とに対して偏微分できる。

利得値ｇと位相差

とを、基準信号の左側信号に適用して予測した右側信号が、実際右側信号と平均自乗誤差が最小化するように、式（１８）により偏微分された式の値が‘０’になる利得値ｇと位相差

とを、例えば、下記の式（１９）により計算することで、第３３０段階と第３４０段階とでは最終的に位相差

と利得値ｇとを計算できる。

次いで、各チャネルスペクトルに対して、第３３０段階及び第３４０段階で計算された位相差及び利得値を基準スペクトルに適用することで、予測されたスペクトルと実際チャネルスペクトルとの誤差に該当する残差スペクトルを抽出できる（第３５０段階）。第３５０段階は、例えば、下記の式（２０）により残差スペクトルを抽出できる。

ここで、

は、第ｉチャネルスペクトルに対応する残差スペクトルであり、

は、第ｉチャネルスペクトルの実際サイズであり、

は、第ｉチャネルスペクトルの位相であり、

は、位相差及び利得値を基準スペクトルに適用することで予測されたスペクトルの実数部であり、例えば、下記の式（２１）により計算できる。

ここで、ｇは、第３４０段階で計算された利得値であり、

は、第３３０段階で計算された位相差であり、

は、基準スペクトルのサイズであり、

は、基準スペクトルの位相である。

次いで、各チャネルスペクトルに対して、第３３０段階で計算された位相差と第３４０段階で計算された利得値とを基準スペクトルに適用することで、予測されたスペクトルが実際チャネルスペクトルに比べていかほど正確に予測されたかを検査できる（第３５５段階）。

第３５５段階では、第３５０段階で抽出された残差スペクトルのエネルギーと実際チャネルスペクトルのエネルギーとを比較して、予測の正確度を検査できる。ここで、他の代案も同等に適用できる。

また、第３５５段階では、決定された予測の正確度を基準にフレームを多様なタイプ別に分類して、各フレームのタイプに対応する残差スペクトルを異なって適応的に符号化できる。第３５５段階では、例えば、下記の式（２２）のように、予測の正確度を基準にフレームのタイプを３種に分類できる。

また、各フレームのタイプを、残差スペクトルを符号化するに当って、例えば、エントロピー符号化の文脈として利用できる。

次いで、第３５５段階で検査された予測の正確度が、既に設定された臨界値より大きいかどうかを判断できる（第３６０段階）。

一つ以上の実施形態において、もし、第３６０段階で予測の正確度が臨界値を満たす、例えば、臨界値より大きいと判断されれば、第３３０段階で計算された基準スペクトルに対する各チャネルスペクトルの位相差を量子化できる（第３３５段階）。第３３５段階では位相差を、例えば、ユニホームスケールで量子化できる。

次いで、第３４０段階で計算された各チャネルスペクトルの利得値を量子化できる（第３７０段階）。第３７０段階では利得値を、例えば、ログスケールまたはユニホームスケールで量子化できる。

次いで、第３５０段階で抽出された各チャネルスペクトルに対する残差スペクトルを量子化できる（第３７５段階）。第３７５段階では、心理音響モデルを通じて量子化ステップサイズを決定して、符号化ビット量を制御することで残差スペクトルを量子化できる。

また、第３００段階、第３２０段階、第３３０段階、第３４０段階、第３５０段階、第３６５段階、第３７０段階及び第３７５段階は、例えば、クリティカルバンドを考慮したバークバンド単位で処理されうる。

もし、第３６０段階で予測の正確度が、例えば、臨界値より小さいと判断されれば、該当チャネルスペクトルを量子化して利得値と位相差とを‘０’に設定できる（第３８０段階）。なぜなら、該当チャネルスペクトルに対して、例えば、第３３０段階で計算された位相差と、例えば、第３４０段階で計算された利得値とを基準スペクトルに適用して予測されたスペクトルが正確でないので、該当チャネルスペクトルは個別的に符号化することがさらに効率的なためである。

次いで、第３２０段階で量子化した基準スペクトル、第３６５段階で量子化した各チャネルスペクトルに対する位相差、第３７０段階で量子化した各チャネルスペクトルに対する利得値、及び第３７５段階で量子化した残差スペクトルを無損失符号化するか、またはチャネルスペクトルを無損失符号化できる（第３８５段階）。

次いで、第３８５段階で無損失符号化した基準スペクトル、位相差、利得値及び残差スペクトルを含むか、またはチャネルスペクトルを含んで多重化することでビットストリームを生成できる（第３９０段階）。

図４は、一つ以上の実施形態によってマルチチャネルの復号化方法を図示した図である。

まず、符号化したビットストリームを入力されて逆多重化できる（第４００段階）。第４００段階で逆多重化されるビットストリームは、各バークバンドに対して基準スペクトル、基準スペクトルに対する各チャネルスペクトルの位相差、基準スペクトルのサイズに対する各チャネルスペクトルのサイズの比率に該当する利得値及び残差スペクトルを含むか、または少なくとも一つのチャネルスペクトルを含むことができる。ここで、基準スペクトルは、例えば、Ｎ個のチャネル信号から生成されたＮ個のチャネル信号を符号化する基準になる基準信号を変換したスペクトルをいい、残差スペクトルは、計算された位相差と利得値とを選択された基準スペクトルに適用することで、予測されたスペクトルと実際チャネルスペクトルとの誤差に該当するスペクトルをいう。

次いで、第４００段階で逆多重化した基準スペクトル、位相差、利得値及び残差スペクトルを無損失復号化するか、少なくとも一つのチャネルスペクトルを無損失復号化できる（第４１０段階）。

次いで、無損失復号化した基準スペクトルを逆量子化できる（第４２０段階）。

次いで、逆量子化した基準スペクトルを、第１逆変換により周波数ドメインから時間ドメインに逆変換して基準信号を生成できる（第４２５段階）。ここで、第１逆変換の例としては、複素数変換で実数部に該当するＭＤＣＴでありうる。

次いで、第４２５段階後に、少なくとも一つのチャネル信号に対してマルチチャネルの符号化過程で予測の正確度が低いと判断して、マルチチャネル信号で少なくとも一つのチャネル信号が個別的に符号化したかどうかを判断できる（第４２７段階）
もし、第４２７段階で、マルチチャネル信号で少なくとも一つのチャネル信号が個別的に符号化されていないと判断されれば、第４２５段階で逆変換された基準信号を、第２変換により時間ドメインから周波数ドメインに変換できる（第４３０段階）。ここで、第２変換の例としては、複素数変換で虚数部に該当するＭＤＳＴでありうる。しかし、前述したように、第４２５段階で、第１逆変換により逆変換された基準信号を第４３０段階で再び第２変換により変換するので、出力以前に１フレームが遅延される。

次いで、第４１０段階で復号化した各チャネルスペクトルの位相差を逆量子化することができる（第４３５段階）。第４３５段階では位相差を、例えば、ユニホームスケールで逆量子化できる。

次いで、第４１０段階で復号化した各チャネルスペクトルの利得値を逆量子化することができる（第４４０段階）。第４４０段階では利得値を、例えば、ログスケールまたはユニホームスケールで逆量子化できる。

次いで、第４１０段階で復号化した各チャネルスペクトルに対する残差スペクトルを逆量子化できる（第４４５段階）。

第４２０段階で逆量子化し、かつ第４３０段階で変換することで各チャネル信号の大きさと位相とをいずれも表現できる基準スペクトルに、第４３５段階で逆量子化した位相差、第４４０段階で逆量子化した利得値、及び第４４５段階で逆量子化した残差スペクトルを適用して各チャネルスペクトルを復元できる（第４５０段階）。言い換えれば、第４５０段階では、位相差ほど基準スペクトルの位相を移動させて利得値の割合で基準スペクトルのサイズを調節した後、残差スペクトルを加算することで各チャネルスペクトルを復元できる。しかし、第４３０段階で１フレームが遅延されるので、第４５０段階では、１フレームを遅延して行い始める。

次いで、第４５０段階で復元された各チャネルスペクトルを時間ドメインに逆変換できる（第４６０段階）。

もし、第４２７段階で、マルチチャネル信号で少なくとも一つのチャネル信号が個別的に符号化していないと判断されれば、例えば、少なくとも一つのチャネル信号の符号化過程で、位相差と利得値とを基準スペクトルに適用して予測されたスペクトルが実際チャネルスペクトルに対して正確に予測されないと判断されるため、位相差、利得値及び残差スペクトルを符号化する代わりに各チャネルスペクトルを逆量子化できる（第４５５段階）。

次いで、第４５０段階で復元された各チャネルスペクトルまたは第４５５段階で逆量子化した各チャネルスペクトルを時間ドメインに逆変換してマルチチャネル信号を生成できる（第４６０段階）。

次いで、第４２０段階で逆量子化した基準スペクトルと、第４６０段階で逆変換されたマルチチャネル信号とに対して後処理過程を行うことで、最終的にマルチチャネル信号を出力できる（第４７０段階）。ここで、後処理過程は、例えば、図３の第３００段階で行われた演算の逆過程でありうる。第４２７段階で、マルチチャネルの符号化方法で個別的に符号化したマルチチャネル信号に該当しないと判断されたマルチチャネル信号に対して、第４７０段階では、第４２５段階で逆変換されて１フレームが遅延された基準信号と、第４６０段階で逆変換されたマルチチャネル信号とを対象に第４７０段階が行われうる。なぜなら、第４２７段階で、マルチチャネルの符号化方法で個別的に符号化したマルチチャネル信号に該当しないと判断されたマルチチャネル信号は、第４３０段階で１フレームが遅延されるため、１フレームを遅延させた後に第４７０段階が行われうる。

一つ以上の実施形態についての説明を容易にするために、信号は時間ドメインで表現されたデータであり、スペクトルは周波数ドメインで表現されたデータであると区別して説明したが、一般的に信号は、スペクトルを含む概念でありうる。

前述した実施形態に付加して、一つ以上の実施形態は、前記の実施形態を具現するために、少なくとも一つのプロセッシングデバイスを制御するために媒体、例えば、コンピュータで読み取り可能な媒体に存在するコンピュータで読み取り可能なコード／命令語で具現できる。前記媒体は、コンピュータで読み取り可能なコードの保存及び／または伝送可能に定義され、測定可能で実体的な構造に該当する。

また、前記媒体は、例えば、コンピュータで読み取り可能なコードと結合してデータファイル、データ構造などを含むことができる。コンピュータで読み取り可能な媒体の例には、ハードディスク、フロッピー（登録商標）ディスク及び磁気テープのような磁気媒体、ＣＤ−ＲＯＭディスク及びＤＶＤのような光学媒体、光学ディスクのような磁気光学媒体、特別にＲＯＭ、ＲＡＭ、フラッシュメモリなどのプログラム命令語を保存して行えるように構成されたハードウェアデバイスなどを含む。コンピュータで読み取り可能なコードの例には、コンパイラーにより生成されたマシンコードと、例えば、インタープリターを使用してコンピュータで実行できるハイレベルコードを含む。また前記媒体は分散ネットワークであり、この場合、コンピュータで読み取り可能なコードは、分散方式で保存されて行われる。また、単に例として、プロセッシングエレメントはプロセッサーあるいはコンピュータプロセッサーを含むことができ、プロセッシングエレメントは単一デバイスに分散及び／または含まれうる。

理解を助けるために図面に図示された実施形態を参考として説明されたが、これは例示的なものに過ぎず、当業者ならばこれより多様な変形及び均等な他の実施形態が可能であるという点を理解できるであろう。したがって、本発明の実施形態の真の技術的保護範囲は特許請求の範囲により定められねばならない。

Claims (7)

1. 残差符号化が適用され、生成されたビットストリームからマルチチャネル信号を復号化する方法であって：
   前記ビットストリームから、マルチチャネル信号を構成する複数のチャネル信号を処理することにより生成されたモノラル信号を復号化する段階と、
   前記ビットストリームから、前記複数のチャネル信号の間の位相差を表すパラメータを復号化する段階と、
   前記ビットストリームから、前記複数のチャネル信号の間の特性関係を表すパラメータを復号化する段階と、
   前記ビットストリームから、前記複数のチャネル信号に関する残差信号を復号化する段階と、
   前記複数のチャネル信号間に関して位相差を表すパラメータおよび特性関係を表すパラメータを使用して、前記モノラル信号と前記残差信号とを合成することにより、前記複数のチャネル信号を復元する段階と、を含むことを特徴とするマルチチャネルの復号化方法。
2. 前記復元する段階は、前記復号化した各位相差だけ前記モノラル信号の位相を移動させ、復号化した利得値の割合で前記モノラル信号の大きさを調節した後、前記各残差信号を加算することによって前記各チャネル信号を復元することを特徴とする請求項１に記載のマルチチャネルの復号化方法。
3. 前記復号化したモノラル信号を周波数ドメインから時間ドメインに逆変換する段階と、
   前記逆変換されたモノラル信号を前記時間ドメインから前記周波数ドメインに変換する段階と、をさらに含むことを特徴とする請求項１に記載のマルチチャネルの復号化方法。
4. 前記逆変換する段階は、前記復号化したモノラル信号にＩＭＤＣＴを適用して逆変換し、
   前記変換する段階は、前記逆変換されたモノラル信号に対してＭＤＳＴを適用して変換することを特徴とする請求項３に記載のマルチチャネルの復号化方法。
5. 前記マルチチャネル信号の符号化過程において、符号化端において予測されたチャネル信号に関する予測の正確度が低いと判断されて、マルチチャネル信号で個別的に符号化したチャネル信号を復号化する段階をさらに含むことを特徴とする請求項１に記載のマルチチャネルの復号化方法。
6. 前記残差信号を復号化する段階は、符号化端において予測されたチャネル信号の各々に関する予測の正確度に応じて適応的に前記残差信号を復号化することを特徴とする請求項１に記載のマルチチャネルの復号化方法。
7. 残差符号化が適用され、生成されたビット・ストリームからマルチチャネル信号を復号化する方法をコンピュータで行わせるためのプログラムを記録した記録媒体であって：
   前記ビットストリームから、マルチチャネル信号を構成する複数のチャネル信号を処理することにより生成されたモノラル信号を復号化する段階と、
   前記ビットストリームから、前記複数のチャネル信号の間の位相差を表すパラメータを復号化する段階と、
   前記ビットストリームから、前記複数のチャネル信号の間の特性関係を表すパラメータを復号化する段階と、
   前記ビットストリームから、前記複数のチャネル信号に関する残差信号を復号化する段階と、
   前記複数のチャネル信号間に関して位相差を表すパラメータおよび特性関係を表すパラメータを使用して、前記モノラル信号と前記残差信号とを合成することにより、前記複数のチャネル信号を復元する段階と、を含む方法をコンピュータで行わせるためのプログラムを記録した記録媒体。
   

Images