JP5032978B2 - ステレオコーディング及びデコーディングの方法及び装置 - Google Patents

Description

発明の詳細な説明

本発明はデータコーディングの方法に関し、例えば、データ成分の可変角回転を利用したオーディオデータ及び／または画像データのコーディング方法に関する。さらに、本発明は、上記方法を利用するエンコーダと、このエンコーダにより生成されたデータをデコードするように動作するデコーダとを有する。さらに、本発明は、データ担体及び／または通信ネットワークを介して通信される、上記方法により生成されたエンコードデータにも関する。

オーディオ及び／または画像データを符号化して対応する符号出力データを生成する最新の方法が多数知られている。ｍｐ３の産業標準規格は、ＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１ ＭＰＥＧ、ＩＳ１１１７２−３、情報技術−約１．５Ｍｂｉｔ／ｓまでのデジタル記憶媒体用の動画及び関連するオーディオの符号化、パート３：オーディオ、ＭＰＥＧ−１、１９９２年に記載されている。最新の方法の一部は、コーディング効率を改善するように構成されている。すなわち、中間／サイド（Ｍ／Ｓ）ステレオコーディングまたは和／差ステレオコーディングを利用することにより、エンハンス（enhance）されたデータ圧縮を提供する。これらの方法は、J.D. Johnston及びA. J. Ferreira著、「Sum-difference stereo transform coding」（Proc. IEEE, Int. Conf. Acoust., Speech and Signal Proc., San Francisco, CA, March 1992, pp. II: pp. 569-572）に記載されている。

Ｍ／Ｓコーディングでは、ステレオ信号は左右信号ｌ［ｎ］、ｒ［ｎ］を有しており、例えば、式１及び２に記載した処理を適用することにより、和信号ｍ［ｎ］と差信号ｓ［ｎ］としてそれぞれ符号化される。

信号ｌ［ｎ］とｒ［ｎ］がほぼ等しい時には、Ｍ／Ｓコーディングは差信号ｓ［ｎ］がゼロに近づき、ほとんど情報を伝搬しないが、一方、和信号がほとんどの信号情報コンテントを効果的に含むという理由で大幅なデータ圧縮ができる。このような状況では、和・差信号を表すのに必要なビットレートは、信号ｌ［ｎ］とｒ［ｎ］を独立に符号化するために必要なビットレートの約半分である。

式１と２は、式３のように回転行列により表すことができる。

ここで、ｃは一定のスケーリング計数であり、クリッピングを防止するために使用されることが多い。

式３は、信号ｌ［ｎ］とｒ［ｎ］の４５°の角度の回転に有効に対応するが、式４に与えたように他の回転角も可能である。ここで、αは、信号ｌ［ｎ］とｒ［ｎ］に適用して対応する符号化信号ｍ’［ｎ］、ｓ’［ｎ］を生成するための回転角である。以下、それぞれ主信号と残差信号として説明する。

角αは可変とされ、残差信号ｓ’［ｎ］にある情報コンテントを減らし、主信号ｍ’［ｎ］に情報コンテントを集中することにより、すなわち、残差信号ｓ’［ｎ］のパワーを最小化し、その結果主信号ｍ’［ｎ］のパワーを最大化することにより、広いクラスの信号ｌ［ｎ］、ｒ［ｎ］をエンハンス圧縮する。

式１ないし４により表された符号化方法は、従来、ブロードバンド信号には適用されず、オーディオ信号を搬送するために使用する帯域幅の狭い一部だけを表すサブ信号に適用されている。さらに、式１ないし４の方法は、従来、信号ｌ［ｎ］、ｒ［ｎ］の周波数領域表示に適用されている。

米国特許公報第５，６２１，８５５号において、第１と第２の信号成分を有するデジタル信号をサブバンド符号化する方法が記載されている。デジタル信号はサブバンド符号化され、第１の信号成分に応じて第１のｑサンプル信号ブロックを有する第１のサブバンド信号と、第２の信号成分に応じて第２のｑサンプル信号ブロックを有する第２のサブバンド信号とを有する。第１と第２のサブバンド信号は同一のサブバンドにあり、第１と第２の信号ブロックは時間等価である。

第１と第２の信号ブロックを処理して、時間等価サンプルの点表示間の最小距離値を求める。その最小距離値が閾値距離値以下であれば、ｑサンプルにより構成された合成ブロックを求める。求めるには、第１ブロックの各サンプルにｃｏｓ（α）をかけて、第２の信号ブロックの各サンプルに−ｓｉｎ（α）をかけた後に、第１と第２の信号ブロック中の時間等価サンプルのペアをそれぞれ加える。

上記回転角αの適用により４５°回転を用いてＭ／Ｓコーディングの多くの欠点を無くすことができるが、このようなアプローチは信号のグループ（例えばステレオ信号のペア）信号に適用したとき、これらの信号に大きな相対的位相または時間オフセットがある時、問題があることが分かっている。本発明はこの問題の解消に関する。

本発明の一目的はデータ符号化方法を提供することである。

本発明の第１の態様によると、複数の入力信号を符号化して対応する符号化データを生成する方法が提供される。該方法は：
（ａ）前記入力信号（ｌ、ｒ）を処理して、前記信号（ｌ、ｒ）間の相対的な位相差と時間差の少なくとも一方を記述する第１のパラメータ（φ２）を決定し、これらの第１のパラメータ（φ２）を適用して前記入力信号を処理し、対応する中間信号を生成する段階と、
（ｂ）前記中間信号及び／または前記入力信号（ｌ、ｒ）を処理し、主信号（ｍ）と残差信号（ｓ）を生成するために必要な前記中間信号の回転を記述する第２のパラメータを決定し、前記主信号（ｍ）の大きさまたはエネルギーは前記残差信号（ｓ）の大きさよりも大きく、これらの第２のパラメータを適用して前記中間信号を処理して、前記主信号（ｍ）と残差信号（ｓ）を生成する段階と、
（ｃ）前記第１のパラメータと前記第２のパラメータとを量子化し、前記主信号（ｍ）と前記残差信号（ｓ）の少なくとも一部を符号化して、対応する量子化データを生成する段階と、
（ｄ）前記量子化データを多重化して、前記符号化データを生成する段階と、を有する。

本発明は、データのより効率的な符号化を提供できるという点で有利である。

好ましくは、本方法において、前記残差信号（ｓ）の一部のみが前記符号化データに含まれる。残余信号（ｓ）をこのように部分的に含むことにより、符号化データにおいて達成することができるデータ圧縮を強化（enhance）することができる。

より好ましくは、本方法において、前記符号化データは、前記符号化データに含まれている前記残差信号の部分を示す１つ以上のパラメータも含む。このようなパラメータにより、符号化データの復号を複雑でなくすることができる。

好ましくは、本方法の段階（ａ）と（ｂ）は、複素回転により実施され、前記入力信号（ｌ［ｎ］、ｒ［ｎ］）は周波数領域（ｌ［ｋ］、ｒ［ｋ］）で表される。複素回転の実施により、複数の入力信号間に生じる相対的時間及び／または位相差により効率的に対処することができる。より好ましくは、段階（ａ）と（ｂ）は周波数領域またはサブバンド領域で実行される。「サブバンド」は、信号に必要な周波数帯域幅全体よりも狭い周波数領域と解釈すべきである。

好ましくは、本方法は、入力信号（ｌ、ｒ）を含む周波数範囲全体の一部分（sub-part）に適用される。より好ましくは、全周波数範囲の他の部分（sub-parts）は、例えば、上で説明した従来のＭ／Ｓ符号化などの別の符号化方法を用いて符号化される。

好ましくは、本方法は、段階（ｃ）の後に、量子化データをロスレスで符号化する追加的ステップを含み、そのデータを段階（ｄ）で多重化して符号化データを生成してもよい。より好ましくは、ロスレス符号化はハフマン符号化を用いて実施される。ロスレス符号化を用いることにより、潜在的に高いオーディオ品質を達成することができる。

好ましくは、本方法は、前記残差信号（ｓ）にある知覚的に無関係の時間周波数情報を捨てることにより、前記残差信号（ｓ）を操作する段階であって、前記操作された残差信号（ｓ）は前記符号化データ（１００）に貢献し、前記知覚的に無関係の情報は前記入力信号のスペクトル時間表現の選択された部分に対応するところの段階を含む。知覚的に関係のない情報を破棄することにより、本方法により、符号化データにおいてより高いデータ圧縮率を提供することができる。

好ましくは、本発明の段階（ｂ）において、前記第２のパラメータ（α；ＩＩＤ、ρ）は、前記残差信号（ｓ）の大きさまたはエネルギーを最小化することにより求められる。このようなアプローチにより、パラメータを求める別のアプローチと比較して第２のパラメータの生成が計算的に効率化される。

好ましくは、本方法において、前記第２のパラメータ（α；ＩＩＤ、ρ）はチャンネル間強度差パラメータとコヒーレンスパラメータ（ＩＩＤ、ρ）により表される。本方法をこのように実施することにより、既存のパラメトリックステレオ符号化及び関連する復号ハードウェアまたはソフトウェアとの後方互換性を提供することができる。

好ましくは、本方法の段階（ｃ）と（ｄ）において、前記符号化データは重要度のレイヤーに配置され、前記レイヤーは前記主信号（ｍ）を搬送するベースレイヤーと、ステレオ分離パラメータに対応する第１及び／または第２のパラメータを含む第１のエンハンスメントレイヤーと、前記残差信号（ｓ）の表示を搬送する第２のエンハンスメントレイヤーとを含む。 より好ましくは、前記第２のエンハンスメントレイヤーは、前記残差信号（ｓ）の最も関係のある時間・周波数情報を搬送する第１のサブレイヤーと、前記残差信号（ｓ）の関係のうすい時間・周波数情報を搬送する第２のサブレイヤーとにさらに分割される。これらのレイヤー及び必要に応じたサブレイヤーによる入力信号の表示により、符号化データの伝送エラーに対してよりロバスト（robustness）にすることができ、より単純な復号ハードウェアと後方互換とすることができる。

本発明の第２の態様によると、複数の入力信号を符号化して対応する符号化データを生成するエンコーダが提供される。該エンコーダは：
（ａ）前記入力信号（ｌ、ｒ）を処理して、前記信号（ｌ、ｒ）間の相対的な位相差と時間差の少なくとも一方を記述する第１のパラメータ（φ２）を決定する第１の処理手段であって、これらの第１のパラメータ（φ２）を適用して前記入力信号を処理し、対応する中間信号を生成する第１の処理手段と、
（ｂ）前記中間信号を処理し、主信号（ｍ）と残差信号（ｓ）を生成するために必要な前記中間信号の回転を記述する第２のパラメータを決定する第２の処理手段であって、前記主信号（ｍ）の大きさまたはエネルギーは前記残差信号（ｓ）の大きさよりも大きく、これらの第２のパラメータを適用して前記中間信号を処理して、前記主信号（ｍ）と残差信号（ｓ）を生成する第２の処理手段と、
（ｃ）前記第１のパラメータ（φ２）、前記第２のパラメータ（α；ＩＩＤ、ρ）、及び少なくとも主信号と残差信号の一部を量子化し、対応する量子化データを生成する量子化手段と、
（ｄ）前記量子化データを多重化して、前記符号化データを生成する多重化手段と、を有する。

本エンコーダは、データのより効率的な符号化を提供できるという点で有利である。

好ましくは、本エンコーダは、前記残差信号（ｓ）にある知覚的に無関係の時間周波数情報を捨てることにより、前記残差信号（ｓ）を操作する処理手段であって、前記変換された残差信号（ｓ）は前記符号化データ（１００）に貢献し、前記知覚的に無関係の情報は前記入力信号のスペクトル時間表現の選択された部分に対応するところの処理手段を含む。知覚的に関係のない情報を破棄することにより、本エンコーダにより、符号化データにおいてより高いデータ圧縮率を提供することができる。

本発明の第３の態様によると、符号化データを復号して複数の入力信号（ｌ’、ｒ’）の対応表現を再生する方法であって、前記入力信号（ｌ、ｒ）は前記符号化データを生成するために事前に符号化される方法が提供される。該方法は：
（ａ）符号化データをデマルチプレックスして、対応する量子化データを生成する段階と、
（ｂ）前記量子化データを処理して、対応する第１のパラメータ（φ２）と、第２のパラメータと、少なくとも主信号（ｍ）と残差信号（ｓ）とを生成する段階であって、前記主信号（ｍ）の強さまたはエネルギーは前記残差信号（ｓ）のそれよりも大きいところの段階と、
（ｃ）第２のパラメータを適用して主信号（ｍ）と残差信号（ｓ）を回転して対応する中間信号を生成する段階と、
（ｄ）第１のパラメータ（φ２）を適用することにより前記中間信号を処理して前記入力信号（ｌ’、ｒ’）の表示を再生する段階であって、前記第１のパラメータ（φ２）は前記信号（ｌ、ｒ）間の相対的位相差と時間差のうち少なくとも一方を記述するところの段階と、を有する。

本方法は、本発明の第１の態様による方法を用いて効率的に符号化されたデータを効率的に復号することができるという利点を提供する。

好ましくは、本発明の段階（ｂ）は、残差信号（ｓ）の失われた時間−周波数情報に主信号（ｍ）から求めた合成残差信号を適宜補足する段階をさらに有する。合成信号の生成により、結果として符号化データの効率的復号をすることができる。

好ましくは、前記方法において、前記符号化データは、残差信号（ｓ）のどの部分が符号化データに符号化されているかを示すパラメータを含む。このような表示パラメータを含めることにより、効率的にし、かつ計算負荷を減らすことができる。

本発明の第４の態様によると、符号化データを復号して複数の入力信号（ｌ’、ｒ’）の対応表現を再生するデコーダであって、前記入力信号（ｌ、ｒ）は前記符号化データを生成するために事前に符号化されるデコーダが提供される。該デコーダは：
（ａ）符号化データをデマルチプレックスして、対応する量子化データを生成するデマルチプレックス手段と、
（ｂ）前記量子化データを処理して、対応する第１のパラメータ（φ２）と、第２のパラメータと、少なくとも主信号（ｍ）と残差信号（ｓ）とを生成する第１の処理手段であって、前記主信号（ｍ）の強さまたはエネルギーは前記残差信号（ｓ）のそれよりも大きいところの第１の処理手段と、
（ｃ）第２のパラメータを適用して主信号（ｍ）と残差信号（ｓ）を回転して対応する中間信号を生成する第２の処理手段と、
（ｄ）第１のパラメータ（φ２）を適用することにより前記中間信号を処理し前記入力信号（ｌ、ｒ）の表示を再生する第３の処理手段であって、前記第１のパラメータ（φ２）は前記信号（ｌ、ｒ）間の相対的位相差と時間差のうち少なくとも記述するところの第３の処理手段と、を有する。

好ましくは、前記第２の処理手段は、前記復号残差信号から失われた情報を提供するために、前記復号主信号（ｍ）から求めた補完的合成残差信号を生成するように動作可能である。

本発明の第５の態様によると、本発明の第１の態様の方法により生成された符号化データであって、データ担体に記録された、及び通信ネットワークを介して通信可能である、いずれか一方である符号化データが提供される。

本発明の第６の態様によると、本発明の第１の態様の方法をコンピュータハードウェア上で実行するソフトウェアが提供される。

本発明の第７の態様によると、本発明の第３の態様の方法をコンピュータハードウェア上で実行するソフトウェアが提供される。

本発明の第８の態様によると、データ担体に記録された、及び通信ネットワークを介して通信可能である、少なくとも一方である符号化データが提供される。

前記データは、量子化された第１のパラメータと、量子化された第２のパラメータと、主信号（ｍ）と残差信号（ｓ）の少なくとも一部に対応する量子化されたデータと、を有し、前記主信号（ｍ）の大きさまたはエネルギーは前記残差信号（ｓ）のそれよりも大きく、前記主信号（ｍ）と前記残差信号（ｓ）は前記第２のパラメータにより中間信号を回転することにより求めることができ、前記中間信号は、複数の入力信号を処理することにより生成することができ、前記第１のパラメータにより記述された相対的位相及び／または時間遅延を補償する。

言うまでもなく、本発明の特徴は、添付した特許請求の範囲により画成される本発明の範囲から逸脱することなく、いかようにも組み合わせることができる。

添付した図面を参照して本発明の実施形態を例により説明する。

概略、本発明は、可変回転各を用いた上記のＭ／Ｓ符号化方法への進展を表すデータ符号化方法に関する。本発明は、位相及び／または時間オフセットが大きくても、信号グループに対応するデータをよりよく符号化できるように、発明者により工夫されている。さらに、本発明は、信号ｌ［ｎ］、ｒ［ｎ］がそれぞれ等価な複素数値周波数領域表示ｌ［ｋ］、ｒ［ｋ］で表されているときに使用できる、回転角αの値を利用する従来の符号化方法と比較して、有利である。

各αは実数値として構成することができ、ｌ［ｎ］、ｒ［ｎ］信号に相互に「一致（cohere）」するように適用されこれらの信号間の相互の時間及び／または位相遅延を合わせる実数値位相回転として構成することができる。しかし、回転角αとして複素数値を用いることにより、本発明の実施が容易になる。角度αによる回転を実施するこのような別のアプローチは、本発明の範囲内にあるものと解釈すべきである。

上記時間領域信号ｌ［ｎ］、ｒ［ｎ］の周波数領域表示は、ウィンドウ信号ｌｑ［ｎ］、ｒｑ［ｎ］を提供する式５と６に記載した時間的ウィンドウプロシージャを適用することにより求めることが好ましい。

ここで、ｑ＝連続する信号フレームを示すフレームインデックスであり、ｑ＝０、１、２、．．．である；
Ｈ＝ホップサイズまたはアップデイトサイズである；
ｎ＝０とＬ−１の範囲にある値を有する時間インデックスであり、パラメータＬはウィンドウｈ［ｎ］の長さに等しい。

ウィンドウ信号ｌｑ［ｎ］、ｒｑ［ｎ］は、式７と８に記載したように、離散フーリエ変換（ＤＦＴ）、または機能的に等価な変換を用いて周波数領域に変換可能である。

ここで、パラメータＮはＤＦＴ長さを表し、Ｎ≧Ｌである。実数値シーケンスのＤＦＴは対象であるから、最初のＮ／２＋１個の点のみが変換後に保存される。ＤＦＴを実施するときに信号エネルギーを保存するため、式９と１０に記載したスケーリングを利用することが好ましい：

本発明の方法は、式１１に示した信号処理演算を実行して、式７と８の周波数領域信号表示ｌ［ｋ］、ｒ［ｋ］を、周波数領域の対応する回転された和・差信号ｍ”［ｋ］、ｓ”［ｋ］に変換する：

ここで、α＝実数値可変回転角であり；
φ１＝関連する境界を越えて信号の連続性を最大化するために用いる共通角であり；
φ２＝右信号ｒ［ｋ］を位相回転することにより残差信号ｓ”［ｋ］のエネルギーを最小化するために用いる角である。

角φ１の使用は任意的である。さらに、式１１による回転は、好ましくはフレームごとに行われる。すなわち、動的にフレームステップで行われる。しかし、このようなフレームごとの回転の動的な変化により、和信号のｍ”［ｋ］が不連続になるが、この不連続性は角φ１を好適に選択することにより少なくとも部分的には取り除くことができる。

さらに、式１１の周波数範囲ｋ＝０．．．Ｎ／２＋１は、好ましくはサブレンジすなわち領域に分割される。エンコード中に各領域についてそれが対応する角パラメータα、φ１、φ２を独立に決定し、符号化し、デコーダに送信または搬送して、後でデコードする。副分割すべき周波数範囲を準備することにより、信号特性をエンコード中によりよく捕捉することができ、結果的に圧縮比が高くすることができる。

式７から１１によりマッピングを実施した後、信号ｍ”［ｋ］、ｓ”［ｋ］は、式１２と１３で記述したように逆離散フーリエ変換される。

ここで、
ｍｑ［ｎ］＝主時間領域表示；及び
ｓｑ［ｎ］＝残差（差）時間領域表示。

主表示及び残差表示は、次にウィンドウベースの表示に本方法で変換される。このウィンドウベースには、式１４と１５に記載したように処理動作により重なりを持たせる。

あるいは、式５ないし１５に記載した本発明の方法の処理動作は、少なくとも部分的には、複素変調されたフィルタバンクを利用することにより実際に実施できる。コンピュータの処理ハードウェアに適用したデジタル処理を利用して、本発明を実施することができる。

本発明の方法を例示するために、本発明の信号処理例をここで説明する。この例では、２つの時間的信号を、本方法を用いて処理すべき初期信号として使用する。この２つの信号は式１６と１７で画成される：

ここで、ｚ１［ｎ］、ｚ２［ｎ］及びｚ３［ｎ］は、相互に独立なホワイトノイズであって、分散は１である。本発明の方法の動作をよりよく理解するために、式１６と１７に記載した信号ｌ［ｎ］、ｒ［ｎ］の一部を図１に示した。

図２には、Ｍ／Ｓ変換信号ｍ［ｎ］とｓ［ｎ］が例示されている。これらの変換信号は、式１と２による従来の処理により、式１６と１７の信号ｌ［ｎ］、ｒ［ｎ］から求められる。図２から分かるように、式１６と１７の信号から信号ｍ［ｎ］とｓ［ｎ］を生成する従来のアプローチにより、式１７では残差信号ｓ［ｎ］のエネルギーが入力信号ｒ［ｎ］のエネルギーよりも高くなる。明らかに、式１６と１７の信号に従来のＭ／Ｓ変換信号処理を適用すると、その結果の信号圧縮では効率的ではない。信号ｓ［ｎ］は無視できる大きさではないからである。

式４に記載した回転変換を利用することにより、図３に示すように、信号例ｌ［ｎ］、ｒ［ｎ］について対応する残差信号ｓ［ｎ］の残差エネルギーを抑え、主信号ｍ［ｎ］を対応して強調（enhance）することができる。式４の回転アプローチは、図２に示した従来のＭ／Ｓ処理よりよく実行できるが、信号ｌ［ｎ］、ｒ［ｎ］に相対的な位相及び／または時間シフトがある場合、十分ではないことが発明者により見いだされている。

式１６と１７のサンプル信号ｌ［ｎ］、ｒ［ｎ］が周波数領域に変換され、式５ないし１５による複素最適化回転をする場合、図４に示したように、残差信号ｓ［ｎ］のエネルギーを比較的小さくすることができる。

式５ないし１５により記述された信号処理を実施するように動作するエンコーダハードウェアの実施形態を次に説明する。

図５には、本発明によるエンコーダ（参照符号１０で全体を指す）を示した。エンコーダ１０は、左右の相補的入力信号を受信し、これらの信号を符号化して符号化ビットストリーム（ｂｓ）１００を生成する。さらに、エンコーダ１０は、位相回転部２０、信号回転部３０、時間／周波数セレクタ４０、第１コーダ５０、第２コーダ６０、パラメータ量子化処理部（Ｑ）７０、及びビットストリームマルチプレクサ部８０を含む。

入力信号ｌ、ｒは位相回転部２０の入力と結合し、それに対応する出力は信号回転部３０に接続されている。信号回転部３０の主・副信号はそれぞれｍ、ｓで示す。主信号ｍは第１コーダ５０を介してマルチプレクサ部８０に搬送される。さらに、残差信号ｓは時間／周波数セレクタ４０を介して第２コーダ６０に結合され、その後、マルチプレクサ部８０に搬送される。位相回転部２０からの角パラメータ出力φ１、φ２は、処理部７０を介してマルチプレクサ部８０に結合している。また、角パラメータ出力αは、信号回転部３０から処理部７０を介してマルチプレクサ部８０に結合している。マルチプレクサ部８０は、上記の符号化ビットストリーム出力（ｂｓ）１００を有する。

動作時には、位相回転部２０は信号ｌ、ｒを処理して、その間の相対的位相差を補償して、それによりパラメータφ１、φ２を生成する。ここで、パラメータφ２は上記の相対的位相差を表す。パラメータφ１、φ２は、量子化して符号化ビットストリーム１００に対応するパラメータデータとして含めるために処理部７０に送られる。相対的位相差を補償する信号ｌ、ｒは信号回転部３０に送られる。この信号回転部３０は、角αの最適値を決定して、信号エネルギーの最大量を主信号ｍに集中し、信号エネルギーの最小量が残差信号ｓに行くようにする。主・残差信号ｍ、ｓは、次にコーダ５０、６０を通過し、ビットストリーム１００に含むために好適なフォーマットに変換される。処理部７０は角信号α、φ１、φ２を受け取り、コーダ５０、６０からの出力と一緒に多重化して、ビットストリーム出力（ｂｓ）１００を生成する。このように、ビットストリーム（ｂｓ）１００はデータのストリームを有する。このデータのストリームは、主・残差信号ｍ、ｓの表示と、角パラメータデータα、φ１、φ２を含む。パラメータφ２は本質的であり、パラメータφ１は任意的であるが、それにもかかわらず含めた方がよい。

コーダ５０、６０は、好ましくは２つのモノオーディオエンコーダとして実施されるか、あるいは１つのデュアルモノエンコーダとして実施される。任意的に、例えば時間・周波数平面で表された時に識別され、ビットストリーム１００に知覚的には貢献しない残差信号ｓの一部は、時間／周波数セレクタ４０で破棄され、これによりスケーラブルなデータ圧縮を提供する。詳細は以下に説明する。

エンコーダ１０は、任意的に、入力信号を含む周波数範囲の一部においてその入力信号を処理するために使用することができる。入力信号（ｌ、ｒ）の、エンコーダ１０によりエンコードされないこれらの部分は、他の方法を用いて（例えば、上記のように、従来のＭ／Ｓ符号化を用いて）平行してエンコードされる。必要であれば、左（ｌ）と右（ｒ）の入力信号の個別の符号化を実施することもできる。

エンコーダ１０はハードウェア（例えば、特定用途集積回路（ＡＳＩＣ）やそのような回路のグループ）で実施することができる。あるいは、エンコーダ１０は、コンピュータハードウェア（例えば、独自のソフトウェア駆動の信号処理集積回路やそのような回路のグループ）上で実行されるソフトウェアで実施することもできる。

図６には、エンコーダ１０と互換性のあるデコーダを参照符号２００で示した。デコーダ２００は、ビットストリームデマルチプレクサ２１０と、第１・第２デコーダ２２０、２３０と、パラメータを逆量子化する処理部２４０と、信号回転デコーダ部２５０と、入力信号ｌ、ｒに対応する復号出力ｌ’、ｒ’をエンコーダ１０に供給する位相回転復号部２６０とを有する。デマルチプレクサ２１０は、エンコーダ１０により生成されたビットストリーム（ｂｓ）１００を受信するように構成されている。このビットストリーム（ｂｓ）１００は、例えば、ＣＤやＤＶＤなどの光ディスクデータ担体を介して、及び／またはインターネット等の通信ネットワークを介して、エンコーダ１０からデコーダ２００に搬送される。デマルチプレクサ２１０でデマルチプレックスされた出力は、デコーダ２２０、２３０、及び処理部２４０の入力に結合されている。第１・第２のデコーダ２２０、２３０は、それぞれ出力ｍ’、ｓ’を有する。これらは回転デコーダ部２５０に結合されている。さらに、処理部２４０は、回転角出力α’を含む。この回転角出力α’も回転デコーダ部２５０に結合されている。角α’はエンコーダ１０に関する上記角αを復号したものに相当する。角出力φ１’、φ２’は、エンコーダ１０に関する上記角φ１、φ２の復号されたものに相当する。これらの角出力φ１’、φ２’は、主・残差信号出力と共に、回転デコーダ部２５０から位相回転復号部２６０に搬送される。位相回転復号部２６０は、図示したように復号出力ｌ’、ｒ’を含む。

動作中、デコーダ２００は、エンコーダ１０内で実行される符号化ステップの逆を実行する。このように、デコーダ２００では、ビットストリーム１００がデマルチプレクサ２１０でデマルチプレックス（demultiplexed）され、主・残差信号に対応するデータを分離する。分離されたデータはデコーダ２２０、２３０で再構成され、復号主・残差信号ｍ’、ｓ’を生成する。これらの信号ｍ’、ｓ’は角α’により回転され、角φ１’、φ２’を用いて相対位相を補償し、左右信号ｌ’、ｒ’を生成する。角φ１’、φ２’、α’はデマルチプレクサ２１０でデマルチプレックスされたパラメータから再構成され、処理部２４０で分離される。

エンコーダ１０において、及び当然デコーダ２００においても、ビットストリーム１００では、上記の角αよりも、ＩＩＤ値とコヒーレンス値ρを送信することが好ましい。ＩＩＤ値は、チャンネル間差異、すなわち、左右信号ｌ、ｒ間の周波数と時間の変化強度差を示すように構成されている。コヒーレンス値ρは周波数相違コヒーレンス、すなわち、同様に、位相同期語の左右信号ｌ、ｒ間のものを示す。しかし、例えばデコーダ２００では、式１８を適用することにより、ＩＩＤとρの値から角αを容易に求めることができる。

パラメトリックデコーダは、図７において参照符号４００で示されている。このデコーダ４００は本発明によるエンコーダを補完するものである。デコーダ４００は、ビットストリームデマルチプレクサ４１０と、デコーダ４２０と、無相関部４３０と、スケーリング部４４０と、信号回転部４５０と、位相回転部４６０と、逆量子化部４７０とを有する。デマルチプレクサ４１０は、ビットストリーム信号（ｂｓ）１００を受信する入力と、信号ｍ、ｓのデータ、角パラメータデータ、ＩＩＤデータ、及びコヒーレンスデータρの対応する４つの出力を有する。これらの出力は、図示したように、デコーダ４２０と逆量子化部４７０に接続されている。デコーダ４２０からの出力は、スケーリング機能４４０への入力する残差信号ｓ’の表現を再生する無相関部４３０を介して結合されている。さらに、主信号ｍ’の再生表現は、デコーダ部４２０からスケーリング部４４０に搬送される。スケーリング部４４０にも逆量子化部４７０からＩＩＤ’とコヒーレンスデータρ’が供給される。スケーリング部４４０からの出力は、中間出力信号を生成する信号回転部４５０に結合される。これらの中間出力信号は、逆量子化部４７０で復号された角φ１’、φ２’を用いて位相回転部４６０で補正され、左右信号ｌ’、ｒ’の表現を再生する。

デコーダ４００が図６のデコーダ２００と相違する点は、デコーダ４００が無相関部４３０内で実行される無相関プロセスにより、主信号ｍ’に基づき残差信号ｓ’を推定する無相関部４３０を含む点である。さらに、左右の出力信号ｌ’、ｒ’間のコヒーレンス量はスケーリング動作により決定される。スケーリング動作はスケーリング部４４０内で実行され、主信号ｍ’と残差信号ｓ’間の比率に係わる。

次に図８を参照して、エンハンスエンコーダを参照符号５００で示した。エンコーダ５００は、左右入力信号ｌ、ｒを受信する位相回転部５１０と、信号回転部５２０と、時間／周波数セレクタ５３０と、第１・第２コーダ５４０、５５０と、量子化部５６０と、ビットストリーム出力（ｂｓ）１００を含むマルチプレクサ５７０と、を有する。位相回転部５１０からの角出力φ１、φ２は、位相回転部５１０から量子化部５６０に結合している。さらに、位相回転部５１０からの位相補正された出力は、信号回転部５２０と時間／周波数セレクタ５３０を介して接続され、主・残差信号ｍ、ｓ、及びＩＩＤとコヒーレンスρデータ／パラメータをそれぞれ生成する。ＩＩＤ及びコヒーレンスρデータ／パラメータは、量子化部５６０に結合され、主・残差信号ｍ、ｓは第１・第２コーダ５４０、５５０を通過し、マルチプレクサ５７０の対応するデータを生成する。マルチプレクサ５７０は、角φ１、φ２、コヒーレンスρ、及びＩＩＤを記述するパラメータデータを受信するようにも構成される。マルチプレクサ５７０は、コーダ５４０、５５０及び量子化部５６０からのデータを多重化してビットストリーム（ｂｓ）１００を生成するように動作する。

エンコーダ５００では、残差信号ｓがビットストリーム１００に直接エンコードされる。任意的に、時間／周波数セレクタ部５３０は、残差信号ｓの時間／周波数平面のどの部分がビットストリーム（ｂｓ）１００にエンコードされるか決定するように動作する。ユニット５３０は、これにより、残差情報がビットストリーム１００に含まれる程度を決定し、エンコーダ５００で達成できる圧縮とビットストリーム１００内に含まれる情報の程度の間の妥協に影響する。

図９には、エンハンスパラメータデコーダを参照符号６００で示した。デコーダ６００は図８に示したエンコーダ５００を補完する。デコーダ６００は、デマルチプレクサ部６１０と、第１・第２デコーダ６２０、６４０と、無相関部６３０と、結合部６５０と、スケーリング部６６０と、信号回転部６７０と、位相回転部６８０と、逆量子化部６９０とを有する。デマルチプレクサ部６１０は、符号化ビットストリーム（ｂｓ）１００を受信し、第１と第２のデコーダ６２０、６４０とデマルチプレクサ部６９０に対応するデマルチプレックスされた出力を供給する。無相関部６３０と結合部６５０と共にデコーダ６２０、６４０は、主・残差信号ｍ’、ｓ’の表示を再生するように動作する。これらの表示は、スケーリング部６６０でスケーリングプロセスを施され、信号回転部６７０で回転され、中間信号が生成される。この中間信号は、逆量子化部６９０により生成された角パラメータに応じて回転部６８０で位相回転され、左右信号ｌ’、ｒ’の表現を再生する。

デコーダ６００では、ビットストリーム１００は、主信号ｍ’、残差信号ｓ’、及びステレオパラメータの別々のストリームがデマルチプレックスされる。主・残差信号ｍ’、ｓ’は、次にデコーダ６２０、６４０でデコードされる。ビットストリーム１００にエンコードされた残差信号ｓ’のスペクトル／時間部分は、ビットストリーム１００に送られる。この通知は、黙示的に、すなわち時間−周波数平面内の「空いている」領域を検出することにより行われるか、または明示的に、すなわちビットストリーム１００から復号された代表シグナルパラメータ（representative signalling parameters）により行う。無相関部６３０と結合部６５０は、合成残差信号で、効果的に、復号残差信号ｓ’中の空いている時間−周波数領域を埋めるように動作可能である。この合成信号は、復号された主信号ｍ’と無相関部６５０からの出力を用いて生成される。他の全ての時間−周波数領域について、残差信号ｓを適用してこれらの領域の復号残差信号ｓ’を構成する。これらの領域にはスケーリング部６６０ではスケーリンは適用されない。任意的に、これらの領域について、ＩＩＤとコヒーレンスρの替わりにエンコーダ５００の上記角αを送信する点には利益がある。単一の角パラメータαを搬送するのに必要なデータレートは、等価なＩＩＤとコヒーレンスρパラメータデータを搬送するのに必要なデータレートより小さいからである。しかし、ＩＩＤとρパラメータデータではなくビットストリームで角αパラメータを送信するので、エンコーダ５００とデコーダ６００は、上記ＩＩＤとコヒーレンスρデータを用いる従来のパラメトリックステレオ（ＰＳ）システムと後方互換性がなくなる。

エンコーダ１０、５００のセレクタ部４０、５３０は、好ましくは、残差信号ｓのどの時間−周波数領域をビットストリーム１００にエンコードする必要があるかを選択するときに、知覚モデルを利用するように構成されている。エンコーダ１０、５００の残差信号ｓの様々な時間−周波数面（aspects）を符号化することにより、ビットレートスケーラブルなエンコーダ及びデコーダを実現することができる。ビットストリーム１００のレイヤーが互いに従属している場合、知覚的に最も関連のある時間−周波数面に対応する符号化データは、そのレイヤー中のベースレイヤーに含まれる。知覚的にそれほど重要でないデータは、そのレイヤー中の改良すなわちエンハンスメントレイヤーに入れられる。「エンハンスメントレイヤー」は「改良レイヤー」とも呼ばれる。このような構成では、好ましくは、ベースレイヤーは主信号ｍに対応するビットストリームを有し、第１のエンハンスメントレイヤーは上記の角α、φ１、φ２等のステレオパラメータに対応するビットストリームを有し、第２のエンハンスメントレイヤーは残差信号ｓに対応するビットストリームを有する。

このようなビットストリームデータ１００のレイヤー構成により、残差信号ｓを搬送する第２のエンハンスメントレイヤーは任意的になくても破棄してもよい。さらに、図１０に示したデコーダ６００は、上記の通り、残りの復号されたレイヤーを合成残差信号と結合して、ユーザのために知覚的に意味のある残差信号を再生することができる。さらに、例えばコストや複雑性の制約によりデコーダ６００に任意的に第２のデコーダ６４０が備えられていない場合、品質は低くなるが、残差信号ｓをデコードすることも可能である。

上記において、ビットストリーム（ｂｓ）１００のビットレートをさらに低下させることも可能である。その中の符号化角パラメータφ１、φ２を破棄すればよい。このような状況において、デコーダ６００中の位相回転部６８０は、固定値（例えばゼロ）のデフォルト回転角を用いて、再生出力信号ｌ’、ｒ’を再構成する。このようにビットレートをさらに低下させるには、人間の聴覚システムが高いオーディオ周波数では比較的位相に敏感であるという特徴を利用する。一例として、パラメータφ２をビットストリーム（ｂｓ）１００で送信し、パラメータφ１は破棄して、ビットレートを低下させる。

上記の本発明によるエンコーダと補完的なデコーダは、潜在的に、広範囲の電子装置とシステムで使用することができる。たとえば、インターネットラジオ、インターネットストリーミング、電子音楽配信（ＥＭＤ）、固体オーディオプレーヤ・レコーダ、及びテレビジョン、オーディオ製品一般等である。

入力信号（ｌ、ｒ）をエンコードしてビットストリーム１００を生成する方法、及びビットストリーム１００を復号する補完的方法を説明したが、言うまでもなく、本発明は２つより多い入力信号をエンコードするように適応させることができる。例えば、本発明は、マルチチャンネルオーディオ（例えば、５チャンネルドメスティックシネマシステム）のデータ符号化及び対応する復号を提供するように適応させることができる。

添付した特許請求の範囲では、括弧に入れた数字その他の記号は、請求項の理解を補助するために含めたものであり、請求項の範囲を何ら限定するためのものではない。

言うまでもなく、上記した本発明の実施形態は、添付した特許請求の範囲により画成した本発明の範囲から逸脱することなく、修正することができる。

「有する（comprise）」、「含む（include）」、「組み込む（incorporate）」、「含む（contain）」、「である（is）」、「有する（have）」との表現は、明細書と添付した特許請求の範囲の解釈にあたって、非排除的に解釈すべきである。すなわち、明示的に記載されていないアイテムや構成要素があってもよい。単数形であっても複数あるものと解釈すべきであるし、逆もしかりである。

相対的時間及び位相遅延を伴う信号ｌ［ｎ］、ｒ［ｎ］のシーケンス例を示す図である。 対応する和・差信号ｍ［ｎ］、ｓ［ｎ］を生成するために、図１の信号に適用した式１と２による従来のＭ／Ｓ変換の適用を示す図である。 対応する主信号ｍ［ｎ］と残差信号ｓ［ｎ］を生成するために、図１の信号に適用した、式４による回転変換の適用を示す図である。 対応する主信号ｍ［ｎ］と残差信号ｓ［ｎ］を生成するために、式５ないし１５による本発明による複素回転変換の適用を示す図であり、相対的位相及び時間遅延を有する図１の信号に係わらず、残余信号の振幅は比較的小さい。 本発明によるエンコーダを示す概略図である。 本発明によるデコーダの概略図であり、図５のエンコーダと互換である。 数量化ステレオデコーダの概略図である。 本発明によるエンハンス数量化ステレオエンコーダを示す概略図である。 本発明によるエンハンス数量化ステレオデコーダの概略図であり、図９のエンコーダと互換である。

Claims (25)

1. 複数の入力信号を符号化して対応する符号化データを生成する方法であって、前記入力信号はオーディオ信号または画像信号であり、前記対応する符号化データは対応する符号化オーディオデータまたは符号化画像データを含み、
   （ａ）前記入力信号を処理して、前記信号間の相対的な位相差と時間差の少なくとも一方を記述する第１のパラメータを決定し、これらの第１のパラメータを適用して前記入力信号を処理し、対応する中間信号を生成する段階と、
   （ｂ）前記中間信号及び／または前記入力信号を処理し、主信号と残差信号を生成するために必要な前記中間信号の回転を記述する第２のパラメータを決定し、前記主信号の大きさまたはエネルギーは前記残差信号の大きさよりも大きく、これらの第２のパラメータを適用して前記中間信号を処理して、前記主信号と残差信号を生成する段階と、
   （ｃ）前記第１のパラメータと前記第２のパラメータとを量子化し、前記主信号と前記残差信号の少なくとも一部を符号化して、対応する量子化データを生成する段階と、
   （ｄ）前記量子化データを多重化して、前記符号化データを生成する段階と、を有することを特徴とする方法。
2. 請求項１に記載の方法であって、
   前記残差信号の一部のみが前記符号化データに含まれることを特徴とする方法。
3. 請求項２に記載の方法であって、
   前記符号化データは、前記残差信号のどの部分が前記符号化データに含まれているかを示す１つ以上のパラメータも含むことを特徴とする方法。
4. 請求項１に記載の方法であって、
   段階（ａ）と（ｂ）は複素回転により実施され、前記入力信号は周波数領域で表されることを特徴とする方法。
5. 請求項４に記載の方法であって、
   ステップ（ａ）と（ｂ）は、前記入力信号のサブバンドに対して独立に実行されることを特徴とする方法。
6. 請求項５に記載の方法であって、
   前記方法により符号化されない他のサブバンドは、別の対処方法を用いて符号化されることを特徴とする方法。
7. 請求項１に記載の方法であって、
   段階（ｃ）において、前記方法は、前記残差信号にある知覚的に無関係の時間周波数情報を捨てることにより、前記残差信号を操作する段階であって、前記操作された残差信号は前記符号化データに貢献し、前記無関係の情報は前記入力信号のスペクトル時間表現の選択された部分に対応することを特徴とする方法。
8. 請求項１に記載の方法であって、
   段階（ｂ）の前記第２のパラメータは、前記残差信号の大きさまたはエネルギーを最小化することにより、求められることを特徴とする方法。
9. 請求項１に記載の方法であって、
   前記第２のパラメータはチャンネル間強度差パラメータとコヒーレンスパラメータにより表されることを特徴とする方法。
10. 請求項１に記載の方法であって、
    前記第２のパラメータは、回転角αと前記主信号と残差信号のエネルギー比とにより表されることを特徴とする方法。
11. 請求項１に記載の方法であって、
    段階（ｃ）と（ｄ）において、前記符号化データは重要度のレイヤーに配置され、前記レイヤーは前記主信号を搬送するベースレイヤーと、ステレオ分離パラメータに対応する第１及び／または第２のパラメータを含む第１のエンハンスメントレイヤーと、前記残差信号の表示を搬送する第２のエンハンスメントレイヤーとを含むことを特徴とする方法。
12. 請求項１１に記載の方法であって、
    前記第２のエンハンスメントレイヤーは、前記残差信号の最も関係のある時間・周波数情報を搬送する第１のサブレイヤーと、前記残差信号の関係のうすい時間・周波数情報を搬送する第２のサブレイヤーとにさらに分割されることを特徴とする方法。
13. 複数の入力信号を符号化して対応する符号化データを生成するエンコーダであって、前記入力信号はオーディオ信号または画像信号であり、前記対応する符号化データは対応する符号化オーディオデータまたは符号化画像データを含み、
    （ａ）前記入力信号を処理して、前記信号間の相対的な位相差と時間差の少なくとも一方を記述する第１のパラメータを決定する第１の処理手段であって、これらの第１のパラメータを適用して前記入力信号を処理し、対応する中間信号を生成する第１の処理手段と、
    （ｂ）前記中間信号及び／または前記入力信号を処理し、主信号と残差信号を生成するために必要な前記中間信号の回転を記述する第２のパラメータを決定する第２の処理手段であって、前記主信号の大きさまたはエネルギーは前記残差信号の大きさよりも大きく、これらの第２のパラメータを適用して前記中間信号を処理して、前記主信号と残差信号を生成する第２の処理手段と、
    （ｃ）前記第１のパラメータ、前記第２のパラメータ、及び少なくとも主信号と残差信号の一部を量子化し、対応する量子化データを生成する量子化手段と、
    （ｄ）前記量子化データを多重化して、前記符号化データを生成する多重化手段と、を有することを特徴とするエンコーダ。
14. 請求項１３に記載のエンコーダであって、
    前記残差信号にある知覚的に無関係の時間周波数情報を捨てることにより、前記残差信号を操作する処理手段であって、前記操作された残差信号は前記符号化データに貢献し、前記知覚的に無関係の情報は前記入力信号のスペクトル時間表現の選択された部分に対応するところの処理手段を含むことを特徴とするエンコーダ。
15. 請求項１３に記載のエンコーダであって、
    前記残差信号は操作され、符号化され、符号化データに多重化されることを特徴とするエンコーダ。
16. 符号化データを復号して複数の入力信号の対応表現を再生する方法であって、前記入力信号は前記符号化データを生成するために事前に符号化されており、前記入力信号はオーディオ信号または画像信号であり、前記符号化データは対応する符号化オーディオデータまたは符号化画像データを含み、該方法は、
    （ｄ）符号化データをデマルチプレックスして、対応する量子化データを生成する段階と、
    （ｂ）前記量子化データを処理して、対応する第１のパラメータと、第２のパラメータと、少なくとも主信号と残差信号とを生成する段階であって、前記主信号の強さまたはエネルギーは前記残差信号のそれよりも大きいところの段階と、
    （ｃ）第２のパラメータを適用して主信号と残差信号を回転して対応する中間信号を生成する段階と、
    （ｄ）第１のパラメータを適用して前記中間信号を処理して前記入力信号の表示を再生する段階であって、前記第１のパラメータは前記信号間の相対的位相差及び時間差の少なくとも一方を記述するところの段階と、を有することを特徴とする方法。
17. 請求項１６に記載の方法であって、
    段階（ｂ）において、残差信号の失われた時間−周波数情報に主信号から求めた合成残差信号を適宜補足する段階をさらに有することを特徴とする方法。
18. 請求項１６に記載の方法であって、
    前記符号化データは、残差信号のどの部分が符号化データに符号化されているかを示すパラメータを含むことを特徴とする方法。
19. 請求項１６に記載の方法であって、
    前記デコーダは、時間／周波数平面に表されたとき、符号化信号の空いている領域を検出することにより、補足を必要とする符号化信号の部分を復号することを特徴とする方法。
20. 請求項１６に記載の方法であって、
    前記デコーダは、空いている領域を示すデータパラメータを検出することにより、代替または補足を要する符号化信号の部分を復号することを特徴とする方法。
21. 符号化データを復号して複数の入力信号の対応表現を再生するデコーダであって、前記入力信号は前記符号化データを生成するために事前に符号化されており、前記入力信号はオーディオ信号または画像信号であり、前記符号化データは対応する符号化オーディオデータまたは符号化画像データを含み、該デコーダは、
    （ａ）符号化データをデマルチプレックスして、対応する量子化データを生成するデマルチプレックス手段と、
    （ｂ）前記量子化データを処理して、対応する第１のパラメータと、第２のパラメータと、少なくとも主信号と残差信号とを生成する第１の処理手段であって、前記主信号の強さまたはエネルギーは前記残差信号のそれよりも大きいところの手段と、
    （ｃ）第２のパラメータを適用して主信号と残差信号を回転して対応する中間信号を生成する第２の処理手段と、
    （ｄ）第１のパラメータを適用することにより前記中間信号を処理する第３の処理手段であって、前記第１のパラメータは前記信号間の相対的位相差と時間差のうち少なくとも記述するところの手段と、を有することを特徴とするデコーダ。
22. 請求項２１に記載のデコーダであって、
    前記第２の処理手段は、前記復号残差信号から失われた情報を提供するために、前記復号主信号から求めた補完的合成残差信号を生成するように動作可能であることを特徴とするデコーダ。
23. 請求項２２に記載のデコーダであって、
    前記第１の処理手段は、前記残差信号の実質的に全体を生成するために、残差信号の失われた復号されていない部分を合成するために、残差信号のどの部分が復号されたかを決定するように動作可能であることを特徴とするデコーダ。
24. 請求項１に記載の方法をコンピュータハードウェア上で実行するソフトウェア。
25. 請求項１６に記載の方法をコンピュータハードウェア上で実行するソフトウェア。

Images