JP4716777B2 - マルチプルディスクリプション符号化のための可変サポートロバスト変換可変サポートロバスト変換 - Google Patents

Description

本発明は、時間的にコヒーレントなデータの符号化及び復号に関し、詳しくは、このような符号化及び復号のための変換に関する。

この明細書の開示内容の一部は、著作権保護の対象となるマテリアルを含む。著作権所有者は、この明細書が特許商標庁への特許出願であると認められるファックスコピーに対しては異議を唱えないが、この他のあらゆる全ての著作権を主張する。以下の表示は、後述するソフトウェア及びデータ、並びに添付の図面に適用される。：著作権（ｃ）２００３：全ての著作権はソニーエレクトロニクスインク社に帰属する（Copyright (c) 2003, Sony Electronics, Inc., All Rights Reserved）。

通信リンクを介して、例えば、画像又は映像等の時間的にコヒーレントな大量のデータを伝送するためには、通常、ソースデータを符号化する必要がある。符号化処理では、多くの場合、例えば、ウェーブレット変換又は重複離散コサイン変換ＤＣＴ（discrete cosine transform：以下：ＤＣＴという。）等の変換処理を用いて、ソースデータが圧縮される。これらの変換処理は、ソースデータを表す係数を生成する。更に、符号化処理では、ソースデータをサブサンプリングし、チャンネルとも呼ばれる複数のストリームが生成される。各ストリームは、一組のディスクリプションすなわち、パケットを含み、忠実度が低下された元のソースデータの全体を表す。ソースデータは、ディスクリプションを生成する前に圧縮してもよく、或いは、ディスクリプションを生成した後に、ディスクリプションを圧縮してもよい。対応するデコーダには、リンクを介して１つ以上のディスクリプションストリームが送信される。ディスクリプションを生成する処理は、ディスクリプション生成又は「パケット化」とも呼ばれる。なお、ここで用いるパケット／ディスクリプションという用語は、例えば、ＴＣＰ／ＩＰ等の特定のネットワーク伝送プロトコルに基づいて生成されるパケットとは異なる概念を指している。

通信リンクは、信頼性が低い場合もあるので、通常、何らかのエラー回復技術を用いて、伝送の間のディスクリプションの損失又は破壊を回復し、伝送のロバスト性が確保されている。一般的なエラー回復技術としては、再送プロトコル（retransmission protocols）、エラー訂正又はチャンネル符号化、及び補間回復法（interpolation recovery）等がある。再送プロトコルは、遅延を導入し、したがって、実時間アプリケーションでは好ましくない。また、バーストエラーが大量に発生する場合、低いビットコストでのエラー訂正／チャンネル符号化では、十分にデータを保護することができない。補間回復法は、利用可能な周囲のデータから欠落したデータを回復する手法であるが、周囲のデータにも誤りが含まれる場合、能力に限界がある。

多解像度／多層伝送方式では、重要度が低い情報に優先させて、重要度が高い情報（すなわち、低域通過データ又はアンカデータ）を含むディスクリプションを送信する。但し、ディスクリプション／パケットは、ランダムに失われる場合があり、及びネットワークは、パケットの内容に応じて、重要なパケットと重要ではないパケットを区別することはないので、この方式によって実現されるロバスト性にも限界がある。

よりロバストな符号化法（ＭＤ）では、複数のディスクリプションが同等な重要度を有する。各ディスクリプションは、個別に符号化され、ソースデータに関する幾つかの新しい情報を搬送する。ディスクリプションは、原則として、如何なる数のディスクリプション／パケットを受け取っても、これらを用いて有効にソースを再構築できるように、互いに相補的である必要がある。更に、ＭＤ方式は、例えば、優先度をサポートしないネットワーク等、より広範囲の用途サポートする。

従来、ディスクリプション生成と圧縮処理は、別々の処理であるとみなされている。これらの処理の順序及びその処理の詳細は、符号化データの圧縮率とロバスト性の間にトレードオフを生じさせる。図１Ａ及び図ｌＢは、圧縮−ロバスト性特性空間（compression-robustness characterization space）における２つの極値点を示している。

図１に示すシステムＡ１００は、まず、ソースデータ１０１をディスクリプション１０５にパケット化（１０３）し、次に、ディスクリプション１０５を圧縮されたディスクリプション１０９に変換（１０７）する。このように、システムＡ１００は、ディスクリプション境界内で動作する。システムＡ１００は、時間領域において、ディスクリプション生成（サブサンプリング）を行うため、ディスクリプション内の相関は低く、すなわち、ディスクリプション内の隣接する画素は、元の領域においては、より離れた画素に対応し、このため、圧縮エラー率が高くなる（エラーのない信号対雑音比３１．３４ｄＢ）但し、誤りパターンは、個々の画素損失（２５％のディスクリプション損失を反映するパターン１０９参照）であり、したがって、例えば、最小自乗（least squares：ＬＳ）分類フィルタ等を用いる時間領域補間回復法によって回復しやすい。このように、システムＡ１００は、圧縮エラー率は高いが、パケット／ディスクリプション損失からのエラー伝搬が非常に少ない圧縮を提供する。

図ｌＢに示すシステムＢ１２０は、まず、ソースデータ１０１を圧縮されたデータ１２３に変換（１２１）し、圧縮されたデータ１２３を圧縮されたディスクリプション１２９にパケット化（１２７）する。このように、システムＢ１２０は、ディスクリプション境界を越えて動作する。システムＢ１２０は、変換領域においてソースデータの全体を変換／フィルタリングしてディスクリプションを生成するので、非常に低い圧縮エラー率（信号対雑音比３６．１３ｄＢ）を実現し、すなわち、高い画素相関のために、変換／フィルタリングは、非常に有効である。しかしながら、この場合、誤りパターンは、処理が困難である（パターン１３１参照）。ここでは、（重要なアンカ変換データの欠落のために）局所的な強いエラーのホール（strong localized error holes）及びディスクリプション間の変換フィルタをサポートするために、エラーが伝搬している。ディスクリプションの損失からの誤り回復は、チャンネル符号化に強く依存する。変換が重複ブロック変換（lapped block transform）である場合、変換のオーバラップに関連した（変換領域における）何らかの回復の試みが可能な場合もある。このように、システムＢ１２０では、圧縮エラー率を低く抑えることができるが、パケット／ディスクリプション損失からのエラー伝搬が非常に強くなる。

多レベルの変換は、ディスクリプション生成処理及び圧縮のための可変サポートフィルタリングを含む可変サポートフィルタを用いることによって、ソースデータを表すディスクリプションを含む圧縮データを生成する。初期のレベルでは、ソースデータをフィルタリングし、これに続く各レベルでは、先のレベルでフィルタリングされたデータをフィルタリングする。各レベルにおけるディスクリプション割当及びフィルタリングを変更することによって、マルチレベル変換の動作点を変更することができる。各動作点は、それぞれ対応する誤差回復処理を有することができる。１つの側面では、エラー回復処理は、更なるディスクリプションを符号化し、これを誤差を含むディスクリプションデータに結合して、欠落した又は破壊されたディスクリプション内のデータのエラー回復を行う。他の側面では、様々なレベルでディスクリプション生成及び可変サポートフィルタを組み合わせることによって、マルチレベル変換を実現する。

本発明は、様々な範囲のシステム、クライアント、サーバ、方法、及びマシンにより読取可能な媒体に関連して説明される。ここに開示する本発明に基づく側面に加えて、本発明に基づく更なる側面は、添付の図面及び下記の詳細な説明によって明らかになる。

以下、添付の図面を用いて、本発明の実施例を詳細に説明する。添付の図面においては、類似する要素には、類似する参照符号を付す。添付の図面は、本発明を実現する特定の実施例を例示的に示している。これらの実施例については、当業者が本発明を実施することができるよう、詳細に説明するが、この他の実施例も可能であり、本発明の範囲から逸脱することなく、論理的、機械的、電気的、機能的及びこの他の変更を行うことができる。したがって、以下の詳細な説明は、限定的には解釈されず、本発明の範囲は、添付の請求の範囲によってのみ定義される。

図１Ｃは、圧縮及びディスクリプション生成処理を単一の変換処理に併合し、圧縮ロバスト性特性空間（compression-robustness characterization space）において、システムＡ及びシステムＢの符号化データの中間に位置する符号化データを生成するマルチレベル可変サポートロバスト（variable support robust：以下、ＶＳＲという。）変換を示している。ソースデータを圧縮するフィルタは、変換のあらゆるレベルにおいて、ディスクリプション境界内及びディスクリプション境界を跨ぐ可変サポート（variable support）を有し、変換の異なるレベルにおいて、異なるフィルタを用いることができる。各レベル（非相関的性質及び相関的性質の何れを有していてもよい。）におけるフィルタは、それらの可変画素サポート（すなわち、フィルタが作用する画素／データ）によって特徴付けられ、したがって、ディスクリプション生成にリンクされる。各レベルにおいてフィルタリングとディスクリプション生成とをリンクさせることによって、より広いクラスの中間システムを実現することができ、これにより、本明細書において、ＶＳＲ変換の「動作点」とも呼ぶ圧縮及びロバスト性の異なるトレードオフを示す符号化されたデータを生成することができる。各中間システムは、その圧縮及び誤りパターンの特性に固有の回復法に関連付けることができる。例えば、ＶＳＲ変換１４１の動作点の一実施形態は、非常に良好な圧縮エラー率（信号対雑音比３４．９３）及びシステムＡと同様な、誤りパターン（パターン１４５参照）を実現する。ＶＳＲ変換１４１は、全てのレベルにおいて多段平行移動フィルタ（multi-stage lifting filter）を使用し、（圧縮のための）可変サポートフィルタリングと、ディスクリプション生成とを各レベルにおいてリンクする。ディスクリプション損失の回復のために、何回かの中間的逆変換レベルの後の適応時間領域補間と、チャンネル符号化の形式との組合せを使用する。

図２Ａは、本発明の一実施形態に基づく符号化及び復号を用いる伝送システム２００を示している。ソースデータ２０１は、エンコーダ２０３によって符号化され、ネットワーク２０５として示されている通信リンクを介して伝送される。エンコーダ２０３の詳細については、図２Ｂを用いて後に説明する。デコーダ２０７は、受信された符号化データを出力データ２０９に復号する。デコーダ２０７の詳細については、図２Ｃを用いて後に説明する。伝送の間のディスクリプションの損失により、出力データ２０９においてエラーが発生する。したがって、エンコーダ２０３及びデコーダ２０７には、図２Ｄ及び図２Ｅを用いて説明するように、エラー回復技術を組み込むとよい。エンコーダ２０３及び／又はデコーダ２０７は、図６Ｂを用いて後に更に説明するように、汎用コンピュータ装置又はここに説明する機能を実現するように特別に構成された装置によって実現することができる。通信リンクは、公衆回線であってもプライベート接続であってもよく、この接続は、図６Ａを用いて後に更に詳細に説明するように、クライアント−サーバ接続であってもピアツーピア接続であってもよい。

図２Ｂに示すように、エンコーダ２０３は、マルチレベルＶＳＲ符号化変換２２０及びオプションの回復符号化２２９の実施形態を組み込む。符号化レベル１（２２１）においては、ソースデータ２０１をフィルタリングして圧縮する。また、このフィルタリングによって、一組の中間ディスクリプション（intermediate descriptions）にパケット化される予測データ（predictor data）も生成される。圧縮されたデータは、レベル１（２２１）からレベル２（２２３）に渡され、ここで、このデータをフィルタリングし、及び対応する予測データを中間ディスクリプションの他のセットにパケット化する。この処理は、所定の数であるＮ個のレベルに亘って繰り返され、レベルＮ（２２５）は、前のレベルからの中間ディスクリプションと共に、レベルＮ（２２５）からの圧縮データ及び予測データを含む一組の最終的なディスクリプションを出力する。最終的なディスクリプションは、周知の手法と同様に、伝送前に、符号化されたディスクリプション２３１にレート符号化（２２７）される。

図２Ｃに示すデコーダ２０７は、エンコーダ２０３の符号化レベルに対応する復号レベルを用いて、出力データ２０９を生成する。デコーダは、符号化されたディスクリプション２３１を受け取り、これらを画像に結合し、各復号レベルＮ（２３５）、レベル２（２３９）及びレベル１（２４１）は、それぞれに渡されたパケット内のデータに対して、ＶＳＲ符号化変換の対応するレベルの逆の処理を適用する。

図２Ｄに示すように、エンコーダ２０３がオプションの回復符号化器２２９を含む場合、レート符号化器２２７は、第１のレートで最終的なディスクリプションを符号化し、「第１の（primary）」ディスクリプション２５０を生成する。回復符号化器２２９は、各第１のディスクリプション２５０について、ディスクリプションの損失があるものと見なして（ブロック２５１）、変換２２０のレベルＮのＭレベル後に現れる毎に、第１のディスクリプション２５０においてデータの適応的な補間値を生成する（ブロック２５３）。例えば、変換２２０が５つのレベルを含んでいる場合、すなわち、Ｎ＝５である場合、回復符号化器２２９は、最初の２つのレベル、すなわちＭ＝２の後に、第１のディスクリプション２５０の適応的な補間を行うことができる。回復符号化器２２９は、補間推定の誤差信号を生成し（ブロック２５５）、これを第２のレートで符号化して（ブロック２５７）、「第２の（secondary）」ディスクリプション２５２を生成する。各第２のディスクリプション２５２は、１つの特定の第１のディスクリプション２５０に対応している。更に、補間誤差の大きさは、第２のレートでの符号化を減少させるブロック２５５での第１のディスクリプション２５０に対応する予測データを用いることによって低減できる。インタリーブ処理２５９は、第１のディスクリプション２５０及び第２のディスクリプション２５２をインタリーブされたディスクリプション２５４に結合する。各インタリーブされたディスクリプション２５４は、第１のディスクリプション２５０と、異なる第１のディスクリプション２５０に対応する第２のディスクリプション２５２とを含む。図２Ｄに示す一実施形態においては、インタリーブされたディスクリプション２５４は、次の第１のディスクリプション２５０に対応する第２のディスクリプション２５２を含み、最後のインタリーブされたディスクリプション２５４は、ファースト（０）第１のディスクリプション２５０に対応する第２のディスクリプション２５２を含む。この他のインタリーブ方式も容易に想到することができ、これらは本発明の範囲内にある。これにより得られるインタリーブされたディスクリプション２５４は、後に、データストリームとして送信される。特定の動作点のための回復処理の詳細については後述する。

インタリーブされたディスクリプション２５４の伝送エラーを回復するために、デコーダ２０７は、図２Ｃのブロック２３３において、インタリーブされたディスクリプションから第１のディスクリプション２２０を抽出し、これらを画像に結合する。データは、復号レベルＮ〜Ｍを通して処理され、エラー回復処理２３７に送られる。図２Ｅに示すように、エラー回復処理２３７は、Ｍ個の逆変換レベルの後にディスクリプションデータを受け取り（ブロック２６０）、欠落した／誤差を含む第１のディスクリプションに対応する受け取った予測データに基づいて、振幅補間推定を適用し（ブロック２６１）、及び受け取った第１のディスクリプションデータに適応補間フィルタを適用し（ブロック２６３）、欠落した／誤差を含む第１のディスクリプションからデータの推定値を生成する。誤差を含む第１のディスクリプションに対応する第２のディスクリプションデータ２６５は、ブロック２６３の出力に結合され（２６７）、これにより、回復されたディスクリプションデータ２６２が生成される。回復されたディスクリプションデータ２６２は、次の復号レベルに送られる。なお、Ｍの値は、図２Ｂの回復符号化２２９で用いられた値と同じ値を用いる。図２Ｃは、上述の実施例と同じく、Ｍ＝２である場合の処理を示している。

実際には図２Ｂ〜図２Ｅに示す処理は、マシンによって実行可能な命令から構成される１つ以上のプログラムによって実現される。図２Ｂ〜図２Ｅを用いた処理の説明により、当業者は、適切に構成されたマシン（マシンにより読取可能な媒体から命令を実行するマシンのプロセッサ）上の論理ブロックによって表される処理（動作）を実行するための命令を含むプログラムを開発することができる。マシンによって実行可能な命令は、コンピュータプログラミング言語で書いてもく、又はファームウェアロジック又はハードウェア回路で実現してもよい。一般に認知されている標準的なプログラミング言語でこのようなソフトウェアを記述すれば、これらの命令は、様々なハードウェアプラットフォーム上で実行でき、様々なオペレーティングシステムにインタフェースすることができる。なお、ここでは、本発明を特定のプログラミング言語に基づいて説明はしない。ここに開示される本発明の原理は、様々なプログラミング言語で実現できることは明らかである。更に、当分野では、一般的に、動作の実行又は結果の導出を様々な表現（例えば、プログラム、手続、処理、アプリケーション、モジュール、ロジック等）で表す。これらの表現は、コンピュータによってソフトウェアが実行された場合に、コンピュータのプロセッサが所定の動作を実行し、又は結果を得ることを簡略的に示しているに過ぎない。なお、本発明の範囲から逸脱することなく、図２Ｂ〜図２Ｅに示す処理にステップを追加してもよく、幾つかのステップを省略してもよく、また、ここに示すブロックの構成は、処理の順序を限定するものではない。

可変サポートロバスト変換は、ディスクリプション生成及び圧縮動作を結合し、これにより、エラー率が低い圧縮及びパケット損失からの回復の間の均衡が取れた新たな中間システムの生成を可能にする。ＶＳＲ変換に関連して、新たな中間システム用の対応する新たな回復処理も開発できる。包括的に言えば、この対応する回復処理では、上述のように、適応的な補間及び第２のディスクリプションの符号化を結合する。ＶＳＲ変換の実施例によって生成される特定のシステム及び対応する回復アルゴリズムについて、後に更に詳細に説明する。

図３Ａ〜図３Ｇは、例示的なソースデータとしての画像の画素に関するＶＳＲ変換の包括的な構造及び処理を示している。図３Ａ〜図３Ｂに示す変換処理は、３つのレベルを有し、各レベルにおいて、ローパスフィルタリング及びハイパスフィルタリングが適用される。ここでは、標準的な平行移動スキーム（lifting scheme）、すなわち予測に続く標準的な更新と同様に、まず、ローパスフィルタリングを行い、ローパスデータに基づいて、ハイパスデータを生成する。各レベルにおいて、前のレベルからのローパスデータに対してフィルタリング処理を繰り返すことによって、従来のウェーブレット分解を行う。この種類のローパスフィルタリング及びハイパスフィルタリングは、周知であり、ここでは例示的に示しているに過ぎず、本発明を限定するものではない。各出力ディスクリプションは、ＶＳＲ変換の最後のレベルのローパスデータと、各レベルでの対応するハイパスデータとを含む。説明を簡潔にするために、図３Ｂ、図３Ｄ及び図３Ｆでは、データサポート（データを接続する線／矢印）の幾つかの具体例のみを示し、及び動作点によって生成される４つのディスクリプションのみを例示的に示している。ここでは、ローパスのサポートを実線で示し、ハイパスのサポートを点線で示している。また、これにより得られるローパスデータを黒丸で示し、ハイパスデータを白丸で示している。

本発明を明らかにするために、まず、図３Ａを用いて、３レベルの変換の一実施形態における各レベルのフィルタリングを説明し、次に、このフィルタリングを図３Ｂに示すディスクリプション生成の実施例に結合し、フィルタリングサポート及びディスクリプション生成の観点から、図ｌＢのシステムＢに類する動作点を決定する手法を説明する。図３Ｃは、図３Ｂに示す処理によって生成されたディスクリプションの欠落によって生じるエラーパターンを示す。図３Ｄは、図１ＡのシステムＡに類似する出力を生成するＶＳＲ変換の実施例の動作点の処理を示す。図３Ｅは、ディスクリプションの欠落によって生じるエラーパターンを示す。なお、図３Ｂ及び図３Ｄに示す動作点は、ＶＳＲ変換の実施例の２つの特定の具体例を示しているに過ぎない。図３Ｆは、図３Ｂ及び図３Ｄの動作点に対して、圧縮−ロバスト性に関して中間的な出力を生成するＶＳＲ変換の他の実施例の動作点の処理を示す。図３Ｇは、対応するエラーパターンを示している。

まず、図３Ａに示すように、レベル１における第１のローパスデータ点は、前のレベルからの２つデータ点（データ０及びデータ１）を用いる（なお、レベル１の前のレベルは、オリジナル又はソースデータ画素である）。この種類のローパス動作は、同じ重み（すなわち、１／２，１／２平均）を仮定して、前のレベルからの２つのデータ点を含む。同様に、所定のレベルのハイパスデータは、同じレベルからのローパスデータのサポートを有する予測フィルタを含む。ハイパスデータは、前のレベルからのデータ点と、このデータ点の予測値との間の差異を示す。通常、この差異は、小さな信号（すなわち、残差（residual））である。予測フィルタの性能が高いほど、ハイパスデータの値は小さくなる。例えば、レベル１の第１のハイパスデータは、データ点１（前のレベルからの画素）と予測フィルタの間の差異を示す。この実施例の予測は、隣接する２つのローパスデータ点を用いる。この種類の手続は、全ての画素について繰り返される。レベル１に続いて、前のレベルからのローパスデータに関して同じ手続が繰り返される。

図３Ｂに示すＶＳＲ変換の実施例では、ローパスフィルタリング及びハイパスフィルタリングは、システムＢが変換の後にディスクリプションを生成するのと同様に、ディスクリプション境界を全く考慮せずに行われる。したがって、フィルタリングには、常に隣接する画素データが用いられ（これは、圧縮に関しては極めて好ましい）、ハイパスデータのディスクリプション生成は、各レベルにおいて、簡単な順序で行うことができる。ローパスフィルタリングでは、常に、前のレベルからの２つの隣接するデータを用い、ハイパスフィルタリング（具体例を点線で示す。）では、予測のために３つの隣接するローパスデータ点を用いる。ここで、フィルタリングは、ディスクリプション境界を全く考慮することなく、隣接する画素データを用いて実行されるので、単一のディスクリプション損失に対して強いエラー伝搬が生じる。

図３Ｃは、ディスクリプション０の欠落によって生じるエラーパターンを示している。黒色のＸ字状の記号は、ディスクリプション０からの直接損失（direct loss）を示している。なお、直接損失は、全て、ディスクリプション０に組み込まれたハイパスデータ及びディスクリプション０に組み込まれた（最後のレベルの）ローパスデータである。この直接損失は、変換が反転されると、元の時間領域に伝搬される（変換の反転は、最後のレベルからレベル１に向かって順次行われ、これによりハイパス処理及びローパス処理がアンドゥされる）。伝搬された損失は、白抜きの記号（白抜きのＸ字状の記号）で表している。伝搬された損失は、ローパスデータのサポートに由来するが、ハイパスデータからの、より小さな「軽度の」損失も生じる（図示せず）。元の領域における主なエラーパターンは、この伝搬されたローパス損失に起因する。図３Ｃは、時間領域の損失が、８つの（典型的な５レベルの変換では、３２個になる。）連続した画素の破壊を含むことを示している。この種類のエラーパターンは、時間領域における補間法を用いて回復することは非常に難しい。

次に、図３Ｄに示すＶＳＲ変換の実施例を説明する。ここでは、時間領域においてディスクリプションを生成し、変換にフィルタは、上述したシステムＡと同様に、各ディスクリプション内のみに作用する。再び、４つのディスクリプションを仮定し、まず、元のデータの（行方向に沿った）４つ毎の画素をディスクリプションの１つに割り当て（パケット化）、各ディスクリプションをフィルタリングする。このため、ローパスフィルタリング及びハイパスフィルタリングは、４画素分離れたデータ点に関係し、この結果、圧縮率は低下する。しかしながら、図３Ｅに示すように、例えば、ディスクリプション０の欠落に起因するエラー損失パターンは、時間領域内のサブサンプリングされた損失パターンとなり、例えば、４つおきの画素が破壊される。この場合、ローパスフィルタリングは、３つのデータ点をスキップするので、伝搬された損失は、常に、破壊されたデータの間に、利用可能な（エラーのない）データを有する。この結果、この動作点は、例えば、利用可能な隣接しているデータに基づく時間領域の補間等の手法を用いて、非常に良好に回復できる可能性がある。

図３Ｂ及び図３Ｄの動作点は、特定の固定されたフィルタサポート及び変換の全てのレベルにおけるディスクリプション割当を有するようにも見える。しかしながら、ローパス及びハイパスステージのフィルタサポート及び各レベルのディスクリプション割当を変更し、異なるエラー損失パターン及び圧縮エラー率を有するシステムを構築することもできる。図３Ｆに示すＶＳＲ変換の実施例では、１つの画素（又は、ディスクリプション）をスキップしてフィルタリングを行う。ここでも、ローパスフィルタサポートを実線で示し、予測（ハイパス）フィルタサポートを点線で示し、これらは、何れも１つのデータ点をスキップする。図３Ｇは、ＶＳＲ変換のこの特定の実施例から生じる（主な）エラー損失パターンを示している。ローパスフィルタリングは、１つのデータ点をスキップするので、伝搬されたローパス損失の結果生じる時間領域におけるエラーパターンは、システムＡほど好ましくはないが、システムＢよりはるかに好ましいものとなる。また、フィルタリングが１つの画素のみをスキップするため、圧縮性能は、システムＢより僅かに劣るが、システムＡよりはるかに良い。

このように、ＶＳＲ変換は、ディスクリプション境界に対してフィルタサポートを変更し、ハイパスデータのための各レベルにおいてディスクリプション割当を組み込む。図３Ａ〜図３Ｇを用いて説明したＶＳＲ変換では、ソースデータとして画像を用いているが、本発明は、時間的にコヒーレントな他の種類のデータにも適用できることは、当業者にとって明らかである。

次に、ＶＳＲ変換の数学的な詳細について説明する。ここでは、ＶＳＲ変換が更新又はローパスステージに基づく出力と、予測又はハイパスステージに基づく出力の２つの出力を有する実施例を仮定する。また、２個の出力フィルタは、ある種の相関変換であってもよく、この場合、更新及び予測は、ローパスデータ及びハイパスデータに対応していなくてもよい。また、フィルタリング処理の２つの出力は、出力１及び出力２とも呼び、これらは、それぞれ更新（ローパス）、予測（ハイパス）とも呼ばれる。ここでは、単一のレベルのＶＳＲ変換のみを説明する。多レベルのケースでは、同じ手続が第１のレベルからのローパスデータに適用される。ここでは、元のデータをｘ_ｉとし、変換の出力１をｙ_ｉとし、出力２をｚ_ｉとする。２出力の変換の形式は、以下の通りである。

所定のレベルのＶＳＲ変換の表記法及び構造は、以下の通りである。入力データを２つのデータのセットに分割する。

を定義する。

第１のセットは、出力ｙ_ｉであり、第２のセットは、（予測ステージにおいて）推定すべきデータｚ_ｉである。上の変換は、平行移動変換の分割及び更新ステージである。Ａフィルタの出力は、ｔ_{ｉ＝ｅｖｅｎ}＝ｙ_ｉ，ｔ_{ｉ＝ｏｄｄ}＝ｚ_ｉを含む。Ａ_ｉｊの偶数行は、パラメータＬ_ｉｊであり、奇数行は、単に、第２の出力（ハイパス）のために用いられたデータセットを示す。フィルタ行列Ａは、通常、端部に適切な境界制約を有するシステム全体のサイズについて定義される。すなわち、更新フィルタは、多くの場合、一般的な（１／２，１／２）更新に類するブロック型には分類されない重複フィルタである。ここで、変換の各レベルのディスクリプション割当マッピングを以下のように定義する。

ＰＭは、データ点ｔ_ｉをディスクリプション番号にマッピングする（例えば、行に沿って４つのディスクリプションがある場合、行変換に０〜３をマッピングする）。更新データのみについて変換を繰り返す場合、ディスクリプションインデクスは、変換の各レベルにおいて、ハイパスデータのディスクリプション割当を決定する。この場合、最後のレベルを除いて、更新データのためのディスクリプション割当マッピングは、不要である。

ここで、多項式補間によって予測データを生成する場合を検討する。この処理は、残差（residual）を生成するための非常に自然な構造であり、非線形性を組み込み、多項式の次数を適応化できる柔軟性を有する。
多項式補間では、以下の式を用いる。

ここで、ａ_ｋは、多項式係数であり、ｎ_ｉｋ＝｜ｉ｜^ｋである（原点ｉ＝０を基準とする）。フィルタパラメータ｛ｆ_ｊ｝は、以下の式に基づく多項式補間によって決定される。

行列Ａにより、上の式の方程式の解は、フィルタ係数｛ｆ_ｉ｝となる。これは、ｎｘｎ連立方程式：ｌ＝０，１，・・・，ｎ−１である。ここで、インデクスｊの範囲は（５次多項式の場合）以下のようになる。

ここで、ｎは、多項式の次数である。インデックスｊは、ローパスデータ点ｙ_２ｊに用いられ、上に示した固定された（奇数）インデックスｉは、予測点（すなわち、ｚ_ｉ）のインデックスを表す。インデックスｊは、ローパスデータに関する、（予測が行われている）中心点に対するフィルタの適用点である。なお、上述のように、ローパスデータには、偶数のインデックスが付されている。図４は、座標原点における予測を行う５次多項式のための表記法を示す。｛ｊ_ｃ｝は、インデックスの特定の次数／範囲（running）を表している。これは、予測のサポートを定義する。例えば、以下のような３つの実施例が可能である。なお、単一レベルのＶＳＮ変換では、画素のスキップは、ディスクリプションのスキップと同義である。

全てのディスクリプションに亘る予測：５次多項式を仮定すると、ｊインデックスの範囲は、次のようになる。ｊ_ｃ１＝−２，−１，０，１，２。これはシステムＢに類似している。

ディスクリプション内の予測：４つ（各方向に沿って２つ）のディスクリプションの場合、インデックスｊの範囲は次のようになる。ｊ_ｃ２＝−４，−２，０，２，４（すなわち、各方向に沿って１つのディスクリプションをスキップする）。１６個のディスクリプションの場合、インデックスｊの範囲は次のようになる。ｊ_ｃ３＝−８，−４，０，４，８（すなわち、各方向に沿って３個の画素／ディスクリプションをスキップする）。これはシステムＡに類似している。

ディスクリプション割当に関する選択的な予測：例えば、１６個のディスクリプションを含む中間的状態では、インデックスｊの範囲は次のようになる。ｊ_ｃ３＝−４，−２，０，２，４。この場合、予測のために、１つおきの画素／ディスクリプションがスキップされる。

上の変換係数（すなわち、行列Ａ）の制約条件は、行列Ａが可逆行列である必要があるということである。行列Ａは、以下に示す特別な条件下では、常に可逆行列である。

・奇数行ｉについて：（ハイパスデータの位置を示す）１つの列以外のＡ_ｉｋは、ゼロである。

・偶数行ｉについて：検討される更新画素のためのインデックス及び奇数ｉについてゼロではないＡ_ｉｋを有する他の列ｋ（すなわち、ハイパスデータ）を除いて、Ａ_ｉｋは、ゼロである。

上の多項式予測は、更新データのみの関数であるので、行列Ａのこれらの制約は、単に、平行移動変換における通常の更新予測ステップに必要な条件である。

また、線形位相制約条件を満たすことも望ましい。上の式７は、次のように書き換えることができる。

図４に示すように、ｋの総和は、元のデータインデックス点上にある。線形位相制約条件は、以下のような条件である。

この条件は、上述した変換（式８）から生成される全ての状態について、満たされるというわけではない。奇数ｉについて、Ａ_ｉｋ＝σ_ｉｋである（すなわち、予測点が単に元のデータからサブサンプリングされた点である）通常の状況では、制約条件は、次のようになる。

多項式予測を含む上述した隣接する（１／２，１／２）更新は、この線形位相制約条件を満たす。

要約すれば、ＶＳＲ変換には、以下のような特徴がある。固定されたディスクリプション数について、変換は、以下によって特徴付けられる。

・行列Ａに含まれるローパスフィルタパラメータ（偶数行は、更新／ローパスステージである）。これらのパラメータは、主要な（ローパス）エラー損失の拡散、及びディスクリプション内に又はディスクリプション間に亘ってエラーが含まれるか否かを決定する。

・ディスクリプション割当は、変換の各レベルにおいて行われる。

・ディスクリプション割当に対して、予測の範囲又はサポートを指定する集合｛Ｊｃ｝。これにより、ディスクリプション境界内又はディスクリプション境界に亘って、（軽度（soft））のエラーが広がるか否かが制御される。

・多項式フィルタの次数。この次数は、ローカルで容易に変更することができ、これにより、予測性能（すなわち、圧縮）を向上させることができ、又はエラー伝搬を制御することができる（すなわち、フィルタを非常に短くすれば、エラーの拡散の程度を低減でき、フィルタを長くすれば、より正確な予測を導き出すことができるが、ディスクリプションが欠落した場合、より多くのエラーが広がる）。

上述した数学的解析は、単一のレベルのためのものである。多レベルの変換では、この処理をローパスデータに対して繰り返す。各レベルにおいて、可変サポート変換の全ての特性、（すなわち、ディスクリプション割当、平均化フィルタ及びハイパスフィルタのサポート、補間器のオーダ）を変更することができる。また、これらのパラメータの適応可能性には、例えば、エラーのない圧縮及びディスクリプション／パケット損失条件に対するロバスト性の両方を組み合わせた何らかの共通尺度（joint measure）に関するパラメータの適応化を組み込むこともできる。定義された共通尺度を満足させる動作点を求めるために、パラメータの様々な組合せを自動的に生成し、検査することができる。プロセッサ上でこのような自動生成及び検査を実行する手法は、ここには示さないが、当業者は、容易にこれを理解し、実現することができる。

以下では、単一のレベルＶＳＲ変換に関連させて、１６個ディスクリプションを用いる例示的なシステムを説明する。この処理は、予測サポート｛ｊ_ｃ｝と、（ローパスフィルタのサポート及びハイパスステージのために推定すべきデータを含む）行列Ａとによって特徴付けられる。次に、以下に示す５レベルのＶＳＲ変換に関する例示的なケースの組合せを用いて、異なるシステムを説明する。なお、上述のように、単一のレベルの変換では、ローパス（更新）フィルタ又はハイパス（予測）フィルタのサポート内の画素をスキップすることは、ディスクリプションをスキップすることと同じである。

ケース１では、３つのディスクリプションをスキップし、すなわち、ｊ_ｃ＝・・・，−８，−４，０，４，８，・・・である。更新は、４画素／ディスクリプション分離れた点の平均値を用いる。フィルタ行列Ａを表１に示す。このシステムでは、フィルタのサポートが単一のディスクリプション内に完全に含まれているので、ロバスト性が良好であるが、圧縮性能は低い。これは上述したシステムＡと同様である。

ケース２では、隣接するデータに対して更新及び予測を行う。すなわち、ｊ_ｃ＝・・・，−２，−１，０，１，２，・・・（予測は、全ての点を含む。）であり、行列Ａは、表２に示す通りである。このシステムは、ディスクリプション境界を越えて広がる予測及び更新フィルタを含み、したがって、良好な圧縮を実現できるが、エラーが伝搬しやすくなる。これは、上述したシステムＢと同様である。

以下、システムＣと呼ぶケース３では、ｊ_ｃ＝・・・，−４，−２，０，２，４，・・・とし、予測は、１つおきのディスクリプションを用いて実行され（すなわち、１つおきにディスクリプションをスキップする）、更新／ローパスは、同じ重みで、ディスクリプションを越えて広がる（但し、１つおきにディスクリプションをスキップする）。この場合の行列Ａを表３に示す。これは、圧縮−ロバスト性特性空間において、システムＡとシステムＢの間に位置する中間システムである。

以下、システムＤと呼ぶケース４では、ｊ_ｃ＝・・・，−２，−１，０，１，２，・・・とし、予測は、ディスクリプションを越えて行われ（全てのディスクリプションが含まれる。）、更新は、ディスクリプションを越えて広がる（但し、１つおきにディスクリプションをスキップする）。この場合の行列Ａを表４に示す。中間システムでは、予測及び更新を互いに、より慎重に調整する必要がある。この実施例では、等しくない重み０．７５／０．２５を用いて、ローパスデータ点をより均等に拡散させ、より対称性が高い（但し、線形位相を有さない）予測フィルタを実現している。

以下、システムＥと呼ぶケース５では、ｊ_ｃ＝・・・，−４，−２，０，２，４，・・・とし、予測は、１つおきのディスクリプションをスキップし、更新は、ディスクリプションを越えて行われる。この場合の行列Ａを表５に示す。予測が１つおきのディスクリプションをスキップすることによって、エラーが広がり、より信頼度が高い回復が実現する。

以下、システムＦと呼ぶケース６では、ｊ_ｃ＝・・・，−４，−２，０，２，４，・・・とし、予測は、１つおきのディスクリプションを用いて実行され（すなわち、１つおきにディスクリプションをスキップする）、更新は、同じ重みでディスクリプションを越えて広がる重複フィルタである。この場合の行列Ａを表６に示す。この場合、（ケース２のような）（０．５，０．５）更新を用いた場合に比べて、圧縮エラー率は低下するが、更新の重複的性質により、欠落したローパスデータの補間性能が向上する。

Ａ、Ｂ、Ｃ、Ｄ、Ｅのラベルを付した上述のシステムは、更新（ローパス）フィルタのサポート及び予測（ハイパスのための）フィルタのサポートを特徴付けるものである。ＶＳＲ変換の各レベルにおいて、フィルタのサポートを変更することによって（これに加えて、ディスクリプション割当、及び多項式の次数を変更してもよい。）、圧縮及びロバスト性のトレードオフに関してより有利な、異なる中間システムを生成することができる。上述した、単一のレベルのシステムＡ、Ｂ、Ｃ、Ｄ、Ｅを組み合わせて、多レベルのＶＳＲ変換の各レベルにおける処理を変更することにより、様々なシステムを実現することができる。５レベルのＶＳＲ変換を用いる５つの例示的なシステムの無エラーのＳＮ比（信号／雑音比）と、システムＡ及びシステムＢのレベルのみを組み込んだ５レベルのＶＳＲ変換の無エラーのＳＮ比とを比較して以下の表に示す。このＳＮ比の結果は、図ｌＡ〜図１Ｃに示すピクチャを１６個のディスクリプションについて、０．５ｂｐｐ（ビット／画素）の符号化レートで変換した結果に基づいている。

上の第１の表によって表されている動作点ＢＢＣＣＡＡは、良好な圧縮及びエラーパターン（回復可能性）を提供する。良好な圧縮エラー率（３４．９２）及びディスクリプション損失の回復可能性を有する５レベルのＢＢＣＡＡ動作点に対応する回復符号化について、図５Ａ〜図５Ｃを用いて説明する。ＢＢＣＡＡ動作点は、以下のように特徴付けられる。

１．変換の第１及び第２のレベルでは、（ローパス及びハイパス）フィルタリングは、（システムと同様に）ディスクリプション境界を越えて作用する。

２．後続する変換レベルでは、フィルタのサポートは、エラー拡散を含むように画素位置／ディスクリプションをスキップし、ディスクリプションのみに作用する。

３．レベル３では、更新／ローパスステージ及び予測が１つのディスクリプションをスキップする、すなわち上述したシステムＣであるという意味において、中間的な更新（ローパス）を用いる。

４．高いレベルの変換では、多項式フィルタの次数は、小さく（１又は３）、したがって、予測は、基本的に、ディスクリプション境界内に含まれる。最初の２つのレベルでは、変換のフィルタは、より長く（７つのタップを有する。）ディスクリプションを越えて広がる。

５．ハイパスデータへのディスクリプション割当は、レベル２におけるローパスデータのディスクリプション割当からのオフセットによって設定される。

図５Ａは、水平方向に４つディスクリプション／パケットを有するＢＢＣＡＡシステムを示している。各レベルにおいて、図３Ａ〜図３Ｆに示すデータ点を接続する線は、ローパスフィルタリングを示している。説明を簡潔にするために、ハイパスフィルタのためのフィルタリングサポートは、図には示していない。なお、最初の２つのレベルは、隣接するデータに基づく更新／ローパスを使用し、すなわち、更新は、如何なるディスクリプションもスキップしない。これは、図３Ｂに示すシステムＢの処理である。レベル３では、更新は、１つのローパスデータ点をスキップし、本質的には、上述した図３Ｅに示すシステムＣと同様に、１つのディスクリプションをスキップする。最後の２つのレベルでは、更新は、ローパスデータ点をスキップし、すなわち、システムＡと同様に、全てのフィルタリングがディスクリプション内で行われる（図３Ｄ）。なお、図５Ａでは、レベル５の一部のみを示している。

この処理に対応する主なエラー損失パターンを図５Ｂに示す。ここでは、単一のディスクリプション損失（ディスクリプション０）について検討する。ＢＢＣＡＡ動作点のための変換では、中間レベル（レベル２のローパスデータ）において、損失パターンは、画素ベースであり、したがって、破壊された各ローパスデータには、常に、それぞれ幾つかの利用可能なエラーのないデータが隣接している。隣接しているデータは、次のような理由からエラーを含まない。（１）レベル４及びレベル５では、全てのフィルタリングは、ディスクリプション内で行われる（したがって、復号時に、レベル５及びレベル４を逆にしたとき、ディスクリプションを越えてエラーが広がる可能性は全くない）。（２）レベル３のローパスは、システムＣと同様に、１つのディスクリプションをスキップする。更に、レベル３のための予測は、非常に短く、レベル３とレベル２を逆にしたとき、レベル３からレベル２にエラーが広がることもない。一方、逆の変換を行う場合、レベル２からレベル１に、及びレベル１から元の領域には、強いエラーの拡散が引き起こる。これは、変換の最初の２つのレベルでは、全てのフィルタリングが、システムＢと同様に、ディスクリプション境界を越えて実行されているためである。図５Ｂの一番上の列は、時間領域における最終的な主な損失パターンを示している。

ＢＢＣＡＡ変換のエラー伝搬の特性に注目すれば、良好な回復を実現するために重要なことは、レベル２、すなわち、復号時に、レベルを逆にした３回の変換を行った後に、ローパスデータを回復することである。上述のように、レベル２のエラー損失パターンは、画素ベースであり、すなわち、隣接する画素データを利用することができ、したがって、何らかの補間回復法が有効である。このデータを正確に補間できれば、元の領域に残るエラーの影響は、レベル１及びレベル２におけるハイパス損失のみであり、この影響は小さい。また、レベル２におけるハイパスデータのディスクリプション割当は、図５Ｃに示すように、レベル１に対してシフトされる。このシフティングにより、回復自体において、欠落したローパスデータに対応するハイパス情報を使用することができる。単一のディスクリプション／パケット損失を仮定すると、シフトされたハイパス損失は、対応するローパスデータが他のディスクリプションに属するので、それ程目立たない。

ＢＢＣＡＡ変換のための特定の回復アルゴリズムは、中間レベルにおいて、ローパスデータ（図５Ａのレベル２におけるローパスデータ）を補間する適応的な補間を用いる。すなわち３回の逆変換の後に、上述のように、画素ベースの欠落したデータは、補間される。補間処理では、回復のために３つのクラスのうちの１つを用いる。３つのクラスとは、均一（uniform：以下、Ｕとする。）、水平（horizontal：以下、Ｈとする。）、垂直（vertical：以下、Ｖとする）の３つである。換言すれば補間は、最も近くに隣接する、利用可能なエラーのないデータを用いる。例えば、Ｕ＝（１／４，１／４，１／４，１／４）、Ｈ＝（２／１，２／１）、Ｖ＝（２／１，２／１）とする。これについては、後に更に詳細に説明する。より複雑な分類法を用いてもよい。この適応的な補間は、復号の間、ＢＢＣＡＡの３つの逆変換の後に、欠落したローパスデータの補間誤差を生成する。

補間誤差推定値、すなわち、正しいデータと、補間されたデータとの間の差異は、より低いレートで符号化される。この第２の種類の符号化データ（第２のディスクリプション）は、隣接する第１のディスクリプションとともにパッケージ化され、不連続のディスクリプション／パケット損失が連続していないと仮定することにより、デコーダは、第２のディスクリプションを利用することができる。これは、チャンネル符号化の一種である
図５Ａを用いて説明したように、レベル２におけるハイパスのディスクリプション割当は、オフセットによって実行され、このため、失われたローパスデータに対応するハイパスデータが利用可能である。これを用いて、補間誤差の振幅を推定することができる。フィルタは、図５Ｃに示すように、失われたローパスデータに対応するハイパスデータに中心を揃えられる。フィルタは、補間誤差の実際の振幅によってトレーニングされたＬＳ（最小自乗）フィルタであってもよく、ＬＳフィルタは、幾つかのクラスを用いてもよい。これらの係数は、ローパスデータに基づく線形推定／補間から生成されるので、ハイパスデータに対する補間誤差にある種の相関性を予想することは適切である。利用可能なハイパスデータを用いて補間誤差の振幅が減少できるとすると、第２の符号化は、本質的に僅かな補間誤差を含むのみとなり、符号化される情報量も小さくなる。

再び図２Ｂ〜図２Ｅを用いて、ＢＢＣＡＡシステムから欠落したディスクリプションを回復するためにエンコーダ及びデコーダを介して行われるデータ処理について説明する。まず、図２Ｂ及び図２Ｄに示すように、エンコーダは、入力画像を受け取り、ＶＳＲ変換２２０を適用し、動作点ＢＢＣＡＡを生成する。ディスクリプションは、ある第１のレートで符号化される（ブロック２２７）。エンコーダは、各ディスクリプションについて、伝送ブロック２５１においてディスクリプションが欠落したと仮定し、その欠落したディスクリプションについて、符号化データに対して、最後の３つのレベルの逆変換を適用する回復処理と、レベル２において失われたアンカ（ローパス）データを回復するための適応的な補間処理（ブロック２５３）とを実行する。ブロック２５５では、欠落したディスクリプションに対応するアンカデータのための補間誤差信号を構築する。補間誤差信号は、正しい（エラーのない）データから補間されたデータを減算して得られる信号である。最も近くの利用可能なハイパスデータにフィルタを適用することによって、誤差信号の振幅を更に小さくすることができる。ブロック２５７では、最終的な誤差信号（より小さい情報のディスクリプション／パケット）をより低いレートで符号化し、これにより、第２のディスクリプションを生成する。ブロック２５９では、デコーダへの伝送のため、所定のディスクリプションに対応する第２のディスクリプションを隣接する１つの第１のディスクリプションとともにグループ化する。したがって、所定の単一のディスクリプション損失条件下では、デコーダ側では、その損失のための誤差信号を利用することができる。

図２Ｃ及び図２Ｅに示すように、デコーダは、パケットストリーム、すなわち、複数のディスクリプション２３１を受け取り、第１のディスクリプションをフルサイズ画像に結合する（ブロック２３３）。逆変換は３つのレベル間、すなわちレベル５からレベル４、レベル４からレベル３、及びレベル３からレベル２について実行される。デコーダは、ブロック２３７において、失われたアンカデータの推定を実行する。ここでは、エンコーダと同様の手続に従う。ブロック２６１では、振幅を推定し、ブロック２６３では、同じ量子化データ及びクラスに基づく適応的な補間を適用する。欠落したデータの推定値は、誤差信号の符号化データを含む受信された第２の符号化データ２６５に結合される（２６７）。これに続いて、残る２つの逆変換レベルを適用する（ブロック２３９、２４１）。

上述した回復処理の特定の実施例は、チャンネル符号化のある形式（誤差信号の第２の符号化）に対する適応的な補間の最適な組合せを選択することによって、両方の回復処理の長所を組み合わせるように構成される。

周知のように、ローパス（アンカ）データのための適応的な補間では、クラス情報の選択が必要となる。欠落したデータの補間は、逆変換の中間レベルにおいて（３レベルの逆変換の後に）実行される。ＢＢＣＡＡ変換は、単一画素のエラー損失がこの中間レベルだけに発生するように選択される。欠落したデータは、１次又は２次の多項式補間を用いて補間できる。１次とは、単に（１／２，１／２）である。３つのクラスＵ、Ｈ、Ｖは、以下のように、復号／量子化されたデータに基づいて選択される。なお、Ｈは、ｉに沿った方向を表し、Ｖは、ｊに沿った方向を表している。

２つの閾値（Ｔ１，Ｔ２）は、補間誤差を最小化することによって選択される（これは、デコーダに送られる副次的情報である）。上述のクラスの選択では、エッジがある場合、エッジに沿って推定／補間を行い、エッジがない場合、一定の平均（uniform average）を選択する。

上述したように、回復処理では、復号の中間レベルにおいて、適応的な補間を用いて、失われたアンカデータを回復する。補間された信号からエラーのない（正しい）データを引いた誤差信号は、（より低い）第２のレートで符号化される。エラーのないケース（ディスクリプション損失なし）及び１６個のディスクリプションのうち１つの損失（１／１６又は２５％の損失）によるエラーを回復したケースについてのＳＮ比を以下に示す。この表７は、第１の符号化と第２の符号化の様々な組合せの結果を示している。

第１の符号化（０．５，０．０）のみが変換の中間レベルで回復処理に適応的な補間のみを用いる。この結果は、より最適なシステムを得るために、パラメータを調整できること、すなわち、適応的な補間と、第２の／チャンネル符号化の組合せを調整できることを示している。例えば、（０．４７，０．０３）では、エラーのないデータと、１／１６の損失を回復したデータとの間の差が最も小さく、多くの場合、組合せの調整は、画質に基づいて行われる。上述のように、周知のシステムＡ及びシステムＢにおける結果は、以下の通りである。

・システムＡ：ＳＮ比（エラーなし）＝２６．５。良好な回復が期待される。

システムＢ：ＳＮ比（エラーなし）＝３５．８。エラー伝搬が強い（回復の可能性に乏しい）。

したがって、ＢＢＣＡＡシステムは、特に、適応的な補間のためのクラスに対応し、又は誤差信号の第２の符号化を最適化するといった試み全くない場合に比べて、良好に動作する。これらの処理は、何れも本発明に基づく範囲内にあるオプションである。

以下、図６Ａ及び図６Ｂを用いて、上述した、本発明に基づく処理を実行するのに適当なコンピュータハードウェア及び他の処理コンポーネントに関する説明を行うが、これは、適用可能な環境を制限するものではない。携帯端末、マルチプロセッサシステム、マイクロプロセッサベースの又はプログラム可能な民生用電子機器、ネットワークパーソナルコンピュータ、ミニコンピュータ、メインフレームコンピュータ等を含む他のコンピュータシステム構成によっても本発明を実現できることは、当業者にとって明らかである。更に、本発明は、例えばピアツーピアネットワークインフラストラクチャ等、通信ネットワークを介してリンクされたリモートの処理装置によってタスクが実行される分散型コンピュータシステム環境によっても実現することができる。

図６Ａは、インターネット等のネットワーク３を介して接続された幾つかのコンピュータ装置１を示している。ここに用いる用語「インターネット」とは、例えば、ＴＣＰ／ＩＰプロトコル、及びワールドワイドウェブ（ｗｅｂ）を構成するハイパーテキストマークアップ言語（hypertext markup language：ＨＴＭＬ）文書のためのハイパーテキスト転送プロトコル（hypertext transfer protocol：ＨＴＴＰ）等の他のプロトコルを始めとする任意のプロトコルを用いるネットワークのネットワークを示している。インターネットの物理的接続及びプロトコル、インターネットの通信プロトコルは、当業者に周知の技術である。インターネット３へのアクセスは、例えば、ＩＳＰ５、７等のインターネットサービスプロバイダ（Internet service provider：以下、ＩＳＰという。）によって提供される。例えば、クライアントコンピュータシステム２１、２５、３５、３７等のクライアントシステム上のユーザは、ＩＳＰ５、７等のインターネットサービスプロバイダを介して、インターネットにアクセスする。クライアントコンピュータシステムのユーザは、インターネットにアクセスすることにより、情報を交換し、電子メールを送受信し、例えば、ＨＴＭＬフォーマットで作成された文書等の文書を閲覧することができる。これらの文書は、多くの場合、インターネット「上」にあるとみなされるウェブサーバ、例えば、ウェブサーバ９によって提供される。当分野において周知の通り、ＩＳＰではないコンピュータ装置をセットアップし、インターネットに接続することもできるが、これらのウェブサーバは、多くの場合、ＩＳＰ、例えば、ＩＳＰ５によって提供される。

ウェブサーバ９は、多くの場合、ワールドワイドウェブのプロトコルに基づいて、サーバコンピュータシステムとして動作するように構成され、インターネットに連結された少なくとも１つのコンピュータ装置である。これに代えて、ウェブサーバ９は、クライアントシステムにインターネットへのアクセスを提供するＩＳＰの一部であってもよい。ウェブサーバ９は、サーバコンピュータシステム１１に接続され、サーバコンピュータシステム１１は、メディアデータベースの形式のウェブコンテンツ１０に接続される。なお、図６Ａには、２つのコンピュータ装置９、１１を示しているが、ウェブサーバシステム９及びサーバコンピュータシステム１１は、ウェブサーバ機能及び、以下に詳細に説明するように、サーバコンピュータシステム１１によって提供されるサーバ機能を提供する異なるソフトウェアコンポーネントを有する１つのコンピュータ装置であってもよよい。

クライアントコンピュータシステム２１、２５、３５、３７は、それぞれ、適切なウェブブラウザを有し、ウェブサーバ９が提供するＨＴＭＬページを閲覧することができる。ＩＳＰ５により、クライアントコンピュータシステム２１は、クライアントコンピュータシステム２１の一部であるモデムインタフェース２３を介して、インターネットに接続することができる。クライアントコンピュータシステムは、パーソナルコンピュータシステム、ネットワークコンピュータ、ウェブテレビジョンシステム、携帯型機器、又はこの他のコンピュータ装置の何れであってもよい。同様に、これらの３つのコンピュータ装置（クライアントシステム２５、３５、３７）は、ＩＳＰ７により、インターネットに接続することができるが、図６Ａに示すように、これらは、異なる手法でインターネットに接続してもよい。すなわち、クライアントコンピュータシステム２５は、モデムインタフェース２７を介して接続され、クライアントコンピュータシステム３５、３７は、ＬＡＮの一部である。図６Ａでは、インタフェース２３、２７を包括的にモデムとして示しているが、これらのインタフェース２３、２７は、アナログモデム、ＩＳＤＮモデム、ケーブルモデム、衛星通信インタフェース、又はコンピュータシステムを他のコンピュータシステムに接続するための他のインタフェースの何れであってもよい。クライアントコンピュータシステム３５、３７は、ネットワークインタフェース３９、４１を介してＬＡＮ３３に接続される。ネットワークインタフェース３９、４１は、イーサネット（登録商標）ネットワークであってもよく、この他のネットワークインタフェースであってもよい。また、ＬＡＮ３３は、ファイアウォール及びローカルエリアネットワークのためのこの他のインターネット関連のサービスを提供するゲートウェイコンピュータシステム３１にも接続されている。このゲートウェイコンピュータシステム３１は、ＩＳＰ７に接続され、これによりクライアントコンピュータシステム３５、３７は、インターネットに接続することができる。ゲートウェイコンピュータシステム３１は、従来のサーバコンピュータシステムであってもよい。またウェブサーバシステム９は、従来のサーバコンピュータシステムであってもよい。

これに代えて、周知の通り、ネットワークインタフェース４５を介して、サーバコンピュータシステム４３をＬＡＮ３３に直接接続し、ゲートウェイシステム３１を介してインターネットに接続することなく、クライアント３５、３７にファイル４７及び他のサービスを提供してもよい。更に、ＬＡＮ３３、インターネット３又は通信媒体としてのこれらの組合せを用いたピアツーピアシステムを介して、クライアントシステム２１、２５、３５、３７の任意の組合せを互いに接続してもよい。一般に、ピアツーピアシステムでは、中央サーバ又はサーバを用いることなく、複数のマシンのネットワークに亘って、ストレージ及び検索のためにデータを配信する。したがって、各ピアには、上述したクライアント及びサーバの両方の機能を組み込んでもよい。

図６Ｂは、クライアントコンピュータシステム、サーバコンピュータシステム又はウェブサーバシステムとして用いることができる周知のコンピュータ装置の構成を示している。更に、このようなコンピュータ装置を用いて、ＩＳＰ５等のインターネットサービスプロバイダの機能を実現することもできる。コンピュータ装置５１は、モデム又はネットワークインタフェース５３を介して、外部のシステムに接続される。なお、モデム又はネットワークインタフェース５３は、コンピュータ装置５１の一部であるとみなすこともできる。インタフェース５３は、アナログモデム、ＩＳＤＮモデム、ケーブルモデム、トークンリングインタフェース、衛星通信インタフェース、又はコンピュータシステムを他のコンピュータ装置に接続するための他のインタフェースの何れであってもよい。コンピュータ装置５１は、処理ユニット５５を備え、処理ユニット５５は、例えば、インテル社（Intel）のペンティアム（登録商標）（Pentium（登録商標））マイクロプロセッサ、モトローラ社（Motorola）のパワーＰＣマイクロプロセッサ（Power PC microprocessor）等の周知のマイクロプロセッサであってもよい。メモリ５９は、バス５７を介してプロセッサ５５に接続されている。メモリ５９は、ダイナミックＲＡＭ（ＤＲＡＭ）であってもよく、スタティックＲＡＭ（ＳＲＡＭ）であってもよい。バス５７は、プロセッサ５５と、メモリ５９と、不揮発性記憶装置６５と、ディスプレイ制御装置６１と、入出力（Ｉ／Ｏ）コントローラ６７とにも接続されている。ディスプレイ制御装置６１は、例えば陰極線管（cathode ray tube：ＣＲＴ）、液晶表示装置（liquid crystal display：ＬＣＤ）等のディスプレイデバイス６３の画面を周知の手法で制御する。入出力装置６９は、キーボード、ディスクドライブ、プリンタ、スキャナ及びマウス又は他のポインティング装置を備えるこの他の入出力装置を含む。ディスプレイ制御装置６１及びＩ／Ｏコントローラ６７は、周知の技術に基づいて実現することができる。デジタル画像入力装置７１は、入出力コントローラ６７に接続されたデジタルカメラであってもよく、この場合、デジタルカメラからの画像は、入出力コントローラ６７を介して、コンピュータ装置５１に供給される。不揮発性記憶装置６５は、多くの場合、磁気ハードディスク、光ディスク又は大量のデータをストレージするための他の形式の媒体である。これらのデータは、通常、コンピュータ装置５１におけいてソフトウェアが実行されている間、ダイレクトメモリアクセス処理によってメモリ５９に書き込まれる。「コンピュータにより読取可能な媒体」及び「マシンにより読取可能な媒体」という用語には、プロセッサ５５によってアクセス可能なあらゆる種類の記録媒体だけではなく及びデータ信号をエンコードした搬送波等も含まれることは当業者にとって明らかである。

なお、コンピュータ装置５１は、異なるアーキテクチャを有する様々な可能なコンピュータ装置の一例に過ぎない。例えば、インテルマイクロプロセッサに基づくパーソナルコンピュータは、多くの場合、周辺機器への入出力（入出力）バスや、プロセッサ５５及びメモリ５９を直接接続するバス（メモリバスとも呼ばれる）を始めとする複数のバスを有する。バスは、異なるバスプロトコル間で必要な変換を実行するブリッジコンポーネントを介して、相互に接続される。

本発明では、他の種類のコンピュータ装置として、ネットワークコンピュータを用いてもよい。通常、ネットワークコンピュータは、ハードディスク又はこの他の大容量記憶媒体を備えておらず、実行可能なプログラムは、ネットワーク接続からメモリ５９にロードされ、プロセッサ５５によって実行される。当分野において周知のウェブテレビジョンシステムも本発明に基づくコンピュータ装置であるとみなすことができるが、ウェブテレビジョンシステムは、例えば、入力装置又は出力装置等、図６Ｂに示す要素の一部を有していない場合もある。一般的なコンピュータ装置は、通常、少なくともプロセッサと、メモリと、プロセッサをメモリに接続するバスとを備える。

更に、コンピュータ装置５１は、例えば、オペレーティングシステムソフトウェアの一部であるディスクオペレーティングシステム等のファイル管理システムを備えるオペレーティングシステムソフトウェアによって制御される。関連ファイル管理システムソフトウェアを有するオペレーティングシステムソフトウェアの一例として、ワシントン州レッドモンド（Redmond, Washington）のマイクロソフト社（Microsoft Corporation）から市販されているウィンドウズ（登録商標）（Windows（登録商標））のファミリであるオペレーティングシステム及びこれらの関連ファイル管理システムがある。ファイル管理システムは、通常、不揮発性メモリ６５に格納され、データを入出力し、メモリにデータを保存し、例えば、不揮発性メモリ６５にファイルを格納する等、オペレーティングシステムが必要とする様々な動作をプロセッサ５５に実行させる。

様々な圧縮−ロバスト性特性を示す動作点を用いて、圧縮及びディスクリプション生成処理を単一の変換処理に併合するマルチプルディスクリプション符号化のための可変サポートロバスト変換を説明した。ここでは、特定の実施例を示したが、ここに示した特定の実施例に代えて、同じ目的を達成する如何なる構成を用いてもよいことは当業者にとって明らかである。したがって、本出願は、本発明のあらゆる適応例及び変形例を包含するものとする。

例えば、本発明は、如何なる種類の時間的にコヒーレントなデータにも適用可能であり、ここでは、説明を明瞭にするために画像データを用いたのみであり、本発明の範囲は、これに限定されるものではないことは当業者にとって明らかである。更に、本発明に基づくエンコーダ及びデコーダ間の通信リンクは、マシンにより読取可能な媒体に記録されたデータの物理的な移動を含む如何なる伝送媒体を用いてもよいことは当業者にとって明らかである。したがって、本発明は、添付の請求の範囲及びその等価物によってのみ制限される。

従来の符号化システム及びこれにより得られる主なエラーパターンを示す図である。 従来の符号化システム及びこれにより得られる主なエラーパターンを示す図である。 本発明に基づく変換の一実施例に基づく符号化システム及びこれにより得られるエラーパターンを示す図である。 符号化データ伝送に関するシステムレベルの概要を示す図である。 図２Ａに示すエンコーダの処理の一例を示すフローチャートである。 図２Ａに示すデコーダの処理の一例を示すフローチャートである。 図２Ｂに示すエンコーダによってオプションとして実行される回復符号化処理の一例を示すフローチャートである。 図２Ｃに示すデコーダによってオプションとして実行されるエラー回復処理の一例を示すフローチャートである。 変換の代替例を説明する図である。 変換の代替例を説明する図である。 変換の代替例を説明する図である。 変換の代替例を説明する図である。 変換の代替例を説明する図である。 変換の代替例を説明する図である。 変換の代替例を説明する図である。 本発明の実施例の説明に用いる表記法を示す図である。 本発明の更なる代替例における処理を説明する図である。 本発明の更なる代替例における処理を説明する図である。 本発明の更なる代替例における処理を説明する図である。 本発明を実現するのに適した動作環境の一構成例を示す図である。 図６Ａに示す動作環境での使用に適したコンピュータ装置の一構成例を示す図である。

Claims (57)

1. 多段階の符号化変換を適用して、ソースデータを表す圧縮データ及び前記多段階の符号化変換の各符号化段階に関する予測データを各々のディスクリプションが含む複数のディスクリプションを生成するステップであって、前記多段階の符号化変換の各符号化段階は、ディスクリプション生成処理及び圧縮のための可変サポートフィルタリングを含み、前記変換の一つの符号化段階は、入力データからディスクリプションを生成し、前記生成されたディスクリプション内でフィルタリングすることによって入力データを圧縮し、前記可変サポートフィルタリングは、前記入力データを圧縮する場合には、前記一つの符号化段階において、第一の数のディスクリプション境界をスキップし、前記可変サポートフィルタリングは、前記入力データを圧縮する場合には、続く段階において、第二の数のディスクリプション境界をスキップするステップと、
   第１のディスクリプションに対応する第２のディスクリプションを生成するステップであって、前記第１のディスクリプションは、最後の符号化段階から出力された、圧縮されたデータを含み、前記第２のディスクリプションは、所定の数の前記多段階符号化変換に対応する逆複号化変換の複号化段階の所定の数の段階を処理する後の第１のディスクリプション内のデータの補間推定値に基づいて算出される誤差信号を含むステップと、を含むことを特徴とするデータ処理方法。
2. 初期の符号化段階のための前記入力データは、前記ソースデータであり、以後の各段階のための前記入力データは、前の符号化段階においてフィルタリングされたデータであることを特徴とする請求項１記載のデータ処理方法。
3. 最後の符号化段階において生成されたディスクリプションを、通信リンクを介して送信するステップを更に有する請求項１記載のデータ処理方法。
4. 最後の符号化段階において生成されたディスクリプションを、特定のレートで符号化するステップを更に有する請求項１記載のデータ処理方法。
5. １つの符号化段階において、ディスクリプション境界を越えたフィルタリングによって入力データを圧縮することを特徴とする請求項１記載のデータ処理方法。
6. 前記補間推定値は、所定の数の逆変換の複号化段階の後に、適応補間フィルタを適用することによって算出されることを特徴とする請求項１記載のデータ処理方法。
7. 前記補間推定は、所定の数の逆変換の複号化段階の後に、予測データに基づいて、振幅補間推定を適用することによって算出されることを特徴とする請求項１記載のデータ処理方法。
8. 前記第１のディスクリプションは、第１のレートで符号化され、前記第２のディスクリプションを生成するステップは、第２のレートで誤差信号を符号化するステップを含むことを特徴とする請求項１記載のデータ処理方法。
9. 前記第２のディスクリプションを異なる第１のディスクリプションとインタリーブするステップを更に有し、
   前記第２のディスクリプションは、前記ソースデータの第１部分に対応し、別の前記第１のディスクリプションは、前記ソースデータの別の部分に対応する請求項１記載のデータ処理方法。
10. 誤差を含む第１のディスクリプション内のデータを推定するステップと、
    対応する第２のディスクリプション内の誤差信号を前記推定に結合し、前記誤差を含む第１のディスクリプション内のデータを回復するステップを更に有する請求項１記載のデータ処理方法。
11. 前記データを推定するステップは、一組の第１のディスクリプションに対し、所定の数の逆変換の複号化段階を適用するステップを有し、前記誤差を含む第１のディスクリプションは、該一組の第１のディスクリプションのメンバであることを特徴とする請求項１０記載のデータ処理方法。
12. 前記データを推定するステップは、所定の数の逆変換の複号化段階の後に、適応補間フィルタを適用するステップを有することを特徴とする請求項１１記載のデータ処理方法。
13. 前記データを推定するステップは、所定の数の逆変換の複号化段階の後に、予測データに基づいて、振幅補間推定を適用するステップを有することを特徴とする請求項１１記載のデータ処理方法。
14. 前記多段階の符号化変換を行うステップを有することを特徴とする請求項１記載のデータ処理方法。
15. 圧縮及びロバスト性の特性の予め定義された組合せを有する出力を生成するように前記多段階の符号化変換を構成するステップを更に有する請求項１４記載のデータ処理方法。
16. 前記多段階の符号化変換のための符号化段階の数を決定するステップを更に有する請求項１４記載のデータ処理方法。
17. 前記各符号化段階において実行される前記可変サポートフィルタリングを決定するステップと、
    圧縮されたデータをディスクリプションにマップする、前記各符号化段階において実行されるディスクリプション割当を決定するステップと、
    前記可変サポートフィルタリング及びディスクリプション割当を結合する構成を決定するステップとを有する請求項１４記載のデータ処理方法。
18. コンピュータを動作させる実行可能なプログラムを記録した、前記コンピュータにより読取可能な記録媒体において、該プログラムは、前記コンピュータに
    多段階の符号化変換を適用して、ソースデータを表す圧縮データ及び前記多段階の符号化変換の各符号化段階に関する予測データを各々のディスクリプションが含む複数のディスクリプションを生成する手順であって、前記多段階の符号化変換の各段階は、ディスクリプション生成処理及び圧縮のための可変サポートフィルタリングを含み、前記変換の一つの符号化段階は、入力データからディスクリプションを生成し、前記生成されたディスクリプション内でフィルタリングすることによって入力データを圧縮し、前記可変サポートフィルタリングは、前記入力データを圧縮する場合には、前記一つの符号化段階において、第一の数のディスクリプション境界をスキップし、前記可変サポートフィルタリングは、前記入力データを圧縮する場合には、続く段階において、第二の数のディスクリプション境界をスキップする手順と、
    第１のディスクリプションに対応する第２のディスクリプションを生成する手順であって、前記第１のディスクリプションは、最後の符号化段階から出力された、圧縮されたデータを含み、前記第２のディスクリプションは、所定の数の前記多段階符号化変換に対応する逆複号化変換の複号化段階の所定の数の段階を処理する後後の第１のディスクリプション内のデータの補間推定値に基づいて算出される誤差信号を含む手順と、を実行させることを特徴とするコンピュータにより読取可能な記録媒体。
19. 初期の符号化段階のための入力データは、前記ソースデータであり、以後の各符号化段階のための前記入力データは、前の段階においてフィルタリングされたデータであることを特徴とする請求項１８記載のコンピュータにより読取可能な記録媒体。
20. 前記プログラムは、最後の符号化段階において生成されたディスクリプションを、通信リンクを介して送信する手順を更に前記コンピュータに実行させることを特徴とする請求項１８記載のコンピュータにより読取可能な記録媒体。
21. 前記プログラムは、最後の符号化段階において生成されたディスクリプションを、特定のレートで符号化する手順を更に前記コンピュータに実行させることを特徴とする請求項１８記載のコンピュータにより読取可能な記録媒体。
22. １つの符号化段階において、ディスクリプション境界を越えたフィルタリングによって入力データを圧縮することを特徴とする請求項１８記載のコンピュータにより読取可能な記録媒体。
23. 前記補間推定値は、所定の数の逆変換の複号化段階の後に、適応補間フィルタを適用することによって算出されることを特徴とする請求項１８記載のコンピュータにより読取可能な記録媒体。
24. 前記補間推定値は、所定の数の逆変換の複号化段階の後に、適応補間フィルタを適用することによって算出されることを特徴とする請求項１８記載のコンピュータにより読取可能な記録媒体。
25. 前記第１のディスクリプションは、第１のレートで符号化され、前記第２のディスクリプションを生成する手順は、第２のレートで誤差信号を符号化する手順を前記コンピュータに実行させることを特徴とする請求項１８記載のコンピュータにより読取可能な記録媒体。
26. 前記プログラムは、前記第２のディスクリプションを異なる第１のディスクリプションとインタリーブするステップを更に有し、
    前記第２のディスクリプションは、前記ソースデータの第１部分に対応し、別の前記第１のディスクリプションは、前記ソースデータの別の部分に対応することを特徴とする請求項１８記載のコンピュータにより読取可能な記憶媒体。
27. プログラムは、
    誤差を含む第１のディスクリプション内のデータを推定する手順と、
    対応する第２のディスクリプション内の誤差信号を前記推定に結合し、前記誤差を含む第１のディスクリプション内のデータを回復する手順を更に前記コンピュータに実行させることを特徴とする請求項１８記載のコンピュータにより読取可能な記録媒体。
28. 前記データを推定する手順は、一組の第１のディスクリプションに対し、所定の数の逆変換の複号化段階を適用する手順を前記コンピュータに実行させ、前記誤差を含む第１のディスクリプションは、該一組の第１のディスクリプションのメンバであることを特徴とする請求項２７記載のコンピュータにより読取可能な記録媒体。
29. 前記データを推定する手順は、所定の数の逆変換の複号化段階の後に、適応補間フィルタを適用する手順を前記コンピュータに実行させることを特徴とする請求項２８記載のコンピュータにより読取可能な記憶媒体。
30. 前記データを推定する手順は、所定の数の逆変換の複号化段階の後に、予測データに基づいて、振幅補間推定を適用する手順を前記コンピュータに実行させることを特徴とする請求項２８記載のコンピュータにより読取可能な記録媒体。
31. 前記多段階の符号化変換を行う手順を前記コンピュータに実行させることを特徴とする請求項１８記載のコンピュータにより読取可能な記憶媒体。
32. 前記プログラムは、圧縮及びロバスト性の特性の予め定義された組合せを有する出力を生成するように前記多段階の符号化変換を構成する手順を更に前記コンピュータに実行させることを特徴とする請求項３１記載のコンピュータにより読取可能な記録媒体。
33. 前記プログラムは、前記多段階の符号化変換のための符号化段階の数を決定する手順を更に前記コンピュータに実行させることを特徴とする請求項３１記載のコンピュータにより読取可能な記録媒体。
34. 前記プログラムは、
    前記各符号化段階において実行される前記可変サポートフィルタリングを決定する手順と、
    圧縮されたデータをディスクリプションにマップする、前記各符号化段階において実行されるディスクリプション割当を決定する手順と、
    前記可変サポートフィルタリング及びディスクリプション割当を結合する構成を決定する手順とを前記コンピュータに実行させることを特徴とする請求項３１記載のコンピュータにより読取可能な記録媒体。
35. バスを介してメモリに接続されたプロセッサを備え、
    前記プロセッサは、多段階の符号化変換を適用して、ソースデータを表すディスクリプションを含む圧縮データ及び前記多段階の符号化変換の各符号化段階に関する予測データを各々のディスクリプションが含む複数のディスクリプションを生成するステップであって、前記多段階の変換の各段階は、ディスクリプション生成処理及び圧縮のための可変サポートフィルタリングを含み、前記変換の一つの符号化段階は、入力データからディスクリプションを生成し、前記生成されたディスクリプション内でフィルタリングすることによって入力データを圧縮し、前記可変サポートフィルタリングは、前記入力データを圧縮する場合には、前記一つの符号化段階において、第一の数のディスクリプション境界をスキップし、前記可変サポートフィルタリングは、前記入力データを圧縮する場合には、続く段階において、第二の数のディスクリプション境界をスキップするステップと、
    第１のディスクリプションに対応する第２のディスクリプションを生成するステップであって、前記第１のディスクリプションは、最後の符号化段階から出力された、圧縮されたデータを含み、前記第２のディスクリプションは、所定の数の前記多段階符号化変換に対応する逆複号化変換の複号化段階の所定の数の段階を処理する後の第１のディスクリプション内のデータの補間推定値に基づいて算出される誤差信号を含むステップと、を含む符号化処理を、前記メモリから読み出して実行することを特徴とするデータ処理システム。
36. 初期の符号化段階のための入力データは、前記ソースデータであり、以後の各符号化段階のための入力データは、前の符号化段階においてフィルタリングされたデータであることを特徴とする請求項３５記載のデータ処理システム。
37. 前記バスを介してプロセッサに連結された通信リンクを更に備え、前記符号化処理は、プロセッサに、最後の符号化段階において生成されたディスクリプションを、通信リンクを介して送信するステップを実行させることを特徴とする請求項３６記載のデータ処理システム。
38. 前記符号化処理は、前記プロセッサに、最後の符号化段階において生成されたディスクリプションを、特定のレートで符号化するステップを実行させることを特徴とする請求項３５記載のデータ処理システム。
39. １つの符号化段階において、ディスクリプション境界を越えたフィルタリングによって入力データを圧縮することを特徴とする請求項３５記載のデータ処理システム。
40. 前記誤差信号は、所定の数の逆変換の複号化段階の後の第１のディスクリプションの補間推定値に基づいて算出されることを特徴とする請求項３５記載のデータ処理システム。
41. 前記補間推定値は、所定の数の逆変換の複号化段階の後に、適応補間フィルタを適用することによって算出されることを特徴とする請求項３５記載のデータ処理システム。
42. 前記補間推定値は、所定の数の逆変換の段階の後に、適応補間フィルタを適用することによって算出されることを特徴とする請求項３５記載のデータ処理システム。
43. 前記第１のディスクリプションは、第１のレートで符号化され、前記符号化処理は、前記プロセッサに、第２のレートで誤差信号を符号化するステップを実行させることを特徴とする請求項３５記載のデータ処理システム。
44. 前記符号化処理は、前記プロセッサに、前記第２のディスクリプションを異なる第１のディスクリプションとインタリーブし、前記第２のディスクリプションは、前記ソースデータの第１部分に対応し、別の前記第１のディスクリプションは、前記ソースデータの別の部分に対応するステップを実行させることを特徴とする請求項３５記載のデータ処理システム。
45. 前記プロセッサに、誤差を含む第１のディスクリプション内のデータを推定させ、対応する第２のディスクリプション内の誤差信号を前記推定に結合させ、前記誤差を含む第１のディスクリプション内のデータを回復させる、前記プロセッサによって前記メモリから実行される前記回復処理をさらに含むことを特徴とする請求項３５記載のデータ処理システム。
46. 前記回復処理は、前記プロセッサに、一組の第１のディスクリプションに対し、所定の数の逆変換の複号化段階を適用させ、前記誤差を含む第１のディスクリプションは、該一組の第１のディスクリプションのメンバであることを特徴とする請求項４５記載のデータ処理システム。
47. 前記回復処理は、前記プロセッサに、所定の数の逆変換の段階の後に、適応補間フィルタを適用させることを特徴とする請求項４６記載のデータ処理システム。
48. 前記回復処理は、前記プロセッサに、所定の数の逆変換の複号化段階の後に、予測データに基づいて、振幅補間推定を適用させることを特徴とする請求項４６記載のデータ処理システム。
49. 前記プロセッサは、前記多段階の符号化段階を行うステップを有する構成処理を、前記メモリから読み出して実行することを特徴とする請求項３５記載のデータ処理システム。
50. 前記構成処理は、圧縮及びロバスト性の特性の予め定義された組合せを有する出力を生成するように前記多段階の変換を構成するステップを更に有することを特徴とする請求項４９記載のデータ処理システム。
51. 前記構成処理は、前記多段階の符号化変換のための符号化段階の数を決定するステップを更に有することを特徴とする請求項４９記載のデータ処理システム。
52. 前記構成処理は、前記プロセッサに、
    前記各符号化段階において実行される可変サポートフィルタリングを決定させ、
    圧縮されたデータをディスクリプションにマップする、前記各符号化段階において実行されるディスクリプション割当を決定させ、
    前記可変サポートフィルタリング及びディスクリプション割当を結合する構成を決定させることを特徴とする請求項４９記載のデータ処理システム。
53. ソースデータを受信する受信手段と、
    多段階の符号化段階を適用して、ソースデータを表すディスクリプションを含む圧縮データ及び前記多段階の符号化変換の各符号化段階に関する予測データを各々のディスクリプションが含む複数のディスクリプションを生成する生成手段であって、前記多段階の符号化変換の各段階は、ディスクリプション生成処理及び圧縮のための可変サポートフィルタリングを含み、前記変換の一つの符号化段階は、入力データからディスクリプションを生成し、前記生成されたディスクリプション内でフィルタリングすることによって入力データを圧縮し、前記可変サポートフィルタリングは、前記入力データを圧縮する場合には、前記一つの符号化段階において、第一の数のディスクリプション境界をスキップし、前記可変サポートフィルタリングは、前記入力データを圧縮する場合には、続く段階において、第二の数のディスクリプション境界をスキップする手段と
    第１のディスクリプションに対応する第２のディスクリプションを生成する手段であって、前記第１のディスクリプションは、最後の符号化段階から出力された、圧縮されたデータを含み、前記第２のディスクリプションは、所定の数の前記多段階変換に対応する逆複号化変換の複号化段階の所定の数の段階を処理する後の第１のディスクリプション内のデータの補間推定値に基づいて算出される誤差信号を含む手段と、を備えることを特徴とするデータ処理装置。
54. 初期の符号化段階のための入力データは、前記ソースデータであり、以後の各符号化段階のための入力データは、前の符号化段階においてフィルタリングされたデータであることを特徴とする請求項５３記載のデータ処理装置。
55. 前記第２のディスクリプションを異なる第１のディスクリプションとインタリーブし、前記第２のディスクリプションは、前記ソースデータの第１部分に対応し、別の前記第１のディスクリプションは、前記ソースデータの別の部分に対応するインタリーブ手段を更に備える請求項５３記載のデータ処理装置。
56. 誤差を含む第１のディスクリプション内のデータを推定する推定手段と、
    対応する第２のディスクリプション内の誤差信号を前記推定に結合し、前記誤差を含む第１のディスクリプション内のデータを回復する結合手段とを更に備える請求項５３記載のデータ処理装置。
57. 前の符号化段階においてフィルタリングされたデータを圧縮する多段階の符号化変換の各段階において実行される前記可変サポートフィルタリングを決定する可変サポートフィルタリング決定手段と、
    圧縮されたデータをディスクリプションにマップする、前記各符号化段階において実行されるディスクリプション割当を決定するディスクリプション割当決定手段と、
    前記可変サポートフィルタリング及びディスクリプション割当を結合する構成を決定する結合構成決定手段とを備え、初期の段階においては、ソースデータをフィルタリングし、最後の符号化段階では、ソースデータを表す圧縮データを含むディスクリプションを生成することを特徴とする請求項５３記載のデータ処理装置。

Images