JP6492659B2 - 階層化された信号のデコードおよび信号再構成 - Google Patents

Description

中央演算処理装置（ＣＰＵ）の効率は、信号のエンコードおよびデコードの両方に関係する。最新の世代のプロセッサの並列度は高くなっており、１つのチップに最大で何百もの単純コアが組み込まれている。

性質上、従来のＭＰＥＧ（Moving Pictures Expert Group）ファミリーのコーデックは、構造的に並列でない。これらはブロックベースであることから、各イメージブロックを順にエンコードおよびデコードする必要があり、また、効率的な圧縮を達成するために、全てのブロックが何らかの形で互いに依存するように作られている。いわゆる"スライス（slice）"（別のビデオに隣接する別個のビデオのように、互いに別個に扱われるイメージのピース）を、ＭＰＥＧコーディングに導入することで、Ｈ．２６４規格では、数個のスレッド（典型的には、２つまたは３つのスレッド）を並列に処理することを可能にしている。非ブロック化（de-blocking）（すなわち、ブロック間の遷移をスムーズ（smooth）にして、より均一なイメージを形成するフィルタ）のような重要なアルゴリズム要素は、多くの場合、条件付き命令が多く含まれる大局的オペレーションであり、並列ＣＰＵを含むアプリケーションには適さない。

現在の典型的なＣＰＵおよびＧＰＵ（グラフィックス処理ユニット）は、非常にパワフルであり、１つのＧＰＵが、数百のコンピューティングコアを含み、情報の並行処理を実行することができる。現在の技術を使用すれば、イメージの大部分を、処理のためにプロセッサキャッシュに格納することができる。イメージを、多数の小さなブロックにフラグメントする必要があり、これは、ＭＰＥＧ開発のきっかけとなったが、開発された当時のプロセッサでは、一度に処理できるビデオデータの量は非常に少なく、また、シーケンシャルにしか処理ができなかった。現在のＣＰＵおよびＧＰＵでは処理能力が高く、ＭＰＥＧのような種類のエンコード／デコードが実装されると、利用可能な処理力の大部分が使用されないことになり、また、ブロッキングアーチファクトが不必要に信号に導入される場合があった。また、ＭＰＥＧが開発された当時と比較して、現在のアプリケーションの多くは、高精細なビデオエンコードを必要とし、再生にも高い品質が求められる。高精細（ＨＤ）高品質ビデオでは、詳細に示されない（焦点が合っていない場合も含め）領域と、非常に詳細に示される領域との差が大きい。この場合、ＭＰＥＧで使用されているような周波数ドメインの変換を使用すると、関係する周波数の範囲が非常に広くなってしまうことから、画像処理および再生に望ましくない。

また、高解像度のイメージは、多量のカメラノイズおよび／またはフィルム粒子を含む、すなわち、詳細度高い高周波数ピクセル遷移は、視認に関係がない場合があり、更に、エンコードするべきビット数が多い。

近年、医療画像化、科学画像化等の分野でより重要となってきている３Ｄイメージングまたは容積測定イメージングを効率的に実行するには、従来のコーデックは適さなくなっている。

現在注目されるデバイスは、異なる複数の再生解像度および品質をサポートしている。スケーラビリティのための現在のＭＰＥＧ規格、いわゆるＳＶＣ（スケーラブルビデオ符号化）は、非常に複雑であり、帯域幅が非効率であることから、産業界では好適に受け取られておらず、選択肢としてあまり考えられていない。

更に、エンコードされるビデオは多量であり、典型的なコンテンツプロバイダは、エンコーダのパラメータをカスタマイズして、特定のビデオストリームごとにそれらを試すような時間がない。現在、コンテンツプロバイダは、ビデオを適切にエンコードするために、（エンコードおよび品質結果のチェックを実行する都度）多くのパラメータを手で調整しなければならないことを嫌悪している。

エンコード／デコードを行うＭＰＥＧ規格の代わりとして、いわゆる、エンコード／デコードの目的で、画像ピラミッドが使用されている。例えば、従来のシステムは、ラプラシアンピラミッドを使用して、ガウシアンフィルタで低い解像度の画像を生成し、リジッドにプログラムされたデコーダを使用して、低い解像度レベルから元の解像度レベルへとアップサンプリングすることによって得られたイメージ間の差分のピラミッドを構築していた。

従来のラプラシアンピラミッドを使用したエンコーディングは、現在は行われていない。このような変換の欠点として、常に、ダウンサンプリングされたイメージにおける歪み／アーチファクトを回避しようと、作成者が、情報を付加しない唯一のフィルタであるガウシアンフィルタを常に使用していたことがある。しかしながら、ガウシアンフィルタには、大きな解像度に戻るアップスケールを行うと、ぼやける効果（blurring effect）が発生する克服困難な問題があり、元のイメージを再現するには、多量のイメージ修正情報が必要となる。

本発明の実施形態は、従来のシステムおよび方法を改善することに関する。例えば、実施形態は、イメージ情報およびその他の種類のエンコードされた情報のような信号を処理および再生する、固有の方法に関する。

より詳細には、非制限的な実施形態として、階層構造を有する品質の連続するより高いレベルで信号を再構成することを含む。例えば、一実施形態では、デコーダは、データの第１セットをデコードし、デコードされたデータの第１セットを利用して、第１レベルの品質に従った信号を再構成する。デコーダは、データの第２セットをデコードし、デコードされたデータの第２セットによって規定されるアップサンプリングオペレーションを特定すると同時に、デコードされたデータの第２セットによって規定されるスケールファクタも特定する。そして、デコーダは、デコードされたデータの第２セットで特定された、アップサンプリングオペレーションおよびスケールファクタを、第１レベルの品質で再構成された信号に適用して、第２レベルの品質の信号を再構成する。この例では、第２レベルの品質は、第１レベルの品質よりも高い。このようにして、デコードされたデータのセットは、一の階層から次の階層へとアップサンプリングをどのように実行するかを示す。

別の実施形態では、品質のそれぞれのレベルにおいて、再構成された信号を改善するために、デコーダは、デコードされたデータの第２セットから、残留データを読み出すことができる。残留データは、上記したアップサンプリングオペレーションを適用した後に、第２レベルの品質で再構成された信号をどのように修正するかを示すことができる。デコーダは、残留データによって規定されるように、第２レベルの品質で再構成された信号を修正する。

デコーダは、階層構造を有する複数の品質レベルの各々において、上記の処理を繰り返すことができる。例えば、第２レベルの品質を上回る品質の複数のレベルの各々について、デコーダは、階層構造において最後に処理が行われた品質のレベルを上回る、次に高いデータのセットをデコードする段階、デコードされた上記次に高いデータのセットによって規定されるアップサンプリングオペレーションおよびスケールファクタを特定する段階、デコードされた上記次に高いデータのセットによって特定されたアップサンプリングオペレーションおよびスケールファクタを適用して、次に高いレベルの品質で信号を再構成する段階、デコードされた次に高いデータのセットによって規定される残留情報および／または残留特性を特定し、残留情報を適用して、次に高いレベルの品質で再構成された信号を修正する段階、を繰り返す。

上記した信号は、多次元信号を含む、任意の好適な種類の信号であってよい。非制限的な例として、信号は、イメージ（例えば、写真、ビデオフレーム、モーションマップ、医療／科学画像等）、容積測定信号（例えば、医療／科学容積測定イメージング、ホログラフィックイメージング、プレノプティック（plenoptic）／ライトフィールド（light-field）イメージング等）、３次元を超える次元を有する信号、時間ベースの信号（例えば、オーディオ信号、ビデオ信号等）などであってよい。本明細書に例示する実施形態は、単純化のため、多くの場合、例えば、写真のような２Ｄ平面の設定（好適な色空間における２Ｄ画像）で表示される信号を指す。しかしながら、同様な概念および方法を、その他の種類の信号に適用することが可能である。

上記の理由から、本明細書では、所定の解像度の信号の基本要素を、"信号要素（signal element）"または"平面要素"（plane element）（ｐｅｌ）と称する。ｐｅｌはそれぞれ、多次元空間における規則的なグリッドにおける値を表す。２Ｄイメージの場合、ｐｅｌは通常、"画素（pixel、picture element）と称され、３Ｄイメージの場合には、ボクセル（voxel、volumetric picture element）とも称される。信号の解像度は、グリッドの各次元において存在するｐｅｌの数を規定する。以下に説明する信号は、複数の平面／構成要素を有する複雑な信号の複数の平面または構成要素のうちの１つ（例えば、輝度およびクロミナンス、ＲＧＢ、ＨＳＶ等）のみを表してもよい。

一実施形態において、信号は、イメージを再構成するイメージデータを含む。このような一実施形態によれば、デコーダは、階層構造になったエンコードされたデータのセットに基づいて、より高い解像度またはより高いレベルの品質で信号を再構成し、最終的には、オリジナルのイメージまたはオリジナルのイメージに近いコピーを再構成して再生に用いる。場合によっては、例えば、出力デバイスが、オリジナルの全解像度で表示を行うことができない場合、または、送信帯域幅が限られている場合などは、低いレベルの品質のイメージ（例えば、階層構造において、最も高い解像度よりも低いレベルで再構成された信号）を表示させることができる。

これらの実施形態およびその他の実施形態の変形例について、以下に詳細に説明する。上記したように、本明細書に記載される実施形態は、以下に開示する方法のオペレーションの一部または全てを実行および／またはサポートする１以上のコンピュータデバイス、ルータ、ネットワーク、ワークステーション、ハンドヘルドコンピュータまたはラップトップコンピュータ等の構成を含むことができる。すなわち、１以上のコンピュータデバイスまたはプロセッサを、様々な実施形態を実行するべく以下に説明するように動作させるようにプログラムすることができるおよび／または構成することができる。

デコーダおよび上記の処理に加えて、更なる別の実施形態は、上記で記載したならびに以下に詳細に開示される段階およびオペレーションを実行するソフトフェアプログラムを含む。このような一実施形態は、プロセッサおよび対応するメモリを有するコンピュータデバイスで実行されると、プログラムおよび／またはプロセッサに以下に開示するオペレーションの一部を実行させるコンピュータプログラムロジック、命令等、を含むコンピュータ可読ハードウェア記憶リソース（すなわち、非一時的コンピュータ可読媒体）を備える。このような構成を、コンピュータ可読媒体に配置されたまたはエンコードされたソフトウェア、コードおよび／またはその他のデータ（例えば、データ構造）として提供することができ、コンピュータ可読媒体の例としては、光学媒体（例えば、ＣＤ−ＲＯＭ）、フロッピー（登録商標）ディスク、ハードディスク、または、１以上のＲＯＭチップ、ＲＡＭチップ、ＰＲＯＭチップまたは特定用途向け集積回路（ＡＳＩＣ）内のファームウェアまたはマイクロコードのようなその他の媒体として、提供してもよい。ソフトウェア、ファームウェアまたはその他の構成を、コンピュータデバイスに搭載して、コンピュータデバイスに、以下に説明するような技術を実行させることができる。

したがって、本開示のある一実施形態は、信号処理オペレーションをサポートするべく命令を格納するコンピュータ可読ハードウェア記憶媒体を備えるコンピュータプログラムに関する。例えば、一実施形態では、命令が、対応するコンピュータデバイスのプロセッサによって実行されると、プロセッサに、データの第１セットをデコードさせ、第１レベルの品質に従って信号を再構成するべくデコードされたデータの第１セットを使用させ、データの第２セットをデコードさせ、デコードされたデータの第２セットによって規定されるアップサンプリングオペレーションおよびスケールファクタを特定させ、デコードされたデータの第２セットでアップサンプリングオペレーションおよびスケールファクタを、第１レベルの品質で再構成された信号に適用して、第１レベルの品質よりも高い第２レベルの品質で信号を再構成させる。

明瞭に説明するために、段階に順番が付与されている。しかしながら、段階を任意の好適な順番で実行することができる。

本開示のその他の実施形態は、上記したおよび以下に詳細に開示する方法の実施形態の段階およびオペレーションの少なくとも一部を実行する、ソフトウェアプログラム、ファームウェアおよび／または対応するハードウェアを含む。

また、以下に説明するシステム、方法、装置、コンピュータ可読記憶媒体の命令は、プロセッサ、オペレーティングシステムまたはソフトウェアアプリケーション内等の、厳密なソフトウェアプログラムとして、ソフトウェア、ファームウェアおよび／またはハードウェアの組み合わせとして、または、ハードウェアのみとして、実現することができる。

上記のように、本明細書に開示される技術は、信号を処理するソフトウェア、ファームウェアおよび／またはハードウェアアプリケーションでの使用に好適である。しかしながら、実施形態はこのようなアプリケーションでの使用に限られず、本明細書に説明される技術は、その他のアプリケーションにも適用可能である。

また、様々な特徴、技術構成等が、本開示の様々な部分で説明されるが、概念の各々は、互いに独立してまたは組み合わせて実行可能であることを意図している。したがって、以下に説明される１以上の本発明、実施形態等は、数多くの異なる態様で実装および実施可能である。

また、上記の発明の概要は、本開示または特許請求される発明の全ての実施形態および／または新規の側面を規定していない。発明の概要は、従来技術に対する、本実施形態の概要および対応する新規の点のみを示しているに過ぎない。本発明の更なる詳細および／または可能性のある側面（組み合わせ）については、読者は、以下に記載する本開示の詳細な説明部分および対応する添付の図面を参照するべきである。

本発明の上記のおよびその他の目的、特徴および利点については、添付の図面を参照して以下に記載される望ましい実施形態の詳細な説明から明らかとなるであろう。異なる複数の図面において、同様な部分には、同様な参照番号が付与されている。図面は必ずしも実寸でなく、実施形態、原理および概念を強調するように図示されている場合がある。

実施形態に係る、エンコーダおよび対応するエンコードされたデータを例示した図である。 実施形態に係る、信号のエンコードおよびデコードのプロセスを例示した図である。 実施形態に係る、品質の階層構造における様々なレベルにおけるイメージ情報を含む信号の拡張を例示した図である。 実施形態に係る、信号のデコードおよび再構成を例示した図である。 実施形態に係る、低い解像度のイメージを、高い解像度のイメージへとアップサンプリングする例を示した図である。 実施形態に係る、低い解像度のイメージを高い解像度のイメージへとアップサンプリングする例を示した図である。 実施形態に係る、低い解像度のイメージを高い解像度のイメージへとアップサンプリングする例を示した図である。 実施形態に係る、コンピュータコード、ファームウェア、ソフトウェア、アプリケーション、ロジック等を実行するためのコンピュータアーキテクチャの一例を示した図である。 実施形態に係る、信号の再構成方法の一例を示したフローチャートである。 実施形態に係る、信号を再構成する方法のより詳細な例を示したフローチャートである。 実施形態に係る、信号を再構成する方法のより詳細な例を示したフローチャートである。

上記したように、非制限的な例として、デコーダは、データの第１セットをデコードし、デコードされたデータの第１セットを利用して、第１レベルの品質に従った信号を再構成する。デコーダは更に、データの第２セットをデコードし、デコードされたデータの第２セットによって規定されるアップサンプリングオペレーションを特定すると同時に、スケールファクタも特定する。そして、デコーダは、デコードされたデータの第２セットで特定された、アップサンプリングオペレーションおよびスケールファクタを、第１レベルの品質で再構成された信号に適用して、第２レベルの品質の信号を再構成する。再構成された信号を改善するために、デコーダは、デコードされたデータの第２セットから、残留データを読み出すことができる。残留データは、上記したアップサンプリングオペレーションを適用した後の第２レベルの品質で再構成された信号をどのように修正するかを示す。そして、デコーダは、残留データによって規定されるように、第２レベルの品質で再構成された信号を修正する。デコーダは、上記の処理を繰り返すことにより、更に高いレベルの品質で信号を性構成することができる。

図１は、実施形態に係る、エンコーダおよび対応するエンコードされたデータのセットを例示する。

オペレーションの間、エンコード環境１００に配置されたエンコーダ１４０は、信号１１５を処理して、エンコードされたデータ１５０を生成する。エンコーダ１４０によってエンコードされた信号１１５は、任意の好適な種類のデータ情報であってよい。

非制限的な例として、信号１１５は、それぞれの画像において、複数の信号要素の各々（例えば、ｐｅｌ／平面要素、ピクセル／画素、ボクセル／volumetric picture element等）の設定を示すイメージデータ、シンボル等であってよい。上記したように、イメージは、２次元（例えば、写真、ビデオフレーム、２Ｄモーションマップ等）、３次元（例えば、３Ｄ／容積測定イメージ、ホログラフィックイメージ、ＣＡＴスキャン、医療／科学イメージ、３Ｄモーションマップ等）、または、３次元を超える次元であってもよい。このような一実施形態では、（信号１１５によって規定される）信号要素の設定は、デバイスで再生するための、それぞれのイメージをどのように再構成するかを示す。

エンコーダ１４０によって生成されたエンコードされたデータ１５０は、エンコードされたデータのセット１５０−１、エンコードされたデータのセット１５０−２、エンコードされたデータのセット１５０−３等を含む、エンコードされたデータの階層構造を含む。

通常、階層構造におけるそれぞれの品質レベルでエンコードされたデータのセットはそれぞれ、対応するレベルの品質の信号をどのように再構成するかを規定し、また、更に高いレベルの品質で信号を再生するためのベースとなる。以下に説明するように、エンコードされたデータのセットを使用して対応するレベルの品質で信号１１５を再構成することは、次に低いレベルの品質での信号の再構成に依存してもよい。

より詳細には、一実施形態では、エンコードされたデータ１５０のセットはそれぞれ、特定のレベルの品質で再構成を行うための１以上のオペレーションの対応するセットおよび／または対応する残留データを含む。例えば、エンコードされたデータのセット１５０−１は、１以上のオペレーション１６０−１および残留データ１７０−１を含み、エンコードされたデータのセット１５０−２は、１以上のオペレーション１６０−２および残留データ１７０−２を含み、エンコードされたデータのセット１５０−３は、１以上のオペレーション１６０−３および残留データ１７０−３を含んでもよい。

エンコードされたデータ１５０のセットを生成するには、エンコーダ１４０は、ダウンサンプリングオペレーションを適用して、受信した信号１１５を、低いレベルの品質へと低減する。例えば、エンコーダは、元のイメージ情報を、階層構造における低い解像度のイメージ情報へと低減する。エンコーダ１４０によってエンコードされたデータ１５０は、低いレベルの品質の信号１１５を、次に高いレベルの品質の信号へとどのように再構成するかを示す。エンコーダ１４０は、階層構造における連続したより低い解像度または品質のレベルのそれぞれについて、上記のプロセスを繰り返す。

上述したように、１以上のオペレーションの特定に加えて、エンコードされたデータ１５０は、残留データ１７０を含むことができる。一実施形態では、所定のレベルの残留データは、対応するレベルの品質で再構成された信号をどのように修正するかを規定する。所定のレベルの品質で再構成された信号の修正を、再構成された信号の精度を高めるために実行することができ、再構成された信号を、より高いレベルの品質等で次のアップサンプリングを行うのに適した形態にすることができる。しかしながら、エンコードされたデータのセットは、場合によっては、残留データまたはオペレーションを含まなくてもよい。このような場合、デコーダは、前のレベルの品質で再構成を行った時に設定される初期パラメータに基づいて、次に高いレベルの品質でのアップサンプリングオペレーションおよび信号の再構成を実行する。

一実施形態では、以下に詳細に説明するように、階層構造における最も低いレベルのエンコードされたデータを使用して、次に高いレベルの品質の信号１１５を再構成するための開始点を生成することができる。次のレベルのエンコードされたデータ（最も低いレベルのすぐ上のレベルの品質）を、最も低いレベルの品質で再構成された信号に適用して、高い信号品質を生成することができる。階層構造において、連続している高いレベルの各々におけるデータのセットは、それよりも高いイメージまたは高い解像度のイメージを生成することができる。

１以上のイメージオペレーション１６０および／または残留データ１７０のセットそれぞれが図示されているが、これは一例に過ぎず、階層構造における特定のレベルのエンコードされたデータ１５０のセットが、オペレーション１６０を特定しない場合がある、または、残留データ１７０を含まない場合がある。

図２は、実施形態に係るエンコードプロセスを例示した図である。この例では、図２の元のイメージ２１０が、信号１１５によって規定されていると仮定している。すなわち、信号１１５は、複数のイメージ要素（例えば、１９２０×１０８０イメージ要素）のグループにおける各イメージ要素をどのように設定するかを示す。

元のイメージ２１０のエンコードの間に、エンコーダ１４０は、レベルＭでのダウンサンプリングオペレーションを実行して、図に示すように、階層構造におけるレベルＭ−１である、次に低い解像度のイメージを生成する。そして、エンコーダ１４０は、レベルＭ−１のイメージに基づいて、レベルＭ−１で更にダウンサンプリングオペレーションを行い、階層構造におけるレベルＭ−２である、その次に低い解像度のイメージを生成する。以下同様に続けることができる。

上述したように、品質の各レベルにおいて、エンコーダ１４０は、低い解像度または低い品質の信号を、次に高い解像度または品質の信号へと変換するための、エンコードされたデータのセットを生成する。

一実施形態では、エンコーダ１４０は、所望のスケールファクタに基づいて、品質の一のレベルから次のレベルへのダウンサンプリングを行う。例えば、非制限的な例として、図２には、スケールファクタ２：１を実装して、次に低いレベルの解像度を得る方法、すなわち、レベルＭからレベルＭ−１、レベルＭ−１からレベルＭ−２等を得る技術が示されている。この例では、スケールファクタ２：１に基づいて、信号の各次元が、一のレベルの品質から次に低いレベルの品質へと、係数２でアンダーサンプリングされる。１つずつ低いレベルになるにしたがって、エンコーダ１４０は、解像度Ａ×Ｂを、解像度Ａ／２×Ｂ／２に、次に低いレベルでは、解像度Ａ／４×Ｂ／４と、以下同様に解像度を低くする。

エンコーダ１４０は、エンコードおよび／またはデコードをより効率的に行うために、一の品質レベルから次のレベルへと、スケールファクタを動的に変更するように構成されてもよい。品質の各レベルにおけるスケールファクタの情報を、エンコードされたデータの対応するセット内に格納することができる。

一実施形態では、イメージ要素の各色成分を、ＹＵＶ、ＲＧＢまたはＨＳＶのような色空間基準に基づいて別個に体系化してもよく、イメージを規定する時に、信号１１５の属性を、好適なフォーマットに従ってエンコードしてもよい。連続したより低いレベルの品質へと必要なダウンサンプリングを可能とするために、必要に応じて対応する品質レベルにおいて、新たなイメージ要素を追加または削除することができる。例えば、イメージ要素の追加は、視認可能なイメージ要素の適切なサイズのフィールドに、イメージを調整するべく、イメージの境界部分を複製またはミラーリングすることを含む。ビデオ信号であって、スケールファクタが２：１の場合、２のべき乗に基づいてスケーリングを容易に行うことができる水平方向および垂直方向サイズを有するイメージに対するダウンサンプリングを良好に行うことができる。

例に示す、品質レベルＭ−３およびＭ−３＊でのダウンサンプリングを容易にするために、エンコーダ１４０は、各レベルにおける解像度寸法を、イメージを一のレベルから次のレベルに容易にスケーリングできるように必要に応じてイメージ要素の行または列を追加または削除することによって調整することができる。

より詳細には、一実施形態において、ダウンサンプリングしたイメージの解像度を調整するべく、エンコーダ１４０は、表示されるイメージ外周位置周辺における行または列を複製またはミラーリングもしくはコピーすることによって、（調整が必要な寸法に応じて）行および／または列を追加する。一実施形態では、ダウンサンプリングの間に、レベルＭ−３のイメージ要素の境界の行（例えば、一番下の行）を、コピーまたはミラーリングして、レベルＭ−３の最終行に付加して、寸法が変更されたレベルＭ−３＊のイメージを生成することができる。次に、レベルＭ−３＊におけるイメージを、２のべき乗に基づいて、更に、レベルＭ−４へとダウンサンプリングすることができる。すなわち、レベルＭ−３＊におけるイメージを、２４０イメージ要素×１３６イメージ要素から、１２０イメージ要素×６８イメージ要素の寸法を有するレベルＭ−４へとダウンサンプリングすることができる。

図３には、実施形態に係る様々なレベルでイメージ要素を拡張する例が示されている。階層構造２３０における高いレベルの品質は、（以下に説明する特定のオペレーションを使用して）低いレベルをアップサンプリングして、必要な残留データ（以下に説明するオペレーションでエンコードおよび送信される）をデコードすることにより、再構成される。一実施形態では、アップサンプリング（例えば、デコード側）するのに使用したカーネル／オペレーションと、ダウンサンプリング（例えば、エンコード側）するのに使用したカーネル／オペレーションとが、必ずしも同じ種類である必要はない。また、低いレベルを取得するのに使用されたオペレーションは、必ずしも（線形または非線形）フィルタでなくてもよく、技術の組み合わせであってもよい。すなわち、以下に説明するようなエンコードおよびデコードプロセスは、非対称であってもよい。一実施形態では、信号１１５は、品質のそれぞれのレベルにおいて、１以上のオペレーションでエンコードして、本明細書で以下に説明するように、アップサンプリングの後に適用される残留データのエントロピーを低減する。これにより、元の信号１１５を再構成するのに必要なデータの量が低減される場合がある。

一実施形態では、調整を行ったバイリニア（bilinear）フィルタ（得られる信号が"見た目には最良"でない場合であっても、実験から情報を良好に保存するカーネル／オペレーションのうちの１つであると考えられる）またはトリリニア（trilinear）フィルタを使用して、高いレベルから低いレベルの品質を得る（下向き経路）。言い換えると、再構成された信号１１５は、低い解像度において、元のイメージの完全な再現ではない。階層構造における低いレベルの品質でエンコードされた信号１１５は、アーチファクトを含む場合がある。

一実施形態において、エンコードの間にバイリニアフィルタを適用した結果を調整して、高いレベルへとアップサンプリングした時に残留データのエントロピーを最小にする。品質の１以上のレベルにおける残留データのエントロピーを低減させると、高いレベルの品質で信号を再構成するのに必要なデータの全体量を低減させることができる。一実施形態において、エンコード／デコードは、ある程度、情報の損失を伴う。しかしながら、エンコードされたデータを使用して信号を再構成することは、信号１１５のオリジナルバージョンの完璧な複製に近い。

一実施形態において、低いレベルから高いレベルへと信号１１５を再構成することは、バイキュービック（bicubic）フィルタオペレーションまたはトリキュービック（tricubic）フィルタオペレーション、アンシャープマスキング（unsharp masking）フィルタオペレーション、デブレンディング（deblending）フィルタオペレーション等の、１以上のアップサンプリング方法の組み合わせを活用することを含む。例えば、エンコーダ１４０は、デコードプロセスで一の品質レベルから次の品質レベルへと再構成された信号をアップサンプリングするのに使用されるエンコードされたデータのセットのそれぞれに含まれる１以上のオペレーションを、エンコードの間に規定することができる。レベルのそれぞれについて、そして、必要であれば信号要素のそれぞれについて、エンコーダ１４０は、デコーダによって階層構造における品質のレベルそれぞれで再構成される信号に適用される１以上のアップサンプリングオペレーション（例えば、バイキュービックまたはトリキュービックフィルタオペレーション、デブレンディングフィルタ、アンシャープマスキングフィルタ等）を選択してもよいし、選択しなくてもよい。

図４には、実施形態に係る、様々なレベルの品質で信号を再構成するべく、エンコードされたデータをデコードする例が示されている。上記したように、エンコーダ１４０は、対応する信号１１５を再構成するために、エンコードされたデータ４２５のセットを生成する。図に示すように、エンコードされたデータのセット４２５−１は、残留データのセット４７０−１を含み、エンコードされたデータのセット４２５−２は、オペレーション４６０−２および残留データ４７０−２を含み、エンコードされたデータのセット４２５−３は、オペレーション４６０−３および残留データ４７０−３を含み、以下同様に、階層構造の上のレベルに続く。

図に示すように、デコード環境４００に配置されたデコーダ４４０は、階層構造になったエンコードされたデータ４２５のセットを使用して、様々なレベルの品質で、信号１１５を再構成する。上記で説明したように、一実施形態では、エンコードされたデータ４２５のデコードセットに基づいて、階層構造を有する品質の連続するより高いレベルにおいて、信号１１５を再構成することを含む。デコードされたデータは、一の階層から次の階層への、アップサンプリングおよび次の残留データ修正をどのように実行するかを示す。

このような一実施形態では、デコーダ４４０は、エンコードされたデータの第１セット４２５−１デコードして、デコードされたデータの第１セットを使用して、第１レベルの品質（例えば、レベルＪ）に従う再構成された信号４５０−１を生成する。本例において、レベルＪが、最も低い品質レベルであり、エンコードされたデータのセット４２５−１が、階層構造における最も低いレベルの品質で再構成された信号４５０−１を生成するのに適切な、例えば、残留データ４７０−１のようなデータを含むと仮定する。（例えば、低いレベルの品質）で再構成された信号４５０−１は、階層構造における更に高いレベルの品質へとアップサンプリングする場合のバイアスを提供する。デコーダ４４０は、品質の階層構造におけるレベルＪ＋１で処理を行うために、エンコードされたデータの第２セット４２５−２をデコードする。エンコードされたデータのセット４２５−２からデコードされたデータに基づいて、デコーダ４４０は、１以上のオペレーション４６０−２（例えば、アップサンプリングオペレーションＵ_Ｊ＋１）を、再構成された信号４５０−１に適用して、品質のレベルＪ＋１で再構成された信号４５１−１を生成する。本例において、（例えば、レベルＪ＋１の品質で）再構成された信号４５１の品質は、品質レベルＪで再構成された信号４５０−１よりも高い。更なる実施形態では、対応するレベルの品質で再構成された信号を改善するべく、デコーダ４４０は、エンコードされたデータ４２５−２から、残留データ４７０−２を読み出して適用してもよい。

一実施形態では、デコーダ４４０は、再構成された信号を改善するべく、マルチスケールエントロピーデコードを実装する。例えば、このような一実施形態では、デコーダは、エンコードされたデータ４２５−２のデコードされたセットによって規定されるように、残留データ４７０−２を特定する。非制限的な例として、デコーダ４４０は、マルチスケールエントロピーデコーダを使用して、残留データ４７０−２をデコードすることができる。デコードされた残留データは、第２レベル品質で再構成された信号の特定の要素をどのように修正するかを規定する。例えば、デコーダ４４０は、残留データ４７０−２によって規定されるような態様で、品質のレベルＪ＋１で再構成された信号４５１−１の要素を修正する。

より詳細には、品質のレベルＪ＋１と関連付けられた残留データ４７０−２は、上述したように、１以上のアップサンプリングオペレーション４６０−２（例えば、アップサンプリングオペレーションＵ_Ｊ＋１）を適用した後に、再構成された信号４５１−１をどのように修正するかを示す。すなわち、残留データ４７０−２は、再構成された信号４５１−２を生成するのに、再構成された信号４５１−１の特定の部分をどのように修正するかを示す。更なる処理を介して、デコーダ４４０は、残留データ４７０−２によって規定される態様で、再構成された信号４５１−１を修正して、品質のレベルＪ＋１で再構成された信号４５１−２を生成する。

上記のように、品質のレベルＪ＋１での処理の後に、デコーダ４４０は、品質の階層構造におけるレベルＪ＋２で処理を行うために、エンコードされたデータのセット４２５−３をデコードする。エンコードされたデータのセット４２５−３における情報に基づいて、デコーダ４４０は、エンコードされたデータのセット４２５−３で特定された１以上のオペレーション４６０−３（例えば、アップサンプリングオペレーションＵ_Ｊ＋２）を、Ｊ＋１レベルの品質で再構成された信号４５１−２に適用して、Ｊ＋２レベルの品質で再構成された信号４５２−１を生成する。本例では、レベルＪ＋２の品質で再構成された信号４５２−１の品質は、品質レベルＪで再構成された信号４５１−２よりも高い。

オペレーション４６０−３を適用した後に、デコーダ４４０は、エンコードされたデータ４２５−３から、残留データ４７０−３を読み出す。品質のレベルＪ＋２と関連付けられた残留データ４７０−３は、上記したように１以上のアップサンプリングオペレーション４６０−３（例えば、アップサンプリングオペレーションＵ_Ｊ＋２）を適用した後で、再構成された信号４５２−１をどのように修正するかを示す。すなわち、残留データ４７０−３は、再構成された信号４５２−２を生成するのに、再構成された信号４５２−１の特定の部分をどのように修正するかを示す。オペレーションＲ_Ｊ＋２を使用した更なる処理を介して、デコーダ４４０は、残留データ４７０−３によって規定される態様で、再構成された信号４５２−１を修正して、再構成された信号４５２−２を生成する。

デコーダ４４０は、品質の階層構造の複数のレベルのそれぞれついて、上記の処理を繰り返すことができる。例えば、Ｊ＋２レベルの品質を上回る品質の複数のレベルの各々について、デコーダ４４０は、品質の階層構造において、最後に処理が行われた品質のレベルを上回る、エンコードされた次に高いデータのセットをデコードする段階、デコードされた次に高いデータのセットのコンテンツに基づいて、１以上のアップサンプリングオペレーションを特定する段階、デコードされた次に高いデータのセットのコンテンツに基づいて特定された１以上のアップサンプリングオペレーションを適用して、次に高いレベルの品質で信号を再構成する段階、デコードされた次に高いデータのセットによって規定される残留情報および／または残留特性（存在する場合）を特定する段階、残留情報を適用して、次に高いレベルの品質で再構成された信号を修正する段階、を繰り返す。このプロセスを、信号１１５の複製またはほぼ複製がデコーダによって再構成されるまで繰り返すことができる。

品質の階層構造における該当のレベルに対して、オペレーションおよび／または残留データが規定されていない場合には、デコーダ４４０は、様々なレベルの品質で信号を再構成するのに、初期設定されたアップサンプリングオペレーションおよび／または残留データを使用することができる。一実施形態では、信号の同じ部分を、低い品質レベルで再構成する時に使用した、オペレーションおよび／または残留データに基づいて、このような初期値を得ることができる。

信号１１５は、任意の好適な種類のデータであってよい。しかしながら、上記したように、一実施形態では、信号１１５は、イメージデータを含む。このような一実施形態では、デコーダ４４０は、階層構造になったエンコードされたデータのセットに基づいて、より高い解像度またはより高い品質レベルで元の信号１１５を再構成、最終的には、再生する（または、その他の目的で使用される）イメージを再構成する。ある場合には、元の信号１１５と同じバージョンを再構成する必要がない場合または再構成できない場合には、品質レベルが低いイメージ（例えば、階層構造において最も高い解像度よりも低いレベルで再構成された信号）を、視認のために（または、その他の目的で）表示させてもよい。

一実施形態において、デコーダ４４０またはそのほかの好適なリソースは、最も高いレベルまたは選択されたレベルの品質で再構成された信号に従って、表示画面デバイスでのイメージ情報の表示を開始する。

図５は、実施形態に係る、低い解像度のイメージから、高い解像度のイメージへとアップサンプリングする例を示した図である。この非制限的な例では、信号１１５および対応するエンコードされたデータ４２５は、低い解像度のイメージを高い解像度のイメージへと、どのように変換または拡張するかを示す。

非制限的な例として、エンコードされたデータのセットが、品質の各レベルにおいて、イメージ要素の設定をどのように制御するかを示すと仮定する。例えば、品質レベルＪにおけるイメージ５１０−１は、イメージ要素Ｗのフィールドを含み、品質レベルＪ＋１におけるイメージ５１０−２は、イメージ要素Ｘのフィールドを含み、イメージ５１０−３は、イメージ要素Ｙのフィールドを含む。再構成された信号４５０−１は、イメージ５１０−１におけるイメージ要素Ｗの設定をどのように制御するかを規定し、再構成された信号４５１−２は、イメージ５１０−２におけるイメージ要素Ｘの設定をどのように制御するかを規定し、再構成された信号４５２−２は、イメージ要素Ｙの設定をどのように制御するかを規定すると改定する。この場合、図４におけるデコードを使用して、イメージ情報をデコードすることができ、様々な品質のレベルに従う元の信号１１５の様々なレンディション（rendition）を生成することができる。

図６および図７には、アップサンプリングをどのように実行し、残留データをどのように適用するかが、より詳細に示されている。

例えば、図６は、実施形態に係る、低い解像度のイメージを高い解像度のイメージへとアップサンプリングする単純な例を示している。

この例では、エンコードされたデータのセット４２５−１が、再構成された信号４５０−１をどのように生成するかを示す。再構成された信号４５０−１は、イメージ要素の表示設定を次のように示す：イメージ要素Ｗ１＝１００、イメージ要素Ｗ２＝９２、イメージ要素Ｗ３＝９８、イメージ要素Ｗ４＝２０。同様に、図４において、エンコードされたデータのセット４２５−２から導出された再構成された信号４５１−１は、図６に示すイメージ６２０−１におけるイメージ要素の表示設定を示し、図４の再構成された信号４５１−２は、図６に示すイメージ６２０−２におけるイメージ要素の表示設定を示す。

このように、非制限的な例では、イメージ６１０は、再構成された信号４５０−１の表現であり、イメージ６２０−１は、再構成された信号４５１−１の表現であり、イメージ６２０−２は、再構成された信号４５１−２の表現である。

上記で説明したように、品質レベルＪ＋１に対するオペレーション４６０−２は、図４における段階Ｕ_Ｊ＋１でのアップサンプリングをどのように行うかを示す。この例では、アップサンプリングオペレーション４６０−２が、イメージ６１０のイメージ要素Ｗ１を、同じ値１００を有する４つのイメージ要素へと変換することを示すと仮定する。したがって、デコーダ４４０によってアップサンプリングオペレーションが適用されると、イメージ要素Ｗ１が、同じ値を有する４つのイメージ要素Ｘ１、Ｘ２、Ｘ３およびＸ４へと拡張される。同様に、その他のイメージ要素Ｗ２、Ｗ３およびＷ４もそれぞれ、図示するように同じ値の対応する４つのイメージ要素へと拡張される。

上記の例では、１つのイメージ要素を４つのイメージ要素へと拡張したが、これは一例に過ぎず、一のレベルの品質から次のレベルの品質へとイメージ要素を拡張する量は、実施形態によって異なってもよい。例えば、一のレベルの品質から次のレベルの品質へとアップサンプリングを行う場合、１つのイメージ要素を、任意の好適な数のイメージ要素（４つのイメージ要素に限られない）へと拡張することができ、単純にイメージ要素値を複製する代わりに、好適なフィルタリングカーネル／オペレーションを適用してイメージをスムースにしてもよい。また、イメージ６１０、イメージ６２０−１、イメージ６２０−２は、品質のレベルそれぞれにおけるイメージ要素のセット全体の一部のみを表してもよい。

修正オペレーションＲ_Ｊ＋１において残留データ４７０−２（例えば、異なるデータのマトリックス）を適用することにより、デコーダ４４０は、残留データのセット４７０−２を適用して、イメージ要素６２０−１と関連付けられた設定を修正する。例えば、デコーダ４４０は、残留データ４７０−２のマトリックス内のオフセット値または差分値を、イメージ６２０−１におけるイメージ要素値に加算することにより、イメージ６２０−１内のイメージ要素の値を調整して、図示するようにイメージ６２０−２を生成する。

図７は、実施形態に係る、低い解像度のイメージを高い解像度のイメージへとアップサンプリングする例を示している。図６の例とは異なり、図７の例では、適用されたアップサンプリングオペレーションに応じて、１つのイメージ要素を、異なる値の複数のイメージ要素へと拡張することを含む。

この例では、エンコードされたデータのセット４２５−１が、再構成された信号４５０−１をどのように生成するかを示す。再構成された信号４５０−１は、次のように、イメージ７１０におけるイメージ要素の表示設定を示す：イメージ要素Ｗ１＝１００、イメージ要素Ｗ２＝９２、イメージ要素Ｗ３＝９８、イメージ要素Ｗ４＝２０。同様に、本例では、図４において再構成された信号４５１−１は、図７に示すイメージ７２０−１におけるイメージ要素の表示設定を示す。図４において再構成された信号４５１−２は、図７に示すイメージ７２０−２におけるイメージ要素の表示設定を示す。このように、非制限的な例では、イメージ７１０は、再構成された信号４５０−１の表現であり、イメージ７２０−１は、再構成された信号４５１−１の表現であり、イメージ７２０−２は、再構成された信号４５１−２の表現である。

上記で説明したように、品質レベルＪ＋１に対するオペレーション４６０−２は、図４における段階Ｕ_Ｊ＋１でのアップサンプリングをどのように行うかを示す。本例では、アップサンプリングオペレーション４６０−２が、イメージ７１０のイメージ要素Ｗ１を、異なる値を有する４つのイメージ要素へと変換することを示すと仮定する。例えば、オペレーション４６０−２をデコーダ４４０が実行すると、イメージ要素Ｗ１が、イメージ７２０−１における異なる値を有する４つのイメージ要素へと変換される：Ｘ１＝１００、Ｘ２＝１００、Ｘ３＝１００、および、Ｘ４＝９５。すなわち、本例では、イメージ要素Ｗ１＝１００を、値が１００に設定された４つのイメージ要素（例えば、Ｘ１、Ｘ２、Ｘ３およびＸ４）に拡張するのではなく、デコーダ４４０は、Ｘ１、Ｘ２、Ｘ３およびＸ４を、Ｗ１の値とは異なる値に設定する。

一実施形態では、デコーダ４４０は、バイキュービックフィルタまたはトリキュービックフィルタオペレーション、アンシャープマスキングフィルタオペレーション等のような１以上のオペレーションを適用して、１つの信号要素を、異なる表示設定値を有する複数の信号要素へと拡張する。拡張された要素に割り当てられる値は、隣接する信号要素の設定に少なくも一部基づいて、選択されてもよい。

上記したように、信号要素の値は、対応する表示デバイスがイメージをユーザに表示可能とする色、色相、輝度等の情報を示す。

同様な態様で、その他のイメージ要素Ｗ２、Ｗ３およびＷ４の各々を、図７に示すように同じ値または異なる値の４つの対応するイメージ要素へと拡張する。１つのイメージ要素を４つのイメージ要素へと拡張したが、これは一例に過ぎず、一のレベルの品質から次のレベルの品質へとイメージ要素を拡張する量は、実施形態によって異なってもよい。例えば、一のレベルの品質から次のレベルの品質へとアップサンプリングを行う場合、１つのイメージ要素を、任意の好適な数のイメージ要素（４つのイメージ要素に限られない）へと拡張することができる。また、イメージ７１０、イメージ７２０−１、イメージ７２０−２は、品質のレベルそれぞれにおけるイメージ要素のセット全体の一部のみを表してもよい。

上記したような１以上のアップサンプリングオペレーションを適用してイメージ要素を拡張した後に、デコーダは、残留データ４７０−２をイメージ７２０−１に適用して、イメージ７２０−２を生成する。修正オペレーションＲ_Ｊ＋１において残留データ４７０−２（例えば、異なるデータのマトリックス）を適用することにより、デコーダ４４０は、残留データのセット４７０−２を適用して、イメージ要素７２０−１と関連付けられた設定を修正する。例えば、デコーダ４４０は、残留データ４７０−２のマトリックス内のオフセット値または差分値を、イメージ７２０−１におけるイメージ要素値に加算することにより、イメージ７２０−１内のイメージ要素の値を調整して、図示するようにイメージ７２０−２を生成する。上記したように、デコーダは、これらの段階を、階層構造の異なるレベルの品質について繰り返して、信号１１５を再構成する。

［様々なレベルの品質における異なるアップサンプリングオペレーションの使用］
一実施形態では、エンコードされたデータのセットは、様々なレベルにおいて異なるアップサンプリングオペレーションを規定して、対応する信号１１５を再構成することができる。例えば、エンコードされたデータのセット４２５−２は、品質レベルＪ＋１から品質レベルＪ＋２へとアップサンプリング（例えば、Ｕ_Ｊ＋２）を行うバイキュービックまたはトリキュービックフィルタオペレーションのような、第１アップサンプリングを規定することができる。エンコードされたデータのセット４２５−３は、品質レベルＪ＋２から品質レベルＪ＋３へとアップサンプリング（例えば、Ｕ_Ｊ＋３）を行うデブレンディングフィルタオペレーションのような、第２アップサンプリングを規定することができる。品質の各レベルで、異なるアップサンプリングオペレーション（またはその組み合わせ）を規定および適用できる機能により、柔軟性が提供され、デコーダ４４０は、初期設定アップサンプリングオペレーションのみを使用して信号の再構成することを要求されない。

［品質の複数のレベルにおける１以上の同じアップサンプリングオペレーションの使用］
別の実施形態では、一のレベルの品質で使用するために規定されたアップサンプリングオペレーションを、次に高いレベルの品質でも使用して、対応する信号１１５を再構成することができる。例えば、デコーダ４４０は、エンコーダされたデータのセット４２５−２によって規定された１以上のアップサンプリングオペレーションを適用して、上記で説明したように、品質レベルＪ＋２で信号１１５を再構成してもよい。

エンコードされたデータのセット４２５−３（例えば、より高いレベルの品質）は、アップサンプリングオペレーションを規定しなくてもよい。このような一実施形態では、品質のある高いレベルにおいてデコードされたデータのセットが、アップサンプリングオペレーションの適用を終了すると示すまで、および／または、品質のある高いレベルにおいてデコードされたデータのセットが、１以上のアップサンプリングオペレーションの異なるセットを適用することを示すまで、デコーダ４４０は、より高いレベルの品質での信号１１５の再構成を継続するように構成されてもよい。

本実施形態では、高い品質レベルでエンコードされたデータのセットのデコードを含んでもよい。高い品質レベルでエンコードされたデータのセットが、特定のアップサンプリングオペレーションを規定しないと分かった場合には、デコーダ４４０は、低い品質レベルで使用されたアップサンプリングオペレーションを適用して、高い品質レベルで信号の再構成を行う。

［複数レベルの品質における残留データの使用］
更なる実施形態では、品質の高いレベルが、異なる残留データを使用すると示すまで、または、品質の高いレベルが、残留データの適用を終了すると示すまで、一のレベルの品質に対して規定された残留データを、次に高いレベルの品質でも使用して、対応する信号１１５を再構成することができる。例えば、デコーダ４４０は、特定の品質レベルにおいてデコードされたデータのセットから、残留データを読み出す。上記で説明したように、残留データは、規定されたアップサンプリングオペレーションを適用した後に、特定のレベルの品質で再構成された信号をどのように修正するかを示す。デコーダ４４０は、エンコードされたデータのセットによって規定されるように、特定のレベルの品質で再構成された信号を修正する。更に、デコーダ４４０は、特定のレベルの品質よりも高いレベルの品質で再構成された信号を修正する。

一例として、デコーダ４４０は、エンコードされたデータのセット４２５−２によって規定されるように、残留データ４７０−２を特定する。残留データ４７０−２は、品質レベルＪ＋１で再構成された信号における要素のロケーションを規定し、また、品質レベルＪ＋１で再構成された信号４５１−１の要素をどのように修正するかを規定する。デコーダ４４０は、品質レベルＪ＋１で再構成された信号４５１−１の要素または一部分を、残留データ４７０−２によって規定される態様で修正する。デコーダ４４０は、品質のある高いレベルのデコードされたデータの対応するセットが、品質のより高いレベルにおいて異なる残留データを使用すると示すまで、より高い品質レベル（例えば、Ｊ＋２以上）での信号１１５の再構成にも、残留データ４７０−２を使用する。

［再構成された信号の規定された部分へのアップサンプリングオペレーションの適用］
更なる別の実施形態では、エンコードされたデータのセットはそれぞれ、デコーダが、再構成された信号の特定の部分に適用するべき異なるアップサンプリングオペレーションを規定することができる。信号の一部分は、信号要素の数（１以上）によって、品質の特定のレベルに応じて、特徴付けられる。一例として、デコーダ４４０が、品質のレベルＸおけるデコードされたデータのセットを処理して、当該デコードされたデータのセットによって規定されるアップサンプリングオペレーションを適用すべき、品質レベルＸ−１で再構成された信号の特定の部分（例えば、ロケーションによって示される）を特定すると仮定する。次いで、デコーダ４４０は、品質レベルＸ−１（例えば、品質のレベルＸの直下の品質レベル）で再構成された信号の特定の部分（例えば、再構成されたイメージの場合には、イメージ要素の全てよりも少ない部分）に、アップサンプリングオペレーションを適用して、レベルＸの品質で信号を再構成する。

一例として、品質の所定のレベルに対するエンコードされたデータのセットは、アップサンプリングを実行するために、再構成された信号の第１部分（例えば、再構成された信号の第１領域、第１の種類のデータ等）に適用する第１オペレーションを規定することができる。品質の所定のレベルに対するエンコードされたデータのセットはまた、再構成された信号の（第１の部分とは異なる）第２部分（例えば、再構成された信号の第２領域、第２の種類のデータ等）に適用する第２オペレーションを規定することができる。

エンコードされたデータのセットは、信号の特定の部分に対して、アップサンプリングオペレーションを規定しなくてもよい。一実施形態では、品質レベルが高いデコードされたデータのセットが、アップサンプリングオペレーションの適用を終了すると示すまで、および／または、品質レベルが高いデコードされたデータのセットが、１以上のアップサンプリングオペレーションの異なるセットを適用することを示すまで、デコーダ４４０は、信号の各部分について、より高いレベルの品質で信号１１５の再構成を行うように構成されてもよい。更なる実施形態では、デコーダ４４０は、品質の各レベルにおけるデータのセットを処理して、再構成された信号のアップサンプリング処理を適用する明確に特定された部分の属性タイプ（例えば、インフォーカス領域、アウトオブフォーカス領域、人間の顔、テキスト、その他の被写体、こま落とし（fast motion）、静止、スローモーション等）を特定することができる。デコーダは、特定されたオペレーションを、特定された属性タイプの再構成された信号におけるデータに適用する。デコーダ４４０は、特定された１以上のオペレーションを適用するべき再構成された信号の適切な部分を特定するのに、再構成された信号を分析する必要が生じる場合がある。

一実施形態では、デコーダ４４０は、エンコードされたデータのセット内の規定された属性タイプを、特定された属性タイプを有する再構成された信号の部分に対して実行される１以上のアップサンプリングオペレーションのセットにマッピングしてもよい。例えば、特定の品質レベルに対する特定の属性タイプの信号の部分それぞれについて、デコーダ４４０は、属性タイプによって規定される１以上のアップサンプリングオペレーションのセットを、信号の対応する部分の品質レベルおよび次に高い品質レベルの再構成に対する、初期設定アップサンプリングオペレーションとして利用してもよい。品質の第１レベルよりも高いレベルの品質に対するデコードされたデータの対応するセットが、異なる属性タイプを、その信号に対してまたは信号の一部分に対して使用すると規定するまで、同じオペレーションを使用することができる。

所定の品質レベルのエンコードされたデータのセットによって規定されるように、規定されたオペレーションを、所定の品質レベルの特定の属性タイプのデータ、および、同じ属性タイプを有するより高い品質レベルのデータに対して、適用することができる。

［様々なレベルの品質における様々なスケールファクタの使用］
更なる別の実施形態では、デコーダ４４０は、エンコードされたデータのセットの各々をデコードして、対応する品質レベルのアップサンプリングのためのスケールファクタ値（例えば、信号の次元または解像度）を特定してもよい。名前の通り、スケールファクタ値は、品質レベルＪ＋１で再構成された信号を、品質レベルＪ＋２で再構成された信号へとアップサンプリングする、解像度を規定してもよい。デコーダ４４０に周知の初期設定スケールファクタ値に従ってアップサンプリングを実行する代わりに、デコーダ４４０は、スケールファクタによって規定される態様で、レベルＪ＋１の品質で再構成された信号を、レベルＪ＋２の品質で再構成された信号へとアップサンプリングすることができる。

品質の一のレベルから別のレベルへと再構成された信号の特定のアップサンプリングに対して規定されたスケールファクタが存在しない場合には、デコーダは、予め定められた初期設定のスケールファクタ、または、前の品質レベルで規定されたスケールファクタを使用する。一実施形態では、デコーダ４４０は、階層構造になった品質の様々なレベルに対する初期設定スケールファクタ値に従ってアップサンプリングを実行する代わりに、階層構造の様々なレベルにおいてデコードされたデータのセットによって規定されるスケールファクタを利用して、信号１１５を再構成する。

エンコードされたデータのセットは、品質の異なるレベルに対して、異なるスケールファクタを規定することができる。例えば、一実施形態では、品質の様々なレベルに対するスケールファクタ値は（品質のレベルそれぞれにおけるエンコードされたデータのセットに規定される、または、エンコードされたデータのセットにスケールファクタが規定されていない場合には、初期設定スケールファクタ値としてデコーダ４４０が周知）、第１スケールファクタ値および第２スケールファクタ値を含む。本例では、品質レベルＪ＋１のデコードされたデータのセットによって規定される第１スケールファクタ値は、品質レベルＪから品質レベルＪ＋１へのアップサンプリング対するスケールファクタを示す。エンコードされたデータのセットは、上記したような態様で、第２スケールファクタを使用して、品質レベルＪ＋１から品質レベルＪ＋２へのアップサンプリングを示すことができる。第１スケールファクタ値は、第２スケールファクタ値とは異なる。デコーダ４４０は、異なるスケールファクタに従って、一のレベルから次のレベルへのアップサンプリングを行うことができる。更なる別の実施形態では、デコーダ４４０はまず、第１レベル品質の解像度に、第１スケールファクタを掛け合わせることにより得られた解像度に、信号をアップサンプリングする。この時点で、上記で説明したように、デコーダ４４０は、第２スケールファクタで規定される解像度に信号を再構成するために、より高い品質レベルにおける第２スケールファクタ値に基づいて、再構成された信号の最も外側の面を取り除く（例えば、２Ｄ信号の場合、イメージの境界における１以上の行または列を取り除く）。

［再構成された信号におけるアーチファクトのシミュレーション］
別の実施形態では、デコーダ４４０は、信号の再構成でシミュレーションされるべき効果の特性を特定するべく、エンコードされたデータの１以上のセットをデコードすることができる。例えば、エンコードされたデータの対応するセットで特定される信号の特性は、デコーダ４４０に対して、特定レベルの品質（例えば、最も高い品質または選択されたレベルの品質）で再構成されたバージョンの信号に付加すべきと特定の効果を、どのようにシミュレーションすべきかを示してもよい。このような一実施形態では、エンコードされたデータのセットは、修正すべきまたは修正を適用すべき再構成された信号の特定の要素を示す必要がない。代わりに、エンコードされたデータのセットは、再構成された信号に適用すべきまたは分配すべき、効果または改善を示す。

一例として、デコーダ４４０は、優先度の低い情報を表す残留データの元のバージョンで発見された効果と関連付けられているスペクトル特性を特定するのに、データのセットをデコードしてもよい。このような効果は、フィルムグレイン、カメラセンサノイズ、信号の優先度の低い詳細等の属性であってもよい。エンコードされたデータのスペクトル特性は、このような効果を、階層構造を有する品質の１以上のレベルにおいて再構成された信号に付加することによって、効果をどのようにシミュレーションすべきかをデコーダ４４０に対して示してもよい。効果を付加することについてのスペクトル情報は、シミュレーションされる効果の発生および効果それぞれの分布を示してもよい。しかしながら、スペクトル情報は、信号の元のバージョンに存在するアーチファクトを詳細に再構成するのに必要となる残留データの実際のロケーションまたは特定の値を示す必要はない。

更なる実施形態では、信号要素の各々について、デコーダ４４０は、デコードされたデータのセットによって規定されるようにスペクトル特性を利用して、スペクトル情報が特定された品質レベルよりも高い品質レベルにおけるシミュレーションされた効果の特徴付けを行ってもよい。すなわち、上述した態様で、再構成された信号の各部分について、再構成された信号または再構成された信号の特定の部分について、高い品質レベルのデコードされたデータのセットが、シミュレーションされた効果の異なるスペクトル特性を使用すると規定するまでは、デコーダ４４０は、前のレベルで規定されたシミュレーションされた残留データの特性を、階層構造になった品質の複数のレベルに対して使用することができる。すなわち、デコーダ４４０は、スペクトル情報によって規定される態様で、品質の高いレベルで表示を行うべく、再構成された信号の要素を修正するために、スペクトル特性のセットを利用してもよい。一実施形態では、デコーダは、再構成された信号が表示デバイスに表示される品質レベルにおけるスペクトル特性情報を適用する。

［複数の再構成された情報平面に基づく信号の再構成］
一実施形態では、デコーダ４４０は、信号の様々な色平面（color plane）（例えば、赤・緑・青、ＹＵＶ、ＨＳＶまたはその他の種類の色空間）に対して、別個の信号階層構造を受信する。別個の信号階層構造は、独立した（場合によっては異なる）スケールファクタ、オペレーションおよび最も高い品質レベルを伴ってもよい。再構成された異なる色平面が、異なる品質レベルを有する場合には、デコーダは、低い解像度の色平面をアップサンプリングして、最も高い品質の色平面の解像度と一致させるようにし、次に、再構成された色平面の全てを、１つの再構成された色信号へと結合して、表示デバイスへと送信する。この場合、アップサンプリングは、階層構造を有する品質の各レベルについて、３つ以上の情報平面を再構成することを含んでもよい。品質の各レベルにおける平面情報の組み合わせは、対応する品質レベルのイメージまたは再構成された信号を規定する。

一実施形態では、デコーダ４４０は、品質の各レベルにおいて、３つの平面を再構成してもよい。１つの平面は、イメージ要素に関連付けられた輝度（例えば、ＹＵＶ規格ではＹ）を表し、別の平面は、イメージ要素に関連付けられた青色クロミナンス（例えば、ＹＵＶ規格ではＵ）を表し、もう一つの平面は、イメージ要素に関連付けられた赤色クロミナンス（例えば、ＹＵＶ規格ではＶ）を表してもよい。平面はそれぞれ、異なるレベルの品質に従ってエンコードされてもよい。例えば、イメージを視認する際に最も重要な一つと考えられる、輝度面（luminance plane）を、詳細度が最も高いレベルでエンコードし、イメージを視認する際にそこまで重要でないと考えられる、クロミナンス平面（chrominance plane）を、それより低いレベルの詳細度でデコードしてもよい。

一実施形態では、階層構造を有する品質の連続するより高いレベルで信号を再構成する方法は、補助情報、特に、モーションに関する情報、歪み（warp）情報等を、デコードされたデータの第２セットから読み出す段階を備え、補助情報は、第１レベルの品質の信号へのアップサンプリングオペレーションの適用に影響を与えるパラメータ、および、第２レベルの品質で再構成された信号の、残留データによって規定される修正に影響を与えるパラメータを示す。

図８は、一実施形態に係る、コンピュータ処理を提供するコンピュータシステム８００を示したブロック図である。

コンピュータシステム８００は、例えば、パーソナルコンピュータ、処理回路、ワークステーション、ポータブルコンピュータデバイス、コンソール、ネットワーク端末、処理デバイス、スイッチ、ルータ、サーバ、クライアント等として動作するネットワークデバイスのような、コンピュータデバイスであってもよい、または、コンピュータデバイスを含んでもよい。

以下の説明では、上記したようにデコーダ４４０に関連する機能をどのように実行するかを示す基本的な実施形態について記載する。しかしながら、以下に説明するようなオペレーションを実行するための実際の構成は、アプリケーションによって異なってもよい。

図示するように、本実施形態のコンピュータシステム８００は、デジタル情報を格納および読み出し可能な非一時的な媒体、コンピュータ可読ハードウェア記憶媒体等のコンピュータ可読記憶媒体８１２を接続するインターコネクト８１１を備える。コンピュータシステム８００は更に、プロセッサ８１３、Ｉ／Ｏインターフェース８１４、および、通信インターフェース８１７を備えてもよい。

Ｉ／Ｏインターフェース８１４は、リポジトリ１８０、および、存在する場合には、ディスプレイスクリーン、キーボード、コンピュータマウス等の周辺デバイス８１６への接続性を提供する。

コンピュータ可読記憶媒体８１２（例えば、ハードウェア記憶媒体）は、メモリ、光学記憶装置、ハードドライブ、フロッピー（登録商標）ディスク等の任意の好適なデバイスおよび／またはハードウェアであってもよい。コンピュータ可読記憶媒体は、デコーダアプリケーション４４０−１と関連付けられた命令を格納する非一時的記憶媒体であってもよい。命令が、デコーダ４４０のような対応するリソースによって実行されて、本明細書で説明したようなオペレーションが実行される。

通信インターフェース８１７により、コンピュータシステム８００は、ネットワーク１９０を介して通信を行うことが可能となり、リモートソースから情報を読み出すことができ、その他のコンピュータ、スイッチ、クライアント、サーバ等との通信も可能となる。また、Ｉ／Ｏインターフェース８１４により、プロセッサ８１３は、リポジトリ１８０に格納されている情報を読み出すことができるまたは読み出しを試みることができる。

図に示すように、コンピュータ可読記憶媒体８１２を、プロセッサ８１３が実行するデコーダアプリケーション８４０−１を使用して、スイッチリソースプロセス８４０−２としてエンコードすることができる。

コンピュータシステム８００またはデコーダ４４０が、データおよび／またはロジック命令を格納するためのコンピュータ可読記憶媒体８１２（例えば、ハードウェア記憶媒体、非一時的記憶媒体等）を備えてもよい。

コンピュータシステム８００は、このような命令を実行し、本明細書に記載したようなオペレーションを実行するプロセッサ８１３を備えてもよい。実行されると、デコーダアプリケーション４４０−１と関連つけられたコードが、本明細書に説明したような機能の処理をサポートしてもよい。一実施形態のオペレーションの間に、プロセッサ８１３は、コンピュータ可読記憶媒体８１２に格納されたデコーダアプリケーション４４０−１の命令を、起動、実行、解析または実行するべく、インターコネクト８１１を使用して、コンピュータ可読記憶媒体８１２にアクセスする。デコーダアプリケーション４４０−１を実行すると、プロセッサ８１３における処理機能が生成される。すなわち、プロセッサ８１３に関連付けられたデコーダプロセス４４０−２は、コンピュータシステム８００内のプロセッサ８１３内、または、コンピュータシステム８００内のプロセッサ８１３で、デコーダアプリケーション４４０−１を実行する１以上の側面を表す。当業者であれば、コンピュータシステム８００は、アプリケーションを制御するオペレーティングシステムのような、ソフトウェアおよびハードウェア構成要素および／またはその他のプロセス、ならびに、デコーダアプリケーション４４０−１を実行するハードウェア処理リソースの利用を含んでもよいことが理解できる。

様々な実施形態では、コンピュータシステムは、様々な種類のデバイスであってよく、これに限定されないが、例えば、パーソナルコンピュータシステム、デスクトップコンピュータ、ラップトップ、ノートブック、ネットブックコンピュータ、メインフレームコンピュータシステム、ハンドヘルドコンピュータ、ワークステーション、ネットワークコンピュータ、アプリケーションサーバ、記憶デバイス、カメラ、ビデオカメラ、セットトップボックス、モバイルデバイス、ビデオゲームコンソール、携帯ビデオゲームデバイスのような消費家電、スイッチ、モデム、ルータのような周辺機器、または、一般的なコンピュータデバイスまたは電子デバイスが含まれる。

デコーダ４４０における構成要素によってサポートされる機能について、図９から図１１のフローチャートを参照して説明する。上記したように、対応するスイッチおよび／またはその他のハードウェアによって実行されるデコーダアプリケーション４４０−１は、以下に説明するようなフローチャートに示される段階を実行するように構成されてもよい。図１から図８を参照して上記で説明した概念と重複する部分がある。また、フローチャートに示される段階は、必ずしも示された順番で実行される必要はない。任意の好適な順番で段階を実行することができる。

図９は、実施形態に係る、様々なレベルの品質で信号を再構成する方法を例示したフローチャート９００である。

段階９１０において、デコーダ４４０は、データの第１セットをデコードする。段階９２０において、デコーダ４４０は、デコードされたデータの第１セットを使用して、第１レベルの品質に従って信号１１５を再構成する。段階９３０において、デコーダ４４０は、データの第２セットをデコードする。段階９４０において、デコーダ４４０は、デコードされたデータの第２セットによって規定されるアップサンプリングオペレーションを特定する。段階９５０において、デコーダ４４０は、デコードされたデータの第２セットによって特定されたアップサンプリングオペレーションを、第１レベルの品質で再構成された信号に適用して、第２レベルの品質で信号を再構成する。

図１０および図１１は、実施形態に係るデコードを例示したフローチャート１０００（例えば、フローチャート１０００−１およびフローチャート１０００−２）である。

段階１０１０において、デコーダ４４０は、データの第１セットをデコードする。段階１０２０において、デコーダ４４０は、デコードされたデータの第１セットを使用して、第１レベルの品質に従って信号１１５を再構成する。段階１０３０において、デコーダ４４０は、データの第２セットをデコードする。段階１０４０において、デコーダ４４０は、デコードされたデータの第２セットによって規定されるアップサンプリングオペレーションおよびスケールファクタを特定する。段階１０５０において、デコーダ４４０は、デコードされたデータの第２セットによって規定されるアップサンプリングオペレーションおよびスケールファクタを、第１レベルの品質で再構成された信号に適用して、第２レベルの品質で信号１１５を再構成する。段階１０６０において、デコーダ４４０は、デコードされたデータの第２セットから残留データを読み出す。残留データは、アップサンプリングオペレーションを適用した後に、第２レベルの品質で再構成された信号をどのように修正するかを示す。段階１０７０において、デコーダ４４０は、第２レベルの品質で再構成された信号を、残留データで規定されるように修正する。

段階１１１０において、階層構造になった品質の第２レベルを超える品質の複数のレベルのそれぞれについて、デコーダ４４０は、以下のような段階を繰り返す。サブステップ１１２０において、デコーダ４４０は、最後に処理したレベルの品質を超える、階層構造における次に高いレベルのデータのセットをデコードする。サブステップ１１３０において、デコーダ４４０は、デコードされた当該次に高いレベルのデータのセットによって規定されるアップサンプリングオペレーションおよびスケールファクタを特定する。サブステップ１１４０において、デコーダ４４０は、前記デコードされた次に高いレベルのデータのセットで特定されたアップサンプリングオペレーションおよびスケールファクタを適用して、更に次に高いレベルの品質で信号１１５を再構成する。サブステップ１１５０において、デコーダ４４０は、前記デコードされた次に高いレベルのデータのセットによって規定される残留情報および／または残留特性を特定する。サブステップ１１６０において、デコーダ４４０は、残留情報を適用して、更に次に高いレベルの品質で再構成された信号を修正する。

本明細書に記載された技術は、デコーダを使用して信号の処理および再構成を行う場合に適している。しかしながら、実施形態は、そのようなアプリケーションでの使用に限定されず、本明細書に説明された技術は、その他のアプリケーションにも適用可能である。

上記の説明に基づいて、特許請求される特徴の理解を提供するべく、数多くの具体的な詳細事項が記載された。しかしながら、当業者であれば、特許請求される特徴は、このような詳細事項がなくとも実施可能であることが理解できる。また、特許請求される特長の説明を明確にするために、当業者に周知の方法、装置、システム等については、詳細に説明していない。詳細な説明の一部は、コンピュータメモリのようなコンピュータシステムメモリに格納されたデータビットまたは二値デジタル信号に対するオペレーションのアルゴリズムまたは記号表現として表された。これらアルゴリズム的記述または表現は、データ処理の分野の当業者が、自身のワークの内容を他の当業者に伝達するのに使用する技術の例である。本明細書に記載されたアルゴリズムは概して、所望の結果に導くオペレーションまたは同様な処理の首尾一貫したシーケンスであると考えられる。この観点で、オペレーションまたは処理は、物理量の物理的操作を含む。必ずしもではないが、典型的には、このような物理量は、格納、転送、組み合わせ、比較または操作され得る電気信号または磁気的信号の形態であってもよい。このような信号を、主に共通の利用の観点から、ビット、データ、値、要素、シンボル、文字、言葉、数字、番号等と称するのが便利であることが分かっている。しかしながら、これらの全ておよび同様な言葉は、好適な物理量に関連付けられるが、これは単なるラベルに過ぎない。そうでないと明確に示されない限り、以下の説明で明らかとなるように、本明細書の説明で使用されている"processing（処理）"、"computing（演算）"、"calculating（計算）"、"determining（判断）"等の言葉は、メモリ、レジスタまたはその他の情報記憶デバイス、送信デバイス、または、コンピュータプラットフォームの表示デバイス内の物理的、電子的または磁気的な量として表されるデータを操作または変換するコンピュータまたは同様な電子演算装置のようなコンピュータプラットフォームのアクションまたはプロセスを指す。

本発明が、望ましい実施形態を参照して説明されたが、当業者であれば、添付の特許請求の範囲に規定される本願の精神および範囲内において、形態および詳細において様々な変更が可能であることが理解できる。このような変形例についても、本願の範囲に含まれることを意図している。したがって、上記の本願の実施形態の説明は、限定することを意図していない。本発明を限定する事項は、添付の特許請求の範囲に示されている。
［項目１］
階層構造において、品質の連続するより高いレベルで信号を再構成する方法であって、前記方法は、
データの第１セットをデコードする段階と、
デコードされた前記データの第１セットを使用して、第１レベルの品質に従って前記信号を再構成する段階と、
データの第２セットをデコードする段階と、
デコードされた前記データの第２セットによって規定されるアップサンプリングオペレーションを特定する段階と、
前記第１レベルの品質よりも高い第２レベルの品質で前記信号を再構成するべく、デコードされた前記データの第２セットで特定された前記アップサンプリングオペレーションを、前記第１レベルの品質で再構成された前記信号に適用する段階と、を備える方法。
［項目２］
データの第３セットをデコードする段階と、
デコードされた前記データの第３セットによって規定されるアップサンプリングオペレーションを特定する段階と、
前記階層構造において前記第２レベルの品質よりも高い第３レベルの品質で前記信号を再構成するべく、デコードされた前記データの第３セットで特定された前記アップサンプリングオペレーションを、前記第２レベルの品質で再構成された前記信号に適用する段階と、を更に備える項目１に記載の方法。
［項目３］
デコードされた前記データの第２セットで特定された前記アップサンプリングオペレーションは、第１アップサンプリングオペレーションであり、
デコードされた前記データの第３セットで特定された前記アップサンプリングオペレーションは、第２アップサンプリングオペレーションであり、
前記第１アップサンプリングオペレーションは、前記第２アップサンプリングオペレーションとは異なる、項目２に記載の方法。
［項目４］
前記第１レベルの品質で再構成された前記信号に適用される前記アップサンプリングオペレーションは、
ｉ）特に、バイリニアフィルタまたはトリリニアフィルタである、線形フィルタオペレーション、
ｉｉ）特に、バイキュービックフィルタまたはトリキュービックフィルタである、キュービックフィルタオペレーション、
ｉｉｉ）デブレンディングフィルタ、および、
ｉｖ）アンシャープマスキングフィルタ、からなる群から選択される少なくとも１つのオペレーションを含む、項目１から３の何れか一項に記載の方法。
［項目５］
前記第２レベルの品質よりも高いレベルの品質に対するデコードされたデータのセットが、デコードされた前記データの第２セットで特定された前記アップサンプリングオペレーションとは異なるアップサンプリングオペレーションを使用すると規定するまで、デコードされた前記データの第２セットで規定された前記アップサンプリングオペレーションを、前記第２レベルの品質よりも少なくとも１レベル高い品質で再構成された少なくとも１つの信号に適用する段階を更に備える、項目１または４に記載の方法。
［項目６］
データの第３セットをデコードする段階と、
デコードされた前記データの第３セットが、特定のアップサンプリングオペレーションを規定しないと特定された場合に、前記階層構造において前記第２レベルの品質よりも高い第３レベルの品質で前記信号を再構成するべく、デコードされた前記データの第２セットで特定された前記アップサンプリングオペレーションを、前記第２レベルの品質で再構成された前記信号に適用する段階と、を更に備える項目１または４に記載の方法。
［項目７］
デコードされた前記データの第２セットから、残留データを読み出す段階と、
前記第２レベルの品質で再構成された前記信号を、前記残留データに規定されるように修正する段階と、
前記第２レベルの品質よりも高いレベルの品質で再構成された前記信号を、デコードされた前記データの第２セットから読み出された前記残留データに規定されるように修正する段階と、を更に備え、
前記残留データは、前記アップサンプリングオペレーションを適用した後に、前記第２レベルの品質で再構成された前記信号をどのように修正するかを示す、項目１に記載の方法。
［項目８］
デコードされた前記データの第２セットを処理して、デコードされた前記データの第２セットによって規定される前記アップサンプリングオペレーションを適用するべき、前記第１レベルの品質で再構成された前記信号の特定の部分を特定する段階を更に備え、
前記アップサンプリングオペレーションを適用する段階は、前記第２レベルの品質で前記信号を再構成するべく、前記第１レベルの品質で再構成された前記信号の前記特定の部分に、前記アップサンプリングオペレーションを適用する段階を有する、項目１に記載の方法。
［項目９］
デコードされた前記データの第２セットを処理して、前記第１レベルの品質で再構成された前記信号の明確に特定された部分の属性タイプを特定する段階と、
前記属性タイプを、前記属性タイプで規定される前記信号におけるデータのタイプの少なくとも１つのアップサンプリングオペレーションの１セットにマッピングする段階と、
前記第１レベルの品質よりも高いレベルの品質に対応するデコードされたデータのセットが、前記信号または前記信号の部分に対して、異なる属性タイプを使用すると規定するまで、前記信号の部分それぞれについて、前記属性タイプによって規定された前記少なくとも１つのアップサンプリングオペレーションの前記１セットを、初期設定アップサンプリングオペレーションとして、品質の次のレベルでの、前記信号の前記部分の再構成に使用する段階と、を更に備える、項目１に記載の方法。
［項目１０］
前記第２レベルの品質で前記信号を再構成するべく、デコードされた前記データの第２セットで特定された異なる複数のアップサンプリングオペレーションを、前記第１レベルの品質で再構成された前記信号の異なる複数の部分に適用する段階と、
前記第１レベルの品質よりも高いレベルの品質に対応するデコードされたデータのセットが、前記信号または前記信号の部分に対して、異なるアップサンプリングオペレーションを使用すると規定するまで、前記信号の前記複数の部分それぞれについて、デコードされた前記データの第２セットで特定された少なくとも１つのアップサンプリングオペレーションのセットを、初期設定アップサンプリングオペレーションとして、品質の次のレベルでの、前記信号の前記部分の再構成に使用する段階と、を更に備える項目１に記載の方法。
［項目１１］
スケールファクタ値を特定するべく、デコードされた前記データの第２セットを処理する段階と、
初期設定スケールファクタ値に従って前記アップサンプリングを実行する代わりに、前記スケールファクタ値に従って、前記第１レベルの品質で再構成された前記信号を、前記第２レベルの品質で再構成された前記信号へとアップサンプリングする段階と、を更に備え、
前記スケールファクタ値は、前記第１レベルの品質で再構成された前記信号を、前記第２レベルの品質で再構成された前記信号へとアップサンプリングする解像度を示す、項目１に記載の方法。
［項目１２］
初期設定スケールファクタ値に従って前記アップサンプリングを実行する代わりに、前記スケールファクタ値を使用して、前記第１レベルの品質で再構成された前記信号を、前記第２レベルの品質で再構成された前記信号へとアップサンプリングする段階を更に備える、項目１１に記載の方法。
［項目１３］
前記階層構造における前記品質の様々なレベルについて、初期設定スケールファクタ値に従ってアップサンプリングを実行する代わりに、前記階層構造の前記様々なレベルにおけるデコードされたデータのセットによって規定されるスケールファクタ値を使用して、前記信号を再構成する段階を更に備える、項目１に記載の方法。
［項目１４］
前記スケールファクタ値は、第１スケールファクタ値および第２スケールファクタ値を含み、
前記第１スケールファクタ値は、デコードされた前記データの第１セットによって規定され、
前記第２スケールファクタ値は、デコードされた前記データの第２セットによって規定され、
前記第１スケールファクタ値は、前記第２スケールファクタ値とは異なっており、
前記方法は更に、
前記第１スケールファクタ値を使用して、前記第１スケールファクタによって示される解像度および前記第１レベルの品質の解像度で前記信号をアップサンプリングおよび再構成する段階と、
前記第２スケールファクタ値を使用して、前記第２レベルの品質で前記信号を再構成する段階と、を備える項目１３に記載の方法。
［項目１５］
デコードされた前記データの第２セットに規定されるように、残留データを特定する段階と、
前記第２レベルの品質で再構成された前記信号の要素を、前記残留データによって規定される態様で修正する段階と、
前記第２レベルの品質よりも高いレベルの品質に対するデコードされたデータのセットが、異なる残留データを使用すると規定するまで、前記第２レベルの品質よりも高いレベルの品質での再構成に、デコードされた前記データの第２セットによって規定された前記残留データを使用する段階と、を更に備える項目７に記載の方法。
［項目１６］
デコードされた前記データの第２セットに規定されるように、残留データを特定する段階と、
マルチスケールエントロピーデコーダを使用して、前記残留データをデコードする段階と、
前記第２レベルの品質で再構成された前記信号の要素を、デコードされた前記残留データに規定される態様で修正する段階と、を更に備え、
デコードされた前記残留データは、前記第２レベルの品質で再構成された前記信号の特定の要素をどのように修正するかを規定する、項目１に記載の方法。
［項目１７］
前記データの第２セットをデコードして、シミュレーションされた残留データの特性を特定する段階と、
前記第２レベルの品質よりも高い品質のレベルに対するデコードされたデータのセットが、前記信号に対してまたは前記信号の部分に対して、シミュレーションされた残留データの異なる特性を使用すると規定するまで、信号要素の各々について、前記信号要素と同じ位置に位置する複数の信号要素の前記第２レベルの品質よりも高いレベルに対するシミュレーションされた残留データを特徴付けるのに、デコードされた前記データの第２セットによって規定された前記シミュレーションされた残留データの特性を使用する段階と、
表示レベルの品質で再構成された前記信号の要素を、前記シミュレーションされた残留データによって規定される態様で修正するべく、前記特性のセットを使用する段階と、を更に備え、
前記特性は、前記信号の再構成されたバージョンに付加すべき残留データを、デコーダがどのようにシミュレーションするかを示すが、前記再構成された信号の修正すべき特定の要素および適用すべき特定の修正は示さない、項目１に記載の方法。
［項目１８］
前記データの第２セットをデコードして、優先度の低い情報（例えば、フィルムグレイン、カメラセンサノイズ、前記信号の優先度の低い詳細等）を表す残留データと関連付けられたスペクトル特性を特定する段階と、
前記第２レベルの品質よりも高い品質のレベルに対するデコードされたデータのセットが、前記信号に対してまたは前記信号の特定の部分に対して、シミュレーションされた残留データの異なるスペクトル特性を使用すると規定するまで、信号要素の各々について、前記信号要素と同じ位置に位置する前記信号の部分の前記第２レベルの品質よりも高いレベルに対する、シミュレーションされた残留データを特徴付けるのに、デコードされた前記データの第２セットによって規定された前記スペクトル特性を使用する段階と、
表示レベルの品質で再構成された前記信号の前記要素を、前記シミュレーションされた残留データによって規定される態様で修正するべく、前記スペクトル特性のセットを使用する段階と、を更に備え、
前記スペクトル特性は、前記残留データの実際のロケーションまたは特定の値を示すことなく、デコーダに、再構成された前記信号に付加される前記残留データをどのようにシミュレーションするかを示す、項目１に記載の方法。
［項目１９］
前記階層構造は、前記階層構造における次のレベルの品質に従って前記信号を再構成するための、データの更なるセットを含み、
前記階層構造において、前記次のレベルの品質は、現在のレベルの品質よりも高く、
前記方法は更に、
前記現在のレベルの品質で再構成された前記信号に従って、イメージ情報を表示装置に表示する段階を備える、項目１に記載の方法。
［項目２０］
前記第２レベルの品質を超える複数のレベルの品質それぞれについて、
最後に処理したレベルの品質の上の、前記階層構造における次に高いデータのセットをデコードする段階と、
デコードされた前記次に高いデータのセットによって規定されるアップサンプリングオペレーションおよびスケールファクタのうちの少なくとも一方を特定する段階と、
デコードされた前記次に高いデータのセットで特定された前記アップサンプリングオペレーションを適用して、次に高いレベルの品質で前記信号を再構成する段階と、
デコードされた前記次に高いデータのセットにより規定される、残留情報および残留特性の少なくとも一方を特定する段階と、
前記次に高いレベルの品質で再構成された前記信号を修正するべく、前記残留情報を適用する段階と、を繰り返す、項目１に記載の方法。
［項目２１］
デコーダは、前記信号の異なる色平面に対して、個別の信号階層構造を受信し、
前記個別の信号階層構造は、独立したおよび場合によっては異なるスケールファクタ、オペレーション、および、最も高いレベルの品質を有し、
再構成された異なる複数の色平面が、異なるレベルの品質を有する場合には、前記デコーダは、前記色平面の解像度を、前記最も高いレベルの品質と一致させるべく、より低い解像度の色平面をアップサンプリングし、その後で、再構成された全ての前記複数の色平面を、１つの再構成された色信号へと統合して表示装置へと送信する、項目１に記載の方法。
［項目２２］
前記信号と関連付けられた複数の異なる色平面に対して別個に受信した信号階層構造をデコードする段階であって、前記別個に受信した信号階層構造は、独立したおよび場合によっては異なるスケールファクタ、オペレーション、および、最も高いレベルの品質を有する、段階と、
再構成された異なる複数の色平面が、異なるレベルの品質を有する場合には、前記色平面の解像度を、前記最も高いレベルの品質と一致させるべく、より低い解像度の色平面をアップサンプリングし、その後に、再構成された前記複数の色平面を、１つの再構成された色信号へと統合して表示装置へと送信する段階とを、備える項目１に記載の方法。
［項目２３］
補助情報、特に、モーションに関する情報、歪み情報等を、デコードされた前記データの第２セットから読み出す段階を更に備え、
前記補助情報は、前記第１レベルの品質の前記信号への前記アップサンプリングオペレーションの適用に影響を与えるパラメータ、および、前記第２レベルの品質で再構成された前記信号の、残留データによって規定される修正に影響を与えるパラメータを示す、項目１に記載の方法。
［項目２４］
プロセッサと、
前記プロセッサによって実行されるアプリケーションと関連付けられた命令を格納するメモリユニットと、
前記プロセッサと前記メモリユニットとを接続するインターコネクトとを備えるコンピュータシステムであって、
前記インターコネクトにより、前記コンピュータシステムは、前記アプリケーションを実行することが可能となり、および、
データの第１セットをデコードする手順、
デコードされた前記データの第１セットを使用して、第１レベルの品質に従って信号を再構成する手順、
データの第２セットをデコードする手順、
デコードされた前記データの第２セットによって規定されるアップサンプリングオペレーションを特定する手順、および、
前記第１レベルの品質よりも高い第２レベルの品質で前記信号を再構成するべく、デコードされた前記データの第２セットで特定された前記アップサンプリングオペレーションを、前記第１レベルの品質で再構成された前記信号に適用する手順を実行することが可能となる、コンピュータシステム。
［項目２５］
コンピュータの処理デバイスによって実行されると、前記処理デバイスに、
データの第１セットをデコードする手順、
デコードされた前記データの第１セットを使用して、第１レベルの品質に従って信号を再構成する手順、
データの第２セットをデコードする手順、
デコードされた前記データの第２セットによって規定されるアップサンプリングオペレーションを特定する手順、および、
前記第１レベルの品質よりも高い第２レベルの品質で前記信号を再構成するべく、デコードされた前記データの第２セットで特定された前記アップサンプリングオペレーションを、前記第１レベルの品質で再構成された前記信号に適用する手順、を実行させるコンピュータプログラム。

Claims (24)

1. 階層構造において、品質の連続するより高いレベルで信号を再構成する方法であって、前記方法は、
   データの第１セットをデコードする段階と、
   デコードされた前記データの第１セットを使用して、第１レベルの品質に従って前記信号を再構成する段階と、
   データの第２セットをデコードする段階と、
   デコードされた前記データの第２セットによって規定されるアップサンプリングオペレーションを特定する段階と、
   前記第１レベルの品質よりも高い第２レベルの品質で前記信号を再構成するべく、デコードされた前記データの第２セットで特定された前記アップサンプリングオペレーションを、前記第１レベルの品質で再構成された前記信号に適用する段階と、
   前記第２レベルの品質よりも高いレベルの品質に対するデコードされたデータのセットが残留データを含んでいない場合、異なる残留データを使用すると規定するまで、または、デコードされた前記データの第２セットによって規定された残留データの適用を終了すると示すまで、前記第２レベルの品質よりも高いレベルの品質での再構成に、前記第２レベルの品質で前記信号を再構成したときにデコードされた前記データの第２セットによって規定された前記残留データを使用する段階と
   を備える方法。
2. データの第３セットをデコードする段階と、
   デコードされた前記データの第３セットによって規定されるアップサンプリングオペレーションを特定する段階と、
   前記階層構造において前記第２レベルの品質よりも高い第３レベルの品質で前記信号を再構成するべく、デコードされた前記データの第３セットで特定された前記アップサンプリングオペレーションを、前記第２レベルの品質で再構成された前記信号に適用する段階と、を更に備える請求項１に記載の方法。
3. デコードされた前記データの第２セットで特定された前記アップサンプリングオペレーションは、第１アップサンプリングオペレーションであり、
   デコードされた前記データの第３セットで特定された前記アップサンプリングオペレーションは、第２アップサンプリングオペレーションであり、
   前記第１アップサンプリングオペレーションは、前記第２アップサンプリングオペレーションとは異なる、請求項２に記載の方法。
4. 前記第１レベルの品質で再構成された前記信号に適用される前記アップサンプリングオペレーションは、
   ｉ）特に、バイリニアフィルタまたはトリリニアフィルタである、線形フィルタオペレーション、
   ｉｉ）特に、バイキュービックフィルタまたはトリキュービックフィルタである、キュービックフィルタオペレーション、および
   ｉｉｉ）アンシャープマスキングフィルタ、からなる群から選択される少なくとも１つのオペレーションを含む、請求項１から３の何れか一項に記載の方法。
5. 前記第２レベルの品質よりも高いレベルの品質に対するデコードされたデータのセットが、デコードされた前記データの第２セットで特定された前記アップサンプリングオペレーションとは異なるアップサンプリングオペレーションを使用すると規定するまで、デコードされた前記データの第２セットで規定された前記アップサンプリングオペレーションを、前記第２レベルの品質よりも少なくとも１レベル高い品質で再構成された少なくとも１つの信号に適用する段階を更に備える、請求項１から４の何れか一項に記載の方法。
6. データの第３セットをデコードする段階と、
   デコードされた前記データの第３セットが、特定のアップサンプリングオペレーションを規定しないと特定された場合に、前記階層構造において前記第２レベルの品質よりも高い第３レベルの品質で前記信号を再構成するべく、デコードされた前記データの第２セットで特定された前記アップサンプリングオペレーションを、前記第２レベルの品質で再構成された前記信号に適用する段階と、を更に備える請求項１から４の何れか一項に記載の方法。
7. デコードされた前記データの第２セットから、残留データを読み出す段階と、
   前記第２レベルの品質で再構成された前記信号を、前記残留データに規定されるように修正する段階と、
   前記第２レベルの品質よりも高いレベルの品質で再構成された前記信号を、デコードされた前記データの第２セットから読み出された前記残留データに規定されるように修正する段階と、を更に備え、
   前記残留データは、前記アップサンプリングオペレーションを適用した後に、前記第２レベルの品質で再構成された前記信号をどのように修正するかを示す、請求項１から６の何れか一項に記載の方法。
8. デコードされた前記データの第２セットを処理して、デコードされた前記データの第２セットによって規定される前記アップサンプリングオペレーションを適用するべき、前記第１レベルの品質で再構成された前記信号の特定の部分を特定する段階を更に備え、
   前記アップサンプリングオペレーションを適用する段階は、前記第２レベルの品質で前記信号を再構成するべく、前記第１レベルの品質で再構成された前記信号の前記特定の部分に、前記アップサンプリングオペレーションを適用する段階を有する、請求項１から７の何れか一項に記載の方法。
9. デコードされた前記データの第２セットを処理して、前記第１レベルの品質で再構成された前記信号の明確に特定された部分の属性タイプを特定する段階と、
   前記属性タイプを、前記属性タイプで規定される前記信号におけるデータのタイプの少なくとも１つのアップサンプリングオペレーションの１セットにマッピングする段階と、
   前記第１レベルの品質よりも高いレベルの品質に対応するデコードされたデータのセットが、前記信号または前記信号の部分に対して、異なる属性タイプを使用すると規定するまで、前記信号の部分それぞれについて、前記属性タイプによって規定された前記少なくとも１つのアップサンプリングオペレーションの前記１セットを、初期設定アップサンプリングオペレーションとして、品質の次のレベルでの、前記信号の前記部分の再構成に使用する段階と、を更に備える、請求項１から８の何れか一項に記載の方法。
10. 前記第２レベルの品質で前記信号を再構成するべく、デコードされた前記データの第２セットで特定された異なる複数のアップサンプリングオペレーションを、前記第１レベルの品質で再構成された前記信号の異なる複数の部分に適用する段階と、
    前記第１レベルの品質よりも高いレベルの品質に対応するデコードされたデータのセットが、前記信号または前記信号の部分に対して、異なるアップサンプリングオペレーションを使用すると規定するまで、前記信号の前記複数の部分それぞれについて、デコードされた前記データの第２セットで特定された少なくとも１つのアップサンプリングオペレーションのセットを、初期設定アップサンプリングオペレーションとして、品質の次のレベルでの、前記信号の前記部分の再構成に使用する段階と、を更に備える請求項１から９の何れか一項に記載の方法。
11. スケールファクタ値を特定するべく、デコードされた前記データの第２セットを処理する段階と、
    初期設定スケールファクタ値に従ってアップサンプリングを実行する代わりに、前記スケールファクタ値に従って、前記第１レベルの品質で再構成された前記信号を、前記第２レベルの品質で再構成された前記信号へとアップサンプリングする段階と、を更に備え、
    前記スケールファクタ値は、前記第１レベルの品質で再構成された前記信号を、前記第２レベルの品質で再構成された前記信号へとアップサンプリングする解像度を示す、請求項１から１０の何れか一項に記載の方法。
12. 初期設定スケールファクタ値に従って前記アップサンプリングを実行する代わりに、前記スケールファクタ値を使用して、前記第１レベルの品質で再構成された前記信号を、前記第２レベルの品質で再構成された前記信号へとアップサンプリングする段階を更に備える、請求項１１に記載の方法。
13. 前記階層構造における前記品質の様々なレベルについて、初期設定スケールファクタ値に従ってアップサンプリングを実行する代わりに、前記階層構造の前記様々なレベルにおけるデコードされたデータのセットによって規定されるスケールファクタ値を使用して、前記信号を再構成する段階を更に備える、請求項１から１２の何れか一項に記載の方法。
14. 前記スケールファクタ値は、第１スケールファクタ値および第２スケールファクタ値を含み、
    前記第１スケールファクタ値は、デコードされた前記データの第１セットによって規定され、
    前記第２スケールファクタ値は、デコードされた前記データの第２セットによって規定され、
    前記第１スケールファクタ値は、前記第２スケールファクタ値とは異なっており、
    前記方法は更に、
    前記第１スケールファクタ値を使用して、第１スケールファクタによって示される解像度および前記第１レベルの品質の解像度で前記信号をアップサンプリングおよび再構成する段階と、
    前記第２スケールファクタ値を使用して、前記第２レベルの品質で前記信号を再構成する段階と、を備える請求項１３に記載の方法。
15. デコードされた前記データの第２セットに規定されるように、残留データを特定する段階と、
    デコーダを使用して、前記残留データをデコードする段階と、
    前記第２レベルの品質で再構成された前記信号の要素を、デコードされた前記残留データに規定される態様で修正する段階と、を更に備え、
    デコードされた前記残留データは、前記第２レベルの品質で再構成された前記信号の特定の要素をどのように修正するかを規定する、請求項１から１４の何れか一項に記載の方法。
16. 前記データの第２セットをデコードして、シミュレーションされた残留データの特性を特定する段階と、
    前記第２レベルの品質よりも高い品質のレベルに対するデコードされたデータのセットが、前記信号に対してまたは前記信号の部分に対して、シミュレーションされた残留データの異なる特性を使用すると規定するまで、信号要素の各々について、前記信号要素と同じ位置に位置する複数の信号要素の前記第２レベルの品質よりも高いレベルに対するシミュレーションされた残留データを特徴付けるのに、デコードされた前記データの第２セットによって規定された前記シミュレーションされた残留データの特性を使用する段階と、
    表示レベルの品質で再構成された前記信号の要素を、前記シミュレーションされた残留データによって規定される態様で修正するべく、前記特性のセットを使用する段階と、を更に備え、
    前記特性は、前記信号の再構成されたバージョンに付加すべき残留データを、デコーダがどのようにシミュレーションするかを示すが、前記再構成された信号の修正すべき特定の要素および適用すべき特定の修正は示さない、請求項１から１５の何れか一項に記載の方法。
17. 前記データの第２セットをデコードして、優先度の低い情報（例えば、フィルムグレイン、カメラセンサノイズ、前記信号の優先度の低い詳細等）を表す残留データと関連付けられたスペクトル特性を特定する段階と、
    前記第２レベルの品質よりも高い品質のレベルに対するデコードされたデータのセットが、前記信号に対してまたは前記信号の特定の部分に対して、シミュレーションされた残留データの異なるスペクトル特性を使用すると規定するまで、信号要素の各々について、前記信号要素と同じ位置に位置する前記信号の部分の前記第２レベルの品質よりも高いレベルに対する、シミュレーションされた残留データを特徴付けるのに、デコードされた前記データの第２セットによって規定された前記スペクトル特性を使用する段階と、
    表示レベルの品質で再構成された前記信号の要素を、前記シミュレーションされた残留データによって規定される態様で修正するべく、前記スペクトル特性のセットを使用する段階と、を更に備え、
    前記スペクトル特性は、前記残留データの実際のロケーションまたは特定の値を示すことなく、デコーダに、再構成された前記信号に付加される前記残留データをどのようにシミュレーションするかを示す、請求項１から１６の何れか一項に記載の方法。
18. 前記階層構造は、前記階層構造における次のレベルの品質に従って前記信号を再構成するための、データの更なるセットを含み、
    前記階層構造において、前記次のレベルの品質は、現在のレベルの品質よりも高く、
    前記方法は更に、
    前記現在のレベルの品質で再構成された前記信号に従って、イメージ情報を表示装置に表示する段階を備える、請求項１から１７の何れか一項に記載の方法。
19. 前記第２レベルの品質を超える複数のレベルの品質それぞれについて、
    最後に処理したレベルの品質の上の、前記階層構造における次に高いデータのセットをデコードする段階と、
    デコードされた前記次に高いデータのセットによって規定されるアップサンプリングオペレーションおよびスケールファクタのうちの少なくとも一方を特定する段階と、
    デコードされた前記次に高いデータのセットで特定された前記アップサンプリングオペレーションを適用して、次に高いレベルの品質で前記信号を再構成する段階と、
    デコードされた前記次に高いデータのセットにより規定される、残留情報および残留特性の少なくとも一方を特定する段階と、
    前記次に高いレベルの品質で再構成された前記信号を修正するべく、前記残留情報を適用する段階と、を繰り返す、請求項１から１８の何れか一項に記載の方法。
20. デコーダは、前記信号の異なる色平面に対して、個別の信号階層構造を受信し、
    前記個別の信号階層構造は、独立したおよび場合によっては異なるスケールファクタ、オペレーション、および、最も高いレベルの品質を有し、
    再構成された異なる複数の色平面が、異なるレベルの品質を有する場合には、前記デコーダは、前記色平面の解像度を、前記最も高いレベルの品質と一致させるべく、より低い解像度の色平面をアップサンプリングし、その後で、再構成された全ての前記複数の色平面を、１つの再構成された色信号へと統合して表示装置へと送信する、請求項１から１９の何れか一項に記載の方法。
21. 前記信号と関連付けられた複数の異なる色平面に対して別個に受信した信号階層構造をデコードする段階であって、前記別個に受信した信号階層構造は、独立したおよび場合によっては異なるスケールファクタ、オペレーション、および、最も高いレベルの品質を有する、段階と、
    再構成された異なる複数の色平面が、異なるレベルの品質を有する場合には、前記色平面の解像度を、前記最も高いレベルの品質と一致させるべく、より低い解像度の色平面をアップサンプリングし、その後に、再構成された前記複数の色平面を、１つの再構成された色信号へと統合して表示装置へと送信する段階とを、備える請求項１から２０の何れか一項に記載の方法。
22. 補助情報、特に、モーションに関する情報、歪み情報等を、デコードされた前記データの第２セットから読み出す段階を更に備え、
    前記補助情報は、前記第１レベルの品質の前記信号への前記アップサンプリングオペレーションの適用に影響を与えるパラメータ、および、前記第２レベルの品質で再構成された前記信号の、残留データによって規定される修正に影響を与えるパラメータを示す、請求項１から２１の何れか一項に記載の方法。
23. プロセッサと、
    前記プロセッサによって実行されるアプリケーションと関連付けられた命令を格納するメモリユニットと、
    前記プロセッサと前記メモリユニットとを接続するインターコネクトとを備えるコンピュータシステムであって、
    前記インターコネクトにより、前記コンピュータシステムは、前記アプリケーションを実行することが可能となり、および、
    データの第１セットをデコードする手順と、
    デコードされた前記データの第１セットを使用して、第１レベルの品質に従って信号を再構成する手順と、
    データの第２セットをデコードする手順と、
    デコードされた前記データの第２セットによって規定されるアップサンプリングオペレーションを特定する手順と、
    前記第１レベルの品質よりも高い第２レベルの品質で前記信号を再構成するべく、デコードされた前記データの第２セットで特定された前記アップサンプリングオペレーションを、前記第１レベルの品質で再構成された前記信号に適用する手順と、
    前記第２レベルの品質よりも高いレベルの品質に対するデコードされたデータのセットが残留データを含んでいない場合、異なる残留データを使用すると規定するまで、または、デコードされた前記データの第２セットによって規定された残留データの適用を終了すると示すまで、前記第２レベルの品質よりも高いレベルの品質での再構成に、前記第２レベルの品質で前記信号を再構成したときにデコードされた前記データの第２セットによって規定された前記残留データを使用する手順とを実行することが可能となる、
    コンピュータシステム。
24. コンピュータの処理デバイスによって実行されると、前記処理デバイスに、
    データの第１セットをデコードする手順と、
    デコードされた前記データの第１セットを使用して、第１レベルの品質に従って信号を再構成する手順と、
    データの第２セットをデコードする手順と、
    デコードされた前記データの第２セットによって規定されるアップサンプリングオペレーションを特定する手順と、
    前記第１レベルの品質よりも高い第２レベルの品質で前記信号を再構成するべく、デコードされた前記データの第２セットで特定された前記アップサンプリングオペレーションを、前記第１レベルの品質で再構成された前記信号に適用する手順と、
    前記第２レベルの品質よりも高いレベルの品質に対するデコードされたデータのセットが残留データを含んでいない場合、異なる残留データを使用すると規定するまで、または、デコードされた前記データの第２セットによって規定された残留データの適用を終了すると示すまで、前記第２レベルの品質よりも高いレベルの品質での再構成に、前記第２レベルの品質で前記信号を再構成したときにデコードされた前記データの第２セットによって規定された前記残留データを使用する手順と
    を実行させるためのコンピュータプログラム。

Images