JP6206879B2 - 信号処理、および階層化された信号エンコード - Google Patents

Description

ＣＰＵ（中央演算処理装置）の効率性は、信号のエンコードおよびデコードの両方において重要である。現在の世代のプロセッサは、それぞれのチップ上に数百のシンプルなコアが搭載され、より多くの処理を並行して行えるようになってきている。

残念ながら従来のＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅｓ Ｅｘｐｅｒｔ Ｇｒｏｕｐ）ファミリーのコーデックは元々構造的に並行ではない。このことは、効率的な圧縮を行うには全てのブロックが互いに何らかの形で依存し合うようにされなければならなく、それらがブロックベースであり、各画像ブロックが順番にエンコードされデコードされる必要があるという事実に起因する。

ＭＰＥＧコードへのいわゆる「スライス」（基本的に、互いに隣り合って配置された別個の動画であるかのように互いに独立して処理される画像の部分）の導入により、Ｈ．２６４規格は、いくつかのスレッド（典型的には２つまたは３つのスレッド）の並行処理を可能とする。デブロック化（つまり、ブロック間の遷移を「スムーズに」し、より均一な画像を生成するフィルター）など重要なアルゴリズム要素は、典型的には、並行ＣＰＵを含む適用例には不適切である条件命令が多いグローバルな処理である。

今日のＣＰＵおよびＧＰＵ（グラフィックス処理ユニット）は典型的には非常に処理能力が高い。情報の並列処理を実行すべく１つのＧＰＵが数百のコンピューティングコアを含みうる。現在の技術を用いる場合、画像の多くの部分は、プロセッサキャッシュに格納され、処理され得る。当時のプロセッサは非常に小さな動画データの塊のみしか一時に扱えず、よって順次にしか扱うことが出来なかったので画像を多数の小さなブロックに分断する必要性があった。このことがＭＰＥＧの開発が推し進められた要因であったが、現代のＣＰＵおよびＧＰＵには当てはまらない。よって、利用可能な処理能力の大部分は、ＭＰＥＧのようなタイプのエンコード／デコードを実装する際には未使用のままとなり、ブロッキングアーティファクトが信号に不必要に取り込まれる。

また、ＭＰＥＧが開発された当時と比較し、現代のアプリケーションには典型的には、はるかに高い解像度の動画エンコード、および、はるかに高い全体的な再生品質が求められる。高解像度（ＨＤ）高品質動画においては、低詳細度のエリア（場合によっては焦点さえあっていないかもしれない）と、超高詳細度のエリアとの間にはるかに大きな差がある。このことにより、ＭＰＥＧで用いられる変換など周波数領域の変換を画像の処理および再生に利用することがさらに不適切となる。なぜなら、対応する周波数の範囲がはるかに広くなりつつあるからである。

加えて、高解像度の画像は、多量のカメラノイズおよび／またはフィルム粒子、つまり、視覚とはかなり無関係になり得、多くのビットのエンコードを必要とする超高詳細度の高周波数画素の遷移を含む。

最後に、従来のコーデックは、医療向けの画像化、科学向けの画像化などの分野においてより一層重要になってきている３Ｄまたはボリュメトリック画像化を効率的に実行するには不適切である。

今日の殆どの対象デバイスは、互いに異なる再生解像度および品質をサポートしている。拡張性に関する現在のＭＰＥＧ規格であるいわゆるＳＶＣ（スケーラブルビデオコード）は、産業界からの評判が良くなく、殆ど、または全く採用されていない。なぜなら、ＳＶＣはあまりに複雑であり、幾分、帯域幅の面で非効率であると見なされているからである。

さらに、エンコードされた動画は多い。つまり、コンテンツプロバイダは典型的にはエンコーダのパラメータをカスタマイズし、特定の動画ストリーム毎に試す時間がない。現在、コンテンツプロバイダは、動画のエンコードを成功させるためには多くのエンコードパラメータをマニュアルで（エンコードを実行し結果の品質をチェックする度に）微調整しなければならないことを嫌っている。

エンコード／デコードのＭＰＥＧ規格の代替として、いわゆる画像ピラミッドがエンコード／デコード目的で用いられている。例えば、ラプラシアンピラミッドを用い、従来のシステムは、ガウシアンフィルタを用い、より低い画像度レベルから元のレベルへ戻すよう厳密にプログラミングされたデコーダでアップサンプリングすることにより得られた画像の間の差のピラミッドを構築することにより、より低い解像度の画像を生成してきた。

従来のラプラシアンピラミッドによるエンコードは利用されていない。そのような変換の欠点の１つは、開発者が常に、ダウンサンプリングされた画像の歪み／アーティファクトを避けようとしており、彼らが常に、自身の情報を何ら追加しないただ１つのタイプのフィルターであるという理由からガウシアンフィルタを用いてきたということである。しかし、ガウシアンフィルタの克服され得ない課題は、ガウシアンフィルタがぼけ効果を有しており、より大きな解像度に戻すようアップルケールする場合に、元の画像を再現するべく、非常に多くの画像補正情報が必要となるということである。

本願発明の実施形態は、従来のシステムおよび方法から逸脱する。例えば、本願発明の実施形態は、デコードの際に信号を再構築するために必要となるデータの量を低減する、信号情報を処理しエンコードする独特なやり方に関する。

より詳細には、本願発明の一実施形態は、階層における複数の異なる品質レベルの受信信号をエンコードする段階を含む。例えば、エンコーダがエンコードされる信号を受信する。最初に、エンコーダは１以上のダウンサンプリング処理を利用して、階層における複数の連続するより低い品質レベルの信号のダウンサンプリングされたレンディションを生成する。その後、エンコーダは、１以上のアップサンプリング処理を第１品質レベルの信号のダウンサンプリングされたレンディションに適用して、階層における第２（例えば、より高い）品質レベルの信号のアップサンプリングされたレンディションを生成する。本明細書で説明するように、アップサンプリング処理およびダウンサンプリング処理は互いに非対称である。アップサンプリング処理およびダウンサンプリング処理の一方または両方のそれぞれは、互いに異なる非線形関数でありうる。

本願発明の一実施形態は、対応するエンコードループにおいていくつかの異なるダウンサンプリング処理およびアップサンプリング処理を用いて、どの処理が、エンコードされたデータの量を低減するのに最も適しているかを判断する段階を含む。そのような実施形態によると、エンコーダは、信号のダウンサンプリングされたレンディションと、より低い品質レベルの信号のアップサンプリングされたレンディションとの間の差を示す残留データのセットを生成し、テストする。

他の実施形態によると、階層における各品質レベルにおいて、エンコーダは、「損失の多い」エンコードアルゴリズムを実行して、各品質レベルで生成される残留データのエントロピーを低下させる。エントロピーの低下は、各品質レベルの信号の要素を変更、または微調整し、より高いレベルの残留データのエントロピーへの影響を推定することによって達成され得る。

さらに特定的な実施形態によると、エントロピーを改善する（例えば、低下させる）ために微調整する処理は、以下の１以上の条件が当てはまるまで繰り返され得る。ａ．）より高い品質レベルに関して得られたエントロピーレベルが閾値を下回る。ｂ．）任意の回数の試みに対して、追加的に変更を加えても残留データのエントロピーを改善しそうにない。ｃ）エンコーダが、エントロピーを低下させるべく予め設定された回数の試みを行った。さらに他の条件も考慮され得る。

本明細書にさらに説明されるように、エントロピーは、品質レベルに関して差についての情報を示すのに必要なビット数、シンボル数などを計算する、または推定するプロキシ関数を用いて推定され得る。

他の実施形態において、エンコーダは、エントロピーへの影響を特定するプロキシ関数を用いて、微調整毎に残留データを完全にエンコードする必要なく、より高い品質レベルの残留データのエントロピーへの影響を推定する。プロキシ関数は、ゼロの値とは異なる、またはゼロ値に近い残留データの割合を示す値など測定基準を生成し得る。

ダウンサンプリング処理およびフィルターの最適化は、本明細書で説明される各実施形態の目的では必ずしもない。一実施形態において、エンコーダは既に、デコード部において、より高い品質レベルに戻すようアップスケールするためにどの線形の、または非線形の演算（例えば、バイキュービックフィルタリング、アンシャーピングマスキング、デブレンディングなど）が用いられるかを知っているので、エンコーダは、より低い品質レベルのアーティファクトを低減するためではなく、アップサンプリング処理を適用した後の残留データの数を低減するべく（または、よりさらに正確には、残留データのエントロピーを低下させるべく）ダウンサンプリングを最適化し得る。ダウンサンプリング関数およびアップサンプリング関数の両方が、非線形タイプの関数でありうる。

本明細書においてさらに説明するように、エンコードの間の信号のダウンサンプリングは、微調整された双線形フィルター処理を実行することを含みうる。そのような実施形態によると、エンコーダは最初に、双線形フィルターなどのダウンサンプリング関数を用いて、レベルｎからレベル（ｎ−１）へダウンサンプリングする。エンコーダは各要素に焦点を当て、様々な方向に変更する。エンコーダが要素を変更する度に、エンコーダは、より高い品質レベルに戻すようアップサンプリングし（つまり、レベルｎ−１の各ｐｅｌ／画素が、レベルｎの多くの画素に影響を与える）、適切なエントロピー測定基準の生成に基づいて、残留データのエントロピーを評価する。

生成されたエントロピー測定基準に従って、レベルｎ−１の特定のｐｅｌ／画素の新たな値に関し、エンコーダは最終的に、次に高い品質レベル（例えば、レベル階層）の残留データの最も低いエントロピーを生成する変更を選択する。そのようにするためにエンコーダは、反復アルゴリズムまたはルーピングアルゴリズムを活用し得る。反復アルゴリズムは、要素を変更する方向（例えば、上または下）を選択する。エントロピー測定基準が改善されると、エンコーダは選択された方向に他の変更を継続して行う。エンコーダは、反復の微調整手順に関する最小のエントロピー値に近くなると、変更の大きさを小さくしてもよい。

一実施形態において、微調整処理は、受信信号を複数の異なる品質レベルにエンコードするのに必要な時間量を減らすべく並行して実行される。並列処理には、高度にマルチコアであるＣＰＵおよびＧＰＵの利用が含まれ得る。各プロセッサは、信号全体のうち選択された部分を処理し得る。

レベル（ｎ−１）の互いに異なるｐｅｌ／画素がレベルｎの重複するエリアに影響し得るので、アルゴリズムの「並行ステップ」毎に、エンコーダは、グローバルアグリゲーションアルゴリズム（場合によっては、グローバルパスを行う前に一定回数の反復のローカルループを行い、階層的なやり方で、例えば１つのｐｅｌ、その後４×４、その後１６×１６など）を実行し、サブ領域への微調整が残留データのグローバルなセットに関するエントロピーにネガティブに影響を与えるかをチェックし得る。

微調整アルゴリズムの詳細な実行は、異なる考え得るアップサンプリングオプションを考慮に入れ、微調整アルゴリズムの完了時に、エンコーダは、代替的なアップサンプリング技術毎に最適なレベルｎ−１が分かる。エンコーダは、次に高いレベルの残留データに関し最も低い全体的なエントロピー測定基準を生成するアップサンプリングまたはアップスケールオプションを選択し得る。

加えて、十分なエンコーダの計算能力により、エンコーダは、レベル（ｎ−１）のみに基づくのではなくレベルｎの処理に基づき品質レベル（ｎ−２）を微調整およびエンコードし得る。言い換えると、より低い品質レベルの信号データが微調整され得、階層における複数の異なるより高い品質レベルでエントロピーが低下させられ得る。加えて、同じアプローチが、より低いレベルからより高いレベルへ戻すようアップスケールを行うために活用される処理およびフィルターを修正する（または改善する）のにも用いられ得る。例えば、エンコーダが複数のより高い品質レベルに基づいてより低いレベルを微調整した場合、エンコーダおよびデコーダは、複数のより低いレベルに含まれる情報に基づき、階層におけるより高い品質レベルの信号を再構築することが出来る。

なお、本明細書で説明される受信信号は何らかの適切なタイプのものでありうる。一実施形態において、信号は画像データを表す。そのような実施形態において、エンコーダは、エンコードされたデータの階層化されたセットの生成に基づいて、より低い解像度の、またはより低い品質レベルの信号をエンコードする。階層における任意の品質レベル（例えば、最も低いレベル）から始まるエンコードされたデータのセットを利用し、エンコードされたデータの階層化されたセットはデコードされ得、再生のために元の画像、または、元の画像の「損失の多い」複製を再構築するのに用いられ得る。

これらの、および他の実施形態の変形例は、以下により詳細に説明される。

上記にて言及したように、本願発明の実施形態は、本明細書において開示される方法の処理のいずれか、または全てを実行する、および／またはサポートする１以上のコンピュータ化されたデバイス、ルーター、ネットワーク、ワークステーション、ハンドヘルドまたはラップトップコンピュータなどの構成を含みうる。言い換えると、１以上のコンピュータ化されたデバイス、またはプロセッサは、複数の異なる実施形態を実施するべく本明細書に説明されるように処理するようプログラミングされ、および／または構成され得る。

上記にて説明したデコーダおよび処理に加えて、本願発明のさらに他の実施形態は、上記にて要約され、以下に詳細に開示されるステップおよび処理を実行するソフトウェアプログラムを含む。そのような一実施形態は、プロセッサおよび対応するメモリを有するコンピュータ化されたデバイスで実行されると本明細書において開示される処理のいずれかをプロセッサが実行するよう当該プロセッサをプログラミングする、および／または当該プロセッサに実行させるエンコードされたコンピュータプログラムロジック、命令などを含むコンピュータ可読ハードウェア記憶リソース（つまり、非一時的コンピュータ可読媒体）を備える。そのような構成は、光学式媒体（例えばＣＤ−ＲＯＭ）、フロッピー（登録商標）若しくはハードディスク、または、１以上のＲＯＭ、ＲＡＭ、若しくはＰＲＯＭチップ内のファームウェアまたはマイクロコードなどの他の媒体などのコンピュータ可読媒体上で構成された、またはエンコードされたソフトウェア、コード、および／または他のデータ（例えば、データ構造）として、または、特定用途向け集積回路（ＡＳＩＣ）として提供され得る。ソフトウェア、ファームウェア、または他のそのような構成は、本明細書に説明される技術をコンピュータ化されたデバイスに実施させるべく、当該コンピュータ化されたデバイスにインストールされ得る。

したがって、本開示の１つの特定的な実施形態は、信号処理動作をサポートするための命令を格納したコンピュータ可読ハードウェア記憶媒体を含むコンピュータプログラム製品に関する。例えば一実施形態において、命令は、対応するコンピュータデバイスのプロセッサにより実行されると、プロセッサに、信号を受信する手順と、少なくとも１つのダウンサンプリング処理を利用して、階層における複数の連続するより低い品質レベルの信号のダウンサンプリングされたレンディションを生成する手順と、少なくとも１つのダウンサンプリング処理と非対称であり得る、少なくとも１つのアップサンプリング処理を第１品質レベルの信号のダウンサンプリングされたレンディションへ適用して、階層における第１品質レベルよりも高い第２品質レベルの信号のアップサンプリングされたレンディションを生成する手順と、第２品質レベルの信号のダウンサンプリングされたレンディションと、第２品質レベルの信号のアップサンプリングされたレンディションとの間の差を示す残留データを生成する手順とを実行させる。

明確にすべく、ステップには順序が与えられている。これらのステップは何らかの適切な順序で実行され得る。

本開示の他の実施形態は、上記にて要約され、以下に詳細に開示される方法の実施形態のいずれかのステップおよび処理を実行する、ソフトウェアプログラム、ファームウェア、および／または、対応するハードウェアを含む。

本明細書で説明されるシステム、方法、装置、コンピュータ可読記憶媒体上の命令などは、ソフトウェアプログラムとして、ソフトウェア、ファームウェア、および／またはハードウェアのハイブリッドとして、プロセッサ内、オペレーティングシステム内、またはソフトウェアアプリケーション内などでハードウェア単体で厳密に実施され得る。

上記にて説明したように、本願発明に係る技術は、信号をエンコードするソフトウェア、ファームウェア、および／またはハードウェアへの適用例における利用によく適している。しかし、本願発明の実施形態は、そのような適用例での利用に限定されず、本明細書において説明される技術は、他の適用例においても同様によく適している。

加えて、本明細書において複数の異なる特徴、技術、構成などのうちそれぞれが本開示の複数の異なる箇所において説明されるかもしれないが、そのような概念のうちそれぞれが、互いに独立して、または、互いに組み合わせられて実装され得る。したがって、本明細書で説明される１以上の本願発明、実施形態などは、多くの異なるやり方で実施され得、多くの異なる見方で見ることが出来る。

また、この本願発明の実施形態の予備的な説明は、本開示の、または特許請求される本願発明のあらゆる実施形態、および／または、付加的に新規の態様を特定しているのではない。代わりに、この要約された説明は、一般的な実施形態、および従来技術に対して新規性を有する対応する点のみを提示している。本願発明の追加的な詳細事項、および／または考え得る視点（置換）に関しては、以下にさらに説明される本開示の詳細な説明の項、および対応する図面を参照されたい。

本願発明の先述の、および他の目的、特徴、および利点は、添付の図面に示される、以下の、本願発明の好ましい実施形態のより詳細な説明から明らかとなるであろう。複数の異なる図面において、同じパーツを指すのに同様の参照文字が用いられる。図面は縮尺通りであるとは限らず、実施形態、原理、概念などを示すことに重点を置いている。
本願発明の実施形態に係る、エンコーダ、および信号のダウンサンプリングの例を示す図である。 本願発明の実施形態に係るダウンサンプリングアルゴリズムを実行するステップの例を示す図である。 本願発明の実施形態に係る、画像情報のダウンサンプリングの例を示す図である。 本願発明の実施形態に係る、信号のエンコードの例を示す図である。 本願発明の実施形態に係る、残留データのエントロピーを低下させるための、アップサンプリングの間の要素の微調整を含む信号のエンコードの例を示す図である。 本願発明の実施形態に係る、デコーダにより用いられる残留データの生成の例を示す図である。 本願発明の実施形態に係る、デコーダに用いられる残留データの生成の例を示す図である。 本願発明の実施形態に係る、微調整し、ダウンサンプリングされたデータの生成の例を示す図である。 本願発明の実施形態に係る、残留データをダウンサンプリングし、微調整し、アップサンプリングし、量子化する例示的な方法を示す図である。 本願発明の実施形態に係る、エントロピーを判断するための関数の例を示す図である。 本願発明の実施形態に係る、残留データの量子化の例を示す図である。 本願発明の実施形態に係る、コンピュータコード、ファームウェア、ソフトウェア、アプリケーション、ロジックなどを実行するための例示的なコンピュータアーキテクチャを示す図である。

一実施形態によると、エンコーダが信号を受信する。エンコーダは１以上のダウンサンプリング処理を利用し、階層における複数の連続するより低い品質レベルの信号（つまり、信号データ）のダウンサンプリングされたレンディションを生成する。逆方向に、エンコーダは１以上のアップサンプリング処理を第１品質レベルの信号のダウンサンプリングされたレンディションへ適用して、階層における第２品質レベルの信号のアップサンプリングされたレンディションを生成する。第２品質レベルは第１品質レベルよりも高い。１以上のアップサンプリング処理と１以上のダウンサンプリング処理とは互いに非対称でありうる。つまり、ダウンサンプリングの間に適用される関数は、アップサンプリングの際に適用される関数とは異なり得る。エンコーダは、第２品質レベルの信号のダウンサンプリングされたレンディションと、第２品質レベルの信号のアップサンプリングされたレンディションとの間の差を示す残留データを生成する。

図１は、本願発明の実施形態に係る、エンコーダ、および信号の対応するダウンサンプリングの例を示す図である。

エンコーダ１４０は信号１１５を受信する。エンコーダ１４０によりエンコードされる信号１１５は、何らかの適切なタイプのデータ情報でありうる。

非限定的な例として、信号１１５は、各画像内の複数の信号要素（例えば、ｐｅｌ／平面要素、ｐｉｘｅｌ／画素、ｖｏｘｅｌ／ボリュメトリック画素など）のうちそれぞれの設定を示す画像データ、シンボルなどでありうる。画像は、２次元（例えば、写真、動画フレーム、２Ｄモーションマップなど）、３次元（例えば、３Ｄ／ボリュメトリック画像、ホログラフィック画像、ＣＡＴスキャン、医療用途／科学用途の画像、３Ｄモーションマッピングなど）、３次元より多くの次元を表す信号、時間ベースの信号（例えば、音声信号、動画信号など）などでありうる。

説明を簡潔にすべく、本明細書において示される実施形態は、例えば写真など２Ｄ設定平面（例えば、適切な色空間内の２Ｄ画像）で表示される画像について言及することが多い。しかし、同じ概念および方法は、他のいずれかのタイプの信号にも適用可能である。そのような実施形態によると、信号要素の（信号１１５により特定される）設定は、デバイス上での再生のために対応する画像をいかに再構築するかを示す。

信号１１５のエンコードの間、エンコーダ１４０は、１以上のダウンサンプリング処理および１以上のアップサンプリング処理を用い、元の信号１１５を再構築するデコーダによって用いられる、エンコードされた信号データから成るセットを生成する。

以下に説明する信号データは、エンコード階層における複数の異なる品質レベルの信号１１５のレンディションを表す。なお、品質レベルＪは、階層における最も高い品質レベル、または中間の品質レベルを表し得る。一実施形態において、エンコーダ１４０は、階層におけるレベルの複数のペアの信号データを処理して、信号のより低い品質レベルへのダウンサンプリングを実行する。

信号１１５のダウンサンプリングは、選択されたダウンサンプリング処理を品質レベルＪの信号データＳＪへ適用して、品質レベルＪ−１の信号データＳＪ−１を生成することを含みうる。例えば、ダウンサンプリング処理はシンプルな双線形フィルターであり得、または、上記にて説明したように非線形関数の適用などより複雑な処理でありうる。

なお、信号データＳＪ−１は、元の信号１１５よりもより低い解像度、またはより低い品質レベルを表し、信号データＳＪ−２は、信号１１５の、信号データＳＪ−１より低い解像度、またはより低い品質レベルを表す。同様のことが他の信号データにも当てはまる。

よって、階層における各レベルの信号データは元の信号をより低い品質レベルで表す。典型的には、階層における連続するより低いレベルにおいて信号を規定するのに必要なデータ（例えば、ビット情報、シンボルなど）は順次少なくなっていく。

一実施形態によると、エンコーダ１４０は、信号１１５を信号データＳＪ−１へダウンサンプリングする。信号データＳＪの品質レベルＪ−１への最初のダウンサンプリングに続き、エンコーダ１４０は、信号データＳＪ−１の個々の要素の設定を微調整または調整し、信号データＳＪ−１に対する微調整された設定のうちどれが、品質レベルＪのために生成された残留データに関するエントロピーを低下させるかを特定する。

より詳細には、一実施形態において、エンコーダ１４０は、アップサンプリング処理Ｊを信号データＳＪ−１^Ｔの第１バージョンへ適用して、信号データＳＪ^１を生成する。その後、エンコーダ１４０は、信号データＳＪ、ＳＪ^１間の差を計算し、残留データ１１８−１を生成する。残留データ１１８−１は、信号データＳＪ（信号１１５）を所望される精度で再現するために信号データＳＪ^１に加えられるべき修正を示す。

一実施形態において、エンコーダ１４０は、量子化処理ＱＪを適用して、残留データ１１９−１を生成する。ステップＱＪは、残留データ１１８−１の対応する要素の大きさがある範囲内に含まれる、または閾値を上回る／下回る場合に、残留データ１１８−１の個々の値が同じ値またはシンボルとなるよう設定を調整する関数を適用することを表す。例として、量子化を介し、エンコーダ１４０は−１．５から＋１．５の範囲に含まれる値を有する残留データ１１８−１の個々の要素の設定を特定し得る。この範囲に含まれるそれらの値に関し、エンコーダ１４０は、調整された残留データ１１９−１のそのような値をゼロなどの所定の値に設定する。エンコーダ１４０は、−７．５から−６．５の範囲に含まれる残留データ１１８−１の個々の要素の設定を特定し、調整された残留データ１１９−１のそのような値を、−７．０に設定し得る。したがって、量子化ＱＪにより残留データ１１８−１のエントロピーが低下させられる。つまり、互いにより近い値となるように残留データの値が修正される。

なお、この例において、信号データＳＪが信号データＳＪ^１に等しい場合、生成される残留データは全てゼロ値（例えば、最小のエントロピー）となる。そのような例において、残留データ１１８−１に関するエントロピーは可能な限り低くなるので、信号データＳＪ−１を微調整する必要がない。

可能性がより高いケースは、信号データＳＪ、ＳＪ^１が等しくない場合である。残留データ１１８−１および調整された残留データ１１９−１のエントロピーは、非ゼロ値である可能性が高い。この例において、残留データ１１８−１および調整された残留データ１１９−１が非ゼロ値を含むものと仮定する。残留データの高いエントロピーは、元の信号１１５を再構築するために追加のデータを用いなければならないことを意味するので望ましくない。典型的には、信号１１５を再構築するために必要なデータの全体量を少なくするのが望ましい。

一実施形態において、残留データ１１９−１のエントロピーを低下させるために、信号データＳＪ−１の個々の要素に対する各微調整により、残留データ１１９−１の実質的により低い、または最も低いエントロピーが得られるまで、エンコーダ１４０は繰り返し信号データＳＪ−１を微調整し、微調整された信号データＳＪ−１^Ｔの複数の異なるバージョンを信号データＳＪ^１へアップサンプリングする。

微調整は要素単位で実行され得る。つまり、エンコーダ１４０は、信号データＳＪ−１の要素を選択して、当該要素の値を繰り返し微調整して、残留データ１１９−１に関するエントロピーを低下させる各設定を特定し得る。微調整された値が、次のレベルの残留データのための実質的により低いエントロピー測定基準の生成に近づくにつれ、エンコーダは、選択された要素に対する微調整の大きさを小さく出来る。

選択された要素に対する適切な最も良好な微調整を特定すると、エンコーダ１４０は、当該要素のための微調整された信号データを保存し、信号データＳＪ−１^Ｔに格納する。

以前にテストされた要素のための実質的に最も良好な微調整のそれぞれを用いて、エンコーダ１４０は微調整する信号データＳＪ−１の次の要素を選択し、上記の処理を繰り返して、選択された要素の最も良好な設定を特定する。同様の処理を順次適用する。

残留データ１１９−１のエントロピーを低下させる品質レベルＪ−１のための微調整された信号データＳＪ−１^Ｔを生成する処理の完了に続き、エンコーダ１４０は、より低い次の品質レベル毎に同じ処理を繰り返す。

例えば、より低い次の品質レベルにおいて、エンコーダ１４０は信号データＳＪ−１^Ｔを信号データＳＪ−２へダウンサンプリングする。このダウンサンプリングに続き、エンコーダ１４０は信号データＳＪ−２の個々の要素の設定を微調整または調整し、信号データＳＪ−２に対する微調整された設定のうちどれが、品質レベルＪ−１のために生成された残留データ１１９−２に関するエントロピーを低下させるかを特定する。

より詳細には、一実施形態において、エンコーダ１４０は、アップサンプリング処理Ｊ−１を信号データＳＪ−２^Ｔへ適用して、信号データＳＪ−１^１を生成する。その後、エンコーダ１４０は、信号データＳＪ−１^Ｔ、ＳＪ−１^１間の差を計算し、残留データ１１８−２を生成する。その後、エンコーダ１４０は、量子化処理を適用して、残留データ１１９−２を生成する。

上記にて説明したように、量子化は、信号データの個々の値の大きさがある範囲内に含まれる、または閾値を上回る／下回る場合に、当該信号データの個々の値が同じ値またはシンボルとなるよう設定を調整する関数を適用することを含みうる。

残留データ１１９−２のエントロピーを低下させるために、信号データＳＪ−２の個々の要素に対する各微調整により、残留データ１１９−２の実質的により低い、または最も低いエントロピーが得られるまで、エンコーダ１４０は繰り返し信号データＳＪ−２を微調整し、微調整された信号データＳＪ−２^Ｔを信号データＳＪ−１^１にアップサンプリングする。

上記にて言及したように、微調整は要素単位で実行され得る。つまり、エンコーダは、信号データＳＪ−２の要素を選択して、当該選択した要素の値を繰り返し微調整して、残留データ１１９−２に関するエントロピーを低下させる設定を特定し得る。 選択された要素に対する適切な微調整を特定すると、エンコーダ１４０は、当該要素のための微調整された信号データを保存し、信号データＳＪ−２^Ｔに格納する。

その後、エンコーダ１４０は微調整する信号データＳＪ−１の次の要素を選択し、上記の処理を繰り返して、選択された要素毎の最も良好な設定を特定する。同様の処理を順次適用する。

残留データ１１９−２のエントロピーを低下させる品質レベルＪ−２のための微調整された信号データＳＪ−２^Ｔを生成する処理の完了に続き、エンコーダ１４０は、より低い次の品質レベル毎に同じ処理を繰り返す。したがって、エンコーダ１４０は、階層におけるより低い品質レベルの信号データから成る微調整されたセットを生成する。

なおエンコーダ１４０は、複数の異なるアップサンプリングオプション（例えば、１以上のアップサンプリング処理）をテストし、複数のアップサンプリングオプションのうちどれが残留データの最も低いエントロピーを生成するかを特定し得る。言い換えるとエンコーダ１４０は、複数のアップサンプリング処理のうちそれぞれに関してダウンサンプリングおよび微調整の処理を繰り返し、アップサンプリング処理のうちどれが、次に高い品質レベルの残留データのエントロピーを最も良好に低下させるかを特定し得る。

図２は、本願発明の実施形態に係るダウンサンプリング方法の例を示す図である。なお、図２のマルチループアルゴリズムの説明においては、図１で説明した処理が参照される。

ステップ２００において、処理する品質レベルをエンコーダ１４０が選択する。この例においては、エンコーダ１４０が品質レベルＪを選択し、当該レベルから開始するものと仮定する。

ステップ２０５において、エンコーダ１４０は選択されたダウンサンプリング処理を適用して、信号データＳＪ−１を生成する。

ステップ２１０において、エンコーダ１４０は、複数の可能なアップサンプリングオプションのうちからアップサンプリングオプションを選択する。各アップサンプリングオプションは、１以上のアップサンプリング処理を介したアップサンプリングを含みうる。

ステップ２１５において、エンコーダ１４０は選択されたアップサンプリングオプションを信号データＳＪ−１へ適用して、残留データ１１８−１を生成する。

ステップ２２０において、エンコーダ１４０は処理（例えば、量子化、またはシミュレートされた量子化）を残留データ１１８−１へ適用して、調整された残留データ１１９−１を生成する。

ステップ２２５において、エンコーダ１４０は、調整された残留データ１１９−１のエントロピー（またはそのシミュレート／近似）を計算し、得られた結果を現在のエントロピー値として規定する。

ステップ２３０において、エンコーダ１４０は品質レベルＪ−１で微調整する信号（例えば、信号データＳＪ−１）を選択する。

ステップ２３５において、エンコーダ１４０は選択された信号データＳＪ−１の微調整する要素を選択し、信号データＳＪ−１^Ｔを生成する。

ステップ２４０において、エンコーダ１４０は、信号データＳＪ−１^Ｔの選択された要素を最大反復回数まで複数の異なる方向に、場合によっては複数の異なる量だけ調整する。

ステップ２４５において、エンコーダ１４０は、残留データ１１８−１（または、選択された要素からより直接的に影響を受ける少なくともその一部）を選択された要素に対する調整毎に生成する。

ステップ２５０において、エンコーダ１４０は、上記にて説明したように、残留データ１１８−１（またはその一部）を処理して、調整された残留データ１１９−１（またはその一部）を選択された要素に対する微調整毎に生成する。

ステップ２５５において、エンコーダ１４０は調整された残留データ１１９−１（または残留データ１１９−１の調整された部分）のエントロピーを選択された要素に対する微調整毎に計算して、調整された残留データ１１９−１（または、残留データ１１９−１の調整された部分）のエントロピーを低下させる選択された要素の実質的により良好な、または最も良好な設定を特定し、選択する。

ステップ２６０において、エンコーダ１４０は、ステップ２３５に戻るループ４を選択された信号データＳＪ−１の要素毎に繰り返して、信号データＳＪ−１の要素毎に実質的に最も良好な設定を特定する。エンコーダ１４０は全ての要素のテストに続いて、ステップ２６０の処理を継続する。

ステップ２６５において、エンコーダ１４０は、アップサンプリング処理を微調整された信号データＳＪ−１^Ｔへ適用し、残留データ１１８−１および調整された残留データ１１９−１を生成する。

ステップ２７０において、エンコーダ１４０は残留データ１１８−１を処理して、調整された残留データ１１９−１を生成する。

ステップ２７５において、エンコーダ１４０は調整された残留データ１１９−１のエントロピー（またはそのシミュレート／近似）を計算する。微調整された信号が現在の最適なエントロピーよりも低い調整された残留データのエントロピーを表す場合、微調整された信号は微調整する新たな信号になり、調整された残留データのエントロピーは、新たな最適なエントロピーになる。そうでなければ、エンコーダ１４０は微調整された設定を停止し、ループ３を抜け出てステップ２８５へ進む。そうでなければ、エンコーダ１４０はステップ２８０の処理を繰り返し、ループ３を繰り返す。

ステップ２８０において、エンコーダ１４０は、新たな微調整された信号が調整された残留データのより低いエントロピーを生成し続ける限りステップ２３０の実行を継続する。

ステップ２８５において、エンコーダ１４０は、複数の可能なアップサンプリングオプションのうち次の選択されたアップサンプリングオプションのためにステップ２１０の実行を継続する。全てのアップサンプリングオプションがテストされ終えた場合、エンコーダ１４０はステップ２９０の処理を継続する。

ステップ２９０において、エンコーダ１４０は信号データＳＪ−１^Ｔのための微調整された設定を格納する。

ステップ２９５において、エンコーダ１４０はステップ２００の処理を繰り返し、信号データＳＪ−１^Ｔをより低い次の品質レベルＪ−２にダウンサンプリングする。エンコーダ１４０は、信号１１５が最も低い所望される品質レベルまでダウンサンプリングされるまでこの処理を繰り返す。

図３は、本願発明の実施形態に係る、画像情報のダウンサンプリングの例を示す図である。上記にて説明したように、信号１１５は画像データを表し得る。そのような実施形態によると、各品質レベルの信号データは、各画像内の要素の設定（例えば、ｐｅｌ／平面要素）を示す。

一実施形態において、画像を規定する信号１１５の属性は何らかの適切なフォーマットに従ってエンコードされ得るが、信号データの要素の各色成分は、ＹＵＶ、ＲＧＢ、またはＨＳＶなどの色空間規格に従ってエンコードされる。

ダウンサンプリングにより、各信号データの解像度、および対応する品質レベルが低下させられる。例えば、品質レベル３の信号データは、対応する画像５１０−３の要素の設定を示す。品質レベル２の信号データは、対応する画像５１０−２の要素の設定を示す。品質レベル１の信号データは、対応する画像５１０−１の要素の設定を示す。同様のことが他の信号データにも当てはまる。

上記にて説明したようなやり方でダウンサンプリングする場合、エンコーダ１４０は、例えば画像５１０−２を規定するより低い次の品質レベル（例えばレベル２）の信号データを生成する。エンコーダ１４０は、例えば画像５１０−１を規定するより低い次の品質レベル（例えばレベル１）の信号データを生成する。同様の処理が他の品質レベルに関しても適用される。

上記にて説明したように、ダウンサンプリングされた画像を規定するデータの量は、より低い品質レベル毎に、所望される最も低い品質レベルまで低減され得る。つまり、レベル３からレベル２へ２：１スケールのダウンサンプリングを実行する場合、エンコーダ１４０は、示されるように、画像５１０−３の複数の要素Ｙを対応する画像５１０−２の単一の要素Ｘに変換する。レベル２からレベル１にダウンサンプリングする場合、エンコーダ１４０は、画像５１０−３の複数の要素Ｘを対応する画像５１０−１の単一の要素Ｗに変換する。同様の処理を他の要素に対しても適用する。

図４は、本願発明の実施形態に係る、信号のさらなるエンコードの例を示す図である。

上記にて説明したようなやり方で、エンコーダ１４０は、信号１１５を、信号データＳ３^Ｔ、信号データＳ２^Ｔ、および信号データＳ１^Ｔを含む信号データから成る複数の異なるセットへダウンサンプリングする。

なお、ダウンサンプリングの間の微調整処理は任意選択的に実行される。他の実施形態によると、エンコーダ１４０により何らかの適切なダウンサンプリング処理が適用されて、信号データＳ３^Ｔ、信号データＳ２^Ｔ、Ｓ１^Ｔなどの微調整された信号データの代わりに、データのベースセットが生成され得る。

品質レベル１などの最も低い品質レベルにおいて、エンコーダ１４０は、量子化関数Ｑ１を信号データＳ１^Ｔへ適用して、信号データＳ１^２を生成し得る。上記にて説明したように、量子化により、対応する信号データのエントロピーが低下させられる。

なお信号データＳ１^２は、階層における最も低い品質レベル（例えば品質レベル＃１）の信号１１５を表す変換された情報である。

エンコーダ１４０は、信号データＳ１^２を信号データＳ２^Ｕ（例えば、任意の品質レベルの信号の中間レンディション）へアップサンプリングするためのアップサンプリング処理を選択する。選択されたアップサンプリング処理のために、品質レベル２でエンコーダ１４０は、信号データＳ２^Ｔと信号データＳ２^Ｕとの間の差に基づき残留データ４１８−１を生成する。エンコード処理は損失が多くなり得るので、アップサンプリングされた信号データＳ２^Ｕは、信号データＳ２^Ｔに似ているが同一ではない可能性が高い。

その後、エンコーダ１４０は、量子化関数ＱＪを残留データ４１８−１へ適用して、調整された残留データ４１９−１を上記にて説明したようなやり方で生成する。エンコーダ１４０は複数の異なる動作のうちのそれぞれに関してこの処理を繰り返し、どのアップサンプリング処理が、調整された残留データ４１９−１に関するエントロピーを低下させるのに最も良好であるか判断し得る。

その後、エンコーダ１４０は、信号データＳ１^２、実質的に最も良好であると特定されたアップサンプリング処理、および、品質レベル＃１のための対応する調整された残留データ４１９−１を格納する。エンコーダ１４０は、この格納された情報に、調整された残留データ４１９−２および信号データＳ２^Ｕを加え、信号データＳ２^２を生成する。

信号データＳ２^２は、階層における品質レベル２の信号を表す変換された情報のセットである。したがって、本願発明の実施形態は、第２品質レベルの信号（つまり、信号データＳ２^Ｕ）の中間レンディションの要素を微調整し、第２品質レベルの信号（例えば、信号データＳ２^２）の微調整されたレンディションを生成する段階を含む。

図６で説明するように、エンコーダ１４０は、第２品質レベルの信号１１５（例えば信号データＳ２^Ｕ）のアップサンプリングされたレンディションと、第２品質レベルの信号（例えば信号データＳ２^３）の微調整されたレンディションとの間の差に基づいて残留データ４７０−２を生成する。エンコーダ１４０は、第２品質レベルの信号１１５（例えば信号データＳ３^Ｕ）のアップサンプリングされたレンディションと、第２品質レベルの信号（例えば信号データＳ３^３）の微調整されたレンディションとの差に基づき残留データ４７０−３を生成する。同様の処理が他の信号に関しても適用される。

再び図４を参照すると、エンコーダ１４０は、品質レベル１から品質レベル２へのアップサンプリングに関して上記にて説明したのと同様のやり方で、品質レベル２から品質レベル３へのアップサンプリングを実行する。例として、品質レベル２において、エンコーダ１４０は、信号データＳ２^２を信号データＳ３^Ｕにアップサンプリングするアップサンプリング処理を（複数の可能なアップサンプリング処理のうちから）選択する。選択されたアップサンプリング処理のために、品質レベル３において、エンコーダ１４０は、信号データＳ３^Ｔと信号データＳ３^Ｕとの間の差に基づき残留データ４１８−２を生成する。エンコード処理は損失が多くなり得るので、アップサンプリングされた信号データＳ３^Ｕは、信号データＳ３^Ｔに似ているが同一ではない可能性が高い。

その後、エンコーダ１４０は量子化関数ＱＪを残留データ４１８−２へ適用して、調整された残留データ４１９−２を上記にて説明したようなやり方で生成する。

エンコーダ１４０は複数の異なる動作のうちのそれぞれをテストするためにこの処理を繰り返し、どのアップサンプリング処理が、調整された残留データ４１９−２に関するエントロピーを低下させるのに最も良好であるか判断し得る。

その後、エンコーダ１４０は、信号データＳ２^２、対応する最も良好であるアップサンプリング処理、および、品質レベル＃２のための対応する調整された残留データ４１９−２を格納する。エンコーダ１４０は、調整された残留データ４１９−２および信号データＳ３^Ｕを加え、信号データＳ３^２を生成する。信号データＳ３^３は、階層における品質レベル３の信号を表す変換された情報のセットである。

エンコーダ１４０は、階層における品質レベルＮまで、示される通りこの処理を繰り返す。

図５は、本願発明の実施形態に係る、残留データのエントロピーを低下させるためのアップサンプリングの間の要素の微調整を含む信号のエンコードの例を示す図である。この例示的な実施形態において、図４の例とは異なり、エンコーダ１４０は、微調整されたデータを品質レベル毎に生成するためのアップサンプリングの間、要素の微調整を実行する。

上記にて説明したようなやり方で、エンコーダ１４０は、信号１１５を、より低い品質レベルの信号１１５を表す信号データの何らかの適切なセットにダウンサンプリングする。よって、より低いレベルのダウンサンプリングされた信号データは、ダウンサンプリングの間、微調整から導出されてもされなくてもよい。

品質レベル１など最も低い品質レベルで、エンコーダ１４０は、量子化関数Ｑ１をダウンサンプリングされた信号データＳ１^Ｔへ適用して、信号データＳ１^２を生成する。信号データＳ１^２は、階層における最も低い品質レベルの信号を表す圧縮された、または変換された情報である。量子化ステップＱ１を適用しての信号データＳ１^２の生成は、ダウンサンプリング処理の一部であり得る。

その後、エンコーダ１４０は、信号データＳ１^２の微調整されたバージョン（例えば信号データＳ１^３）を信号データＳ２^Ｕへアップサンプリングするアップサンプリング処理を選択する。

本実施形態において、エンコーダ１４０は信号データＳ１^２の設定を微調整して、調整された残留データ５１９−１に関するエントロピーを低下させる信号データＳ１^３のセットを生成する。例えば一実施形態において、エンコーダ１４０は、信号データＳ１^２の要素を選択し、選択された要素を繰り返し微調整して、選択された要素のどの設定が、調整された残留データ５１９−１の最も低いエントロピーを生成するかを特定する。エンコーダ１４０は、信号データＳ１^２の要素毎に微調整を繰り返し、信号データＳ１^３を生成する。

なお、選択されたアップサンプリング処理のための要素毎の最も良好な設定の特定に加え、エンコーダ１４０は、調整された残留データ５１９−１に関する実質的に最も低いエントロピーを生成するためにどの処理および（複数の異なるアップサンプリング処理のための）対応する微調整が最も良好であるかを特定するべく、複数の可能なアップサンプリング処理のうちそれぞれをテストし得る。

信号データＳ１^２のための実質的に最も良好な微調整された設定および実質的に最も良好なアップサンプリング処理の特定に続き、エンコーダ１４０は、微調整された信号データＳ１^３、最も良好であると特定されたアップサンプリング処理、および品質レベル＃１のための対応する調整された残留データ５１９−１を格納する。エンコーダ１４０は、この格納された情報に、調整された残留データ５１９−１および信号データＳ２^Ｕを加えて、信号データＳ２^２を生成する。信号データＳ２^２は、階層における品質レベル２の信号を表す変換された情報のセットである。

その後、エンコーダ１４０は、品質レベル１から品質レベル２へのアップサンプリングに関して上記にて説明したやり方と同様のやり方で品質レベル２から品質レベル３へのアップサンプリングを実行する。エンコーダ１４０は、最も高い品質レベルに達するまで、次に高い品質レベル毎にこの処理を繰り返す。

一実施形態において、エンコーダ１４０は、第１品質レベルの信号（例えば、信号データＳ３^Ｔ、信号データＳ２^Ｔ、信号データＳ１^Ｔ）のダウンサンプリングされたレンディションを、画像要素の複数の隣接する領域へパースする。その後、エンコーダは並列処理ユニットを利用し、残留データに関するエントロピーを低下させる複数の領域の要素に対する調整を特定するよう複数の領域を同時に処理する。

他の実施形態によると、エンコーダ１４０は少なくとも時折、並行して処理される個々の隣接する領域の要素に対する選択された調整が、処理されている全体的な信号データの残留データのエントロピーを実質的に増加させない、いわゆるグローバルチェックを実行し得る。

図６は、本願発明の実施形態に係る、デコーダにより用いられる残留データの生成の例を示す図である。

示されるように、エンコーダ１４０は、信号データＳ１^３を残留データ４７０−１として格納する。エンコーダ１４０は、信号データＳ２^Ｕと信号データＳ２^３との間の差に等しい残留データ４７０−２を設定する。エンコーダ１４０は、信号データＳ３^Ｕと信号データＳ３^３との間の差に等しい残留データ４７０−３を設定する。他の残留データに関しても同様の処理を適用する。一般的に、残留データ４７０−２は、信号データＳ２^３を生成するために必要な信号データＳ２^Ｕに対する調整を示す。残留データ４７０−３は、信号データＳ３^３を生成するために必要な信号データＳ３^Ｕに対する調整を示す。同様のことが他の信号データに関しても当てはまる。

一実施形態において、デコーダは残留データ４７０−１を用いて、最も低い品質レベル１の信号データＳ１^３を再構築する。次に高いレベルで（例えば品質レベル２から品質レベル３へ）、デコーダは当該品質レベルのための選択されたアップサンプリング処理を適用して、信号データＳ１^３を信号データＳ２^Ｕに変換する。デコーダは、残留データ４７０−２と信号データＳ２^Ｕとを合わせ、信号データＳ２^３を生成する。次に高いレベルで（例えば品質レベル３から品質レベル４へ）、デコーダは当該品質レベルのための選択されたアップサンプリング処理を適用して、信号データＳ２^３を信号データＳ３^Ｕに変換する。デコーダは、残留データ４７０−３と信号データＳ３^Ｕとを合わせ、信号データＳ３^３を生成する。デコーダは、元の信号１１５が所望の品質レベルで再構築されるまでこの処理を繰り返す。

図７は、本願発明の実施形態に係る、デコーダに用いられる残留データの生成の例を示す図である。この例示的な実施形態において、エンコーダは、調整された残留データ５１９のセットを用いて、残留データ４７０のセットを生成する。

例えば、エンコーダ１４０は、信号データＳ１に等しい残留データ４７０−１を設定する。エンコーダ１４０は、信号データＳ２^３と信号データＳ２^２との間の差を特定し、得られた差を調整された残留データ５１９−１に加えて、残留データ４７０−２を生成する。エンコーダ１４０は信号データＳ３^３と信号データＳ３^２との間の差を特定し、得られた差を調整された残留データ５１９−２に加えて、残留データ４７０−３を生成する。同様の処理が他のデータに関しても適用される。

なおデコーダは、上記にて説明したのと同様のやり方で残留データ４７０を用いて、元の信号１１５を所望の品質レベルで再構築する。

図８は、本願発明の実施形態に係る、微調整し、ダウンサンプリングされたデータの生成の例を示す図である。

ステップ８０５において、エンコーダ１４０は、連続するより低いレベルの信号１１５を最も低い品質レベルへ繰り返しダウンサンプリングする。上記にて説明したように、処理は、上記にて説明したように各要素の微調整を含んでも含まなくてもよい、何らかのダウンサンプリング関数を適用することを含み得る。

ステップ８１０において、エンコーダ１４０は、最も低い品質レベルから開始し、処理する品質レベルを選択する。

ステップ８１５において、エンコーダ１４０は、複数の可能なアップサンプリングオプションのうちからアップサンプリングオプションを選択する。

ステップ８２０において、エンコーダ１４０は、選択されたレベルの信号データに選択されたアップサンプリングオプションを適用して、次に高い品質レベル（例えば、選択された品質レベルより高いレベル）の残留データを生成する。

ステップ８２５において、エンコーダ１４０は、処理（例えば、量子化関数、フィルター関数など）を残留データへ適用して、調整された残留データを生成する。

ステップ８３０において、エンコーダ１４０は、次に高い品質レベルの調整された残留データのエントロピーを計算し、現在の最適なエントロピーの値として規定する。

ステップ８３５において、エンコーダ１４０は、選択された品質レベルで微調整する信号（例えば信号Ｓ１^２）を選択する。

ステップ８４０において、エンコーダ１４０は選択された信号の微調整する要素を選択する。

ステップ８４５において、エンコーダ１４０は、選択された要素を最大反復回数まで複数の異なる方向に、複数の異なる量だけ調整する。

ステップ８５０において、エンコーダ１４０は、次に高い品質レベルのための選択された要素の調整毎に残留データおよび調整された残留データを生成する。

ステップ８５５において、エンコーダ１４０は、上記にて説明したように、残留データを処理して、量子化関数（またはそのシミュレート／近似）を用い調整された残留データ１１９−１を生成する。

ステップ８６０において、エンコーダ１４０は、次に高い品質レベルの調整された残留データのエントロピーを選択された要素に対する微調整毎に計算し、調整された残留データのエントロピーを低下させる選択された要素のより良好な、または実質的に最も良好な設定を特定し選択する。

ステップ８６５において、エンコーダ１４０は選択された信号データの要素毎にループ４を繰り返す（例えば、ステップ８４０に戻って実行を継続する）。エンコーダ１４０は全ての要素のテストおよび微調整に続いてステップ８７０の処理を継続する。

ステップ８７０において、エンコーダ１４０は、選択された品質レベルの微調整された信号データに対してアップサンプリング処理を適用し、次に高い品質レベルの残留データを生成する。

ステップ８７５において、エンコーダ１４０は、次に高い品質レベルの残留データを処理し（例えば、量子化、またはその適切なシミュレート／近似により）、対応する調整された残留データを生成する。

ステップ８８０において、エンコーダ１４０は、調整された残留データのエントロピーを計算する。微調整された信号が、選択された信号の現在の最適なエントロピーよりも低い調整された残留データのエントロピーを表す場合、微調整された信号が微調整する新たな信号になり、調整された残留データのエントロピーは新たな最適なエントロピーになる。そうでなければ、エンコーダ１４０は微調整された設定を停止し、ループ３を抜け出てステップ８９０へ進む。そうでなければ、エンコーダ１４０はステップ８８５の処理を継続する。

ステップ８８５において、エンコーダ１４０は、新たな微調整された信号が調整された残留データのより低いエントロピーを生成し続ける限り、新たに選択された信号のためにステップ８３５の実行を継続する。

ステップ８９０において、エンコーダ１４０は、複数の可能なアップサンプリングオプションのうち次の選択されたアップサンプリングオプションのためにステップ２１０の実行を継続する。全てのアップサンプリングオプションがテストされ終えると、エンコーダ１４０はステップ８９５の処理を継続する。

ステップ８９５において、エンコーダ１４０は、現在の品質レベルのための調整された残留データを更新し、最も良好なアップサンプリングオプションおよび対応する調整された残留データを格納することにより、選択された品質レベルのための微調整された設定を格納する。

ステップ８９８において、エンコーダ１４０は、ステップ８１０の処理を繰り返して、階層における連続するより高い品質レベル毎に最も良好な微調整、最も良好なアップサンプリング処理、および調整された残留データを特定する。

図９は、本願発明の実施形態に係る、受信信号を処理する例示的な方法を示す図である。

示されるようなダウンサンプリング処理の間、エンコーダ１４０は、信号データＳ２^Ｔの、階層におけるより低い次の品質レベルの信号データＳ１^Ｔへのダウンサンプリングを開始する。

ダウンサンプリングの終了に続き、エンコーダ１４０は、最も低いレベルのアップサンプリングを実行する。そのような実施形態において、エンコーダ１４０は、微調整する要素（例えばＷ１）を選択する。選択された要素Ｗ１に対する微調整毎に、エンコーダ１４０は微調整された信号データＳ１^３をアップサンプリングして信号データＳ２^Ｕを生成する。

この例において、Ｕ_ＴＥＳＴを用いるアップサンプリングにより、要素Ｗ１が要素、および、各値Ｘ１＝９９、Ｘ２＝１０１、Ｘ３＝９９、および、Ｘ４＝９５に拡張される。その後、エンコーダ１４０は、上記にて説明したやり方で残留データ５１８−１および調整された残留データ５１９−１を生成する。残留データ５１８−１の量子化は、残留データ５１８−１の略ゼロ値を、調整された残留データ５１９−１のゼロ値に設定することを含み得る。つまり、残留データ５１８−１の値＋１または−１に設定された要素は、値０に設定されて、調整された残留データ５１９−１が生成される。

なお、量子化を実行するための範囲または閾値は、階層における複数の異なるレベルによって異なり得る。例えば、より低い品質レベルにおいては、画像のより高い品質レベルを維持すべく、より小さな範囲またはより小さな閾値が用いられる。言い換えると、より高いレベルの残留データをはるかに多く生成する必要性が生じるのを防ぐべく、より低いレベルの残留データをより多く生成するのが望ましい。

図１０は、本願発明の実施形態に係る、エントロピー値の生成の例を示す図である。

本願発明の一実施形態においては、変更（例えば微調整）により各残留データがエントロピーを向上させるのか悪化させるのかを迅速に判断出来る適切な測定基準が利用される。上記にて説明したように、残留データのエントロピーは、シンボルまたは数を含む残留データを送信するためにどれくらいの情報が必要かの評価基準となり得る。

基本レベルのエントロピーは、残留データにおいてどれだけの複数の異なるシンボルがエンコードされるかに依る。残留データの複数の異なるシンボルの数が多ければ多い程、エントロピーは高くなる。他の全てのシンボルよりもはるかに可能性の高いシンボルが主にただ１つだけある場合、エントロピーの大きな低下が実現され得る。このような場合、他の全てのシンボルがただ１つのシンボルだけなのか、多くの他のシンボルなのかは殆ど関係しない。

残留データのエントロピー値を計算する１つの方法は、閾値よりも大きな、または特定の範囲に含まれる残留データの値の個数を計算することである。このやり方（例えば、矩形ステップ関数）で計算されたエントロピー値は、数学的に微分可能ではない。つまり、図１０に示されるように、ステップ関数１０１０は、閾値に無限斜面を有する矩形関数である。

他の実施形態によると、エンコーダ１４０は、実質的に矩形の関数（例えばステップ関数１０１０）をシミュレートする連続関数１０２０（例えば微分可能関数）を実行し得る。連続関数１０１０により、導関数の利用に基づく残留データに関するエントロピーの量子化が促される。

例えば、本願発明の一実施形態において、矩形関数をシミュレートするシグモイド関数が利用される。そのような実施形態において、エンコーダ１４０は、ステップ関数１０１０の代わりに関数１０２０に基づいて、残留データの各要素値を、対応するカウント値（例えば１０進値）にマッピングする。前述の例においては、エンコーダ１４０は、要素値が閾値を上回るか下回るかに応じてそれぞれを１またはゼロの値にマッピングする。対称的に、関数１０２０を用いる場合、エンコーダ１４０は、各要素を、ゼロより大きく１より小さい非整数値（例えば１０進値）にマッピングする。

任意の微調整に関し、関数１０２０を用いる場合、エンコーダ１４０は、要素のそれぞれに関して生成された対応する１０進値のカウント値を合わせることにより、エントロピー値を生成する。エンコーダ１４０は、関数１０２０を用い、この処理を微調整毎に繰り返す。任意の要素の微調整に関するエントロピー値に基づき、エンコーダ１４０は、各要素の微調整に基づき残留データのエントロピーがどれくらい変化するかを示す図１１の関数を生成する。

図１１の関数１１２８は、微分可能関数である。つまり、関数１１２８の導関数を生成することにより、エンコーダ１４０は、関数１１２８の傾斜がゼロである地点を特定出来る。この関数１１２８の（傾斜が実質的にゼロに等しい）地点は、残留データの最も低いエントロピーを生成する対応する要素の設定を示す。

したがって、本願発明の実施形態は、エントロピー関数の大きさが、ダウンサンプリングされた信号のテスト対象である選択された要素に対する複数の異なる可能な調整に応じて変わるエントロピー関数１１２８を生成することと、エントロピー関数１１２８を利用して、テスト対象の要素の複数の異なる可能な変化のうち、調整のための残留データの対応するエントロピーが実質的に最小であるダウンサンプリングされた信号の要素に対する調整を特定することを含む。図１１の水平軸は、テスト対象の要素の異なる可能な変化を示し、垂直軸は、設定のための残留データの相対的なエントロピーを示す。

図１２は、本願発明の実施形態に係るコンピュータ処理を提供するコンピュータシステム８００の例を示すブロック図である。

コンピュータシステム８００は、パーソナルコンピュータ、処理回路、ワークステーション、ポータブルコンピューティングデバイス、コンソール、ネットワーク端末、処理デバイス、ネットワークデバイスなど、スイッチ、ルーター、サーバー、クライアントなどとして動作するコンピュータ化されたデバイスであり得、またはこれらを含みうる。

なお以下においては、上記にて説明したようなエンコーダ１４０に関する機能をどのように実行するかを示す基本的な実施形態を説明する。しかし、本明細書で説明される処理を実行するための実際の構成は、各適用例に応じて変更され得る。

示されるように、本例のコンピュータシステム８００は、デジタル情報を格納し、取り出し可能な、非一時的なタイプの媒体、コンピュータ可読ハードウェア格納媒体などであるコンピュータ可読記憶媒体８１２を結合するインターコネクト８１１を含む。コンピュータシステム８００はさらに、プロセッサ８１３、Ｉ／Ｏインタフェース８１４、および通信インタフェース８１７を含み得る。

Ｉ／Ｏインタフェース８１４は、レポジトリ１８０への接続を可能とし、ディスプレイ画面、キーボード、コンピュータマウスなど周辺デバイス８１６が存在する場合には、それらへの接続を可能とする。

コンピュータ可読記憶媒体８１２（例えばハードウェア記憶媒体）は、メモリ、光学式記憶媒体、ハードドライブ、フロッピー（登録商標）ディスクなど何らかの適切なデバイスおよび／またはハードウェアであり得る。コンピュータ可読記憶媒体は、エンコーダ１４０−１に関する命令を格納する非一時的記憶媒体であり得る。命令は、本明細書に説明される処理のいずれかを実行するためにエンコーダ１４０などの対応するリソースにより実行される。

通信インタフェース８１７は、コンピュータシステム８００がネットワーク１９０上で通信を行い、遠隔のソースから情報を取り出し、他のコンピュータ、スイッチ、クライアント、サーバーなどと通信を行うことを可能とする。Ｉ／Ｏインタフェース８１４も、プロセッサ８１３が、レポジトリ１８０から格納された情報を読み出すこと、または読み出しを試みることを可能とする。

示されるように、コンピュータ可読記憶媒体８１２は、エンコーダ処理１４０−２として、プロセッサ８１３により実行されるエンコーダアプリケーション１４０−１によりエンコードされ得る。

なおコンピュータシステム８００またはエンコーダ１４０は、データおよび／またはロジック命令を格納するためのコンピュータ可読記憶媒体８１２（例えば、ハードウェア記憶媒体、非一時的記憶媒体など）を含んで実装されてもよい。

コンピュータシステム８００は、そのような命令を実行し、本明細書に説明される処理を実行するプロセッサ８１３を含みうる。したがって、エンコーダアプリケーション１４０−１に関連付けられたコードは、実行された場合、本明細書に説明される処理機能をサポート出来る。

一実施形態の処理の間、プロセッサ８１３は、コンピュータ可読記憶媒体８１２に格納されたエンコーダアプリケーション１４０−１の命令を起ち上げ、起動し、実行し、インタープリトし、または実施するために、インターコネクト８１１を介してコンピュータ可読記憶媒体８１２にアクセスする。エンコーダアプリケーション１４０−１の実行により、プロセッサ８１３の処理機能が生成される。言い換えると、プロセッサ８１３に関連付けられたエンコーダ処理１４０−２は、コンピュータシステム８００のプロセッサ８１３内、またはプロセッサ８１３上でエンコーダアプリケーション１４０−１を実行する１以上の態様を表す。

当業者であれば、コンピュータシステム８００が、他の処理、および／またはエンコーダアプリケーション１４０−１を実行するためのハードウェア処理リソースの割り当ておよび利用を制御するオペレーティングシステムなどソフトウェア並びにハードウェアコンポーネントを含みうることを理解されよう。

複数の異なる実施形態によると、コンピュータシステムは、パーソナルコンピュータシステム、デスクトップコンピュータ、ラップトップ、ノートブック、ネットブックコンピュータ、メインフレームコンピュータシステム、ハンドヘルドコンピュータ、ワークステーション、ネットワークコンピュータ、アプリケーションサーバー、記憶デバイス、カメラ、カムコーダ―、セットトップボックス、モバイルデバイス、ビデオゲームコンソール、携帯型ビデオゲームデバイスなど消費者向け電子デバイス、スイッチ、モデム、ルーターなどの周辺デバイス、または一般的に、何らかのタイプのコンピューティングデバイスまたは電子デバイスを含むがこれらに限定されない様々なタイプのデバイスのいずれかでありうる。

なお繰り返すが、本明細書に説明する技術は、デコーダを用いた信号の処理および再構築における利用によく適している。しかし、本願発明の実施形態は、そのような適用例での利用に限定されず、本明細書に説明する技術は、他の適用例にも同じくよく適している。

本明細書に明記した説明に基づき、特許請求される主題の理解を深められるよう様々な特定的な詳細を明記した。しかし、当業者であれば、そのような特定的な詳細を用いずとも特許請求される主題を実施し得ることを理解されよう。他の例においては、当業者には公知である方法、装置、システムなどは、特許請求される主題を曖昧にすることを避けるべく詳細には説明していない。詳細な説明のいくつかの箇所は、コンピュータメモリなどのコンピューティングシステムのメモリ内に格納されたデータビットまたは２値デジタル信号に対する処理のアルゴリズムまたは記号表現を用いて提示した。これらのアルゴリズムを用いた説明または表現は、データ処理に関する分野の当業者が研究の内容を他の当業者に伝えるために用いる技術の例である。本明細書で説明される、または一般的にアルゴリズムは、所望される結果をもたらす首尾一貫した処理のシーケンスまたは同様の処理であるものと見なされる。この文脈において、動作または処理は、物理量の物理的な操作を伴う。必ずしもそうではないが典型的には、そのような量は、格納され得る、伝送され得る、組み合わせられ得る、比較され得る、または操作され得る電子信号または磁気信号の形態でありうる。主に共通の使用が理由となり、そのような信号をビット、データ、値、要素、シンボル、文字、用語、数字、数詞など呼ぶことが場合によっては好都合であることが分かっている。しかし、これらの、および同様の用語は全て適切な物理量と関連付けられ、単に好都合なラベルに過ぎないことが理解されるべきである。特別に他に記さない限り、以下の説明から分かるように、本明細書を通じて「処理」、「演算」、「計算」、「判断」などの用語を用いた説明は、メモリ、レジスタ、または他の情報記憶デバイス、送信デバイス、またはコンピューティングプラットホームのディスプレイデバイス内で物理的な電子量または磁気量として表されるデータを操作する、または変換するコンピュータまたは同様の電子コンピューティングデバイスなどのコンピューティングプラットホームによる動作または処理を指すことが理解されよう。

好ましい実施形態を参照し、本願発明を詳細に示し説明してきたが、当業者であれば、添付の請求項により規定される本明細書の思想および態様から逸脱することなく、形態および詳細に関して様々な変更が加えられ得ることを理解されよう。そのような変更は、本明細書の態様に含まれることが意図されている。よって、本明細書の実施形態の前述した説明は限定を意図しない。むしろ、本願発明は次の請求項によって規定される。
［項目１］
階層における複数の異なる品質レベルでエンコードする方法であり、
入力として信号を有する段階と、
少なくとも１つのダウンサンプリング処理を利用して、前記階層における複数の連続するより低い品質レベルの前記信号のダウンサンプリングされたレンディションを生成する段階と、
前記少なくとも１つのダウンサンプリング処理と非対称であり得る、少なくとも１つのアップサンプリング処理を第１品質レベルの前記信号のダウンサンプリングされたレンディションへ適用して、前記階層における前記第１品質レベルよりも高い第２品質レベルの前記信号のアップサンプリングされたレンディションを生成する段階と、
前記第２品質レベルの前記信号の前記ダウンサンプリングされたレンディションと、前記第２品質レベルの前記信号の前記アップサンプリングされたレンディションとの間の差を示す残留データを生成する段階と、
を備える、方法。
［項目２］
前記少なくとも１つのダウンサンプリング処理、若しくは、前記少なくとも１つのアップサンプリング処理、または両方が非線形である、項目１に記載の方法。
［項目３］
前記第１品質レベルの前記信号の前記ダウンサンプリングされたレンディションの要素の設定を繰り返し調整して、前記第２品質レベルの前記信号の前記ダウンサンプリングされたレンディションを再構築するために必要な前記残留データのエントロピーを低下させる段階をさらに備える、項目１に記載の方法。
［項目４］
前記第１品質レベルの前記信号の前記レンディションを前記第２品質レベルの前記信号の前記レンディションにアップサンプリングするのに用いられる複数のアップサンプリングオプションのそれぞれに関して、前記第１品質レベルの前記信号の前記ダウンサンプリングされたレンディションの要素の設定を繰り返し調整して、前記第２品質レベルの前記信号の前記ダウンサンプリングされたレンディションを再構築するために必要な前記残留データのエントロピーを低下させる段階と、
前記複数のアップサンプリングオプション、および、前記第１品質レベルの前記信号の前記ダウンサンプリングされたレンディションの微調整のうちどれが前記残留データの実質的に最も低いエントロピーをもたらすかを特定する段階と、
をさらに備える、項目１に記載の方法。
［項目５］
前記残留データに関するエントロピーの数量化を促す連続変換関数を実行して、実質的に矩形の関数をシミュレートする段階をさらに備える、項目１に記載の方法。
［項目６］
前記連続変換関数はシグモイド関数である、項目５に記載の方法。
［項目７］
前記連続変換関数を実行して前記実質的に矩形の関数をシミュレートする段階は、
前記第１品質レベルの前記ダウンサンプリングされた信号の複数の異なる可能な調整に応じて大きさが異なるエントロピー関数を生成する段階と、
前記エントロピー関数を利用して、前記第１品質レベルの前記ダウンサンプリングされた信号の調整を特定する段階と、
をさらに有し、
前記調整のための前記残留データの対応するエントロピーは、前記複数の異なる可能な調整のうち実質的に最小である、項目５に記載の方法。
［項目８］
前記第１品質レベルの前記信号の前記ダウンサンプリングされたレンディションを複数の要素領域にパースする段階と、
前記残留データに関連付けられたエントロピーを局所的に低下させる前記複数の要素領域内の要素の調整を特定することに並行して、前記複数の要素領域を同時に処理する段階と、
をさらに備える、項目１に記載の方法。
［項目９］
前記残留データのエントロピーを低下させる、前記複数の要素領域の前記要素の調整のグローバルチェックを少なくとも時折実行する段階をさらに備える、項目８に記載の方法。
［項目１０］
前記少なくとも１つのアップサンプリング処理を適用する段階は、前記第１品質レベルの前記信号の前記レンディションの複数の要素のうちそれぞれに関して、
前記第１品質レベルの前記ダウンサンプリングされた信号の微調整する要素を選択する段階と、
複数の異なる方向に前記選択された要素を微調整する段階と、
微調整された前記選択された要素に基づき、前記第２品質レベルの前記残留データを生成する段階と、
前記第２品質レベルの前記残留データのエントロピーを計算して、前記第１品質レベルの前記選択された要素のどの微調整が、実質的に最も低いエントロピーを有する前記第２品質レベルの残留データのセットを生成するかを特定する段階と、
を繰り返す段階を有する、項目１に記載の方法。
［項目１１］
前記エントロピーを計算する段階は、前記残留データを量子化して、または前記量子化をシミュレート／近似して、前記エントロピーを低下させる段階を含む、項目１０に記載の方法。
［項目１２］
前記少なくとも１つのアップサンプリング処理を適用する段階は、複数のアップサンプリング処理を前記第１品質レベルの前記信号の前記ダウンサンプリングされたレンディションへ適用する段階をさらに有し、
前記残留データを生成する段階は、前記第１品質レベルの前記信号の前記ダウンサンプリングされたレンディションへ適用される複数のアップサンプリングオプションのうちどれが、実質的に最も低いエントロピーを有する残留データを生成するかを特定する段階を含む、項目１０に記載の方法。
［項目１３］
前記少なくとも１つのアップサンプリング処理を適用する段階は、複数のアップサンプリング処理を前記第１品質レベルの前記信号の前記ダウンサンプリングされたレンディションへ適用する段階をさらに有し、
前記残留データを生成する段階は、前記第１品質レベルの前記信号の前記ダウンサンプリングされたレンディションへ適用される複数のアップサンプリングオプションのうちどれが、実質的に最も低いエントロピーを有する残留データを生成するかを特定する段階を含む、項目１に記載の方法。
［項目１４］
前記第１品質レベルの前記信号の前記ダウンサンプリングされたレンディションの要素の設定を繰り返し調整して、前記第１品質レベルの前記信号の微調整されたレンディションを生成する段階と、
前記第１品質レベルの前記信号の前記微調整されたレンディションをアップサンプリングして、前記第２品質レベルの前記信号の前記アップサンプリングされたレンディションを生成する段階と、
前記第２品質レベルの前記信号の前記アップサンプリングされたレンディションへ前記残留データを適用して、前記第２品質レベルの前記信号の中間レンディションを生成する段階と、
前記第２品質レベルの前記信号の前記中間レンディションの要素を微調整して、前記第２品質レベルの前記信号の微調整されたレンディションを生成する段階と、
前記第２品質レベルの前記信号の前記アップサンプリングされたレンディションと、前記第２品質レベルの前記信号の前記微調整されたレンディションとの間の差に基づき残留データの第２セットを生成する段階と、
をさらに備える、項目１に記載の方法。
［項目１５］
前記少なくとも１つのダウンサンプリング処理を利用して、前記階層における複数の連続するより低い品質レベルの前記信号のダウンサンプリングされたレンディションを生成する段階は、前記階層における複数の連続するより低い品質レベルのそれぞれに関して、
前記信号をダウンサンプリングする段階と、
選択された品質レベルでダウンサンプリングされた前記信号の微調整する要素を選択する段階と、
複数の異なる方向に前記選択された要素を微調整して、前記残留データを生成する段階と、
前記残留データのエントロピーを計算して、前記選択された要素のどの微調整が実質的に最も低いエントロピーを有する残留データのセットを生成するかを特定する段階と、
を繰り返す段階をさらに有する、項目１に記載の方法。
［項目１６］
前記少なくとも１つのダウンサンプリング処理を利用して、前記階層における複数の連続するより低い品質レベルの前記信号の前記ダウンサンプリングされたレンディションを生成する段階は、
前記信号をダウンサンプリングするレベルとして、前記階層における最も高い品質レベルを表す品質レベルＪを選択する段階と、
前記品質レベルＪより低い次の品質レベルである品質レベルＪ−１の前記信号のレンディションへの選択されたダウンサンプリング処理を前記品質レベルＪの前記信号に適用する段階と、
前記品質レベルＪ−１の前記信号の前記レンディションの値の設定を繰り返し微調整して、前記品質レベルＪの前記信号を再構築するために必要な残留データのエントロピーを低下させる前記品質レベルＪ−１の前記信号の微調整されたレンディションを特定する段階と、
をさらに有する、項目１に記載の方法。
［項目１７］
前記品質レベルＪ−１より低い次の品質レベルである品質レベルＪ−２の前記信号のレンディションへの選択されたダウンサンプリング処理を前記品質レベルＪ−１の前記信号の前記微調整されたレンディションに適用する段階と、
前記品質レベルＪ−２の前記信号の前記レンディションの値の設定を繰り返し微調整して、前記品質レベルＪ−１の前記信号の前記微調整されたレンディションを再構築するために必要な残留データのエントロピーを低下させる前記品質レベルＪ−２の前記信号の微調整されたレンディションを特定する段階と、
選択されたダウンサンプリング処理を適用する段階と、前記階層における複数の連続するより低い品質レベルの複数のペアに対して設定を繰り返し微調整する段階とを繰り返して、前記第２品質レベルおよび前記第１品質レベルの前記信号の前記ダウンサンプリングされたレンディションを生成する段階と、
をさらに備える、項目１６に記載の方法。
［項目１８］
品質レベルＪ−１の前記信号の前記レンディションの値の複数の可能なアップサンプリング処理および微調整された設定のうちどれが、前記品質レベルＪの前記信号を再構築するために必要な残留データのエントロピーを低下させるかを繰り返しテストする段階をさらに備える、項目１６に記載の方法。
［項目１９］
命令を格納したコンピュータ可読記憶ハードウェアであり、
前記命令は、処理デバイスにより実行されると、前記処理デバイスに、
信号を受信する手順と、
少なくとも１つのダウンサンプリング処理を利用して、階層における複数の連続するより低い品質レベルの前記信号のダウンサンプリングされたレンディションを生成する手順と、
前記少なくとも１つのダウンサンプリング処理と非対称であり得る、少なくとも１つのアップサンプリング処理を第１品質レベルの前記信号のダウンサンプリングされたレンディションへ適用して、前記階層における前記第１品質レベルよりも高い第２品質レベルの前記信号のアップサンプリングされたレンディションを生成する手順と、
前記第２品質レベルの前記信号の前記ダウンサンプリングされたレンディションと、前記第２品質レベルの前記信号の前記アップサンプリングされたレンディションとの間の差を示す残留データを生成する手順と、
を実行させる、コンピュータ可読記憶ハードウェア。
［項目２０］
コンピュータシステムであり、
プロセッサと、
前記プロセッサにより実行されるアプリケーションに関連付けられた命令を格納するメモリユニットと、
前記プロセッサと前記メモリユニットとを結合するインターコネクトと、
を備え、
前記インターコネクトは、前記コンピュータシステムに前記アプリケーションを実行させ、
入力として信号を有する手順と、
少なくとも１つのダウンサンプリング処理を利用して、階層における複数の連続するより低い品質レベルの前記信号のダウンサンプリングされたレンディションを生成する手順と、
前記少なくとも１つのダウンサンプリング処理と非対称であり得る、少なくとも１つのアップサンプリング処理を第１品質レベルの前記信号のダウンサンプリングされたレンディションへ適用して、前記階層における前記第１品質レベルよりも高い第２品質レベルの前記信号のアップサンプリングされたレンディションを生成する手順と、
前記第２品質レベルの前記信号の前記ダウンサンプリングされたレンディションと、前記第２品質レベルの前記信号の前記アップサンプリングされたレンディションとの間の差を示す残留データを生成する手順と、
を実行させる、コンピュータシステム。

Claims (22)

1. 階層における複数の異なる品質レベルで信号をエンコードする方法であり、
   入力として信号を有する段階と、
   少なくとも１つのダウンサンプリング処理を利用して、前記信号が前記階層における複数の連続するより低い品質レベルにダウンサンプリングされた少なくとも１つのレンディションを生成する段階と、
   少なくとも１つのアップサンプリング処理を、前記少なくとも１つのレンディションのうちの第１品質レベルにダウンサンプリングされた前記信号のレンディションへ適用して、前記階層における前記第１品質レベルよりも高い第２品質レベルの前記信号のレンディションを生成する段階と、
   前記第２品質レベルの前記信号の前記ダウンサンプリングされたレンディションと、前記第２品質レベルの前記信号の前記アップサンプリングされたレンディションとの間の差を示す残留データを生成する段階と、
   残留データと前記第２品質レベルの前記信号の前記アップサンプリングされたレンディションとを組み合わせて、前記第２品質レベルの前記信号の再構築されたレンディションを生成する段階と、
   前記第１品質レベルにおける前記信号の前記レンディションの値を調整する段階と、
   前記第１品質レベルにおける前記信号の前記調整されたレンディションをダウンサンプリングして、前記第１品質レベルよりも低い第３品質レベルにおける前記信号のレンディションを生成する段階と
   を備える方法。
2. 前記第２品質レベルの前記信号の第１部分のために生成される残留データは、前記第２品質レベルの前記信号の残りの部分のために生成される残留データとは並列して生成される、請求項１に記載の方法。
3. 少なくとも１つのダウンサンプリング処理は非線形である、請求項１または２に記載の方法。
4. 少なくとも１つのアップサンプリング処理は非線形である、請求項１から３のいずれか１項に記載の方法。
5. 前記第１品質レベルの前記信号の前記ダウンサンプリングされたレンディションの要素の設定を調整して、前記第２品質レベルの前記信号のレンディションを再構築するために必要な前記残留データのエントロピーを低下させる段階をさらに備える、請求項１から４のいずれか１項に記載の方法。
6. 前記第１品質レベルの前記信号の前記レンディションを前記第２品質レベルの前記信号の前記アップサンプリングされたレンディションにアップサンプリングするのに用いられる複数のアップサンプリングオプションのそれぞれに関して、前記第１品質レベルの前記信号の前記ダウンサンプリングされたレンディションの要素の設定を調整して、前記第２品質レベルの前記信号の前記再構築されたレンディションを再構築するために必要な前記残留データのエントロピーを低下させる段階と、
   前記複数のアップサンプリングオプション、および、前記第１品質レベルの前記信号の前記ダウンサンプリングされたレンディションの調整のうちどれが前記残留データの実質的に最も低いエントロピーをもたらすかを特定する段階と
   をさらに備える、請求項１から５のいずれか１項に記載の方法。
7. 前記残留データに関するエントロピーの最適化を促す連続変換関数を実行して、実質的に矩形の関数をシミュレートする段階をさらに備え、
   前記連続変換関数を実行して前記実質的に矩形の関数をシミュレートする段階は、
   前記第１品質レベルの前記ダウンサンプリングされた信号の複数の異なる可能な調整に応じて大きさが異なるエントロピー関数を生成する段階と、
   前記エントロピー関数を利用して、前記第１品質レベルの前記ダウンサンプリングされた信号の調整を特定する段階と
   をさらに有し、
   前記調整のための前記残留データの対応するエントロピーは、前記複数の異なる可能な調整のうち実質的に最小である、請求項１から６のいずれか１項に記載の方法。
8. 前記第１品質レベルの前記信号の前記ダウンサンプリングされたレンディションを複数の要素領域にパースする段階と、
   前記残留データに関連付けられたエントロピーを局所的に低下させる前記複数の要素領域内の要素の調整を特定することに並行して、前記複数の要素領域を同時に処理する段階と、
   をさらに備える、請求項１から７のいずれか１項に記載の方法。
9. 前記残留データのエントロピーを低下させる、前記複数の要素領域の前記要素の調整のグローバルチェックを少なくとも時折実行する段階をさらに備える、請求項８に記載の方法。
10. 前記少なくとも１つのアップサンプリング処理を適用する段階は、前記第１品質レベルの前記信号の前記レンディションの複数の要素のうちそれぞれに関して、
    前記第１品質レベルの前記ダウンサンプリングされた信号の調整する要素を選択する段階と、
    前記選択された要素を調整する段階と、
    調整された前記選択された要素に基づき、前記第２品質レベルの前記残留データを生成する段階と、
    前記第２品質レベルの前記残留データのエントロピーを計算して、前記第１品質レベルの前記選択された要素のどの調整が、実質的に最も低いエントロピーを有する前記第２品質レベルの残留データのセットを生成するかを特定する段階と
    を繰り返す段階を有する、請求項１から９のいずれか１項に記載の方法。
11. 前記エントロピーを計算する段階は、前記残留データを量子化して、または前記量子化をシミュレート／近似して、前記エントロピーを低下させる段階を含む、請求項１０に記載の方法。
12. 前記少なくとも１つのアップサンプリング処理を適用する段階は、複数のアップサンプリング処理のうち少なくとも１つを前記第１品質レベルの前記信号の前記ダウンサンプリングされたレンディションへ適用する段階をさらに有し、
    前記残留データを生成する段階は、前記第１品質レベルの前記信号の前記ダウンサンプリングされたレンディションへ適用される複数のアップサンプリングオプションのうちどれが、実質的に最も低いエントロピーを有する残留データを生成するかを特定する段階を含む、請求項１０または１１に記載の方法。
13. 前記少なくとも１つのアップサンプリング処理を適用する段階は、複数のアップサンプリング処理のうち少なくとも１つを前記第１品質レベルの前記信号の前記ダウンサンプリングされたレンディションへ適用する段階をさらに有し、
    前記残留データを生成する段階は、前記第１品質レベルの前記信号の前記ダウンサンプリングされたレンディションへ適用される複数のアップサンプリングオプションのうちどれが、実質的に最も低いエントロピーを有する残留データを生成するかを特定する段階を含む、請求項１から９のいずれか１項に記載の方法。
14. 前記第１品質レベルの前記信号の前記ダウンサンプリングされたレンディションの要素の設定を調整して、前記第１品質レベルの前記信号の調整されたレンディションを生成する段階と、
    前記第１品質レベルの前記信号の前記調整されたレンディションをアップサンプリングして、前記第２品質レベルの前記信号の前記アップサンプリングされたレンディションを生成する段階と、
    前記第２品質レベルの前記信号の前記アップサンプリングされたレンディションへ前記残留データを適用して、前記第２品質レベルの前記信号の中間レンディションを生成する段階と、
    前記第２品質レベルの前記信号の前記中間レンディションの要素を調整して、前記第２品質レベルの前記信号の調整されたレンディションを生成する段階と、
    前記第２品質レベルの前記信号の前記アップサンプリングされたレンディションと、前記第２品質レベルの前記信号の前記調整されたレンディションとの間の差に基づき残留データの第２セットを生成する段階と
    をさらに備える、請求項１から１３のいずれか１項に記載の方法。
15. 前記少なくとも１つのダウンサンプリング処理を利用して、前記階層における複数の連続するより低い品質レベルの前記信号の前記ダウンサンプリングされたレンディションを生成する段階は、前記階層における複数の連続するより低い品質レベルのそれぞれに関して、
    前記信号をダウンサンプリングする段階と、
    選択された品質レベルでダウンサンプリングされた前記信号の調整する要素を選択する段階と、
    前記選択された要素を調整して、前記残留データを生成する段階と、
    前記残留データのエントロピーを計算して、前記選択された要素のどの調整が実質的に最も低いエントロピーを有する残留データのセットを生成するかを特定する段階と
    を繰り返す段階をさらに有する、請求項１から１４のいずれか１項に記載の方法。
16. 前記少なくとも１つのダウンサンプリング処理を利用して、前記階層における複数の連続するより低い品質レベルの前記信号の前記ダウンサンプリングされたレンディションを生成する段階は、
    前記信号をダウンサンプリングするレベルとして、前記階層における最も高い品質レベルを表す品質レベルＪを選択する段階と、
    前記品質レベルＪより低い次の品質レベルである品質レベルＪ−１の前記信号のレンディションへの選択されたダウンサンプリング処理を前記品質レベルＪの前記信号に適用する段階と、
    前記品質レベルＪ−１の前記信号の前記レンディションの値の設定を調整して、前記品質レベルＪの前記信号を再構築するために必要な残留データのエントロピーを低下させる前記品質レベルＪ−１の前記信号の調整されたレンディションを特定する段階と
    をさらに有する、請求項１から１５のいずれか１項に記載の方法。
17. 前記品質レベルＪ−１より低い次の品質レベルである品質レベルＪ−２の前記信号のレンディションへの選択されたダウンサンプリング処理を前記品質レベルＪ−１の前記信号の前記調整されたレンディションに適用する段階と、
    前記品質レベルＪ−２の前記信号の前記レンディションの値の設定を調整して、前記品質レベルＪ−１の前記信号の前記調整されたレンディションを再構築するために必要な残留データのエントロピーを低下させる前記品質レベルＪ−２の前記信号の調整されたレンディションを特定する段階と、
    選択されたダウンサンプリング処理を適用する段階と、前記階層における複数の連続するより低い品質レベルの複数のペアに対して設定を調整する段階とを繰り返して、前記第２品質レベルおよび前記第１品質レベルの前記信号の前記ダウンサンプリングされたレンディションを生成する段階と
    をさらに備える、請求項１６に記載の方法。
18. 前記品質レベルＪ−１の前記信号の前記レンディションの値の複数の可能なアップサンプリング処理および調整された設定のうちどれが、前記品質レベルＪの前記信号を再構築するために必要な残留データのエントロピーを低下させるかを特定する段階をさらに備える、請求項１６または１７に記載の方法。
19. 前記信号は画像である、請求項１から１８のいずれか１項に記載の方法。
20. 前記信号は動画信号である、請求項１から１８のいずれか１項に記載の方法。
21. コンピュータプログラムであって、
    前記コンピュータプログラムは、処理デバイスにより実行されると、前記処理デバイスに、
    入力として信号を受信する手順と、
    少なくとも１つのダウンサンプリング処理を利用して、前記信号が階層における複数の連続するより低い品質レベルにダウンサンプリングされた少なくとも１つのレンディションを生成する手順と、
    少なくとも１つのアップサンプリング処理を、前記少なくとも１つのレンディションのうちの第１品質レベルにダウンサンプリングされた前記信号のレンディションへ適用して、前記階層における前記第１品質レベルよりも高い第２品質レベルの前記信号のレンディションを生成する手順と、
    前記第２品質レベルの前記信号の前記ダウンサンプリングされたレンディションと、前記第２品質レベルの前記信号の前記アップサンプリングされたレンディションとの間の差を示す残留データを生成する手順と、
    残留データと前記第２品質レベルの前記信号の前記アップサンプリングされたレンディションとを組み合わせて、前記第２品質レベルの前記信号の再構築されたレンディションを生成する手順と、
    前記第１品質レベルにおける前記信号の前記レンディションの値を調整する手順と、
    前記第１品質レベルにおける前記信号の前記調整されたレンディションをダウンサンプリングして、前記第１品質レベルよりも低い第３品質レベルにおける前記信号のレンディションを生成する手順と
    を実行させるためのコンピュータプログラム。
22. コンピュータシステムであり、
    プロセッサと、
    前記プロセッサにより実行されるアプリケーションに関連付けられた命令を格納するメモリユニットと、
    前記プロセッサと前記メモリユニットとを結合するインターコネクトと
    を備え、
    前記インターコネクトは、前記コンピュータシステムに前記アプリケーションを実行させ、
    入力として信号を受信する手順と、
    少なくとも１つのダウンサンプリング処理を利用して、前記信号が階層における複数の連続するより低い品質レベルにダウンサンプリングされた少なくとも１つのレンディションを生成する手順と、
    少なくとも１つのアップサンプリング処理を、前記少なくとも１つのレンディションのうちの第１品質レベルにダウンサンプリングされた前記信号のレンディションへ適用して、前記階層における前記第１品質レベルよりも高い第２品質レベルの前記信号のレンディションを生成する手順と、
    前記第２品質レベルの前記信号の前記ダウンサンプリングされたレンディションと、前記第２品質レベルの前記信号の前記アップサンプリングされたレンディションとの間の差を示す残留データを生成する手順と、
    残留データと前記第２品質レベルの前記信号の前記アップサンプリングされたレンディションとを組み合わせて、前記第２品質レベルの前記信号の再構築されたレンディションを生成する手順と、
    前記第１品質レベルにおける前記信号の前記レンディションの値を調整する手順と、
    前記第１品質レベルにおける前記信号の前記調整されたレンディションをダウンサンプリングして、前記第１品質レベルよりも低い第３品質レベルにおける前記信号のレンディションを生成する手順と
    を実行させる、コンピュータシステム。

Images