JP5107649B2 - ビデオの映像コード化およびイントラ・コード化のための固定型または適応型デインターリープドトランスフォームコード化方法及び装置 - Google Patents

Description

本発明は、１９９６年９月２５日出願の米国仮出願第６０／０２７，４３６号に基づく出願である。

本発明は、ひろくは映像のコード化およびビデオのイントラ・コード化のための方法および装置に関し、より詳しくは、トランスフォームコード化を用いた映像のコード化およびビデオのイントラ・コード化のための方法および装置に関する。イントラ・コード化は、単純な符号化／復号化、低遅延性、高度の耐エラー頑強性、あるいは高いレベルの対話性を必要とする用途にとって重要である。この種の用途の例としては、インターネットでの映像／ビデオ、無線ビデオ、ネットワーク式ビデオゲーム等が挙げられる。

映像コード化およびビデオのイントラ・コード化の最新技術では、トランスフォームコード化（例、離散コサイントランスフォーム、ＤＣＴ）が用いられるが、これは、映像を８×８の寸法の非重複ブロックに仕切り、２×２のルミナンス（Ｙ）ブロックのアレーおよび対応するＣｒ信号のクロミナンス・ブロックおよびＣｂ信号のブロック（ともにマクロブロックと呼ばれる）の単位にコード化することを含むものである。予め復元されたＤＣ係数を用いてＤＣＴブロックのＤＣ係数を予測することによってイントラ・コード化の性能の改善が行なわれている。最近では、ＡＣ係数を予測することによってＭＰＥＧ−４でさらなる改善が行なわれている。

過去数年間に、多くの研究者がトランスフォームコード化の代わりにウェイブレッツ（ｗａｖｅｌｅｔｓ）を用いた異なるアプローチに迫っている。これらの研究者は、かなりの改善が得られたことを報告しているが、同時に複雑さも増大している。最近、コード化に先立てサブサンプリングを用いるウェイブレッツコード化のバリエーションがあらわれており（その中には、ＭＰＥＧ−４で現在実験が行なわれているものもある）、それらは、サブサンプリングの効果を利用した高度な量子化の技法を用いてさらに高い性能を実現しているが、同時に極端に複雑なものとなっている。

したがって、本発明は、高いコード化効率を示すがコード化の複雑さが比較的低い映像およびビデオのコード化のための方法および装置を開発する問題を扱うものである。

本発明は、トランスフォームステップに先立ってデインターリービング・ステップを適当な量子化の技法と組み合せて用いることによってこの問題を解決するものである。デインターリービングは、サブサンプリングより可撓性に富んでいる。本発明の方法および装置は、したがって、ウェイブレッツコード化のコード化効率を達成しながら、従来のトランスフォームコード化に比して複雑さがわずかだけ増し、ウェイブレッツコード化に比して複雑さが大きく低減したものである。

本発明は、符号化のプロセスで二つの形のデインターリービングを含む。本発明にもとづけば、固定型または適応型デインターリービング、トランスフォーム（例、ＤＣＴ）、拡張をともなう量子化、およびエントロピー符号化（例、可変長符号化ＶＬＥまたは算術符号化ＡＥ）によって改善されたイントラ・コード化が達成される。本発明に基づけば、コード化に二つの主要なアプローチが存在する。第一のものは、固定型デインターリービングを用い、第二のものは、適応型デインターリービングを用いる。本発明によって、固定型デインターリービングのアプローチを用いて高いコード化効率を達成する簡単なトランスフォームコード化法を用いるか、あるいは適応型デインターリービングのアプローチにもとづいてそれよりややすぐれた結果を産み出すわずかに複雑な方法を用いることが可能となった。ただし、これらのアプローチのいずれも、ウェイブレッツコード化よりは複雑でなく、しかも同じまたはほぼ同じコード化効率を達成することができる。

本発明の効果的な実施形態にもとづけば、各アプローチごとに二つのバリエーションが存在する。一つは、動き／テクスチャ部分のそれぞれに対して分離してＭＰＥＧ−４検定モデル（ＶＭ）（グローバルトランスフォーム）コード化するものであり、もう一つは、動き／テクスチャを組み合わせてＶＭ（局部トランスフォーム）コード化するものである。

本発明にもとづけば、トランスフォームコード化の枠組みの中でイントラ・コード化の効率を有意に改善することが可能である。本発明は、ＭＰＥＧ−４で使用するために考案されたものである。ＭＰＥＧ−１／２ビデオ・コード化にあっては、しばしば、Ｉ−画像と呼ばれるそれ自体でコード化された画像のため、あるいは予測可能にコード化された画像（Ｐ−画像またはＢ−画像）のイントラ・マクロブロックのためにイントラ・コード化が用いられる。ＭＰＥＧ−４にあっては、画像またはマクロブロックの他に、ビデオ・オブジェクト（ＶＯ）およびビデオ・オブジェクト・プレーン（ＶＯＰｓ）のコンセプトが導入される。

ＭＰＥＧ−４コード化では、画面がある数のビデオ・オブジェクトに仕切られることができ、これらのビデオ・オブジェクトは、各々を独立してコード化することができる。ＶＯＰは、ビデオ・オブジェクトの時間的スナップショットである。実際、画像は、そこで形状が直方形のＶＯＰの特殊なケースとなる。

ＭＰＥＧ−４コード化は、また、それぞれＩ−画像、Ｐ−画像、およびＢ−画像の一般化であるＩ−ＶＯＰｓ、Ｐ−ＶＯＰｓ、およびＢ−ＶＯＰｓなど異なる種類のＶＯＰｓのコード化を含む。すなわち、Ｉ−画像のコード化およびイントラ・マクロブロックに加えて、本発明は、形状が直方形および任意のＩ−ＶＯＰｓのコード化のためにも使用することができる。

本発明が扱う主な機能分野は、Ｉ−ＶＯＰｓのコード化効率であるが、このアプローチは、Ｐ−ＶＯＰｓおよびＢ−ＶＯＰｓのコード化にも拡張することができる。本発明によって間接的に得られる付加的な機能分野は、空間的スケーラビリティである。

本発明は、デインターリービングおよび拡張量子化を加えたＤＣＴコード化の枠組みを維持しながら、イントラ・コード化の効率を有意に改善することができる（１．５以上の因子によって）。一般に、イントラ・コード化の効率は、ＤＣ係数の予測をさらに改善し、またＡＣ係数の予測および走査の適応を組み込むことによって若干は改善されるが、これらの手法をすべて組み合わせたとしても、本発明の改善の可能性と比較すればこれらの改善は小さい。

ＭＰＥＧ−４におけるＩ−ＶＯＰｓコード化に関して、図１は、本発明に基づくグローバルデインターリーブドトランスフォーム（ＧＤＴ）コード化の基本エンコーダ１０のブロック線図を示す。デインターリーバ１１への入力では、映像は、画素形式であり、各画素は、デジタル値であるルミナンス、クロミナンス、および彩度の三構成成分によってあらわされる。これらのデジタル値は、デインターリーバ１１内へ送られ、デインターリーバ１１は、映像内の隣接するサンプルを分離する。換言すれば、デインターリーバ１１は、画素セットを多数の画素サブセットに分離するが、非隣接画素からサブセットを生成することによってそれを行なう。そのためには、使用される分離パターンの明細が必要である。各サブセットは、いくつかのデジタル・サンプルを含んでいるが、あたえられたサブセット内のサンプルは、元画像の中では互いに隣接していない。

トランスフォーム操作１２によって各サブセットの中のデジタルの画素値がトランスフォーム係数にトランスフォームされ、エネルギーのほとんどは、わずかな係数にパックされる。コード化ステップでは、例えば、離散コサイントランスフォーム（ＤＣＴ）を使用することができる。

なお、他の公知のトランスフォームの手法も使用することができる。

トランスフォーマ１２は、デインターリーバ１１から画素のサブセットを受け取る。各サブセットは、いくつかの画素を含み、各画素は、ルミナンス、クロミナンス、および彩度、または等価の色のシステムによってあらわされる。トランスフォーマ１２は、次に、各サブセット内の値の空間周波数成分を表す係数を出力する。この時点では、真の圧縮はないが、ＤＣＴトランスフォームによってデータが分類され、これによってＤＣＴは、有意にデータを減少させるように処理を行なう。ＤＣＴトランスフォームは、サブセット内の情報を比較的低い空間周波数で定義し、比較的高い空間周波数の多くはゼロとなり、その結果、後に圧縮が行なわれる。トランスフォーマ１２の出力は、係数のブロックであり、デインターリービング・プロセス１１によって生成される各サブセットに一つのブロックが割り当てられる。

クゥアントＸプロセス１３は、通常の量子化プラス・コード化効率を改善するための若干の拡張を含み、エントロピー・エンコーダ１４のためのデータを用意する。これは、以下で、三つの異なるクゥアントＸプロセス１３を示して詳細に説明する。クゥアントＸプロセス１３の出力は、ビットのブロックで、デインターリービング・プロセス１１で生成される各サブセットに一つのビットが割り当てられる。

クゥアントＸプロセス１３の後に符号化のプロセス１４がつづく。この場合には、エントロピー符号化が用いられる。どのような形のエントロピー符号化でもよい。可変長符号化（ＶＬＥ）は、エントロピー符号化の一例である。算術符号化（ＡＥ）は、他の一例である。エントロピー・エンコーダ１４によって生成された符号化されたビットストリームは、保存または伝送することができる。

他の公知のエントロピー符号化も使用することができる。

図２は、図１に示すエンコーダ１０に対応するデコーダ２０を示す。Ｉ−ＶＯＰｓのグローバルデインターリーブドＤＣＴエンコード化は、エントロピー・デコーダ２１、逆量子化２２、逆トランスフォーム２３、およびリインターリーバ２４を含む。エントロピー・デコーダ２１は、コードワードを逆転させて係数データへ戻す。逆量子化２２は、量子化１３の逆操作に加えてエンコーダ１０で行なわれた若干の拡張を行なう。逆トランスフォーム２３は、トランスフォーム１２の逆操作を行ない、リインターリーバ２４は、デインターリーバ１１の逆を行なう。

コード化されたビットストリームは、エントロピー・デコーダ２１内へ送られる。エントロピー・デコーダ２１は、エントロピー・エンコーダ１４への入力と同様なデータのブロックを出力する。コード化側で行なわれたデインターリービング１１のために、このデータのブロックは、デインターリーバ１１によって生成されたサブセットに対応するブロックにサブ分類される。エントロピー・デコーダ２１は、インバース・クゥアントＸ２２へこのデータのブロックを出力する。

以下では、インバース・クゥアントＸ２２を詳細に説明するが、行なわれるコード化のプロセスに応じて三つの異なるプロセスが示されている。インバース・クゥアントＸ２２は、その出力を逆トランスフォーム２３へ送る。インバース・クゥアントＸ２２の出力は、係数のブロックであり、それらは、デインターリービング・プロセス１１によって生成されるサブセットにもとづいてサブ分類される。

逆トランスフォーム２３は、次に、係数の各サブブロックに逆トランスフォーム操作を行ない、それを画素サブセットのサブブロックに変換する。これらのサブブロックは、リインターリーバ２４は、次に、画素が現われた元の順序を復元する。

図３は、ＬＤＴコード化の基本エンコーダ３０のブロック線図を示す。図１と比較して主な相違点は、デインターリービングに先立って、入力ＶＯＰまたは画像が局部領域に分割されることである。これらの領域は、正方形（ブロック）とすることもあるいは任意の形状とすることもできる。このようなセグメンテーションによって、トランスフォームの大きさおよびクゥアントＸに関係するコード化の詳細が変わる可能性がある。

画素形式の映像は、局部領域セグメンタ３１へ送られる。セグメンタ３１は、分割された映像信号をデインターリーバ３２へ出力する。この場合、局部領域セグメンタ３１は、隣接する画素のサブセットを生成する。次に、デインターリービング・ステップ３２で、これらのサブセットがさらに仕切られ、その結果得られる仕切られたサブセットは、各々が非隣接画素を含んでいる。

残りのプロセスは、図１と同じである。デインターリーバ３２は、その出力をトランスフォーマ３３へ送り、トランスフォーマ３３は、その出力をクゥアントＸ３４へ送る。クゥアントＸ３４は、その出力をエントロピー・エンコーダ３５へ送り、エントロピー・エンコーダ３５は、コード化されたビットストリームを出力する。

図４は、図３に示すエンコーダ３０に対応するデコーダ４０を示す。図２に示すＧＤＴデコーダとの主な相違点は、復号プロセスの終わりに局部領域アセンブラ４５（例、ブロック・アンフォーマッタ）が付加されていることである。局部領域アセンブラ４５は、局部領域セグメンタ３１の逆操作を行なう。ＬＤＴデコーダ４０は、エントロピー・デコーダ４１、逆量子化４２、逆トランスフォーム４３、リインターリーバ４４、および局部領域アセンブラ４５を含む。

図４に示すプロセスは、その各ステップが図２と異なって仕切られたサブセット上で行なわれる以外、図２に示すプロセスと同じである。例えば、符号化されたビットは、エントロピー・デコーダ４１内へ送られる。これらのビットは、符号化のプロセス３０で生成された局部領域によって順序づけされる。すなわち、各ステップは、各局部領域グループ上で個別に行なわれる。次に、デコーダ４１は、ビットのブロックのグループをクゥアントＸ４２へ出力し、クゥアントＸ４２は、逆トランスフォームプロセス４３のために必要な係数のブロックのグループを生成する。逆トランスフォームプロセス４３は、次に、画素のグループをリインターリーバ４４へ出力し、リインターリーバ４４は、各グループ内の画素をリインターリーブする。したがって、リインターリーバ４４の出力は、局部領域セグメンタによって生成された局部領域である。この場合のデコーデング・プロセス４０は、各局部領域で個別に行なわれることがわかろう。このデコーデング・プロセス４０の終わりで、局部領域は、局部領域アセンブラ４５によってアセンブルされ、画素映像が分割された局部領域３１に示されるとき、それが復元される。

以下、このプロセスの中のいくつかのステップをより詳細に説明する。これらのステップには、デインターリービングおよびクゥアントＸが含まれる。

デインターリービング
デインターリービングは、入力画像（または領域）をサブ画像（またはサブ領域）に分離して、入力画像（または領域）内の隣接するサンプルを異なるサブ画像（またはサブ領域）に割り当てられるようにするプロセスである。したがって、その結果得られるサブ領域またはサブ画像は、元の画像では隣接していないサンプルを含んでいる。

図５は、水平および垂直の両方向に２の係数で領域をデインターリービングする簡単な例を示す。画素（ｏ、ｘ、＋、−）で構成される元の画像５１は、４つのサブ画像５２−５５にデインターリーブされる。第１横列（ｏ、ｘ、ｏ、ｘ、ｏ、ｘ）の一つおきの素子が、サブ画像の第１横列５２（ｏ、ｏ、ｏ）とサブ画像の第２横列５３（ｘ、ｘ、ｘ）に割り当てられる。残る奇数横列の場合も同じである。偶数横列は、それぞれ第３および４のサブ画像（＋、＋、＋）および（−、−、−）に割り当てられ、やはり分割される。基本的に、各画素（Ｐij）は、サブ画像k,m に割り当てられる。ただし、ｋ＝ｍｏｄ（ｉ／ｎ）およびｍ＝ｍｏｄ（ｊ／ｎ）で、そのサブ画像のｐr,s となる。ただし、ｒ＝（ｉ−ｋ）／ｎおよびｓ＝（ｊ−ｍ）／ｎである。

例えば、図５でｎ＝２とすると、素子５６（すなわち、ｐ23）がサブ画像０１（素子５３）に割り当てられることがわかる。すなわち、ｋ＝ｍｏｄ（２／２）＝０およびｍ＝ｍｏｄ（３／２）＝１である。サブ画像０１（素子５３）を調べると、素子５７は、そのサブ画像の画素１１としてあらわれ、ｒ＝（ｉ−ｋ）／ｎ＝（２−０）／２＝１およびｓ＝（ｊ−ｍ）／ｎ＝（３−１）／２＝１であることがわかる。

この例では、ＧＤＴコード化で、ＱＣＩＦ入力解像度（１７６×１４４）ではデインターリービング係数が８：１に固定されている。この解像度に関して、図６は、サブ画像の８×８のアレー、６３、を示している。水平および垂直方向での８：１のデインターリービングをルミナンス信号に適応する結果、各サブ画像６２は、大きさが２２×１８である。また、各クロミナンス成分は、４：１の係数でデインターリーブされ、その結果、各々の大きさが２２×１８のサブ画像の４×４のアレーが得られる。

他方、ＬＤＴコード化では、デインターリービング係数は、ＱＣＩＦ入力解像度では４：１に固定される。図７は、水平および垂直方向での４：１のデインターリービングをルミナンス信号の３２×３２領域に適応した結果得られる、各々の大きさが８×８のサブ画像７２の４×４のアレー７３を示す。この場合には、各クロミナンス成分は、２：１の係数でデインターリーブされ、その結果、各々の大きさが８×８のサブ領域の２×２のアレーが得られる。

ＤＣＴ
デインターリーブされたサブ画像あるいはサブ領域には二次元ＤＣＴが適用される。ＱＣＩＦ解像度でのＧＤＴコード化では、ＤＣＴの大きさは、ルミナンス成分およびクロミナンス成分ともに２２×１８に選ばれる。ＱＣＩＦ解像度でのＬＤＴコード化では、ＬＤＴの大きさは、ルミナンス成分およびクロミナンス成分ともに８×８に選ばれる。

クゥアントＸの選択
通常のスカラー量子化は、トランスフォームコード化がデインターリーブされたデータ上で行なわれる事実を考慮して修正する必要がある。量子化の後でも、実験の係数予測は、デインターリーブされた隣接のサブ画像（サブ領域）の係数の間の相関が高いため、コード化効率を高めるためにより効果的である。他のアプローチとしては、同じスペクトル周波数の係数のベクトルを形成してこの相関を利用し、それらのベクトル（ブロック）上でＤＣＴコード化を行なうものがある。最後に、さらに他のアプローチとして、ベクトルの量子化すなわち格子ベクトル量子化（ＬＶＱ）と呼ばれる特殊なバリエーションを使用するものがある。これは、ＭＰＥＧ−４で現在検討されている。これらの各種のアプローチは、ここでは、クゥアントＸと呼ぶが、性能と複雑さの関係でそれぞれに異なる長所と短所があり、用途に応じて選ぶことができる。

クゥアントＸメソッド１： 量子化およびＤＣＴ係数予測
図８を参照してこの方法を説明する。クゥアントＸ８０への信号入力はクゥアンタイザ８１によって受け取られる。クゥアンタイザ８１の出力は分割される。一つの通路は、ＤＣ＆ＡＣ係数予測器８２へ通じ、他の通路は、減算器８３の一つの入力へ通じている。ＤＣ＆ＡＣ係数予測器８２の出力は、減算器８３の他の入力に接続されている。ＤＣ＆ＡＣ係数予測器８２の出力がクゥアンタイザ８１の出力から減算され、例えばジグザグ・スキャナーなどのスキャナー８４へ送られる。

ＧＤＴコード化では、大きさが２２×１８のＤＣＴ係数サブ画像が通常のスカラー量子化で量子化され、次に前に量子化された係数サブ画像にもとづいて係数サブ画像が予測され、係数差のサブ画像が形成される。ＬＤＴコード化では、大きさが８×８のＤＣＴ係数サブ画像上でほぼ同様な操作が行なわれる。差係数が走査され（例、ジグザグ走査され）て事象を形成（ラン、レベル）する。

図９は、図８に示したクゥアントＸの逆操作を示す。逆クゥアントＸ９０への信号入力は逆スキャナー９１によって受け取られる。逆スキャナー９１の出力は、加算器９２の一つの入力へ送られる。加算器９２の第二の入力は、ＤＣ＆ＡＣ係数予測器９３の出力に接続されている。ＤＣ＆ＡＣ係数予測器９３は、加算器９２の出力からその入力を受け取る。加算器９２の出力は、逆クゥアンタイザ９４へ送られ、のぞむ信号が出力される。

図１０は、量子化されたＤＣ係数予測のための仕組みを示す。ＧＤＴコード化では、左端のサブ領域（サブ画像）のＤＣ予測が１２８に選択され、ＬＤＴコード化では、１ビットのオーバーヘッドを用いて、水平および垂直方向に隣接するサブ領域（サブ画像）のＤＣ値の間の選択が行なわれる。第１横列の残るサブ領域に関しては、第１横列の前のサブ領域（サブ画像）がＤＣ予測に使用される。第２横列の最初のサブ領域（サブ画像）に関しては、上のサブ領域（サブ画像）からＤＣ予測がとられる。この横列の他のすべてのサブ領域（サブ画像）には、オーバーヘッドを用いずに水平および垂直方向に隣接するサブ領域（サブ画像）のＤＣ値を選択してグラハムの予測器を適応させて使用する。その後の横列に関しては、第２横列の予測のプロセスが繰り返して用いられる。

ＡＣ係数予測がどのように行なわれるかを説明する。図１１は、用いられるＡＣ係数予測構造の例を示す。８×８サブ領域のＬＤＴコード化の場合には、サブ領域に関して２横列と２行のＡＣ係数予測を用いることができる。ＬＤＴコード化でサブ領域の大きさがそれより大きい場合あるいはＧＤＴコード化で画像がそれより大きい場合には、より多くのＡＣ係数を予測することができる。予測される係数の数および構造は異なる場合があるが、予測の基本原理は同じである。

領域（画像）の左端のサブ領域（サブ画像）に関しては、ＡＣ係数予測は０にリセットされる。サブ領域の第１横列のその後のサブ領域（サブ画像）に関しては、Ｌ−字形の強調した区域（ＤＣ係数のない）がサブ領域（サブ画像）から予測される。サブ領域の第２横列の最初のサブ領域に関しては、すぐ上のサブ領域から同じＬ−字形の区域が予測される。第２横列のその後のサブ領域は、前のサブ領域から係数の最初の２行と上のサブ領域から最初の２横列を用いて予測される。１係数（ＡＣ１１）の重複が一つあるが、これは、この係数の二つの予測の選択肢を平均して単一の予測係数を生成することで解消される。その後の横列に関しては、第２横列の予測のプロセスが繰り返して用いられる。

さらに、（オーバーヘッドを用いまたは用いずに）適応性予測プロセスを用いることもできる。

ＧＤＴコード化での２２×１８の大きさの差係数サブ画像およびＬＤＴコード化での８×８の大きさのサブブロックは、ジグザグ走査されて事象を形成（ラン、レベル）する。

クゥアントＸメソッド２：ＤＣＴ係数ベクトルのＤＣＴの量子化
図１２は、このクゥアントＸの方法に用いられる操作を示す。ＱＣＩＦ画像のＧＤＴコード化では、２２×１８の大きさのＤＣＴ係数サブ画像が小さい量子化レベル（Ｑｐ＝２または３）で予備量子化されて、そのダイナミックレンジを下げ、次に、（ルミナンスでは８×８の大きさ、クロミナンスでは４×４の大きさの）ベクトルが、すべてのサブ画像を通じて同じ周波数のすべての係数を集めて生成され、ＤＣＴされ、量子化される。３２×３２の大きさの領域のＬＤＴコード化では、ほぼ同様な操作が行なわれて（ルミナンスでは４×４の大きさ、クロミナンスでは２×２の大きさの）係数ベクトルが得られ、これらのベクトルがＤＣＴされ、量子化される。ＧＤＴコード化では、ルミナンスでは８×８の大きさ、クロミナンスでは４×４の大きさの量子化されたＤＣＴ係数ベクトルがジグザグ走査されて事象を形成（ラン、レベル）する。

図１２を参照して、クゥアントＸ１２０は、プレクゥアンタイザ１２１、ベクトル・フォーマッタ１２２、トランスフォーム１２３、クゥアンタイザ１２４、およびスキャナー１２５を含む。プレクゥアンタイザ１２１は、クゥアントＸ１２０への信号入力を受け、その信号をベクトル・フォーマッタ１２２へ出力する。ベクトル・フォーマッタは、その出力をトランスフォーム１２３へ送る。トランスフォーム１２３は、その出力をクゥアンタイザ１２４へ送り、クゥアンタイザ１２４は、その出力をスキャナー１２５へ送る。スキャナーは、その信号をクゥアントＸ１２０の出力として出力する。

図１３は、図１２に示したクゥアントＸ１２０の逆走査１３０を示す。逆クゥアントＸ１３０の入力は、逆走査１３１へ送られ、逆走査１３１は、その出力を逆クゥアンタイザ１３２へ送り、逆クゥアンタイザ１３２は、その出力を逆トランスフォーム１３３へ送る。ベクトル・アンフォーマッタ１３４は、逆トランスフォーム１３３から出力を受け取り、その信号を逆プレクゥアンタイザ１３５へ出力し、逆プレクゥアンタイザ１３５の出力は、逆クゥアントＸ１３０の出力を表す。

クゥアントＸメソッド３：ＤＣＴ係数ベクトルの格子ベクトル量子化
図１４は、このクゥアントＸの方法で用いられる操作を示す。クゥアントＸ１４０へに信号入力は、ベクトル・フォーマッタ１４１によって受け取られ、その出力は、縮尺器１４２へ送られ、縮尺器１４２は、その出力をベクトル・クゥアンタイザ１４３へ送る。ベクトル・クゥアンタイザ１４３は、その出力をベクトル量子化指数順序づけ器１４４へ送り、順序づけ器１４４の出力がクゥアントＸ１４０の出力となる。

２２×１８の大きさのＤＣＴ係数サブ画像を用いるＱＣＩＦ画像のＧＤＴコード化では、すべてのサブ画像を通じて同じ周波数のすべての係数を集めて（ルミナンスでは８×８の大きさ、クロミナンスでは４×４の大きさの）ベクトルが生成される。これらのベクトルは、ＬＶＱによって量子化される。３２×３２の領域の大きさのＬＤＴコード化では、これとほぼ同じ操作が行なわれて（ルミナンスでは４×４の大きさ、クロミナンスでは２×２の大きさの）係数ベクトルが得られる。これらのベクトルも、やはりＬＶＱによって量子化される。ＶＱは、管理可能な大きさの（あるいはＬＶＱでは、管理可能な複雑さの）コードブックを必要とする場合が多いので、これらのベクトルもやはりＬＶＱによって量子化される。ベクトルの縮尺が必要な場合があり、その場合には縮尺器によって行なわれるが、これは、係数のベクトルをサブベクトルに分割するだけの簡単な操作である場合と、より複雑な操作である場合がある。ＬＶＱのプロセスは、文献に説明されており、ここでは説明しない。ただし、簡単に述べると、最初に１６の大きさのＬＶＱが試行され、その結果閾値より大きいエラーが生成されると、４の大きさのＬＶＱが試行される。また、ＬＶＱの後、効率を高めるために全画像または領域のＬＶＱ指数が順序づけすることもできる。このプロセスは、ＶＱ指数順序づけ器の中で行なわれる。

図１５は、図１４に示すクゥアントＸ１４０の逆操作を示す図である。逆クゥアントＸ１５０の入力は、ベクトル量子化指数再順序づけ器１５１へ送られ、逆順序づけ器１５１はその出力を逆ベクトル・クゥアンタイザ１５２へ送り、逆ベクトル・クゥアンタイザ１５２は、その出力を復尺器１５３へ送る。ベクトル・アンフォーマッタ１５４は、復尺器１５３からその出力を受け、自らの信号を逆クゥアントＸ１５０の出力として出力する。クゥアントＸ１４０の場合と同様に、逆クゥアントＸ１５０では、まず１６のＬＶＱが試行される。その結果閾値より高いエラーが生成されれば、４の大きさのＬＶＱが試行される。ＬＶＱの仕様は、ＭＰＥＧ−４のトライアルの実験Ｔ．５のものと同じである。

エントロピー・コーディング
次に、係数（ラン、レベル）事象のためのＶＬコード化およびデコーディングについて説明する。これらの事象は、より高い効率を得るために統計的変動を用いてコード化される。

ＧＤＴコード化において、拡張クゥアントＸメソッド１が用いられる場合には、最大３９６のランが可能であり、少なくとも±２５５のレベルがサポートされる必要がある。ルミナンスのラン／レベル事象のコード化に関しては、ピュリ、シュミット、およびハスケルのアメリカ合衆国特許出願第０８／８１３，２１８号「映像コード化およびビデオのイントラ・コード化のための適応型および予測型コード化」のイントラＶＬＣテーブルを使用する。アメリカ合衆国特許出願第０８／８１３，２１８号は、参考資料として添付し、ここにその全体を説明したものとする。ただし、このテーブルは、６４の最大ランと±１２８のレベル（ＭＰＥＧ−４ＶＭと同じ）だけをサポートするものなので、レベルに関しては余分な１ビットをまたランに関しては余分な３ビットを付加してこの領域の外側まで拡張し、２５ビットまで使用するようにする。クロミナンスのラン／レベル事象のコード化に関して、使用されるＶＣＬテーブルは、レベルに関しては余分な１ビットをまたランに関しては余分な３ビットを付加して現在サポートされている領域の外側まで出るようにし、２６ビットまで使用するようにして、３９６の最大ランと±２５５のレベルをサポートするように拡張したＶＭで使用されるものと同じである。ＬＤＴコード化の場合には、サブ領域の大きさが８×８であるので、ルミナンスには参考資料として添付して上に述べた既特許出願のＶＬＣテーブルを用い、クロミナンスにはＶＭのＶＬＣテーブルを用いる。これらのテーブルは、ともに拡張を必要としない。

ＧＤＴコード化で拡張量子化クゥアントＸメソッド２が用いられる場合には、ベクトルの大きさが８×８であるので、ルミナンスには参考資料として添付した特許出願のＶＬＣテーブルを用い、クロミナンスにはＶＭのＶＬＣテーブルを用いる。これらのテーブルは、ともに拡張を必要としない。ＬＤＴコード化の場合には、最大ランがルミナンスでは１５でクロミナンスでは３であるので、この場合には、添付した特許出願のサブセットである新しいテーブルが用いられる。

拡張量子化クゥアントＸメソッド３が用いられる場合には、使用されるＶＬＣテーブルは、ＭＰＥＧ−４のコア実験Ｔ５で利用されまた一般に利用可能なテーブルに基づくものとなる。

適応型デインターリーブドトランスフォームコード化
適応型グローバルデインターリーブドトランスフォーム（ＡＧＤＴ）エンコーダ１６０のブロック線図を示す図１６のコード化構造を用いれば、ＤＴコード化をさらに改善することが可能である。図１との主な相違点は、デインターリーバに先立って全画像またはＶＯＰベースでクゥアドツリー・セグメンタを用いたクゥアドツリー・セグメンテーションが採用され、それが、固定型セグメンテーションではなく適応型セグメンテーションであることである。したがって、デインターリービングは、グローバルクゥアドツリー・セグメンタによってデインターリービングに値すると識別された部分にのみデインターリービングが行なわれ、その他の部分は、デインターリービングなしにコード化される。他のブロックの操作は、固定型ＧＤＴに関して説明したと同様である。

図１６を参照して、映像は、グローバルクゥアドツリー・セグメンタ１６１へ送られ、その出力は、デインターリーバ１６２へ送られ、後者の出力は、トランスフォーム１６３へ送られる。クゥアントＸ１６４は、トランスフォーム１６３から出力を受け、出力をエントロピー・エンコーダ１６５へ送る。エンコーダ１６５はコード化されたビットストリームを出力する。

図１７は、図１６に示すＡＧＤＴエンコーダ１６０に対応するＡＧＤＴデコーダ１７０のブロック線図を示す。コード化されたビットストリームは、エントロピー・デコーダ１７１へ送られ、その出力は、逆クゥアントＸ１７２へ送られ、後者の出力は、逆トランスフォーム１７３へ送られる。リインターリーバ１７４は、逆トランスフォーム１７３から出力を受け取り、その出力をグローバルクゥアドツリー・アセンブラ１７５へ送り、アセンブラ１７５は、復元された映像を出力する。

図１８は、適応型局部デインターリーブドトランスフォーム（ＡＬＤＴ）エンコーダ１８０のブロック線図を示す。図１６との主な相違点は、クゥアドツリーセグメンテーションが全画像あるいはＶＯＰではなく局部的に（領域に）適用されることである。次に、局部クゥアドツリー・セグメンタによってデインターリービングに値すると識別された領域にデインターリービングが行なわれる。他のブロックは、上に述べたものと同様である。

映像信号は、局部クゥアドツリー・セグメンタ１８１へ入力され、その出力は、デインターリーバ１８２へ送られ、後者の出力は、トランスフォーム１８３へ送られる。クゥアントＸ１８４は、トランスフォーム１８３から出力を受け取り、その出力をエントロピー・エンコーダ１８５へ送る。エンコーダ１８５は、コード化されたビットストリームを出力する。

図１９は、図１８のエンコーダに対応するＡＬＤＴデコーダ１９０を示す。コード化されたビットは、エントロピー・デコーダ１９１へ送られ、その出力は、逆クゥアントＸ１９２へ送られる、後者の出力は、逆トランスフォーム１９３へ送られる。逆トランスフォーム１９３は、その出力をリインターリーバ１９４へ送る。局部クゥアドツリー・アセンブラ１９５は、リインターリーバ１９４の出力を受け取り、復元された映像を出力する。

クゥアドツリー・セグメンタ
図１６および図１８に示すように、デインターリービングの量をコード化されている画像の空間的内容に適応させるために、デインターリービングに先立ってクゥアドツリー・セグメンテーションが用いられる。

図２０は、用いられるクゥアドツリー・セグメンテーションの例を示す。ＧＤおよびＬＤＴの双方で、この種のセグメンテーションが用いられる。その唯一の違いは、用いられるレベルの数である。ＧＤＴでは、 レベルのセグメンテーションが用いられ、ＬＤＴでは、レベルのセグメンテーションが用いられる。

図２０に示すように、画像ブロック２００がサブブロック２０２−２０５に分割される。次に、サブブロック２０３が、さらにセクション２０６−２０９に仕切られる。残りのブロックは分割されず、このプロセスは必要なブロックのみを分割することを示している。

ＭＰＥＧ−４に関するシンタックス（Ｓｙｎｔａｘ）およびシマンティックス（ＳｅｍａｎＴｉｃｓ）
本発明を用いてコード化されたビットストリームを生成するために必要なシンタックスおよびそのシマンティックスについて説明する。以下で用いる各種のクラスは、ＭＰＥＧ−４ＶＭ３．２の現行のシンタックスに対応する。

ビデオセッション・クラス
このクラスにはいかなる変更も行なう必要がない。

ビデオオブジェクト・クラス
このクラスにはいかなる変更も行なう必要がない。

ビデオオブジェクト・レーヤー・クラス
このクラスにはいかなる変更も行なう必要がない。

ビデオオブジェクト・プレーン・クラス
このクラスには、二つの新しいシンタックス要素が導入される。

：
：
ｒｅｇｉｏｎ ｓｉｚｅ（領域 大きさ）
ｄｅｉｎｔｅｒｌｅａｖｅ ｒａｔｉｏ（デインターリーブ 比）
：
：
これらのシンタックス要素は、次のように定義される。

ｒｅｇｉｏｎ ｓｉｚｅ（領域 大きさ）
これは、コード化に先立ってデインターリービングが行なわれる領域の大きさを指定する３−ビットのコードである。各コードごとの領域の大きさを下の表１に示す。

（表１）
コード 意味
０００ １６×１６
００１ ３２×３２
０１０ ６４×６４
０１１ １２８×１２８
１００ 保留
１０１ 保留
１１０ 保留
１１１ 全画像

ｄｅｉｎｔｅｒｌｅａｖｅ ｒａｔｉｏ（デインターリーブ 比）
これは、コード化に先立って識別された領域で行なわれるデインターリービングの量を指定する３−ビットのコードである。水平および垂直ともに同じデインターリービング比が用いられる。各コードごとのデインターリービングの量を下の表２に示す。

（表２）
コード 意味
０００ １：１
００１ ２：１
０１０ ４：１
０１１ ８：１
１００ １６：１
１０１ 保留
１１０ 保留
１１１ 保留

領域クラス
各領域に関するデータは、領域ヘッダの後にサブ領域データが付いたもので構成される。

（表３）
Ｒｔｙｐｅ Ｒｑｕａｎｔ Ｓｕｂｒｅｇｉｏｎ ｄａｔａ

Ｒｑｕａｎｔ
Ｒｑｕａｎｔは、１から３１間での間の非線形値をとる３−ビットのクゥアンタイザである。表４にその意味を示す。

（表４）
コード Ｑｐ
０００ ２
００１ ４３
０１０ ７
０１１ １０
１００ １４
１０１ １８
１１０ ２３
１１１ ２８

サブ領域・クラス
サブ領域データの定義は、用いられるクゥアントＸメソッドに依存し、以下のように指定される。

クゥアントＸメソッド１：
（表５）
Ｃｏｄ ｓｕｂｒｅｇ Ｔｃｏｅｆｓ ｓｕｂｒｅｇ
クゥアントＸメソッド１に関するサブ領域・クラスの構造

Ｃｏｄ ｓｕｂｒｅｇ
Ｃｏｄ ｓｕｂｒｅｇは、そのサブ領域に関するなんらかのコード化されたデータ（ゼロでない値）が存在するか否かを識別する１−ビットのフラッグである。

Ｔｃｏｅｆｓ ｓｕｂｒｅｇ
Ｔｃｏｅｆｓ ｓｕｂｒｅｇは、ストリームの微分量子化係数である。

クゥアントＸメソッド２：
（表６）
Ｃｏｄ ｖｅｃｔｏｒ Ｔｃｏｅｆｓ ｖｅｃｔｏｒ
クゥアントＸメソッド２に関するサブ領域・クラスの構造
Ｃｏｄ ｖｅｃｔｏｒ
Ｃｏｄ ｖｅｃｔｏｒは、そのサブ領域に関するなんらかのコード化されたデータが存在するか否かを識別する１−ビットのフラッグである。

Ｔｃｏｅｆｓ ｖｅｃｔｏｒ
Ｔｃｏｅｆｓ ｖｅｃｔｏｒは、ベクトルの二度量子化された係数をさす。
クゥアントＸメソッド３：

本発明に基づくグローバルデインターリーブドトランスフォーム（ＧＤＴ）コード化のための基本エンコーダのブロック線図である。 本発明に基づく図１に示すエンコーダのための対応するデコーダを示す図である。 本発明に基づく局部デインターリーブドトランスフォーム（ＬＤＴ）コード化の基本エンコーダのブロック線図である。 本発明に基づく図３に示すエンコーダのための対応するデコーダを示す図である。 サブ領域を生成するために一つの領域を水平および垂直の両方向に２の係数でデインターリーブする簡単な例を示す図である。 サブ画像の８×８のアレーを示す図である。その各々は、寸法が２２×１８で、（ＱＣＩＦ）解像度に関してＧＤＴコード化のルミナンス信号へ水平および垂直方向に８：１のデインターリービングを適用することで得られる。 サブ画像の４×４のアレーを示す図である。その各々は、寸法が８×８で、ＱＣＩＦ解像度に関してＬＤＴコード化のルミナンス信号の３２×３２の領域へへ水平および垂直方向に４：１のデインターリービングを適用することで得られる。 本発明に基づく拡張量子化の一方法、クゥアントＸメソッド１を示す図である。 本発明に基づく図８に示す拡張量子化法、クゥアントＸメソッド１の逆操作を示す図である。 本発明で用いられる量子化されたＤＣ係数予測の例を示す図である。 本発明で用いられるＡＣ係数予測の例を示す図である。 本発明に基づく拡張量子化の他の方法、クゥアントＸメソッド２を示す図である。 本発明に基づく図１２に示す拡張量子化法、クゥアントＸメソッド２の逆操作を示す図である。 本発明に基づく拡張量子化の他の方法、クゥアントＸメソッド３を示す図である。 本発明に基づく図１３に示す拡張量子化法、クゥアントＸメソッド３の逆操作を示す図である。 本発明で用いられる適応型グローバルデインターリーブドトランスフォーム（ＡＧＤＴ）エンコーダ１５０のブロック線図である。 図１６のＡＧＤＴに対応する本発明で用いられるＡＧＤＴデコーダのブロック線図である。 本発明で用いられる適応型グローバルデインターリーブドトランスフォーム（ＡＧＤＴ）エンコーダのブロック線図である。 図１８のＡＧＤＴに対応する本発明で用いられるＡＧＤＴデコーダのブロック線図である。 本発明で用いられるクゥアドツリー・セグメンテーションの例を示す図である。

符号の説明

１１ デインターリーバ、１２ トランスフォーム（ＤＣＴ、・・・）、１３ クゥアントＸ、１４ エントロピー・エンコーダ（ＶＬＥ、ＡＥ、・・・）、２１ エントロピー・デコーダ（ＶＬＤ、ＡＤ、・・・）、２２ 逆クゥアントＸ、２３ 逆トランスフォーム（ＤＣＴ、・・・）、２４ リインターリーバ、３１ 局部領域セグメンタ（ブロック、フォーマッタ、・・・）、４５ 局部領域アセンブラ（ブロック、アンフォーマッタ、・・・）、８１ クゥアント、８２ ＤＣ＆ＡＣ係数予測器、８４ 走査（ジグザグ）、９１ 逆走査（ジグザグ）、９４ 逆クゥアント、１４４ ＶＱ指数順序づけ器（走査、ツリー、・・・）、１５１ ＶＱ指数再順序づけ器（走査、ツリー、・・・）、１５２ 逆ベクトル・クゥアント（ＶＱ、ＬＶＱ、・・・）、１５３ 復尺器（組み合せ器、・・・）、１５４ ベクトル・アンフォーマッタ、１６１ グローバルクゥアドツリー・セグメンタ、１７５ グローバルクゥアドツリー・アセンブラ。

Claims (18)

1. ａ）映像をデインターリーブして複数の映像サブセットを形成するステップであって、前記複数の映像サブセットにおいて、第１の映像サブセットは対象映像サブセットに対し水平方向左側に隣接し、第２の映像サブセットは前記第１の映像サブセットに対し垂直方向上部に隣接し、第３の映像サブセットは前記対象映像サブセットに対し垂直方向上部に隣接し、
   ｂ）前記複数の映像サブセットを６４のトランスフォーム係数を有する複数のブロックにトランスフォームするステップと、
   ｃ）前記６４のトランスフォーム係数を有する複数のブロックからビットストリームを生成するステップであって、
   （ｉ）前記６４のトランスフォーム係数を有する複数のブロックを量子化して複数の量子化値を生成し、
   （ｉｉ）前記第１の映像サブセットと前記第２の映像サブセットとのＤＣ値間の第１の勾配を決定し、前記第２の映像サブセットと前記第３の映像サブセットとのＤＣ値間の第２の勾配を決定し、その後、前記第１の勾配と前記第２の勾配以外のいずれの勾配も参照せずに前記第１の勾配と前記第２の勾配とを比較して、前記対象映像サブセットのＤＣ予測値を生成し、
   （ｉｉｉ）前記ＤＣ予測値とＤＣ量子化値との差を決定して差分値を生成し、
   （ｉｖ）前記差分値の符号化を行う、
   ことによって、ビットストリームを生成するステップと、
   を含む方法。
2. 請求項１に記載の方法において、
   前記ビットストリームを生成するステップは、さらに、
   複数の差分値を走査して複数のサンプルを生成するステップと、
   前記複数のサンプルの符号化を行って、ビットストリームを生成するステップと、
   を含む方法。
3. 請求項１に記載の方法において、
   ステップｃ）（ｉｉ）は、さらに、前記第３の映像サブセットの第１横列の値を用いて前記対象映像サブセットの第１横列の値を予測し、又は前記第１の映像サブセットの第１縦列の値を用いて前記対象映像サブセットの第１縦列の値を予測して、複数のＡＣ予測値を生成するステップを含み、
   ステップｃ）（ｉｉｉ）は、さらに、前記複数のＡＣ予測値と複数の量子化値との差を決定するステップを含む、
   方法。
4. 請求項１に記載の方法において、
   前記ステップａ）は、
   （ｉ）前記映像を複数のセグメントに分割するステップと、
   （ｉｉ）前記複数のセグメントのうちデインターリーブのための少なくとも１つのセグメントを特定し、特定されたセグメントを生成するステップと、
   （ｉｉｉ）前記特定されたセグメントをデインターリーブするステップと、
   を含む、方法。
5. 請求項１に記載の方法であって、さらに、
   前記映像のデインターリーブに先立ち、前記映像を複数の局部領域に分割するステップを含み、前記ステップａ）は、前記複数の局部領域をデインターリーブして複数のデインターリーブ領域を生成するステップを含み、
   前記ステップｂ）は、前記複数のデインターリーブ領域を複数のトランスフォーム係数にトランスフォームするステップを含む、
   方法。
6. ビットストリームを処理して映像を生成する方法であって、
   ａ）前記ビットストリームの復号化を行い、複数の差分値を生成するステップと、
   ｂ）前記複数の差分値を６４のトランスフォーム係数に変換するステップであって、前記複数の差分値のうち少なくとも一つの差分値について、
   （ｉ）第１の映像サブセットと第２の映像サブセットとのＤＣ値間の第１の勾配を決定し、前記第１の映像サブセットは対象映像サブセットに対し水平方向左側に隣接し、前記第２の映像サブセットは前記第１の映像サブセットに対し垂直方向上部に隣接し、前記第２の映像サブセットと第３の映像サブセットとのＤＣ値間の第２の勾配を決定し、前記第３の映像サブセットは前記対象映像サブセットに対し垂直方向上部に隣接し、前記第１の勾配と前記第２の勾配以外のいずれの勾配も参照せずに前記第１の勾配と前記第２の勾配とを比較し、前記対象映像サブセットのＤＣ予測値を生成し、
   （ｉｉ）ＤＣ差分値を前記ＤＣ予測値に加算して量子化値を生成し、
   （ｉｉｉ）前記量子化値の逆量子化を行って、前記６４のトランスフォーム係数の一つを生成する、
   ことにより、前記複数の差分値を６４のトランスフォーム係数に変換するステップと、
   ｃ）前記６４のトランスフォーム係数に対して逆トランスフォームを行い、複数の映像サブセットを生成するステップと、
   ｄ）前記複数の映像サブセットをリインターリーブして前記映像を生成するステップと、
   を含む方法。
7. 請求項６に記載の方法であって、さらに、
   前記ビットストリームから生成された複数のサンプルを逆走査するステップを含み、
   前記復号化は、さらに、前記複数のサンプルを処理して、前記複数の差分値を生成するステップを含む、方法。
8. 請求項６に記載の方法において、
   ステップｂ）（ｉ）は、さらに、前記第３の映像サブセットの第１横列の値を用いて前記対象映像サブセットの第１横列の値を予測し、又は前記第１の映像サブセットの第１縦列の値を用いて前記対象映像サブセットの第１縦列の値を予測して、前記対象映像サブセットの複数のＡＣ予測値を生成するステップを含み、
   ステップｂ）（ｉｉ）は、さらに、前記複数の差分値を前記複数のＡＣ予測値に加算するステップを含む、
   方法。
9. 請求項６に記載の方法において、
   ステップｄ）のリインターリーブするステップは、さらに、
   （ｉ）前記複数の映像サブセットをリインターリーブして複数のセグメントを生成するステップと、
   （ｉｉ）前記複数のセグメントを組み立てて前記映像を形成するステップと、
   を含む、方法。
10. 請求項６に記載の方法において、
    ステップｃ）は、前記６４のトランスフォーム係数の逆トランスフォームを行い、複数のデインターリーブ領域を生成するステップを含み、
    ステップｄ）は、前記複数のデインターリーブ領域をリインターリーブして複数の局部領域を生成し、前記局部領域を組み立てて前記映像を生成するステップを含む、
    方法。
11. 映像をコード化する装置であって、
    ａ）映像を受け取って前記映像をデインターリーブして複数の映像サブセットを形成するデインターリーバ（１１）であって、前記複数の映像サブセットにおいて、第１の映像サブセットは対象映像サブセットに対し水平方向左側に隣接し、第２の映像サブセットは前記第１の映像サブセットに対し垂直方向上部に隣接し、第３の映像サブセットは前記対象映像サブセットに対し垂直方向上部に隣接する、デインターリーバと、
    ｂ）前記デインターリーバに連結され、前記複数の映像サブセットを６４のトランスフォーム係数を有する複数のブロックにトランスフォームするトランスフォーム器（１２）と、
    ｃ）前記トランスフォーム器に連結され、前記６４のトランスフォーム係数を有する複数のブロックを複数のサンプルに変換するコンバータ（１３）と、
    ｄ）前記コンバータに連結され、前記複数のサンプルの符号化を行い、符号化されたビットストリームを生成する、エンコーダ（１４）と、
    を有し、
    前記コンバータ（１３）は、
    （１）前記トランスフォーム器に連結され、前記６４のトランスフォーム係数を有する複数のブロックを量子化して複数の量子化値を生成するクゥアンタイザ（８１）と、
    （２）前記クゥアンタイザに連結され、前記第１の映像サブセットと前記第２の映像サブセットとのＤＣ値間の第１の勾配を決定し、前記第２の映像サブセットと前記第３の映像サブセットとのＤＣ値間の第２の勾配を決定し、前記第１の勾配と前記第２の勾配以外のいずれの勾配も参照せずに前記第１の勾配と前記第２の勾配とを比較して、前記対象映像サブセットのＤＣ予測値を生成する係数予測器（８２）と、
    （３）前記クゥアンタイザと前記係数予測器とに連結され、前記ＤＣ予測値とＤＣ量子化値との差を決定して、差分値を生成する比較器（８３）と、
    を有する、装置。
12. 請求項１１に記載の装置において、
    前記コンバータ（１３）は、さらに、
    （４）前記比較器に連結され、複数の差分値を走査して前記複数のサンプルを生成するスキャナ（８４）を、有する装置。
13. 請求項１１に記載の装置において、
    前記係数予測器（８２）は、前記第３の映像サブセットの第１横列の値を用いて前記対象映像サブセットの第１横列の値を予測し、又は前記第１の映像サブセットの第１縦列の値を用いて前記対象映像サブセットの第１縦列の値を予測して、複数のＡＣ予測値を生成し、
    前記比較器（８３）は、さらに、前記複数のＡＣ予測値と前記複数の量子化値との差を決定する、
    装置。
14. 請求項１１に記載の装置であって、さらに、
    前記映像を受け取って、前記映像を複数の局部領域に分割するセグメンタを含み、
    前記デインターリーバは、前記複数の局部領域をデインターリーブして複数の局部領域サブセットを生成し、
    前記トランスフォーム器は、前記複数の局部領域サブセットを前記複数のトランスフォーム係数にトランスフォームする、
    装置。
15. ビットストリームを処理して映像を生成する装置であって、
    ａ）前記ビットストリームを受け取って前記ビットストリームの復号化を行い複数の差分値を生成するデコーダ（２１）と、
    ｂ）前記デコーダに連結され、前記複数の差分値を６４のトランスフォーム係数を有するブロックに変換するコンバータ（２２）と、
    ｃ）前記コンバータに連結され、前記６４のトランスフォーム係数を有するブロックに逆トランスフォームを行い複数の映像サブセット生成する逆トランスフォーム器（２３）と、
    ｄ）前記逆トランスフォーム器に連結され、前記複数の映像サブセットのリインターリーブを行い前記映像を生成するリインターリーバ（２４）と、
    を含み、
    前記コンバータは、
    （１）係数予測器（９３）であって、第１の映像サブセットと第２の映像サブセットとのＤＣ値間の第１の勾配を決定し、ここで、前記第１の映像サブセットは対象映像サブセットに対し水平方向左側に隣接し、前記第２の映像サブセットは前記第１の映像サブセットに対し垂直方向上部に隣接し、前記第２の映像サブセットと第３の映像サブセットとのＤＣ値間の第２の勾配を決定し、前記第３の映像サブセットは前記対象映像サブセットに対し垂直方向上部に隣接し、前記第１の勾配と前記第２の勾配以外のいずれの勾配も参照せずに前記第１の勾配と前記第２の勾配とを比較して、前記対象映像サブセットのＤＣ予測値を生成する、係数予測器（９３）と、
    （２）前記ＤＣ予測値をＤＣ差分値に加算して量子化値を生成する加算器（９２）と、
    （３）前記加算器に連結され、前記量子化値を逆量子化してトランスフォーム係数を生成する逆クゥアンタイザと、
    を有する、装置。
16. 請求項１５に記載のビットストリームを処理して映像を生成する装置において、
    前記係数予測器（９３）は、さらに、前記第３の映像サブセットの第１横列の値を用いて前記対象映像サブセットの第１横列の値を予測し、又は前記第１の映像サブセットの第１縦列の値を用いて前記対象映像サブセットの第１縦列の値を予測して、複数のＡＣ予測値を生成し、
    前記加算器（９２）は、前記複数の差分値を前記複数のＡＣ予測値に加算する、
    装置。
17. 請求項１５に記載のビットストリームを処理して映像を生成する装置において、
    前記デコーダ（２１）は、複数のサンプルを生成し、
    前記装置は、さらに、前記デコーダ(２１)に連結され、前記複数のサンプルを逆走査して前記複数の差分値を生成する逆スキャナ（９１）を有する、
    装置。
18. 請求項１５に記載のビットストリームを処理して映像を生成する装置において、
    前記逆トランスフォーム器は、さらに、前記複数のトランスフォーム係数の逆トランスフォームを行い、複数の局部領域サブセットを生成し、
    前前記リインターリーバは、さらに、前記複数の局部領域サブセットをリインターリーブして複数の局部領域を生成し、
    前記装置は、さらに、
    前記リインターリーバに連結され、前記複数の局部領域を組み立てて前記映像を生成するアセンブラ、を有する、装置。
    

Images