JP6503492B2 - データ符号化及び復号化 - Google Patents

Description

［関連技術の相互参照］
本出願は、２０１２年６月２２日、２０１２年６月２２日、２０１２年４月２６日に英国知的財産庁において提出されたＧＢ １２１１０７２．２、ＧＢ１２１１０７３．０及びＧＢ１２０７４５９．７における先の出願日の優先権の利益を主張し、その出願の全体の内容は、参照により本出願に組み込まれる。

本発明は、データ符号化及び復号化に関する。

この「背景技術」で説明される事項は、一般的には本出願における背景を説明するためのものである。この背景技術の欄で説明される範囲での現在における発明者の技術は、本出願の出願時点で従来技術ではない可能性がある説明の側面と同様に、明示的にも暗示的にも、本願に対する従来技術として認めるものではない。

ビデオデータを周波数領域表現に変換し、周波数領域係数を量子化し、その後、量子化係数に対して何らかのエントロピ符号化を適用する、いくつかのビデオデータ符号化及び復号化システムが存在している。これにより、ビデオデータの圧縮が実現される。元のビデオデータの再構築バージョンを復元するためには、対応する復号化又は解凍技術が適用される。

Ｈ．２６４／ＭＰＥＧ−４ アドバンスド・ビデオ符号化（ＡＶＣ：Advanced Video Coding）などで使用されているような、現在におけるビデオコーデック（コーダ‐デコーダ）は、主に、連続的なビデオフレーム間における差を符号化するだけでデータ圧縮を実現している。これらのコーデックは、マクロブロックと呼ばれる規則的なアレイを使用している。マクロブロックのそれぞれは、以前のビデオフレームにおける対応するマクロブロックとの比較領域として使用される。また、マクロブロック内における画像領域は、そのとき、ビデオシーケンスにおける、対応する現在及び以前のマクロブロック間、あるいは、ビデオシーケンスにおける単フレーム内の隣接マクロブロック間において見出された移動度に応じて符号化される。

Ｈ．２６５又はＭＰＥＧ−Ｈパート２としても知られている高効率ビデオ符号化（ＨＥＶＣ：High Efficiency Video Coding）は、Ｈ．２６４／ＭＰＥＧ−４ＡＶＣの後継案である。ＨＥＶＣでは、ビデオ画質が改善され、Ｈ．２６４と比べてデータ圧縮率が２倍とされている。また、ピクセル解像度が１２８×９６から７６８０×４３２０まで拡張可能であり、大まかには、１２８ｋｂｉｔ／ｓから８００Ｍｂｉｔ／ｓまでの範囲のビットレートに等しい。

ＨＥＶＣでは、いわゆる４：２：０ブロック構造は、民生装置に対して提案され、各クロマチャネルで使用されるデータ量は、ルマチャネルにおける１／４とされている。これは、人間は、主観的に色よりも明るさの変化に対して敏感であるためであり、また、品質の客観的な損失を伴わずに、より多くの圧縮及び／又は色チャネルにおけるより少ない情報を実現することができるためである。

ＨＥＶＣでは、既存のＨ．２６４及びＭＰＥＧ標準で見られるマクロブロックの代わりに、可変サイズ構造である符号ユニット（ＣＵ：Coding Unit）に基づく柔軟な配列が用いられる。

このため、ビデオフレーム内の画像データを符号化するとき、一様に分散されたマクロブロックを使用する代わりに、外見上の画像の複雑さ又は検出された動きレベルに応じてＣＵのサイズを選択することができる。従って、フレーム間の微小な動き及びフレーム内の微小な変動を持つ領域において、非常に優れた圧縮を実現することができ、さらに、フレーム間での大きな動き又は画像における複雑さを持つ領域において優れた画像品質を維持することができる。

各ＣＵは、ピクチャ内又はピクチャ間予測タイプにおける１以上の可変ブロックサイズ予測ユニット（ＰＵ：Prediction Unit）と、空間ブロック変換及び量子化のための係数を含む１以上の変換ユニット（ＴＵ：Transform Unit）とを含んでいる。

さらに、ＰＵ及びＴＵブロックは、輝度（luminance）又は明るさ（Brightness）のチャネルである、グレースケールのチャネルとも考えられるルマ（Ｙ）と、２つの色差又はクロミナンス（クロマ）チャネルであるＣｂ及びＣｒとを含む３つのチャネルそれぞれに対して提供される。これらのチャネルは、ルマチャネルのグレースケール画像に対して色を提供する。必要に応じて、Ｙ、ルミナンス及びルマという用語は、ここでは、同じ意味で使用され、同様に、Ｃｂ及びＣｒ、並びに、クロミナンス及びクロマという用語は同じ意味で使用され、クロミナンス及びクロマは、一般的に"Ｃｒ及びＣｒの一方又は両方"の意味で使用され、一方で、特定のクロミナンスチャネルが議論されるときに、用語Ｃｂ又はＣｒによって区別される。

一般的には、ＰＵがルマ部分及びクロマ部分を有している点を除いて、ＰＵは、チャネル独立性であると考えられる。一般的には、これは、各チャネルに対するＰＵの一部を形成するサンプルが、画像の同じ領域を表しており、これにより３つのチャネル間におけるＰＵ間に一定の関係がもたらされることを意味している。例えば、４：２：０ビデオでは、ルマについての８×８ＰＵは、ルマ部分と同じ領域を表す、４：２：０ビデオにおけるルマデータと比較される４：２：０クロマデータのサブサンプリングされた特性であるためにピクセル数が少ないＰＵのクロマ部分とともに、対応するクロマについての４×４ＰＵを常に有している。２つのクロマチャネルは、イントラ予測情報を共有し、また、３つのチャネルは、インター予測情報を共有する。同様に、ＴＵ構造も３つのチャネル間で一定の関係を有している。

しかしながら、専門の放送及びデジタルシネマ装置では、クロマチャネルにおいてより少ない圧縮（又は、より多くの情報）を実現することが望ましいが、これは、現在又はＨＥＶＣ処理における動作に影響を及ぼす可能性がある。

本願は、このような処理により発生する問題に対処し又は軽減する。本発明の各側面及び特徴は、添付の特許請求の範囲において定義される。なお、上述の一般的な説明及び以降の詳細な説明は、本発明の一例であり、これらに限定されるものではない。

データ圧縮及び解凍を使用するオーディオ／ビデオデータ送受信システムを示す概略図である。 ビデオデータ圧縮を使用するビデオ表示システムを示す概略図である。 ビデオデータ圧縮及び解凍を使用するオーディオ／ビデオ記憶システムを示す概略図である。 ビデオデータ圧縮を使用するビデオカメラを示す概略図である。 ビデオデータ圧縮及び解凍装置を示す概略図である。 予測画像の生成を示す概略図である。 最大符号化ユニット（ＬＣＵ：Largest Coding Unit）を示す概略図である。 ４つの符号化ユニット（ＣＵ：Coding Unit）の組を示す概略図である。 小さな符号化ユニットにサブ分割された図８の符号化ユニットを示す概略図である。 小さな符号化ユニットにサブ分割された図８の符号化ユニットを示す概略図である。 予測ユニット（ＰＵ：Prediction Unit）の配列を示す概略図である。 変換ユニット（ＴＵ：Transform Unit）の配列を示す概略図である。 部分的に符号化された画像を示す概略図である。 可能なイントラ予測方向の組を示す概略図である。 予測モードの組を示す概略図である。 右上り斜めスキャンを示す概略図である。 ビデオ圧縮装置を示す概略図である。 可能なブロックサイズを示す概略図である。 可能なブロックサイズを示す概略図である。 クロマ及びルマブロックからの共同位置情報の使用を示す概略図である。 一方のクロマチャネルからの共同位置情報が他のクロマチャネルについて使用される状況を示す概略図である。 ルマ‐クロマモードに使用されるピクセルを示す概略図である。 ルマ予測モードの組を示す概略図である。 水平にまばらなクロマチャネルに適用された、図２２の方向を示す概略図である。 長方形クロマピクセル配列にマッピングされた、図２２の方向示す概略図である。 ルマ及びクロマピクセル補間示す概略図である。 ルマ及びクロマピクセル補間示す概略図である。 ルマ及びクロマピクセル補間示す概略図である。 ルマ及びクロマピクセル補間示す概略図である。 ４：２：０についての量子化パラメータテーブルを示す概略図である。 ４：２：２についての量子化パラメータテーブルを示す概略図である。 量子化変数テーブルを示す概略図である。 量子化変数テーブルを示す概略図である。

添付図面と共に以降の詳細な説明を参照することによって、本発明の完全な理解及びその優位性の多くが容易に理解されるであろう。

図面を参照して、図１〜図４には、本発明の実施形態に関連して、以降で説明される圧縮及び／又は解凍装置を利用する装置及びシステムが概略的に示されている。

以降で説明される全てのデータ圧縮及び／又は解凍装置は、ハードウェアで実現されてもよいし、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）またはＦＰＧＡ（Field Programmable Gate Array）、あるいはこれらの組み合わせなどのようなプログラム可能なハードウェアとして、汎用コンピュータなどの汎用データ処理装置上で動作するソフトウェアで実現されてもよい。ソフトウェア及び／又はファームウェアで実現される実施形態の場合、このようなソフトウェア及び／又はファームフェア、並びに、このようなソフトウェア及び／又はファームウェアが記憶又は提供される非一時的なデータ記録媒体が、本発明の実施形態であると考えられる。

図１は、ビデオデータ圧縮及び解凍を使用するオーディオ／ビデオデータ送受信システムを示す概略図である。

入力オーディオ／ビデオ信号１０は、例えば、ケーブル、光ファイバ、無線リンク等の送信ルート３０に沿って送信されるオーディオ／ビデオ信号１０のビデオ要素を少なくとも圧縮するビデオデータ圧縮装置２０へ供給される。圧縮された信号は、解凍装置４０によって処理されて、出力オーディオ／ビデオ信号５０が提供される。戻りパスでは、圧縮装置６０は、送信ルート３０に沿って解凍装置７０へと送信されるオーディオ／ビデオ信号を圧縮する。

圧縮装置２０及び解凍装置７０は、それ故、送信リンクにおける１つのノードを形成することができる。また、解凍装置４０及び圧縮装置６０は、送信リンクにおける他の１つのノードを形成することができる。もちろん、送信リンクが単方向である場合、一方のノードのみが圧縮装置として要求され、他方のモードのみが解凍装置として要求される。

図２は、ビデオデータ解凍を使用するビデオ表示システムを模式的に示す図である。特に、圧縮されたオーディオ／ビデオ信号１００は解凍装置１１０によって処理され、表示装置１２０上で表示され得る解凍信号が提供される。解凍装置１１０は、表示装置１２０の不可欠な部分として実現され、例えば、表示装置として同じケージング内に提供される。あるいは、解凍装置１１０は、（例えば、）いわゆるセットトップボックス（ＳＴＢ：Set Top Box）として提供されてもよい。なお、"セットトップ"との表現は、表示装置１２０に対して特定の方向又は位置に位置されるボックスに対する要求を意味しているのではなく、単に、周辺機器として表示部に接続可能なデバイスを示すためにこの用語は使用されている。

図３は、ビデオデータ圧縮及び解凍を使用するオーディオ／ビデオ記憶システムを示す概略図である。入力オーディオ／ビデオ信号１３０は、例えば、磁気ディスク装置、光ディスク装置、磁気テープ装置、あるいは、半導体メモリやその他の記憶装置などの半導体記憶装置などの記憶装置１５０によって記憶される圧縮信号を生成する圧縮装置１４０に供給される。再生においては、圧縮データが記憶装置１５０から読み出されて、解凍のために解凍装置１６０を通され、これにより出力オーディオ／ビデオ信号１７０が提供される。

なお、圧縮又は符号化信号、並びに、この信号を記憶する記憶媒体は、本発明の一実施形態であると考えられる。

図４は、ビデオデータ圧縮を使用するビデオカメラを示す概略図である。図４において、例えば、ＣＣＤ（Charge Coupled Device）イメージセンサや、関連する制御及び読み出しの電子機器などの画像キャプチャ装置１８０は、圧縮装置１９０を通されるビデオ信号を生成する。１つのマイクロフォン（あるいは複数のマイクロフォン）２００は、圧縮装置１９０を通されるオーディオ信号を生成する。圧縮装置１９０は、記憶及び／又は送信される圧縮オーディオ／ビデオ信号を生成する（概略ステージ２２０として一般的に表されている）。

以降で述べられる技術は、主に、ビデオデータ圧縮及び解凍に関連している。なお、圧縮オーディオ／ビデオ信号を生成するために、多くの既存の技術が、以降で説明されるビデオデータ圧縮技術と共にオーディオデータ圧縮に使用されてもよい。対応して、オーディオデータ圧縮についての分離した説明は行わない。また、特に、放送品質ビデオデータにおいて、ビデオデータに関連するデータレートは、一般的に、オーディオデータに関連するデータレートよりも非常に高い（圧縮及び非圧縮を問わず）。従って、非圧縮オーディオデータは、圧縮オーディオ／ビデオ信号を形成するために、圧縮ビデオデータと一緒にすることができる。さらに、図示される例（図１〜図４参照）は、オーディオ／ビデオデータに関連しているが、以降で説明される技術は、単にビデオデータを扱う（つまり、圧縮、記憶、表示及び送信する）システムにおける使用されてもよい。つまり、この実施形態は、必ずしも関連するオーディオデータの処理を必要とすることなく、ビデオデータ圧縮に適用することができる。

図５は、ビデオデータ圧縮及び解凍装置を示す概略図である。

コントローラ３４３は、装置の全体の動作を制御し、特に、圧縮モードを参照するとき、（以降で説明される）試験的符号化処理を制御して、ＣＵ、ＰＵ、ＴＵブロックサイズ等の動作の各種モードを選択する。

入力ビデオ信号３００の連続画像は、加算部３１０及び画像予測部３２０に供給される。画像予測部３２０は、図６を参照して後に詳述される。加算部３１０は、実際には減算（負の加算）動作を実行し、"＋"入力上で入力ビデオ信号３００を受信し、"−"入力上で画像予測部３２０の出力を受信し、これにより、予測画像が入力画像から減算される。この結果は、実画像及び予測画像の差を表すいわゆる残差画像信号３３０である。

残差画像信号がなぜ生成されるのかについての１つの理由について説明する。説明されるデータ符号化技術、つまり、残差画像信号に適用される技術は、符号化される画像において小さな"エネルギー"しかない場合に、より効率的に処理を行うためのものである。ここで、"効率的"との用語は、少量の符号化データの生成について言及しており、特に画像品質レベルについては、できるだけ少量のデータを生成することが望ましい（"効率"が考慮されて）。残差画像における"エネルギー"は、残差画像に含まれる情報量に関連している。仮に、予測画像が実画像と一致している場合、これらの２つの間の差（つまり、残差画像）は、ゼロの情報（ゼロエネルギー）を含み、非常に簡単に少量の符号化データに符号化することができる。一般的には、仮に、予測処理が合理的に効果的に動作される場合、その予想は、残差画像データが、入力画像よりも少ない情報（小さなエネルギー）を含み、より簡単に少量の符号化データに符号化することができるという予想となる。

残差画像データは、残差画像データの離散コサイン変換（ＤＣＴ：Discrete Cosine Transform）表現を生成する変換ユニット３４０へと供給される。このＤＣＴ技術自体は、広く知られており、ここでの詳細な説明は行わない。しかしながら、特に、ＤＣＴ動作が適用されるデータの異なるブロックの選択に関して、以降で詳細に説明される装置で使用される技術の側面が存在する。これらについては、図７〜図１２を参照して以降で説明する。いくつかの実施形態では、ＭＤＤＴ（Mode Dependent Directional Transform）として知られるシステムにおいて、ＤＣＴの代わりに、異なる周波数分離変換が選択的に使用されてもよく、これについては、以降で説明する。ここでは、ＤＣＴ変換が使用されると仮定する。

変換ユニット３４０の出力、つまり、画像データにおける各変換ブロックのＤＣＴ係数の組は、量子化部３５０へと供給される。各種量子化技術は、量子化スケーリング要素による単純な乗算から、量子化パラメータの制御下における複雑なルックアップテーブルの応用に至るまで、ビデオデータ圧縮の分野において広く知られている。その一般的な目的は２つの要素からなる。第１に、量子化処理は、変換データにおける可能値の数を減少させる。第２に、量子化処理は、変換データの値がゼロとなる可能性を増加させることができる。これらの両者は、少量の圧縮ビデオデータの生成において、後述のエントロピ符号化処理をより効率的に動作させることができる。

データスキャニング処理がスキャン部３６０によって適用される。スキャニング処理の目的は、非ゼロの量子化係数が全体でできるだけ多く集合するように、また、もちろん、その結果、ゼロ値の係数が全体でできるだけ多く集合するようにするために、量子化変換データを再整理することにある。これらの特徴により、いわゆるランレングス符号化、又は同様の技術が効率的に適用される。つまり、スキャニング処理は、（ａ）全ての係数がスキャンの一部として一度は選択されるように、且つ（ｂ）スキャンが望ましい再整理を提供するように、"スキャニング順"に応じて、量子化変換データから、特に、変換及び量子化された画像データのブロックに対応する係数のブロックから係数を選択することを含む。いくつかの実施形態では、いわゆるＭＤＣＳ（Mode Dependent Coefficient Scanning）が使用されてもよく、スキャンパターンはブロックからブロックへと変わってもよい。このような構成は、後に詳述する。ここでは、右上り斜め方向スキャンが使用されていると仮定する。

スキャンされた係数は、その後、エントロピエンコーダ３７０を通される。この場合もやはり、各種のタイプのエントロピ符号化が用いられてもよい。２つの例は、いわゆるＣＡＢＡＣ（Context Adaptive Binary Coding）システムの変形、及び、いわゆるＣＡＶＬＣ（Context Adaptive Variable-Length Coding）システムの変形である。一般的に、ＣＡＢＣは、より良い効率の提供が考慮されており、或る研究では、ＣＡＶＬＣと比べて同等の画像品質について、符号化出力データの品質において１０−２０％の減少がみられる。しかしながら、ＣＡＶＬＣは、（その実現において）ＣＡＢＡＣよりも大幅に低いレベルの複雑さを表すことが考慮されている。なお、スキャニング処理及びエントロピ符号化処理は、別々に処理されるとして示されているが、実際には、これらは全体として組み合わせるか、または、扱うことができる。つまり、エントロピ符号化におけるデータの読み出しは、スキャン順で行われ得る。対応する考え方は、以降で説明される各逆処理に適用される。なお、出願時点で検討中の現在のＨＥＶＣ文書は、ＣＡＶＬＣ係数エンコーダの可能性をもはや含んではいない。

エントロピエンコーダ３７０の出力は、例えば、予測部３２０が予測画像を生成する方法を定義する加えられたデータ（上述及び／又は後述）と共に、圧縮出力ビデオ信号３８０を提供する。

一方、予測部３２０自身の動作は圧縮出力データの解凍バージョンに依存するため、戻りパスも提供される。

この特徴について説明する。解凍処理（後述）における適切なステージで残差データの解凍バージョンが生成される。この解凍残差データは、出力画像を生成するために、予測画像に加えられなくてはならない（なぜなら、元の残差データは、入力画像及び予測画像の差であったため）。圧縮側及び解凍側の間でこの処理が比較可能なように、予測部３２０によって生成された予測画像は、圧縮処理中及び解凍処理中において、同じであるべきである。もちろん、解凍では、装置は、元の入力画像へアクセスできず、解凍画像へのみアクセスできる。従って、圧縮では、予測部３２０は、圧縮画像の解凍バージョンに基づいてその予測を行う（少なくとも、インター画像符号化について）。

エントロピ符号化部３７０により実行されるエントロピ符号化処理は、"無損失（lossless）"であると考えられ、つまり、エントロピ符号化部３７０に最初に供給された正確に同じデータに逆にして至ることができる。従って、戻りパスは、エントロピ符号化ステージよりも前に実行され得る。実際には、スキャン部３６０によって実行されるスキャニング処理も無損失であると考えられるが、本実施形態では、戻りパス３９０は、量子化部３５０の出力から、逆量子化部４２０の入力までとされている。

一般的には、エントロピ復号化部４１０、逆スキャン部４００、逆量子化部４２０、逆変換部４３０は、それぞれ、エントロピ符号化部３７０、スキャン部３６０、量子化部３５０及び変換部３４０の逆機能を提供する。ここでは、圧縮処理について説明を続け、入力圧縮ビデオ信号を解凍するための処理については後に別で説明を行う。

圧縮処理では、スキャン係数は、戻りパス３９０により量子化部３５０から、スキャン部３６０の逆動作を実行する逆量子化部４２０へと導かれる。逆量子化及び逆変換処理は、圧縮−解凍残差画像信号４４０を生成するユニット４２０、４３０により実行される。

加算部４５０で画像信号４４０が予測部３２０の出力に加えられて、再構築出力画像４６０が生成される。これは、画像予測部３２０への１つの形成し、これについて以降で説明する。

受信された圧縮ビデオ信号の解凍に適用される処理について説明すると、信号は、エントロピ復号化部４１０に供給され、加算部４５０により画像予測部３２０の出力に加えられる前に、そこから逆スキャン部４００、逆量子化部４２０及び逆変換部４３０の列へと導かれる。単刀直入に言うと、加算部４５０の出力４６０は、出力解凍ビデオ信号４８０を形成する。実際には、信号の出力の前に、さらなるフィルタリングが適用されてもよい。

従って、図５及び図６の装置は、圧縮装置又は解凍装置として動作することができる。この２種類の装置の機能は重複する部分が非常に多い。スキャン部３６０及びエントロピ符号化部３７０は、解凍モードでは使用されず、予測部３２０（詳細は後述）及び他のユニットの動作は、受信された圧縮ビットストリームに含まれるか、あるいは、関連づけられたモード及びパラメータ情報に従う（このような情報自体を生成するのではなく）。

図６は、予測画像の生成を示す概略図であり、特に、画像予測部３２０の動作を示している。

いわゆるイントラ画像予測、並びに、いわゆるインター画像予測若しくは動き補償（ＭＣ：Motion-Compensated）予測の２つの基本的な予測モードが存在する。

イントラ画像予測は、同じ画像内からの、データ上の画像ブロックの内容の予測を基礎としている。これは、他のビデオ圧縮技術における、いわゆるＩ−フレーム符号化に対応する。画像全体がイントラ符号化されるＩ−フレーム符号化とは対照的に、本実施形態では、イントラ及びインター符号化間における選択がブロック毎を基準として行われ、一方で本発明の他の実施形態では、その選択が依然として画像毎を基準として行われる。

動き補償予測は、インター画像予想の一例であり、他の隣接又は近接画像において、現在の画像における画像詳細のソースを定義することを試みる動き情報を使用する。従って、理想的な例では、予測画像における画像データのブロックの内容は、隣接画像における同じかわずかに異なる位置において対応するブロックを指し示すリファレンス（動きベクトル）として、非常に単純に符号化され得る。

図６に戻り、図６には２つの画像予測構成（イントラ及びインター画像予測に対応）が示されており、その結果が、モード信号５１０の制御下において、乗算部５００によって選択されて、加算部３１０及び４５０に供給するための予測画像のブロックが提供される。この選択は、どちらを選択すれば最小の"エネルギー"となるかに基づいて行われ（上述のように、符号化を要求する情報内容が考慮されてもよい）、また、この選択は、符号化された出力データストリーム内でエンコーダに通知される。このコンテキストでは、例えば、入力画像から、予測画像の２つのバージョンの領域を試行減算し、差分画像の各ピクセル値を２乗し、乗算値を合計し、その画像領域に関連する差分画像における低い平均乗算値生じさせる、２つのバージョンのうちの一方を定義するによって、画像エネルギーを検出することができる。

実際の予測は、イントラ予測システムにおいて、信号４６０の一部として受信された画像ブロックに基づいて行われ、つまり、予測は、正確に同じ予測が解凍装置において可能なように、符号化−復号化画像ブロックに基づいて行われる。しかしながら、データは、イントラ画像予測部５３０の動作を制御するイントラモード選択部５２０により、入力ビデオ信号３００から抽出されてもよい。

インター画像予測では、動き補償（ＭＣ）予測部５４０は、例えば、動き推定部５５０によって入力ビデオ信号３００から抽出された動きベクトルなどの動き情報を使用する。これらの動きベクトルは、インター画像予測のブロックを生成する動き補償予測部５４０によって、再構築画像４６０の処理バージョンに適用される。

信号４６０に適用される処理について説明する。まず、信号は、フィルタ部５６０によってフィルタリングされ、これについて、以降でさらに詳細に説明する。この処理では、変換ユニット３４０により実行されるブロック基準処理及び後続の動作に対する影響を除去するか、少なくとも低減させる"非ブロック化（deblocking）"フィルタが適用される。サンプル適応オフセット（ＳＡＯ：Sample Adaptive Offsetting）フィルタ（後述）が用いられてもよい。また、再構築信号４６０及び入力ビデオ信号３００を処理することによって抽出された係数を使用して、適応ループフィルタが適用される。この適応ループフィルタは、公知の技術を使用して、フィルタリングされるデータに対して適応フィルタ係数を適用するフィルタの一種である。つまり、フィルタ係数は、各種要素に基づいて変化し得る。使用されるフィルタ係数を定義するデータは、符号化された出力データストリームの一部としてストリームに含められる。

適応フィルタリングは、画像復元のためのイン‐ループフィルタを示す。ＬＣＵは、ＬＣＵ内の各ＣＵについて抽出される、フィルタの選択及びＡＬＦのＯＮ／ＯＦＦ状態と共に、最大で１６のフィルタによってフィルタリングすることができる。現在、この制御は、ＣＵレベルではなく、ＬＣＵレベルで行われる。

フィルタ部５６０からのフィルタリングされた出力は、実際には、装置が圧縮装置として動作しているときに、出力ビデオ信号４８０を形成する。この信号は、１以上の画像又はフレーム記憶部５７０に記憶され、連続画像の記憶は、動き補償予測処理、特に、動きベクトルの生成において要求される。記憶の要求を軽減するため、画像記憶部５７０内の記憶画像は、圧縮形式とされ、その後、動きベクトルの生成に使用するために解凍されてもよい。この特定の目的のために、どのような公知の圧縮／解凍システムが用いられてもよい。記憶画像は、記憶画像のより高い解像度バージョンを生成する補間フィルタ５８０を通され、この例では、補間フィルタ５８０によって出力される補間画像の解像度が、４：２：０のルミナンスチャネルについて、画像記憶部５７０に記憶された画像の４倍（各面積）、かつ、４：２：０のクロミナンスチャネルについて、画像記憶部５７０に記憶された画像の８倍（各面積）となるように、中間サンプル（サブサンプル）が生成される。補間画像は、動き推定部５５０への入力、動き補間予測部５４０の入力として通される。

本発明の一実施形態では、乗算部６００を使用して、入力ビデオ信号のデータ値に４の要素を掛け合わせ（効率的には、単にデータ値を２ビット左にシフトさせる）、分割部又は右‐シフト部６１０を使用して、装置の出力で、対応する分割動作（２ビット右にシフト）を適用するため、更に追加のステップが提供される。従って、左へのシフト及び右へのシフトは、装置の内部動作について、データを純粋に変更させる。この方法では、如何なるデータ丸め誤差の影響も低減されるため、装置内において高い計算精度を提供することができる。

圧縮処理のために画像が分割される方法について説明する。基本的なレベルでは、圧縮される画像はサンプルブロックの配列であると考えらえる。便宜的に、検討されている最大のこのようなブロックは、典型的な６４×６４サンプルの正方形配列を表すいわゆる最大符号化ユニット（Largest Coding Unit）７００である（ＬＣＵのサイズは、ＨＥＶＣ文書等によって定義された最大サイズまでエンコーダにより設定可能である）。ここで、ルミナンスサンプルについて説明する。４：４：４、４：２：２、４：２：０または４：４：４：４（ＧＢＲ＋キーデータ）などのクロミナンスモードに応じて、ルミナンスブロックに対応する、対応クロミナンスサンプルの数に違いがある。

３つの基本的なブロックの種類は、符号化ユニット、予測ユニット及び変換ユニットである。一般的には、ＬＣＵの再帰的な分割では、例えば、ブロックサイズ及びブロック符号化パラメータ（予測又は残差符号化モードなど）が、符号化される画像の特定の特徴に応じて設定されるといった方法で、入力画像が分割される。

ＬＣＵは、いわゆる符号化ユニット（ＣＵ）に分割されてもよい。符号化ユニットは、常に正方形であり、また、８×８サンプルとＬＣＵ７００の最大サイズとの間のサイズを有している。符号化ユニットは、ツリー構造の一種として構成されていてもよく、例えば、第１の分割が図８に示すように行われて、３２×３２サンプルの符号化ユニットが与えられる。続いて行われる分割は、１６×１６サンプルの符号化ユニット７２０（図９）及び潜在的な８×８サンプルの符号化ユニット（図１０）が与えられるように、選択的な基準に基づいて行われてもよい。全体的に、この処理は、それぞれＬＣＵと同じくらい大きいか、あるいは、８×８サンプルと同じくらい小さいＣＵブロックの容量適応符号化ツリー構造を提供することができる。出力ビデオデータの符号化は、符号化ユニット構造に基づいて行われ、つまり１つのＬＣＵが符号化され、その後、処理が次のＬＣＵに移る。

図１１は、予測ユニット（ＰＵ）の配列を示す概略図である。予測ユニットは、画像予測処理に関連する情報を搬送するための基本的なユニットであり、換言すると、図５の装置からの出力ビデオ信号を形成するためのエントロピ符号化された残差画像に加えられる追加データである。一般的に、予測ユニットは、その形状が正方形には限られない。これらは、特に、１つの正方形符号化ユニットの半分を形成する長方形など、他の形状を採ることができる（例えば、８×８ＣＵは、８×４又は４×８ＰＵを持ち得る）。画像特徴に合わせられるＰＵの採用は、ＨＥＶＣの必須の部分ではないが、その一般的な目的は、エンコーダが、隣接予測ユニットの境界に、ピクチャ内の実オブジェクトの境界に合わせられるようにし、異なる予測パラメータが異なる実オブジェクトに適用することができるようにするためである。各符号化ユニットは、１以上の予測ユニットを含んでいてもよい。

図１２は、変換ユニット（ＴＵ）の配列を示す概略図である。変換ユニットは、変換及び量子化処理における基本的なユニットである。変換ユニットは、正方形であっても正方形でなくてもよく、４×４から３２×３２までのサンプルサイズを採ることができる。各符号化ユニットは１以上の変換ユニットを含むことができる。図１２における頭字語ＳＤＩＰ−Ｐは、いわゆる短距離イントラ予測分割を示している。この配列では、１つの面積変換のみが使用されており、４×Ｎブロックに、入力データと共にＮ変換が行われ、現在のＳＤＩＰ−Ｐ内の以前に復号化された隣接ブロック及び以前に符号化された隣接線に基づく変換が行われる。現在、ＳＤＩＰ−Ｐは，本願の出願時点でのＨＥＶＣには含まれていない。

上述のように、符号化は、１つのＬＣＵについて行われ、その後、次のＬＣＵ、・・のように行われる。ＬＣＵ内では、符号化はＣＵ毎に行われる。ＣＵ内では、符号化は、１つのＴＵに対して行われ、その後、次のＴＵ、・・のように行われる。

イントラ予測処理について説明する。一般的には、イントラ予測は、同じ画像内における以前の符号化及び復号化サンプルからの現在のサンプルのブロック（予測ユニット）における予測の生成を含む。図１３は、部分的に符号化された画像８００を示す概略図である。ここで、画像は、ＬＣＵ基準で、左上から右下へと符号化が行われている。画像全体として扱うことによって部分的に符号化されたＬＣＵの一例がブロック８１０として示されている。上部の斜線領域８２０及びブロック８１０の左側は既に符号化されている。ブロック８１０の内容のイントラ画像予測は、斜線領域８２０のいずも利用することができるが、その下の斜線が付されていない領域を利用することができない。しかしながら、現在のＬＣＵ内における個々のＴＵについては、上述の符号化の階層順（ＣＵ毎、ＴＵ毎）は、例えば、そのＴＵの右上又は左下のＴＵの符号化に利用可能な、現在のＬＣＵにおける以前に符号化されたサンプルが存在する可能性があることを意味している。

ブロック８１０は、上述のように、イントラ画像予測処理を行うためのＬＣＵを表しており、より小さな予測ユニット及び変換ユニットの組へと変換されてもよい。現在のＴＵ８３０の一例がＬＣＵ８１０内に示されている。

イントラ画像予測は、例えば、現在のＴＵの上及び／又は左に位置する、考慮される現在のＴＵよりも前に符号化されたサンプルが考慮される。要求されるサンプルが予測されるソースサンプルは、現在のＴＵに関連する異なる位置又は方向に位置していてもよい。現在の予測ユニットについてどの方法が適切であるかを決定するために、エンコーダのモード選択部５２０は、各候補方向について利用可能なＴＵ構造の全ての組み合わせを試し、最良の圧縮効率を有するＰＵ方向及びＴＵ構造を選択してもよい。

ピクチャは、"スライス"基準で符号化されてもよい。１つの例では、スライスは、ＬＣＵの水平隣接グループである。しかし、より一般的には、残差画像全体は、スライス、単ＬＣＵであり得るスライス、又はＬＣＵの行であり得るスライス等を形成する。スライスは、独立ユニットとして、これらが符号化されたときの誤差に復元力を与えることができる。エンコーダ及びデコーダの状態は、スライス境界で完全にリセットされる。例えば、イントラ予測は、スライス境界をまたいで実行されず、スライス境界は、この目的のために画像境界として扱われる。

図１４は、可能な（候補）予測方向の組を示す概略図である。３４の候補方向の一式は、８×８、１６×１６又は３２×３２の予測ユニットに利用可能である。予測ユニットサイズが、４×４及び６４×６４サンプルである特殊なケースでは、それらに利用可能な候補方向における、減らされた組が使用される（それぞれ、１７候補方向及び５候補方向）。方向は、現在のブロック位置に関連する水平及び垂直移動により決定されるが、予測モードとして符号される。その組が図１５に示されている。なお、いわゆるＤＣモードは、上部及び左側のサンプルの周囲の単純算術平均を表す。

図１６は、スキャン部３６０により適用されるスキャンパターンの一例である、いわゆる右上り斜めスキャンを示す概略図である。図１６において、このパターンでは、８×８ＤＣＴ係数のブロックの一例が、ブロックの左上の位置８４０に位置するＤＣ係数と共に示されており、左上の位置８４０に対する下側及び右側の距離を増やす係数により表される水平及び垂直空間周波数が増加される。

ブロック構成及びＣＵ、ＰＵ、ＴＵ構造のバリエーションについて以降で説明する。これについては、上述の図５及び図６に示された装置と多くの点で類似する、図１７の装置の説明において説明する。実際に、多くの同じ参照番号が使用され、これらの部分については説明を省略する。

図５及び図６との主な実質的な違いは、フィルタ５６０（図６）であり、図１７では、フィルタは、非ブロック化フィルタ１０００及び関連する符号化決定ブロック１０３０、サンプル適応オフセット（ＳＡＯ）フィルタ１０１０及び関連する係数生成部１０４０、並びに、適応ループフィルタ（ＡＬＦ）１０２０及び関連する係数生成部１０５０を含むものとしてより詳細に示されている。

非ブロック化フィルタ１０００は、ブロック符号化技術が使用されるときに、ＣＵ、ＰＵ及びＴＵ境界間を形成し得る鋭いエッジを平滑化することによって、歪みを低減し、表示品質及び予測性能を改善することを試みる。

ＳＡＯフィルタ１０１０は、再構築ピクセルを、異なるカテゴリーに分類し、その後、ピクセルの各カテゴリーのためのオフセットを単純に加算することによって、歪みを低減させることを試みる。ピクセル明度及びエッジ特性がピクセル分類に使用される。符号化効率をさらに改善するために、ピクチャは、オフセットパラメータの局所化のための複数の領域に分割され得る。

ＡＬＦ１０２０は、再構築及びソースフレーム間の差が最小化されるように、圧縮ピクチャの復元を試みる。ＡＬＦの係数は、フレーム基準で算出及び送信される。ＡＬＦはフレーム全体又は局所的領域に対して適用され得る。

上述のように、提案されているＨＥＶＣ文書は、４：２：０方式として知られる特定のクロマサンプリング方式を使用している。４：２：０方式は、家庭／民生装置に使用し得る。しかしながら、いくつかの他の方式も使用可能である。

特に、いわゆる４：４：４方式は、いくらかの忠実性の損失を伴う、専門の放送、マスタ及びデジタルシネマに使用することができる。

これらの方式及び対応する可能なＰＵ及びＴＵブロック構造について以降で説明する。

さらに、他の方式は、４：０：０モノクローム方式を含む。

４：４：４方式では、３つのＹ、Ｃｂ及びＣｒチャネルは、それぞれ同じサンプルレートを有している。従って、原則的には、この方式では、クロマデータの量がルマデータの量の２倍になる。

従って、ＨＥＶＣにおいて、この方式では、３つのＹ、Ｃｂ及びＣｒチャネルは、それぞれ、同じサイズのＰＵ及びＴＵを有しており、この場合、例えば、８×８ルマブロックは、２つのクロマチャネルそれぞれに対する、対応する８×８クロマブロックを有している。

結果として、この方式では、通常、各チャネルにおけるブロックサイズ間において、直接的な１：１の関係が存在する。

４：２：２方式では、ルマサンプルレートの半分で、２つのクロマ要素がサンプリングされる（例えば、垂直又は水平サブサンプリングが使用されるが、便宜的に、水平サブサンプリングであると仮定する）。このため、原則的には、この方式では、クロマデータが２つのクロマチャネル間で分割されて、クロマデータの量及びルマデータの量が同じとなる。

従って、ＨＥＶＣにおいて、この方式では、Ｃｂ及びＣｒチャネルは、ルマチャネルに対して、異なるサイズのＰＵ及びＴＵを有しており、この場合、例えば、８×８ルマブロックは、各クロマブロックに対して、対応する４（幅）×８（高さ）クロマブロックを持ち得る。

従って、特に、この方式では、クロマブロックは、正方形ルマブロックに対応していたとしても、非正方形とされる。

現在において提案されているＨＥＶＣ４：２：０方式では、２つのクロマ要素が、ルマのサンプルレートの１／４でサンプリングされる（例えば、垂直及び水平サブサンプリングが使用される）。このため、原則的には、この方式では、クロマデータの量がルマデータの量の半分になる。

従って、ＨＥＶＣにおいて、この方式では、さらにＣｂ及びＣｒチャネルは、ルマチャネルに対して、異なるサイズのＰＵ及びＴＵを有している。この場合、例えば、８×８ルマブロックは、各クロマチャネルに対して、対応する４×４クロマブロックを有している。

上述の方式は、その技術分野において、口語表現において'チャネル比''４：２：０チャネル比'などとして知られている。しかしながら、上述の説明から理解されるように、実際には、これは、Ｙ、Ｃｂ及びＣｒが、上述の比で圧縮又は提供されるといったことを常に意味しているのではない。従って、チャネル比とは呼ばれてはいるものの、これは、文字通りの意味として捉えられるべきではない。実際に、４：２：０での正確な比は、４：１：１である（４：２：２方式及び４：４：４での比は、実際に正しい）。

図１８ａ及び図１８ｂを参照して特定の構成を説明する前に、一般的な技術についてまとめ、又は再考する。

最大符号化ユニット（ＬＣＵ）は、ルート（根）・ピクチャ・オブジェクトである。これは、典型的には、６４×６４ルマピクセルに等しいエリアを覆う。また、再帰的に分割されて、符号化ユニット（ＣＵ）のツリー階層構造を形成する。一般的には、３つのチャネル（１つのルマチャネル及び２つのクロマチャネル）は、同じＣＵツリー階層を持つ。とはいうものの、チャネル比に基づき、特定のルマＣＵは、対応するクロマＣＵとは異なる数のピクセルを含むことがある。

ツリー階層の最後のＣＵ、つまり、再帰的な分割処理の結果としての最小のＣＵ（リーフ（葉）ＣＵとも呼ばれる）は、その後、予測ユニット（ＰＵ）へと分割される。３つのチャネル（１つのルマチャネル及び２つのクロマチャネル）は、クロマチャネルについて、対応するＰＵのサンプルが少なすぎる場合（この場合には、このチャネルについて、１つのＰＵだけが利用可能）を除いて、同じＰＵ構造を有している。一般的にイントラＰＵの最小の面積は４サンプルとされるが、インターＰＵの最小面積は４ルマサンプル（又は、４：２：０について２クロマサンプル）とすることができる。最小ＣＵサイズにおける制限は、いずれのチャネルについての少なくとも１つのＰＵに対して常に十分に大きい。

リーフ（葉）ＣＵは、変換ユニット（ＴＵ）にも分割される。ＴＵは、大きすぎる場合（例えば、３２×３２超のサンプル）さらなるＴＵに分割され得る（しなければならない）。現在、レベル２として設定されている最大のツリー深さとなるまでＴＵが分割され得るように、制限が適用される。つまり、各ＣＵについて高々１６個のＴＵが存在し得る。図示された最小の許容ＴＵサイズは、４×４サンプルであり、また、最大の許容ＴＵサイズは、３２×３２サンプルである。この場合もやはり、３つのチャネルは、可能な限り同じＴＵ構造を有するが、仮に、サイズ制限のために、与えられたチャネルについて特定の深さにＴＵを分割することができない場合、ＴＵは大きいサイズのままである。４つのＴＵへの分割方法は２×２とする必要はなく、４×１又は１×４とすることができるが、いわゆる非正方形四分木変換配列（ＮＳＱＴ：Non-Square Quad-tree Transform）は類似している。

図１８Ａ及び図１８Ｂを参照して、ルマブロックを表す"Ｙ"、クロマブロックの代表的な１つを一般的な意味で表す"Ｃ"、及びピクセルを表す数字と共に、可能な異なるブロックサイズが、ＣＵ、ＰＵ及びＴＵブロックについてまとめられている。'インター'は、インターフレーム予測ＰＵを意味する（イントラフレーム予測ＰＵの対義語）。多くの場合、ルマブロックについてのブロックサイズのみが示されている。関連するクロマブロックにおける対応するサイズは、チャネル比に応じてルマブロックサイズに関連づけられる。従って、４：４：４では、クロマチャネルは、図１８Ａ及び図１８Ｂに示されたルマブロックと同じブロックサイズを有している。４：２：２及び４：２：０では、クロマブロックは、それぞれ、チャネル比に応じて、対応するルマブロックよりも少ないピクセルを有している。

図１８Ａ及び図１８Ｂに示されている配列は、４つの可能なＣＵサイズ（６４×６４、３２×３２、１６×１６及び８×８ルマピクセル）に関係している。これらの各ＣＵは、ＰＵオプション（列１１４０で示される）及びＴＵオプション（列１１５０で示される）における対応する行を有している。上記のように定義された可能なＣＵサイズについて、オプションの行は、１１００、１１１０、１１２９及び１１３０でそれぞれ示されている。

なお、現在、６４×６４が最大ＣＵサイズとされているが、この制限は変更することができる。各行１１００・・１１３０内において、ＣＵサイズに適用可能な異なるＰＵオプションが示されている。これらのＰＵ設定に適用可能なＴＵオプションが、各ＰＵオプションに水平に揃えられて示されている。

なお、いくつかのケースでは、多くのＰＵオプションが提供される。上述のように、ＰＵ設定の選択における装置の目的は、異なる予測パラメータが異なる実オブジェクトに適用され得るようにするために、ピクチャ内の実オブジェクトの境界を一致させる（できるだけ近づける）ことにある。

ブロックサイズ及び形状、並びにＰＵは、コントローラ３４３の制御下において、エンコーダ基準で決定される。現在の方法では、多くの方向に対して多くのＴＵツリー構造の試行が行われ、各レベルで最良の"コスト"が得られる。ここで、コストは、各ブロック構造による歪み、雑音、誤差、又はビットレートの尺度で表現されてもよい。従って、特定の要求される品質測定に対する最小のビットレート、要求されるビットレートに対する最小の歪み（誤差、雑音、これらの組み合わせ）、あるいは、これらの組み合わせを与える１つの試行を選択する前に、上述のツリー構造及び階層において、許される範囲で、エンコーダは、ブロックサイズ及び形状における２以上の（あるいは全ての利用可能な）変更を試してもよい。

特定のＰＵ設定が選択されると、各レベルの分割が適用されて、対応するＴＵが生成される。１１００を参照して、６４×６４ＰＵの場合、このブロックサイズは、ＴＵとして使用されるには大きすぎるので、第１のレベルの分割（"レベル０"（分割されていない）から"レベル１"）が強制されて、４つの３２×３２ルマＰＵの配列となる。ＴＵの変換及び量子化が実行される前に分割が実行されて、これのそれぞれが、必要に応じて、ツリー階層において分割される（"レベル１"から"レベル２"）。ＴＵツリーのける最大数のレベルは、例えば、ＨＥＶＣ文書によって限定される。

６４×６４ルマピクセルＣＵでは、他の選択肢がＣＵのサイズ及び形状に提供される。これらは、インター符号化ピクチャとの使用のみが制限され、いくつかのケースでは、いわゆるＡＭＰオプション有効化との使用が制限される。ＡＭＰは、非対称動き分割であり、ＰＵを非対称に分割する。

同様に、いくつかのケースでは、選択肢がＴＵサイズ及び形状に提供される。仮に、ＮＱＳＴ（非正方形四分木変換、典型的には、非正方形ＴＵを許容している）が有効化される場合、レベル１及び／又はレベル２への分割が図示のように実行され、一方、ＮＱＳＴが無効化される場合、ＴＵサイズは、そのＣＵサイズについての各最大ＴＵのパターンの分割に従う。

同様の選択肢が他のＣＵサイズに提供される。

図１８Ａ及び図１８Ｂに図示が確定的であるとして、図１８Ａ及び図１８Ｂにおける図示に加えて、同じ情報の数字部分が下記の表に示されている。"ｎ／ａ"は、許可されないモードを示す。水平ピクセルサイズが初めに列挙されている。３番目の数字が与えられている場合、ブロックサイズの例の数に関連しており、（水平）×（垂直）×（例の数）ブロックとなっている。Ｎは、整数である。

各種４：２：０、４：２：２及び４：４：４ブロック構造
明らかなように、４：２：０及び４：４：４方式は、イントラ予測符号化について、正方形のＰＵブロックを有している。さらに、現在、４：２：０方式は、４×４ピクセルのＰＵ及びＴＵブロックを許可している。

従って、上述のように、４：４：４モードでは、ルマ及びクロマブロックは、同じサイズとされ（クロマデータはサブサンプリングされない）、そして、４×４ＣＵに対して、ＰＵ又はＴＵは、予め許容された最小の４×４ピクセルよりも少なくする必要はないので、本発明に係る一実施形態では、４：４：４方式で、ＣＵブロックに対する再帰が、８×８ピクセルではなく、４×４ピクセルまで許容されることが提案される。

同様に、４：４：４方式では、本発明の一実施形態において、各Ｙ、Ｃｒ、Ｃｂチャネル、又は、Ｙ及び２つのＣｒ、Ｃｂチャネルは、各ＣＵツリー階層構造を有し得る。フラグは、階層構造又は階層構造の方式が使用される信号が使用されてもよい。このアプローチは、４：４：４ＲＧＢ色空間方式においても使用され得る。しかしながら、代わりに、クロマ及びルマのためのツリー階層が独立であってもよい。

４：２：０方式における８×８ＣＵに係る一例では、結果的に４つの４×４ルマＰＵ及び１つの４×４クロマＰＵとなる。従って、２倍のクロマデータを持つ４：２：２方式では、このケースでの１つの選択肢は、２つの４×４クロマＰＵを持つことであり、ここで、例えば、底のクロマブロックは底の左のルマブロックの位置に対応する。しかしながら、このケースにおける１つの非正方形４×８クロマＰＵの使用は、他の４：２：２ＰＵよりもより相応しい。

４：２：０方式では、原則的に、イントラ予測符号化ではなく、インター予測符号化の特定のクラスに対して許容された幾つかの非正方形ＴＵが存在する。しかしながら、インター予測符号化では、非正方形四分木変換（ＮＳＱＴ）が無効化される場合（これは、４：２：０方式に対する現在のデフォルトである）、全てのＴＵが正方形となる。従って、実際には、４：２：０方式では、現在、正方形ＴＵが強制されている。例えば、１６×１６、４：２：０ルマＴＵは、各Ｃｂ及びＣｒの８×８、４：２：０クロマＴＵに対応している。

しかしながら、上述のように、４：２：２方式は、非正方形ＰＵを有し得る。従って、本発明の一実施形態では、４：２：２方式に対して、非正方形を許可することが提案される。

例えば、１６×１６、４：２：２ルマＴＵは、２つの各Ｃｂ及びＣｒ ８×８、４：２：２クロマＴＵに対応していてもよく、この実施形態では、代わりに、各Ｃｂ及びＣｒ ８×１６、４：２：２クロマＴＵに対応していてもよい。

非正方形ＴＵとすること、つまり、ＴＵを少なくすることは、これらに含まれる情報が少なくなる可能性があるので、より効率的である。しかしながら、これは、後述するように、このようなＴＵの変換及びスキャニング処理に影響を及ぼしてしまう可能性がある。

４：４：４方式では、本発明の一実施形態において、クロマブロックよりもさらに分割される場合、ルマブロックが（例えば）４×４ブロックにまで分割されることを防止することができる。

最後に、４：４：４方式では、ＴＵ構造チャネル独立性を有し、シーケンス、ピクチャ、スライス、細かなレベルで選択可能とすることが望ましい。

上述のように、ＮＳＱＴは、現在、ＨＥＶＣの４：２：０方式において無効とされている。しかしながら、仮に、インターピクチャ予測について、ＮＳＱＴが有効化され、かつ、非対称動き分割（ＡＭＰ）が許可されれば、ＰＵが非対称に分割されることが許可され、従って、例えば、１６×１６ＣＵは、４×１６ＰＵ及び１２×１６ＰＵを有し得る。これらの状況下では、４：２：０及び４：２：２方式のそれぞれについて、ブロック構造のさらなる検討が重要になる。

４：２：０方式では、ＮＳＱＴにおいて、ＴＵの最小幅／高さは、４ルマ／クロマサンプルに制限されている。

従って、非限定例では、１６×４／１６×１２ルマＰＵ構造は、ルマＴＵが１×４垂直ブロック方式にあり、クロマＴＵが２×２ブロック方式にある、４つの１６×４ルマＴＵ及び４つの４×４クロマＴＵを有している。

分割が水平ではなく、垂直である同様の方式では、４×１６／１２×１６ルマＰＵ構造は、ルマＴＵが４×１水平ブロック方式にあり、クロマＴＵが２×２ブロック方式にある、４つの４×１６ルマＴＵ及び４つの４×４クロマＴＵを有している。

４：２：２方式について、ＮＳＱＴにおいて非限定例では、４×１６／１２×１６ルマＰＵ構造は、ルマＴＵが４×１水平ブロック方式にあり、クロマＴＵが２×２ブロック方式にある、４つの４×１６ルマＴＵ及び４つの４×８クロマＴＵを有している。

しかしながら、異なる構造がいくつかのケースで考慮され得る。従って、本発明の一実施形態では、ＮＳＱＴでの非限定例において、１６×４／１６×１２ルマＰＵ構造は、（ルマ及びクロマＴＵは１×４垂直ブロック方式にあるが、）ＰＵレイアウトに合わせられた４つの１６×４ルマＴＵ及び４つの×４クロマＴＵを有している（２×２ブロック方式における４つの４×８クロマＴＵの４：２：０方式とは対照的に）。

ルマ及びクロマＴＵは、２×２ブロック配列であるが、同様に、３２×８ＰＵは、４つの１６×４ルマＴＵ及び４つの８×４クロマＴＵを有し得る。

従って、より一般的には、４：２：２方式では、ＮＳＱＴにおいて、ＴＵブロックサイズは、非対称ＰＵブロックレイアウトに合わせて選択される。従って、ＮＳＱＴは、通常、ＴＵの境界をＰＵの境界に合わせることを許可しており、これにより、発生する高周波数アーティファクトが低減される。

一般的には、本発明の実施形態は、４：２：２フォーマットビデオ信号の画像に対して動作可能な、ビデオ符号化方法、装置又はプログラムに関連する。符号化される画像は、符号化のために、符号化ユニット、予測ユニット、変換ユニットに分割され、符号化ユニットは、ルミナンスサンプル及び対応するクロミナンスサンプルの正方形配列であり、符号化ユニット内には２以上の予測ユニットが存在し、また、符号化ユニット内には１以上の変換ユニットが存在し、予測ユニットは、予測の基本的なユニットであり、単予測ユニット内のすべてのサンプルは、共通の予測技術を使用して予測され、変換ユニットは変換及び量子化の基本的なユニットである。

非正方形変換モード（ＮＳＱＴモード等）が有効化されて、非正方形予測ユニットが許可される。選択的に、非対称動き分割が有効化されて、単符号化ユニットに対応する２以上の予測ユニット間で非対称性が許可される。

コントローラ３４３は、例えば、ＰＵに対応する画像の一部における画像特徴を検出し、そのＰＵに対するＴＵブロックサイズを選択して、ＴＵ境界を、画像の一部における画像特徴のエッジに合わせることによって、予測ユニットのブロックレイアウトに合わせる変換ユニットブロックサイズの選択を制御する。

上述のこの規則は、ブロックサイズの組合せが利用可能であることを規定している。エンコーダは、単に異なる組み合わせを試してもよい。上述のように、試行は、全ての利用可能な選択肢の内の２以上を含んでいてもよい。試行符号化処理は、コスト機能の評価に応じて選択されたコスト機能測定及び結果に応じて実行されてもよい。

３つのレベルのバリエーションが存在する場合、ＣＵサイズ及び形状、ＰＵサイズ及び形状、並びに、ＴＵサイズ及び形状について、試行符号化される多くの変形を導くことができる。このバリエーションを減らすため、システムは、各ＣＵサイズについて許容可能な、任意に選択された１つのＰＵ／ＴＵ設定を使用することによって、ＣＵに対して試行符号化を行うことができ、そして、ＣＵサイズが選択され、ＰＵサイズ及び形状が、設定毎に異なるＰＵオプションを試行符号化することによって選択され得る。そして、ＣＵ及びＰＵが選択され、システムは、全ての適用可能なＴＵ設定を試して最終的なＴＵ設定を選択することができる。

他の可能性として、いくつかのエンコーダが、ブロック設定の一定の選択を使用してもよく、上述の組み合わせの限定的なサブセットを許容してもよい。

イントラ予測
４：２：０イントラ予測
図２２を参照して、イントラ予測では、ＨＥＶＣは、角度クロマ予測を認めている。導入のため、図２２は、ルマブロックに適用可能な３５予測モードを示しており、この３５予測モードのうちの３３は、現在の予測サンプル位置１００のためのサンプルの参照のために方向を特定する。

ＨＥＶＣは、クロマがＤＣ、垂直、水平、平面、ＤＭ＿クロマ及びＬＭ＿クロマモードを持つことを認めいている。

ＤＭ＿クロマは、使用される予測モードが共同位置ルマＰＵと同じであることを意味している（図２２に示されている３５のうちの１つ）。

ＬＭ＿クロマ（線形モードクロマ）は、共同位置ルマサンプル（必要に応じてチャネル比をダウンサンプリング）が予測クロマサンプルを抽出するために使用されることを意味する。このケースでは、仮に、ＤＭ＿クロマ予測モードに、選択されたＤＣ、垂直、水平、平面が採用される場合、クロマ予測リストにおけるエントリは、モード３４を使用して置き換えられる。ＬＭ＿クロマモードでは、クロマピクセルが予測されるルマピクセルが、ルマ及びクロマ間の線形関係に応じて、スケーリングされる（適切な場合にはオフセットが適用）。この線形関係は、ピクセルの周囲から抽出され、抽出は、次に移る前に、１つのブロックの符号化を終えたデコーダで、ブロック毎を基準として実行され得る。

特に、予測モード２−３４は、４５°〜２２５°の角度範囲、つまり、正方形の半分の対角線をサンプリングする。上述のように、イントラピクチャ予測について正方形クロマＰＵのみが使用されるため、これは、４：２：０方式の場合に有用である。

各種４：２：２イントラ予測
一方、上述のように、４：２：２方式は、ルマＰＵが正方形である場合でも、長方形（非正方形）クロマＰＵを持ち得る。あるいは、この逆もまた真となっており、長方形ルマＰＵは、正方形クロマＰＵに対応し得る。この相違の理由は、４：２：２では、クロマは、垂直方向ではなく、水平方向（ルマに関連）にサブサンプリングされるためである。従って、ルマブロック及び対応するクロマブロックのアスペクト比は、異なると予想される。従って、４：２：２フォーマットは、クロミナンスサンプルがルミナンスサンプルよりも低い水平及び／又は垂直サンプリングレートを持つビデオフォーマットの一例（４：２：０等の他の例もある）を表しており、クロミナンス水平解像度に対するルミナンス水平解像度の比が、クロミナンス垂直解像度に対するルミナンス垂直解像度の比とは異なり、ルミナンスサンプルのブロックが、クロミナンスサンプルの対応するブロックとは異なるアスペクト比を持つことになる。

従って、本発明の一実施形態では、対応するルマブロックとは異なるアスペクト比を持つクロマＰＵについて、方向のためにマッピングテーブルが要求される。長方形ＰＵについてアスペクト比が１対２である場合、例えば、モード１８（現在１３５°の角度である）は、１２３°に再マッピングされる。代わりに、現在のモード１８の選択が、現在のモード２２の選択に再マッピングされてもよく、同様の効果がある。

従って、より一般的には、非正方形ＰＵについて、参照サンプルの方向及び選択されたイントラ予測モードの間の異なるマッピングは、正方形ＰＵと比較して提供される。

より一般的には、非方向モードを含む如何なるモードも、経験的証拠に基づいて再マッピングされ得る。

このようなマッピングは、多対１の関係となり得、４：２：２クロマＰＵの全てのモードについて説明を行うと、説明が冗長となってしまう。従って、このケースでは、例えば、１７モード（角分解能の半分に対応）のみについて説明する。これに代えて、あるいは、これに加えて、不均一な方法において、これらのモードは、角度的に分散されていてもよい。

同様に、サンプル位置でピクセルを予測するときに参照サンプルで使用される平滑化フィルタは、４：２：０方式において、クロマではなく、ルマピクセルの平滑化のみに使用される等、別々で使用されてもよい。一方、４：２：２及び４：４：４方式では、このフィルタは、クロマＰＵについて使用されてもよい。４：２：２方式では、やはり、ＰＵの異なるアスペクト比に応じてフィルタが修正されてもよく、例えば、近接水平モードにおけるサブセットに対してのみ使用されてもよい。モードのサブセットの一例は、好ましくは、２−１８及び３４であり、より好ましくは７−１４である。４：２：２では、参照サンプルの左列のみの平滑化が本発明の一実施形態において実行される。

これらの構成についての詳細は後述する。

各種４：４：４：イントラ予測
４：４：４方式では、クロマ及びルマＰＵは、同じサイズであり、従って、クロマＰＵに対するイントラ予測モードは、共同位置ルマＰＵと同じであってもよいし（分離モードを符号化しないことによって、ビッドストリームにおけるオーバーヘッドを削減するため）、より好ましくは、独自に選択されてもよい。

後者の場合、本発明の一実施形態では、１つが、ＣＵにおけるＰＵに対して、１、２又は３の異なる予測モードを有している。

第１の例では、Ｙ、Ｃｂ及びＣｒ ＰＵは、全て同じイントラ予測モードを使用する。

第２の例では、Ｙ ＰＵは、１つのイントラ予測モードを使用し、かつ、Ｃｂ及びＣｒ ＰＵは、独自に選択された他の１つのイントラ予測モードを使用する。

第３の例では、Ｙ、Ｃｂ及びＣｒ ＰＵは、それぞれ独自に選択されたイントラ予測モードをそれぞれ使用する。

なお、クロマチャネル（又は各クロマチャネル）に対して独自な予測モードを持つことで、色予測精度が改善される。しかし、これは、符号化データの一部として独自な予測モードを通信するための追加的なデータオーバーヘッドの費用となる。

これを軽減するため、モードの数の選択が高レベルシンタックスにおいて示されてもよい（例えば、シーケンス、ピクチャ、スライスレベルで）。代わりに、独自なモードの数がビデオフォーマットから抽出されてもよく、例えば、ＣＢＲは、３まで持つことができ、一方、ＹＣｂＣｒは、２までに制限される。

モードの独自の選択に加えて、利用可能なモードが、４：４：４方式において４：２：０方式とは異なることが許可されてもよい。

例えば、ルマ及びクロマＰＵは、同じサイズであるため、クロマＰＵは、全ての３５＋ＬＭ＿クロマ＋ＤＭ＿クロマ方向へのアクセスで有効である。従って、それぞれ独自の予測モードを持つＹ、Ｃｂ及びＣｒの場合、Ｃｂチャネルは、ＤＭ＿クロマ及びＬＭ＿クロマにアクセス可能であり、一方、Ｃｒチャネルは、ＤＭ＿クロマＹ、ＤＭ＿クロマ＿Ｃｂ、ＬＭ＿クロマ＿Ｙ及びＬＭ＿クロマ＿Ｃｂにアクセス可能である。これらは、ルマチャネルへの参照を、Ｙ又はＣｂクロマチャネルへの参照へと換える。

最確モードのリストを抽出し、そのリストのインデックスを送信することによって、ルマ予測モードは信号化され、クロマ予測モードが独自である場合、各チャネルに対して最確モードの独自リストを抽出する必要がある。

最後に、上述の４：２：２のケースに関する同様の方法では、４：４：４方式において、サンプル位置でピクセルを予測するときに参照サンプルに使用される平滑化フィルタは、ルマＰＵと同様の方法でクロマＰＵに対して使用されてもよい。現在、イントラ予測の前に、［１、２、１］ローパスフィルタが参照サンプルに適用され得る。

クロマＴＵに適用可能な１つのイントラ予測は、共同位置ルマサンプルでの予測サンプルに基づく。このような構成が図１９において概略的に示されており、Ｃｂ、Ｃｒ及びＹチャネルにおける小さな正方形によって表されるＴＵ１２００の配列（ソース画像の領域から）が、Ｃｂ及びＹチャネル、並びに、Ｃｒ及びＹチャネルにおいて画像特徴間で空間に揃えられて示されている（暗及び明で網掛けされたボックス１２００で概略的に示される）。この例では、共同位置ルマサンプルでの予測サンプルに基づくことをクロマＴＵに強制させることが有用である。実際には、特定の特徴が１または２のチャネルでのみ現れ、一般的に、３つのチャネルの画像内容は異なる。

本発明の実施形態では、ＣｒＴＵでは、ＬＭ＿クロマは、Ｃｂチャネルからの共同位置サンプルに選択的に基づき得る（あるいは、他の実施形態では、依存が逆になり得る）。このような構成が図２０において概略的に示されている。ここで、空間的に揃えられたＴＵが、Ｃｒ、Ｃｂ及びＹチャネル間で示されている。"ソース"とラベル付けされたさらなるＴＵの組は、全体として見られるカラーピクチャの略図である。ソース画像内に表れている画像特徴（左上三角形及び右下三角形）は、実際には、ルミナンスにおける変化を表しているのではなく、２つの三角形領域間でのクロミナンスの変化のみを表している。この場合、ＣｒについてＬＭ＿クロマがルミナンスサンプルに基づくと、予測が低精度になってしまうが、Ｃｂサンプルに基づけば優れた予測が得られる。

どのＬＭ＿クロマモードが使用されるかの決定は、異なる選択肢（ＬＭ＿クロマを、共同位置ルマ又は共同位置クロマサンプルに基づかせる選択肢を含む）の試行符号化に基づいて、コントローラ３４３及び／又はモードコントローラ５２０によって実行され、上述と同様に、どのモードを選択するかの決定が、異なる試行符号化に応じてコスト機能を評価することによって実行される。コスト機能の例は、雑音、歪み、誤差レート及びビットレートである。試行符号化に従うモードの中から、最も低い１以上のコスト機能を与えるモードが選択される。

図２１は、本発明の一実施形態に係る、イントラ予測について参照サンプルを得ることに使用される方法を示す概略図である。図２１を参照して、符号化はスキャニングパターンに応じて実行され、一般的には、符号化される現在のブロックの上及び左のブロックの符号化バージョンが、符号処理に適用可能である。左下又は右上のサンプルが、ＬＣＵ内の既に符号化された他のＴＵの一部として既に符号化されている場合、しばしば、これらのサンブルが使用される。例えば、上述のように図１３が参照される。

網掛け領域１２１０は、現在のＴＵ、つまり、現在符号化されているＴＵを表している。

４：２：０及び４：２：２方式では、現在のＴＵのすぐ左に位置するピクセルの列は、水平サブサンプリングであるので、共同位置ルミナンス及びクロミナンスサンプルを含まない。換言すると、これは、４：２：０及び４：２：２フォーマットは、ルミナンスピクセルの半分のクロミナンスピクセルを有しており、全てのルミナンスサンプル位置が挙動位置クロミナンスサンプルを有しているのではないためである。従って、ルミナンスサンサンプルが、ＴＵのすぐ左のピクセルの列に存在していることがあるが、クロミナンスサンプルは存在しない。従って、本発明の一実施形態では、現在のＴＵの左の２つのサンプルが位置する列が、ＬＭ＿クロマに対して参照サンプルを提供することに使用される。なお、現在のＴＵのすぐ左の列が確実に共同位置ルマ及びクロマサンプルを含むという点で、４：４：４では状況が異なる。この列は、それ故、参照サンプルの提供に使用され得る。

参照サンプルは、以下のように使用される。
ＬＭ＿クロマモードでは、予測クロマサンプルが、線形関係に応じて、再構築ルマサンプルから抽出される。従って、一般的には、ＴＵ内の予測クロミナンス値は、以下の式によって与えられる。
Ｐ_Ｃ＝ａ＋ｂＰ_Ｌ
ここで、Ｐ_Ｃは、クロミナンスサンプル値であり、Ｐ_Ｌは、そのサンプル位置での再構築ルミナンスサンプル値であり、ａ及びｂは、定数である。この定数は、既に符号化されたサンプル位置にある（上側参照）、そのブロックのすぐ上の行及びそのブロックのすぐ左の列における再構築ルマサンプル及びクロマサンプルの間の関係を検出することによって、特定のブロックについて抽出される。

本発明の実施形態では、定数ａ及びｂが以下のように抽出される。
ａ＝Ｒ（Ｐ_Ｌ'，Ｐ_Ｃ'）／Ｒ（Ｐ_Ｌ'，Ｐ_Ｌ'）
ここで、Ｒは、線形（少なくとも正方形）回帰関数を表しており、Ｐ_Ｌ'及びＰ_Ｃ'は、それぞれ、上述の隣接行及び列からのルミナンス及びクロミナンスサンプルである。
ｂ＝mean（Ｐ_Ｃ'）−ａ mean（Ｐ_L'）
４：４：４では、Ｐ_Ｌ'及びＰ_Ｃ'値は、現在のＴＵのすぐ左の列及現在のＴＵのすぐ上の行から得られる。４：２：２では、Ｐ_Ｌ'及びＰ_Ｃ'値は、現在のＴＵのすぐ上の行、及び現在のＴＵの左のエッジから離れた２つのサンプル位置の隣接ブロックの列から得られる。４：２：０（垂直方向及び水平方向にサブサンプリングされる）では、Ｐ_Ｌ'及びＰ_Ｃ'値は、理想的には、現在のＴＵの上の２つの行における行から得られるが、実際には、現在のＴＵの上の１つのサンプル位置の隣接ブロックにおける行、及び現在のＴＵの左のエッジから離れた２つのサンプル位置の隣接ブロックにおける列から得られる。これは、メモリ内において、データにおける追加的な行全体が維持されてしまうことを防止するためである。このため、４：２：０及び４：２：２は、同様の方法で扱われる。

従って、これらの技術は、画像の領域を表すクロミナンスサンプルの現在のブロックが、
画像の同じ領域を表すルミナンスサンプル（再構築ルミナンスサンプル等）の共同位置ブロックに対するクロミナンスサンプルの関係を抽出することによって符号化されるクロミナンス予測モードを有するビデオ符号化方法に適用する。この関係（線形関係等）は、既に符号化された隣接ブロックからの共同位置ルミナンス及びクロミナンスサンプルを比較することによって抽出される。クロミナンスサンプルは、その関係に応じてルミナンスサンプルから抽出され、また、予測クロミナンスサンプル及び実クロミナンスサンプルの差が残差データとして符号化される。

クロミナンスサンプルが、ルミナンスサンプルと同じサンプリングレートを持つ第１のサンプリング解像度（４：４：４等）では、共同位置サンプルは、現在のブロックに隣接するサンプル位置にあるサンプルである。

クロミナンスサンプルが、ルミナンスサンプルよりも低いサンプリングレートを持つ第２のサンプリング解像度（４：２：２又は４：２：０等）では、既に符号化された隣接ブロックから最も近い、共同位置ルミナンス及びクロミナンスサンプルの列又は行が、共同位置サンプルの提供に使用される。あるいは、第２のサンプリング解像度が、４：２：０サンプリング解像度である場合、対応して位置されるサンプルは、現在のブロックに隣接するサンプルの行であり、また、既に符号化された隣接ブロックから最も近い、対応して位置されるルミナンス及びクロミナンスサンプルの列又は行である。

図２２は、ルマサンプルに対して適用可能な予測角を示す概略図である。予測される現在のピクセルが、ピクセル１２２０として図の中央に示されている。小さなドット１２３０は、隣接ピクセルを表している。現在のピクセルの上又は左側に位置するこれらは、既に符号化されているので、予測を生成するための参照サンプルとして利用可能である。他のピクセルは、現在分かっておらず（ピクセル１２２０を予測する時点で）、やがてそれら自身で予測される。

各番号付けされた予測方向は、現在の予測ピクセルを生成するために使用される現在のブロックにおける上又は左のエッジ上の候補参照サンプルのグループ内からの参照サンプル１２３０を示している。小さなブロックの場合、予測方向は、参照サンプル間の位置を示し、隣接参照サンプル間の線形補間（現在の予測モードによって示された方向によって指摘されたサンプル位置の両側）が使用される。

クロマサンプルに対するイントラ角予測の説明に移り、４：２：０では、クロマサンプルが相対的に少ないので、予測方向が少なくて済む。一方、ＤＭ＿クロマモードが選択された場合、現在のクロマブロックが、共同位置ルマブロックと同じ予測方向を使用する。これは、イントラ予測でのルマ方向がクロマにも同様に適用可能であることを意味している。

しかしながら、４：２：２におけるクロマサンプルでは、クロマブロックがルマブロックとは異なるアスペクト比を有している場合、ＤＭ＿クロマが選択されたとき、ルマと同じ予測アルゴリズム及び方向が使用されることが直感に反して考慮され得る。例えば、サンプルの正方形ルマ配列に対する４５°の線は、長方形サイズのサンプルの配列であっても、クロサンプルに対して依然として４５°の線をマッピングする。正方形グリッドを長方形グリッド上に重ね合わせることは、４５°の線が実際には２６．６°の線をマッピングすることを意味する。

図２３は、予測される現在のピクセル１２２０について、４：２：２におけるクロマピクセルに適用されるイントラ予測方向を示す概略図である。なお、４：２：２は、ルマチャネルと比べて、クロマチャネルにおいて半分の水平サンプルレートを有しているため、
水平方向に、垂直方向の半分のピクセルが存在する。

図２４は、４：２：２クロマピクセルの、正方形グリッドへの変換又はマッピング、並びに、その後にどのようにして変換が予測方向を変化させるかを示す模式図である。

ルマ予測方向が破線１２４０として示されている。クロマピクセル１２５０は、対応するルマ配列（図２２等参照）の半分の幅の長方形配列１２６０を与える正方形グリッドに再マッピングされる。図２３に示される予測方向は、長方形配列に再マッピングされている。方向における一部では（ルマ方向及びクロマ方向となる組）、重複か、又は近い関係がある。例えば、ルマ配列における方向２は、実質的に、クロマ配列における方向６に重なる。しかしながら、それの略半分のルマ方向対応するクロマ方向を有してない。一例は、ルマ方向３番である。また、いくつかのクロマ方向（２−５）は、ルマ配列に等しくなく、また、いくつかのルマ方向（３１−３４）は、クロマ配列と等しくない。しかし、一般的に、図２４に示す重ね合わせは、ルマ及びクロマチャネルに対して同じ角度を使用することが不適切であることを明示している。

従って、クロマについて適切な予測角を抽出するために、（ａ）ＤＭ＿クロマが選択され、（ｂ）現在使用中のＤＭ＿クロマモードが、クロマ予測方向が共同位置ルマブロックの方向であることを示している場合、以下の処理が適用される。

（ｉ）通常のＨＥＶＣルールに応じて、ルマ方向に応じて、イントラ予測角ステップ及びその逆数を抽出する。
（ｉｉ）ルマ方向が略垂直である場合（つまり、例えば、１８〜３４番のモード全体）、イントラ予測角ステップは、半分にされる、その逆数が２倍とされる
（ｉｉｉ）あるいは、ルマ方向が略水平である場合（つまり、例えば、２〜１７番のモード全体）、イントラ予測角ステップは、２倍にされ、逆数が半分とされる。

従って、本発明のこれらの実施形態に係るビデオ符号化若しくは復号化方法、装置又はプログラムは、ルミナンス及びクロミナンスサンプルが、予測される現在のサンプルに関連する予測方向に応じて、他の各参照サンプルから予測される。４：２：２などのモードでは、クロミナンスサンプルが、ルミナンスサンプルよりも低い水平及び／又は垂直サンプリングレートを持ち、クロミナンス水平解像度に対するルミナンス水平解像度の比が、クロミナンス垂直解像度に対するルミナンス垂直解像度の比とは異なる。つまり、これは、ルミナンスサンプルのブロックが、対応するクロミナンスサンプルのブロックとは異なるアスペクト比を持つことを意味している。

イントラフレーム予測部５３０は、例えば、予測される現在のサンプルの組に関する第１のアスペクト比の第１のグリッドに関連して定義される第１の予測方向を検出する検出部として動作可能であり、また、予測方向に予測マッピングを適用して、異なるアスペクト比の第２のグリッドに関連して定義された第２の予測方向を生成する方向マッピング部として動作可能である。従って、予測部５３０は、方向マッピング部の一例を表している。予測部５４０は、他の対応する例を提供してもよい。

本発明の実施形態では、第１の予測方向の検出に使用される第１のグリッドは、ルミナンスサンプル及びクロミナンスサンプルのうちの一方のサンプル位置に関して定義され、第２の予測方向の生成に使用される第２のグリッドは、ルミナンスサンプル及びクロミナンスサンプルのうち他方のサンプル位置に関して定義される。本明細書において説明される特定の例では、ルミナンス予測方向が修正されて、クロミナンス予測方向が提供されてもよい。しかし、他の方法が用いられてもよい。

特に、この技術は、参照サンプルが、予測されるサンプルとして同じ各画像から抽出される（例えば、各画像から抽出される圧縮データからの再構築された）サンプルであるイントラ予測に適用可能である。

少なくともいくつかの構成では、第１の予測方向は、現在のルミナンスサンプルを含むルミナンスサンプルの正方形ブロックに応じて定義され、第２の予測方向は、現在のクロナンスサンプルを含むルミナンスサンプルの長方形ブロックに応じて定義される。

２つのクロミナンス要素についての独立予測モードを提供することもできる。このような構成では、クロミナンスサンプルは、第１及び第２のクロミナンス要素のサンプルを含み、この技術は、第１のクロミナンス要素（Ｃｂ等）に対して上述の方向マッピングを適用し、第２のクロミナンス要素（Ｃｒ等）に対して異なる予測モードを提供する。この技術は、（例えば）第１のクロミナンス要素のサンプルからの第２のクロミナンス要素を予測してもよい。

ビデオデータは４：２：２フォーマットとすることができ、例えば、デコーダ又は符号化方向の場合、予測方向は、符号化ビデオデータにおける予測方向を定義するデータを検出することによって検出されてもよい。

一般的に、本発明の実施形態は、クロミナンス要素に対して（例えば、各ルミナンス及びクロミナンス要素で別々に）独立予測モードを提供することができる。ビデオ符号化方法に関連するこれらの実施形態では、画像のルミナンス及びクロミナンスサンプルが、予測されるサンプルに関連する予測方向に応じて同じ画像から抽出された他の各参照サンプルから予測され、クロミナンスサンプルが、ルミナンスサンプルよりも低い水平及び／又は垂直サンプリングレートを持ち、クロミナンス水平解像度に対するルミナンス水平解像度の比が、クロミナンス垂直解像度に対するルミナンス垂直解像度の比とは異なり、ルミナンスサンプルのブロックが、対応するクロミナンスサンプルのブロックとは異なるアスペクト比を持ち、クロミナンスサンプルが、第１及び第２のクロミナンス要素を含む。

イントラフレームモード選択部５２０は、第１のクロミナンス要素（Ｃｂ等）の現在のクロミナンスサンプルを予測するための１以上の参照サンプルの選択を定義する予測モードを選択する。また、第１のクロミナンス要素の現在のクロミナンスサンプルと共同位置に位置された、第２のクロミナンス要素（Ｃｒ等）の現在のクロミナンスサンプルを予測するための１以上の参照サンプルの異なる選択を定義する異なる予測モードを選択する。

参照サンプルフィルタは、水平サンプル又は垂直サンプル（若しくは両方）に選択的に適用され得る。上述のように、フィルタは、３−タップ正規化"１−２−１"フィルタとすることができ、左下及び右上を除いたすべてのルマ参照サンプルに現在、適用される（Ｎ×Ｎブロックのサンプルはひとまとめにされて、サイズ２Ｎ＋１の単１Ｄ配列が生成され、その後、選択的にフィルタリングされる）。本発明の実施形態では、４：２：２について、最初（左側エッジ）又は最後（上側エッジ）のＮ＋１クロマサンプルにのみ適用されるか（左下、右上及び左上は調整されない点に留意）、４：２：２及び４：４：４について、全てのクロマサンプルに適用される。

本発明の実施形態は、予測されるサンプルに関連する予測モードに応じて、ルミナンス並びに第１及び第２のクロミナンス要素サンプルが予測されるビデオ符号化若しくは復号化方法、装置又はプログラムであって、第１のクロミナンス要素のサンプルから第２のクロミナンス要素のサンプルを予測するビデオ符号化若しくは復号化方法、装置又はプログラムを提供する。いくつかの実施形態では、予測されるサンプルに関連する予測モードは、サンプルが予測される１以上の他の各参照サンプルを定義する予測方向を示し得る。

本発明の実施形態は、予測されるサンプルに関連する予測モードに応じて、他の各参照サンプルから、ルミナンス並びに第１及び第２のクロミナンス要素サンプルが予測されるビデオ符号化若しくは復号化方法、装置又はプログラムであって、参照サンプルをフィルタリングするビデオ符号化若しくは復号化方法、装置又はプログラムを提供する。

図１９及び図２０を参照して説明したように、異なる予測モードは、第２のクロミナンス要素のサンプルが第１のクロミナンス要素のサンプルから予測されるモードを含むことが可能である。

なお、モード０及び１は、角予測モードではなく、従って、この処理には含まれない。上記した処理の効果は、図２４に示したようにクロマ予測方向をルマ予測方向にマッピングすることである。

４：２：０では、純粋な水平予測モード（ルマモード１０）又は純粋な垂直予測モード（ルマモード２６）が選択された場合、予測ＴＵの上又は左のエッジが、ルマチャネルのみについてフィルタリングの対象となる。水平予測モードでは、上の行が垂直方向にフィルタリングされる。垂直モードでは、左の列が水平方向にフィルタリングされる。

サンプルの列の水平方向でのフィルタリングは、サンプルの列の順で、各サンプルに水平指向フィルタを適用するものとして理解し得る。従って、個々のサンプルについて、その値は、サンプルの現在の値及びそのサンプルから水平方向に移されたサンプル位置にある１以上の他のサンプル（つまり、問題となっているそのサンプルの左及び／又は右に位置する１以上の他のサンプル）の現在の値から生成されたフィルタ値に基づいて、フィルタの動作によって修正される。

サンプルの行の垂直方向でのフィルタリングは、サンプルの行の順で、各サンプルに垂直指向フィルタを適用するものとして理解し得る。従って、個々のサンプルについて、その値は、サンプルの現在の値及びそのサンプルから垂直方向に移されたサンプル位置にある１以上の他のサンプル（つまり、問題となっているそのサンプルの上及び／又は下に位置する１以上の他のサンプル）の現在の値から生成されたフィルタ値に基づいて、フィルタの動作によって修正される。

上述のエッジピクセルフィルタリング処理の１つの目的は、予測においてブロック基準エッジ効果を低減して、これにより、残差画像データにおけるエネルギーを減らすという点にある。

本発明の実施形態では、対応するフィルタリング処理が、４：４：４及び４：２：２におけるクロマＴＵについて提供される。水平サブサンプリングを考慮すると、１つの提案は、４：２：２においてクロマＴＵの上の行についてのみフィルタリングを行い、一方、４：４：４において、上の行及び左の列の両方についてフィルタリングを行う（必要に応じて、選択されたモードに基づいて）というものである。多くの有用な詳細が取り除かれてしまうことを防止するために、これらの領域にのみフィルタリングを行うことは適切であり、（取り除かれた場合）残差画像データの増加エネルギーが導かれる。

４：２：０では、ＤＣモードが選択された場合、ルマチャネルのみについて、予測ＴＵの上又は左のエッジがフィルタリングの対象となる。

このフィルタリングは、ＤＣモードにおいて、フィルタが、両エッジにおける全てのサンプルに対して、ａ（１×近接外側サンプル＋３^＊エッジサンプル）／４平均動作を行うというものであってもよい。

Ｈ／Ｖフィルタは、近接外側サンプル及びエッジサンプルの平均である。

本発明の実施形態において、このフィルタリング処理は、４：４：４及び４：２：２におけるクロマＴＵにも提供される。この場合もやはり、水平サブサンプリングが考慮され、いくつかの本発明の実施形態では、４：２：２においてクロマＴＵの上の行についてのみフィルタリングが行われ、一方、４：４：４において、上の行及び左の列についてフィルタリングが行われる。

従って、この技術は、４：４：４フォーマット又は４：２：２フォーマットにおけるルミナンス及びクロミナンスサンプルが、予測されるサンプルのブロックに関連する予測方向に応じて、他の各サンプルから予測されるビデオ符号化若しくは復号化方法、装置又はプログラムに適用され得る。

本技術の実施形態において、予測方向は、予測される現在のブロックに関して検出される。クロミナンスサンプルの予測ブロックは、予測方向によって定義される他のクロミナンスサンプルに応じて生成される。仮に、検出された予測方向が実質的に垂直（例えば、正確に垂直なモードの＋／−ｎ角度モード以内、ここで、ｎは（例えば、）２）である場合、クロミナンスサンプルの予測ブロックにおいてサンプルの左列がフィルタリングされる（例えば、水平方向）。あるいは、仮に、検出された予測方向が実質的に水平（例えば、正確に水平なモードの＋／−ｎ角度モード以内、ここで、ｎは（例えば、）２）である場合、クロミナンスサンプルの予測ブロックにおいてサンプルの上の行がフィルタリングされる（例えば、水平方向）。その後、フィルタリングされた予測クロミナンスブロック及び実際のクロミナンスブロックの差が、例えば、残差データとして符号化される。代わりに、試験は、実質的に垂直又は水平なモードではなく、正確に垂直又は水平なモードであってもよい。＋／−ｎの許容範囲は、他のものではなく、１つの試験（水平又は垂直）に適用され得る。本発明の実施形態では、予測ブロックの左列又は上行のみがフィルタリングされてもよく、また、フィルタリングは、水平指向フィルタ又は垂直指向フィルタそれぞれが実行されてもよい。

フィルタ処理後、本技術の実施形態では、フィルタリングされた予測クロマブロック及び実クロマブロックの差を符号化するか（エンコーダで）、又は、フィルタリングされた予測クロマブロックに符号化された差を適用してブロックを符号化する（デコーダで）。

インター予測
なお、ＨＥＶＣにおけるインター予想は、既に長方形ＰＵを許容しており、従って、４：２：２及び４：４：４モードは、ＰＵインター予測処理に既に適合可能である。

ビデオ画像の各フレームは、実際のシーンの離散サンプリングであり、結果的に、各ピクセルは、色及び明るさの現実世界での勾配におけるステップ幅の近似である。

この点を考慮し、以前のビデオフレームにおける値から、新たなビデオフレームにおけるピクセルのＹ、Ｃｂ又はＣｒ値を予測するとき、元の現実世界での勾配をより良く推定し、新たなピクセルに対する明るさ又は色をより正確に選択するために、以前のビデオフレームにおけるピクセルが補間される。従って、ビデオフレーム間で位置を示すのに使用される動きベクトルは、整数のピクセル解像度に限られない。正確には、この動きベクトルは、補間画像内におけるサブピクセル位置を示すことができる。

４：２：０インター予測
図２５及び図２６を参照して、４：２：０方式では、上述のように、典型的には、８×８ルマＰＵ１３００は、Ｃｂ及びＣｒ ４×４クロマＰＵ１３１０に関連付けられる。従って、同じ効果的な解像度までルマ及びクロマピクセルデータを補間するために、異なる補間フィルタが使用される。

例えば、８×８ ４：２：０ ルマＰＵでは、補間が１／４ピクセルであり、また、８タップ×４フィルタは、最初に水平に適用され、その後、同じ８タップ×４フィルタが垂直方向に適用されて、ルマＰＵが各方向に効果的に４回伸ばされ、図２５に示すように、補間配列が形成される。一方、対応する４×４ ４：２：０クロマＰＵは、同じ最終解像度を生成するために補間された１／８ピクセルであり、従って、４タップ×８フィルタが、最初に水平方向に適用され、その後、同じ４タップ×８フィルタが垂直方向に適用されて、４：２：０クロマＰＵが各方向に効果的に８回伸ばされ、図２６に示すように、配列１３３０が形成される。

４：２：２インター予測
ルマＰＵ１３５０及び１組の対応するクロマＰＵ１３６０が示されている図２７及び図２８を参照して、４：２：２方式での同様の構成について説明する。図２８を参照して、上述のように、４：２：２方式では、クロマＰＵ１３６０は、非正方形とすることができ、また、８×８ ４：２：２ルマＰＵの場合、クロマＰＵは、典型的には、Ｃｂ及びＣｒチャネルのそれぞれに対する４（幅）×８（高さ）４：２：２クロマＰＵとされる。なお、図２８では便宜的に、クロマＰＵは、非正方形ピクセルの正方形の網掛け配列として描かれており、一般的には、ＰＵ１３６０は、４（水平）×８（垂直）ピクセル配列である。

一方、それ故、クロマＰＵで垂直方向に既存の８タップ×４ルマフィルタを使用できる可能性があり、実際上、補間クロマＰＵの偶数分数位置の１つに関心があるのみであるため、本発明の一実施形態では、垂直方向の補間については既存の４タップ×８クロマフィルタで十分とされる。

従って、図２７には、垂直方向で補間画像を形成するために使用される偶数分数の結果だけでなく、従来のように８タップ×４フィルタで補間された８×８ ４：２：２ルマＰＵ１３５０、並びに、水平及び垂直方向において既存の４タップ×８クロマフィルタで補間された４×８ ４：２：２クロマＰＵ１３６０が示されている。

これらの技術は、インター画像予測を使用して、入力ビデオデータを符号化するビデオ符号化若しくは復号化方法、装置又はプログラムに適用可能であり、各クロミナンス要素は、ルミナンス要素における１／Ｍの水平解像度を持ち、ルミナンス要素における１／Ｎの垂直解像度を持ち、ここで、Ｍ及びＮは、１以上の整数であり、例えば、４：２：２では、Ｍ＝２、Ｎ＝１であり、４：２：０では、Ｍ＝２、Ｎ＝２である。

フレーム記憶部５７０は、現在の画像を予測する１以上の画像を記憶する。

補間フィルタ５８０は、補間された予測ユニットのルミナンス要素が、記憶画像の対応する部分のＰ倍の水平解像度を持ち、記憶画像の対応する部分のＱ倍の垂直解像度を持つように、記憶された画像の予測ユニットの高解像度バージョンを補間し、ここで、Ｐ及びＱは、１を超える整数である。現在の例では、Ｐ＝Ｑ＝４であり、補間フィルタ５８０が１／４サンプル解像度で補間画像を生成する。

動き推定部５５０は、現在の画像及び１以上の補間記憶画像の間のインター画像の動きを検出して、現在の画像の予測ユニット及び１以上の予測画像の領域の間の動きベクトルを生成する。

動き補償予測部５４０は、各動きベクトルによって示された補間記憶画像の領域に関して、現在の画像の予測ユニットの動き補償予測を生成する。

補間フィルタ５８０の動作の説明に戻り、実施形態に係るこのフィルタは、ａ×Ｒ水平及び×Ｓ垂直補間フィルタを、記憶画像のクロミナンス要素に適用して、補間クロミナンス予測ユニットを生成し、ここで、Ｒは、（Ｕ×Ｍ×Ｐ）に等しく、Ｓは、（Ｖ×Ｎ×Ｑ）に等しく、Ｕ及びＶは、１以上の整数であり、また、フィルタは、補間クロミナンス予測ユニットをサブサンプリングし、その水平解像度がＵ倍で分割され、かつ、その垂直解像度がＶ倍で分割され、これにより、ＭＰ×ＮＱサンプルのブロックが生成される。

従って、４：２：２の場合、補間フィルタ５８０は、水平及び垂直にａ×８補間を適用し、一方で、例えば、補間出力においてサンプルを２つおきに使用して、垂直に２倍でサブサンプリングを行う。

この技術は、それ故、同じ（例えば、×８）フィルタが、４：２：０及び４：２：２で使用されることを許容しているが、４：２：２では、サブサンプリングのさらなるステップが必要とされる。

本発明の実施形態では、上述のように、補間クロミナンス予測ユニットは、同じ×Ｒ及び×Ｓ補間フィルタを使用して補間された４：２：０フォーマット予測ユニットのサンプルの高さの２倍の高さを持つ。

異なるフィルタを提供する必要性は、４：２：０入力ビデオデータ及び４：２：２入力ビデオデータについて、特に、同じ×Ｒ水平及び×Ｓ垂直補間フィルタを使用することによって、これらの技術を使用して回避又は軽減することができる。

上述のように、補間クロミナンス予測ユニットをサブサンプリングするステップにおいて、垂直方向に補間クロミナンス予測ユニットのサンプルをＶおきに使用し、及び／または垂直方向に補間クロミナンス予測ユニットのサンプルをＵおきに使用する。

本発明の実施形態において、予測ユニットについてルミナンス動きベクトルを抽出し、独自に、その予測ニットについて１以上のクロミナンス動きベクトルを抽出してもよい。

本発明の実施形態では、少なくとも１つのＲ及びＳが、２以上の値に等しく、また本発明の実施形態では、×Ｒ水平及び×Ｓ垂直補間フィルタも、記憶画像のルミナンス要素に適用される。

各種４：４：４インター予測
拡張により、既存の４タップ×８クロマフィルタについて、偶数分数の結果のみを使用するという同じ考え方は、８×８ ４：４：４クロマＰＵについて垂直方向及び水平方向の両方に適用することができる。

さらにこれらの例では、×８クロマフィルタがルマを含む全ての補間に使用されてもよい。

他の各種インター予測
動きベクトル（ＭＶ：Motion Vector）抽出に係る一実施形態では、ＰスライスにおけるＰＵに対して１つの動きベクトルが生成される（及びＢスライスにおけるＰＵに対する２つのベクトルが生成される（ＭＰＥＧ Ｐ及びＢフレームと同様の方法で、Ｐスライスは、予測フレームから予測され、Ｂスライスは、予測及び後フレームから予測される））。

特に、４：２：０方式に係る実施形態では、ベクトルが全てのチャネルで共通とされ、さらに、クロマデータは、動きベクトルの計算に使用される必要がない。つまり、全てのチャネルは、ルマデータに基づく動きベクトルを使用する。

本発明に係る一実施形態では、４：２：２方式において、クロマベクトルは、ルマから独立して抽出することができ（つまり、Ｃｂ及びＣｒチャネルに対する動きベクトルは、別々に抽出できる）、また、４：４：４方式において、クロマベクトルは、Ｃｂ及びＣｒのそれぞれに対してさらに独立とすることができる。
変換
ＨＥＶＣでは、ほとんどの画像は、以前に符号化／復号化されたフレームから、動きベクトルとして符号化され、動きベクトルは、これらの他の復号化されたフレームにおいて、現在の画像の良い近似をどこからコピーするかをデコーダに示す。この結果は、現在の画像の近似バージョンである。その後、ＨＥＶＣは、近似バージョン及び正確な画像間における誤差であるいわゆる残差（residual）を符号化する。この残差は、実際の画像を直接的に特定するよりも、非常に少ない情報で済む。しかしながら、それでもやはり、一般的には、全体のビットレートをさらに低減させるために、この残差の情報を圧縮することが好ましい。

ＨＥＶＣを含む多くの符号化方法では、このようなデータは、整数コサイン変換（ＩＣＴ：Integer Cosine Transform）を使用して空間周波数領域に変換され、また、典型的には、所望の圧縮レベルに応じて、低空間周波数データを保ち、高空間周波数データを除去することによって圧縮が達成される。

４：２：０変換
特に、共通量子化／圧縮方法に忠実であるため、ＨＥＶＣで使用される空間周波数変換では、慣例的に、４の累乗での係数（例えば、６４周波数係数）が生成される。４：２：０方式における正方形ＴＵは、全て４の累乗であり、従って、達成が容易である。

仮に、ＮＳＱＴ動作が有効化される場合、いくつかの非正方形変換が、４×１６などの非正方形ＴＵに対して利用可能であるが、やはりこれらは６４係数となり、つまり、やはり４の累乗である。

各種４：２：２及び４：４：４変換
４：２：２方式は、４の累乗ではない非正方形ＴＵを生成することができる。例えば、４×８ＴＵは３２ピクセルを有しており、また、３２は４の累乗ではない。

従って、本発明における一実施形態では、４の累乗ではない数の係数に対する正方形変換が使用されてもよい。なお、修正が後続の量子化処理で要求される。

あるいは、本発明の一実施形態では、非正方形ＴＵは、変換について４の累乗の領域をもつ正方形ブロックに分割され、その後、結果としての係数を、インターリーブするこができる。

例えば、４×８ブロック（８行の４サンプル）では、奇数／偶数垂直サンプルはが、２つの正方形ブロックに分割され得る。あるいは、４×８ブロックでは、上の４×４ピクセル及び下の４×４ピクセルは、２つの正方形ブロックを形成することができる。あるいは、やはり、４×８ブロックでは、下位及び上位周波数の４×４ブロックを形成するために、ハール ウェーブレット分解が使用され得る。

これらの選択肢はいずれも利用可能であり、また、特定の代替手段の選択が、信号化又はデコーダによって抽出されてもよい。

その他の変換モード
４：２：０方式においては、残差データがビットストリームに無損失で（変換、量子化、又はさらなるフィルタリングなしで）含まれるようにする提案フラグ（いわゆる、qpprime_y_zero_transquant_bypass_flag）が存在する。

従って、このような実施形態は、ルミナンス及びクロミナンスサンプルが予測され、サンプル及び各予測サンプル間の差が符号化され、ルミナンス差データが出力ビッドストリームに無損失で含まれているかを示し、独自に、クロミナンス差データがビットストリームに無損失で含まれているかを示すインジケータを利用するビデオ符号化又は復号化方法に相当する。

本発明の一実施形態では、ルマチャネルに対するフラグが、クロマチャネルとは別とされることが提案される。従って、４：２：２方式では、このようなフラグがルマチャネル及びクロマチャネルで別々に提供され、また、４：４：４方式では、このようなフラグが、ルマ及びクロマチャネルのどちらかに別々に提供されるか、あるいは、１つのフラグが、３つのチャネルのそれぞれに対して提供される。これにより、４：２：２及び４：４：４方式に関連する、増加するクロマデータレートが認識され、例えば、クロマデータと共に圧縮された無損失ルマデータが有効化される。

イントラ予測符号化では、モード依存方向変換（ＭＤＤＴ：Mode-Dependent Directional Transform）は、ＴＵに対する水平又は垂直ＩＣＴ（または両ＩＣＴ）が、イントラ予測方向に基づく整数サイン変換に置き換えられることを許容している。４：２：０方式では、これは、クロマＴＵに適用されない。しかしながら、本発明の一実施形態では、４：２：２及び４：４：４クロマＴＵに対して適用することが提案される。なお、ＩＳＴは、現在、４サンプル変換次元（垂直又は水平）についてのみ定義されおり、従って、現在、４×８クロマＴＵに垂直に適用され得ない。ＭＤＤＴについては後述する。

ビデオ符号化方法では、本発明の各種の実施形態は、ルミナンス差データが出力ビットストリームに無損失で含まれているかどうか、及び、独立して、クロマ差データがビットストリームに無損失で含まれているかどうかを示し、このような指示によって定義された形式で、関連するデータを符号化及び含めるように構成され得る。

量子化
４：２：０方式では、量子化演算が、クロミナンス（色）及びルミナンス（輝度）で同じであり、量子化パラメータ（ＱＰ：Quantization Parameter）のみが異なる。

クロミナンスに対するＱＰは、ルミナンスＱｐから以下の様にして算出される。
QP_cb = scalingTable［QP_luminances＋chroma_qp_index_offset］
QP_cr = scalingTable［QP_luminances＋second_chroma_qp_index_offset］

ここで、scalingTableは、図２９Ａ及び図２９Ｂに示すように定義され（それぞれ４：２：０、４：２：２に対応）、"chroma_qp_index_offset"及び"second_chroma_qp_index_offset"は、ピクチャ・パラメータ・セットにおいて定義され、Ｃｒ及びＣｂについて同じ又は異なる。換言すると、角括弧内の値は、スケーリングテーブル（図２９Ａ及びＢ）内における"インデックス"を定義し、そして、スケーリングテーブルは、ＱＰの修正値（"値"）を与える。

なお、"chroma_qp_index_offset"及び"second_chroma_qp_index_offset"は、代わりに、それぞれ"cb_qp_offset"及び"cr_qp_offset"とされてもよい。

クロミナンスチャネルは、典型的には、含まれる情報がルミナンスよりも少なく、従って、小さな大きさの係数を有しており、クロミナンスＱＰにおけるこの制限は、重い量子化レベルで、全てのクロミナンスの細部が損失してしまうことを防止する。

４：２：０におけるＱＰ−因子（divisor）の関係は、ＱＰにおける６の増加が因子の倍増に等しいような対数的な関係である（量子化ステップサイズは、本明細書において他の箇所で説明するが、使用の前にＱによってさらに修正されてもよい）。従って、５１−３９＝１２によるスケーリングテーブルにおける最大の差は、因子における４倍の変化を表している。

しかしながら、本発明の一実施形態は、４：２：２方式について、４：２：０方式の２倍のクロマ情報を含む可能性があり、スケーリングテーブルにおける最大クロミナンスＱＰ値は、４５に上げられ得る（つまり、因子を持つ）。同様に、４：４：４方式では、スケーリングテーブルにおける最大クロミナンスＱＰ値は、５１に上げられ得る（つまり、同じ因子）。この場合、スケーリングテーブルは、実質的に冗長とされるが、動作効率の単純さは保たれる（つまり、システムは、各方式で同じ方法でテーブルを参照することによって動作するため）。従って、より一般的には、本発明の一実施形態では、クロマＱＰ因子は、４：２：０方式に関連する符号化方式における情報量に対応して修正される。

従って、本発明の実施形態は、量子化ステップサイズを定義する選択された量子化パラメータに応じて、４：４：４又は４：２：２における周波数変換ルミナンス及びクロミナンス要素ビデオデータのブロックを量子化するビデオ符号化及び復号化方法に適用される。量子化パラメータの関連性（例えば、図２９Ａ又は図２９Ｂにおける適切なテーブル）は、ルミナンス及びクロミナンス量子化パラメータ間で定義され、この関連性では、最大クロミナンス量子化ステップサイズが、４：２：２フォーマットについて最大ルミナンス量子化ステップサイズよりも小さく（例えば４５）、一方、４：４：４フォーマットについて最大ルミナンス量子化ステップサイズに等しい（例えば５１）。量子化処理では、周波数変換データの各要素が、各量子化ステップサイズから抽出された各値によって分割され、この結果が整数値に丸められて、量子化空間周波数データの対応するブロックが生成される。

なお、分割及び丸めのステップは、各量子化ステップサイズ（又は、それから抽出されたデータ、例えば、Ｑの応用による例）に応じた、一般的な量子化ステージを示す例である。

本発明の実施形態は、空間周波数係数を量子化するための量子化パラメータ又はインデックス（ルミナンスについてのＱＰ）を選択することを含み、量子化パラメータは、ルミナンスデータに適用可能なＱＰテーブルに応じた、量子化ステップサイズの組のそれぞれの基準となる。量子化パラメータの関連性を定義する処理では、クロミナンス要素について、選択された量子化パラメータに応じて、修正された量子化パラメータのテーブルを参照し、このとき、（ｉ）第１のクロミナンス要素に関して、第１のオフセット（chroma_qp_index_offset等）を量子化パラメータに加え、量子化インデックス＋第１のオフセットについて、テーブルにおいて、エントリに対応する修正量子化インデックスを選択し、（ｉｉ）第２のクロミナンス要素に関して、第２のオフセット（second_chroma_qp_index_offset等）を量子化パラメータに加え、量子化インデックス＋第２のオフセットについて、テーブルにおいて、エントリに対応する修正量子化インデックスを選択し、ルミナンスデータ、並びに、第１及び第２のクロミナンス要素についての第１及び第２の修正量子化インデックスにおける量子化パラメータに応じて、組における各量子化ステップサイズを参照する。別の観点では、処理の一例では、空間周波数係数を量子化するための量子化パラメータを選択し、量子化パラメータは、量子化パラメータの組のそれぞれの基準となり、定義するステップでは、クロミナンス要素について、選択された量子化パラメータに応じて、修正された量子化パラメータのテーブルを参照し、参照するステップでは、各クロミナンス要素について、各オフセットに量子化パラメータを加え、量子化パラメータ＋各オフセットについて、テーブルにおいて、エントリに対応する修正された量子化パラメータを選択し、ルミナンスデータ、並びに、第１及び第２のクロミナンス要素についての第１及び第２の修正量子化パラメータにおける量子化パラメータに応じて、組における各量子化ステップサイズを参照する。

この技術は、特に、セット内における量子化ステップサイズの連続値が対数関数的に関連しており、ｍ（ｍは整数）の量子化パラメータにおける変化が、ｐ倍（ｐは、１よりも大きい整数）の量子化ステップサイズの変化を表す構成に適用することができる。本実施形態では、ｍ＝６、ｐ＝２である。

本発明の実施形態では、上述のように、最大ルミナンス量子化パラメータは５１であり、４：２：２フォーマットについて最大クロミナンス量子化パラメータは４５であり、４：４：４フォーマットについて最大クロミナンス量子化パラメータは５１である。

本発明の実施形態では、第１及び第２のオフセットは、符号化ビデオデータに関連づけられて通信され得る。

４：２：０変換では、下記の式を使用して、真正規化Ｎ×Ｎ ＤＣＴ Ａ'から、Ａが最初に（変換ユニット３４０により）生成される。
Ａ_ｉｊ＝ｉｎｔ（６４×√Ｎ×Ａ'_ｉｊ）
ここで、ｉ及びｊは、行列内の位置を示す。正規化変換に応じたスケーリングは、高精度化を提供し、小数計算の必要性を回避し、内部精度を高める。

ＸがＡ及びＡ^Ｔの両方に乗算されるので、Ａ_ｉｊの丸めによる差は無視され、結果としての係数は、下記の共通スケーリングファクターによる真正規化Ｍ×Ｎ（Ｍ＝高さ、Ｎ＝幅）ＤＣＴのものとは異なる。
（６４×√Ｎ）（６４×√Ｍ）＝４０９６√Ｎ√Ｍ

なお、共通スケーリングファクターは、この例とは異なり得る。また、Ａ及びＡ^Ｔの両方への行列乗算は、いわゆるバタフライ方法などの様々な方法で実行され得る。重要なことは、実行される動作が従来の行列乗算と同じであるかどうかということであり、特定の従来の動作順で実行されるかどうかということではない。

ＨＥＶＣでは、２の累乗になるので、スケーリングファクターは、多数のビットによるバイナリ左シフトビット幅動作TransformSihftに等しい。
TransformShift＝（１２＋０．５ｌｏｇ_２（Ｎ）＋０．５ｌｏｇ_２（Ｍ））

内部ビッド精度における要求を減らすために、変換処理中、係数は（正の丸めを使用して）２回右にシフトされる。
Shift１＝ｌｏｇ_２（Ｎ）＋bitDepth−９
Shift２＝ｌｏｇ_２（Ｍ）＋６

結果として、前変換処理を終え、量子化部に入る係数は、以下の式によって効果的に左側にシフトされる。
resultingShift ＝（１２＋０．５ｌｏｇ_２（ＮＭ））−（Shift１＋Shift２）
＝（１２＋０．５ｌｏｇ_２（Ｎ）＋０．５ｌｏｇ_２（Ｍ））−（ｌｏｇ_２（Ｎ）＋bitDepth−９＋ｌｏｇ_２（Ｍ）＋６）
＝１５−（０．５ｌｏｇ_２（Ｎ）＋０．５ｌｏｇ_２（Ｍ）＋bitDepth）

４：２：０では、周波数変換によって生成された周波数分離（例えば、ＤＣＴ）係数は、正規化ＤＣＴ処理の（２^{resultingShift}）倍である。

本発明のいくつかの実施形態では、ブロックは、正方形又は４：１のアスペクト比の長方形である。従って、Ｎ×Ｍのブロックサイズは、以下のいずれかである。
Ｎ＝Ｍ、この場合、resultingShiftは、整数かつ、Ｓ＝Ｎ＝Ｍ＝sqrt（ＮＭ）である。
０．５Ｎ＝２Ｍ又は２Ｎ＝０．５Ｍ、この場合、resultingShiftは、整数かつ、Ｓ＝sqrt（ＮＭ）である。
resultingShift ＝１５−（０．５ｌｏｇ_２（Ｎ）＋０．５ｌｏｇ_２（Ｍ）＋bitDepth）
＝１５−（ｌｏｇ_２（Ｓ）＋bitDepth）

係数は、その後、量子化され、ここで、量子化因子は、量子化パラメータに応じて抽出される。

なお、resultingShiftは、整数に等しく、従って、共通スケーリングファクターは、２の累乗の整数であり、変換処理の全体の左シフト'resultingShift'も、等しいが逆である右シフト'quantTransformRightShift'の適用によって、この段階で考慮される。

resultingShiftが整数であるため、このビットシフト動作が可能である。

なお、因子−ＱＰ（量子化パラメータ又はインデックス）関係は、上述のように、６によるＱＰにおける増加が、因子を２倍にする効果を有し、一方で、３によるＱＰの減少が、sqrt（２）（２の平方根）倍による因子の減少の効果を有する基数２出力曲線に従う。

４：２：２におけるクロマフォーマットに起因して、多くのＴＵ幅：高さ（Ｎ：Ｍ）比が存在する。
Ｎ＝Ｍ（前から） ここで、Ｓ＝Ｎ＝Ｍ＝sqrt（ＮＭ）である（resultingShifは整数）。
０．５Ｎ＝２Ｍ及び２Ｎ＝０．５Ｍ（前から） ここで、Ｓ＝sqrt（ＮＭ）である（resultingShifは整数）。
Ｎ＝２Ｍ ここで、Ｓ＝sqrt（ＮＭ）である。
２Ｍ＝Ｎ ここで、Ｓ＝sqrt（ＮＭ）である。
４Ｎ＝０．５Ｍ ここで、Ｓ＝sqrt（ＮＭ）である。
resultingShift＝＝１５−（ｌｏｇ_２（Ｓ）＋bitDepth）

これら後者の３つの状況では、"resultingShift"は整数ではない。例えばこれは、ビデオデータサンプルのブロックの少なくともいくつかがＭ×Ｎサンプルであって、Ｎ／Ｍの平方根が２の整数乗に等しくならない場合に当てはまる。このようなブロックサイズは、いくつかの実施形態において、クロマサンプルについて起こり得る。

したがって、このような場合には、以下のような手法が知られている。すなわち、ビデオ符号化方法またはビデオ復号化方法においては、装置またはプログラムが、変換行列の次元に応じた量によって正規化された変換の値毎にそれぞれスケーリングされた整数値のアレイを有する変換行列を用いて、複数ブロックからなるビデオデータサンプルを周波数変換することで、複数のブロックからなる量子化空間周波数データを生成し、その空間周波数データを、選択された量子化ステップのサイズに応じて量子化するように動作する。当該量子化ステップは、ビデオデータサンプルのブロックを、変換行列及びその転置行列によって行列乗算することによって当該ブロックを周波数変換して、スケーリングされた空間周波数係数のブロックを生成するステップを含む。この空間周波数係数はそれぞれ、共通のスケーリングファクター（例えば、"resultingShift"）のために、ビデオデータサンプルの上記ブロックの正規化された周波数変換の結果として生じる空間周波数係数よりも大きくなる。

したがって量子化段階においては、適切なビットシフト処理であっても、単純な方法で処理をキャンセルするためには用いることができない。

この問題に対する解決策が以下の通り提案される。
量子化部段階において、右シフトを適用する：
quantTransformRightShift＝１５−ｌｏｇ_２（Ｓ'）−bitDepth
ここで、値Ｓ'は以下から導出される。
resultingShift- quantTransformRightShift＝＋１／２
ここで、quantTransformRightShiftは整数である。

このシフト間の差１／２は、２の平方根を乗算することに等しい。すなわち、ここでは、係数は２の平方根倍だけ大きくなるため、ビットシフトは整数ビットシフトとなる。

この量子化プロセスのために、（ＱＰ＋３）の量子化パラメータを適用する。これにより、量子化因子が２の平方根という因数によって効果的に増加し、これにより２の平方根のスケール因子をそれより前のステップからキャンセルできる。

したがって、これらのステップ（すなわち、ビデオ符号化方法及びビデオ復号化方法において、（または対応する装置またはプログラムにおいて、）変換行列の次元に応じた量によって正規化された変換行列の値毎にそれぞれスケーリングされた整数値のアレイを有する変換行列を用いて、複数ブロックからなるビデオデータサンプルを周波数変換することで、複数のブロックからなる量子化空間周波数データを生成し、その空間周波数データを、選択された量子化ステップのサイズに応じて量子化するように動作し、当該量子化ステップは、ビデオデータサンプルのブロックを、変換行列及びその転置行列によって行列乗算することによって当該ブロックを周波数変換して、スケーリングされた空間周波数係数のブロックを生成するステップを含み、この空間周波数係数はそれぞれ、共通のスケーリングファクター（例えば、"resultingshift"）のために、ビデオデータサンプルの上記ブロックの正規化された周波数変換の結果として生じる空間周波数係数よりも大きくなること。）は以下のように要約される。

空間周波数係数の量子化のための量子化ステップサイズを選択する。スケーリングされた各空間周波数係数を２^ｎの倍数（ｎは整数）で分割するために、ｎビットシフト（例えば、quantTransformRightShift）を適用する。２^ｎで割り切れる共通の剰余スケーリングファクター（例えば、resultingShift- quantTransformRightShift）を検出する。

例えば、上述の状況では、量子化ステップサイズは剰余スケーリングファクターに従って修正された量子化ステップサイズを生成し、ブロックにおいてスケーリングされた各空間周波数係数は、当該修正された量子化ステップサイズに依存する値によって除算され、その結果が整数値へ丸められて、量子化空間周波数データのブロックが生成される。

上述したように、量子化ステップサイズの修正は、ＱＰが量子化ステップサイズのテーブル内にマッピングされた場合に、ＱＰに対してオフセット値を単に加えて異なる量子化ステップサイズを選択するだけで実行可能である。

上記係数はこれにより元のＱＰに対して正しい大きさのものになる。

上記変換行列は、変換行列の次元に応じた量によって正規化された変換行列の値毎にそれぞれスケーリングされた整数値の配列を有する。

その結果、Ｓ'に要求される値は常に下記のように導かれる；
Ｓ'＝sqrt（２^＊Ｍ^＊Ｎ）

これに代えて、Ｓ'は下記のように導かれてもよい；
resultingShift−quantTransformRightShift＝−１／２
この場合、Ｓ'= sqrt(１／２^＊Ｍ^＊Ｎ)であり、適用される量子化パラメータは（ＱＰ−３）である。

これらのいずれの場合（ＱＰに３を加える場合またはＱＰから３を減じる場合）も、量子化ステップサイズを選択するステップは、量子化インデックス（例えばＱＰ）を選択することを含む。この量子化インデックスは、各量子化ステップサイズのテーブルにおける各エントリを定義する。また修正ステップは、異なる量子化ステップサイズを選択して、上記異なる量子化ステップサイズと、当初選択された量子化ステップサイズとの比が実質的に剰余スケーリングファクターと等しくなるように、量子化インデックスを変更することを含む。

これは、本実施形態のように、テーブル中の量子化ステップサイズの連続する値が対数的に関連しており、ｍ（ｍは整数）という量子化インデックス（例えばＱＰ）の変更が、ｐという因数（ｐは２以上の整数）による量子化ステップサイズの変更と等しい場合に、特に効果的である。本実施形態では、ｍ＝６、ｐ＝２であり、ＱＰにおける６の増加は、入力される量子化ステップサイズが２倍になることを意味し、ＱＰにおける６の減少は、出力される量子化ステップサイズが１／２になることを意味する。

上述したように、上記変更は、ルミナンスサンプルに関して量子化インデックス（例えば、基数であるＱＰ）を選択し、ルミナンスサンプルに関して選択された量子化インデックスに対して量子化インデックスオフセットを生成し、クロミナンス要素のそれぞれ又は双方のサンプルについて、量子化インデックスオフセットを剰余スケーリングファクターに従って変更し、量子化インデックスオフセットを、符号化されたビデオデータに関連して通信することで実行可能である。ＨＥＶＣの実施形態では、２つのクロマチャンネルに対するＱＰオフセットは、ビットストリームで送信される。これらのステップは、（剰余スケーリングファクターを構成する）±３のＱＰオフセットがこれらのオフセットに組み込まれ、またはそれらのオフセットがクロマＱＰを導くために用いられる場合にインクリメント／デクリメントされるようなシステムに対応する。

ここで、ＱＰオフセットは、異なる形態のブロックが用いられた場合には、±3である必要はない。±３というのは、例えば４：２：２ビデオについて、上述したブロックの形態及びアスペクト比に適用可能なオフセット値を指すのみである。

いくつかの実施形態では、ｎ（入力されるビットシフト）は２^ｎが共通のスケーリングファクター以上になるように選択されてもよい。他の実施形態では、ｎは２^ｎが共通のスケーリングファクター以下になるように選択されてもよい。開示の実施形態（上記両方の設定を用いる）では、ビットシフトｎは、共通のスケーリングファクターに２番目に（いずれの方向でも）近くなるように選択される。これにより、剰余スケーリングファクターは２未満の大きさを有する因数を表すこととなる。

他の実施形態では、上記量子化ステップサイズの修正は、単に量子化ステップサイズと剰余スケーリングファクターに応じて因数を乗算することで実行されてもよい。すなわち、上記修正はインデックスＱＰの修正を伴わなくてもよい。

また、上述した量子化ステップサイズは、変換されたサンプルが除算される実際の量子化ステップサイズである必要はない。このように導き出される量子化ステップサイズは、さらに修正され得る。例えば、ある手法では、量子化ステップサイズは、行列値（Ｑ行列）のそれぞれのエントリによって、異なる最終量子化ステップサイズが、係数の量子化ブロックにおける異なる係数位置において用いられるように、さらに修正される。

また、４：２：０方式では、最大のクロマＴＵは１６×１６であるが、４：２：２方式では、ＴＵは１６×３２であってもよく、４：４：４のスキームでは、ＴＵは３２×３２であってもよい。結果的に、一実施形態では、クロマＴＵが３２×３２である量子化行列（Ｑ行列）が提案される。同様に、Ｑ行列は、より大きな正方形のＱ行列のサブサンプリングとしての実施形態とともに、１６×３２等の非正方形の行列として定義される。

Ｑ行列は、以下の(1)から(5)のいずれかによっても定義され得る。
（１）グリッド中の値（４×４及び８×８のＱ行列において）
（２）より小さいまたはより大きい行列から空間補間されたもの；
ＨＥＶＣでは、より大きい行列がより小さい参照Ｑ行列の係数の各グループから導出され得る。また、より小さい行列が、より大きい行列からサブサンプリングされ得る。ここで、この補間またはサブサンプリングは、あるチャンネル比内で実行され得る。例えば、あるチャンネル用のより大きい行列は、他のチャンネル用のより小さい行列から補間され得る。
（３）他のＱ行列との比較によって（すなわち、異なる値または差分）；
したがって差分のみ送信される必要がある。
単に図示のために小さい例を挙げると、１つのチャンネル比用の特定の行列が、４：２：０における４×４の行列として以下のように定義され得る。
（ａ ｂ）
（ｃ ｄ）
ここで、ａ、ｂ、ｃ及びｄはそれぞれ係数である。これは参照行列として動作する。
そうすると、開示の各実施形態は、他のチャンネル比についての類似のサイズの行列に対して、異なる値のセットを以下のように定義できる。
（diff１ diff２）
（diff３ diff４）
これにより、他のチャンネル比用にＱ行列を生成するために、行列間の差異は、参照行列に行列を加えたことによるものである。
これらの差異に代えて、他のチャンネル比用に、乗算因数からなる行列が定義されてもよい。例えば、（ｉ）乗算因数からなる行列は、行列が参照行列と乗算されて他のチャンネル比用のＱ行列が生成され、または、（ｉｉ）参照行列における各係数が個別に各因数と乗算され他のチャンネル比用のＱ行列が生成される。
（４）他のＱ行列の関数として；
例えば、他の行列とのスケーリング比（上記の例におけるａ、ｂ、ｃ、ｄの各値がいくつかの因数と乗算され、または各値に同じ差分値が加えられたもの）である。これは、差分データまたは因数データを送信するのに必要なデータを削減することになる。したがって、それら関数の係数のみが送信されればよい（例えばスケーリング比）。
（５）方程式／関数（例えば、区分的線形曲線、指数関数、多項式）として
したがって、行列の導出には、方程式の係数のみ、または上記のいずれかの組み合わせが送信されればよい。例えば、ａ、ｂ、ｃ、ｄは実際、行列内の係数位置（ｉ、ｊ）と依存関係を有する関数として定義され得る。（ｉ、ｊ）は、例えば、行列の左から右に亘る係数位置と、上部から下部に亘る係数位置を表す。一つの例として、以下のものが挙げられる。
coefficient i,j＝３ｉ＋２ｊ

ここで、行列は、ＨＥＶＣ環境では、スケーリングリストとして参照され得る。量子化がスキャニング工程の後に適用される実施形態では、スキャンされたデータは、連続したデータサンプルからなる線形ストリームとなり得る。このような例では、Ｑ行列の概念はやはり適用できるが、行列（またはスキャニングリスト）は１×Ｎの行列として考えられ、１×Ｎの行列内のＮのデータ値の配列は、それぞれのＱ行列の値が適用されるスキャンされたサンプルの配列に対応する。換言すると、スキャンされたデータにおけるデータの配列（スキャンパターンに応じた空間周波数）と、１×ＮのＱ行列におけるデータ配列には、１：１の関係が成立する。

ここで、いくつかの実装では、ＤＣＴ（周波数分離）段階は回避または省略され得るが、量子化段階は実行され得る。

他の有用な情報は、前のチャンネルまたは最初の（初期の）チャンネルといった、その値が関係する他の行列の付加的な指標を含む。例えば、上述したように、Ｃｒ用の行列はＹ用の行列またはＣｂ用の行列のスケーリングされた要素となり得る。

したがって、開示の実施形態は、（付加的に）ビデオデータサンプルのブロックに対して周波数変換処理を実行し、配列されたサンプルブロック（例えば、周波数変換サンプルの配列されたブロック）内の異なるそれぞれのブロック位置に用いるための、選択された量子化ステップサイズと量子化ステップサイズを修正するデータの行列とにしたがって、ビデオデータを（空間周波数データとして）量子化することで、量子化空間周波数データのブロックを生成可能なビデオ符号化方法またはビデオ復号化方法（及び対応する装置またはプログラム）を提供できる。当該方法は、少なくとも２つの異なるクロミナンスサブサンプリングフォーマットについて適用可能である。

クロミナンスサブサンプリングフォーマットの少なくとも１つのために、１以上の量子化行列が、上記クロミナンスサブサンプリングフォーマットの参照行列用に定義された１以上の参照量子化行列に関する１以上の所定の修正として定義される。

開示の実施形態では、上記定義ステップは、参照量子化行列の複数の値からそれぞれ取り込まれた値の行列として、１以上の量子化行列を定義することを含む。他の実施形態では、上記定義ステップは、参照量子化行列の値からそれぞれサブサンプリングされた値の行列として、１以上の量子化行列を定義することを含む。

開示の実施形態では、上記定義ステップは、参照量子化行列の対応する値に関する差分の行列として、１以上の量子化行列定義することを含む。

開示の実施形態では、上記定義ステップは、参照量子化行列の値の所定の関数として、１以上の量子化行列を定義することを含む。この場合、所定の関数は多項式関数であってもよい。

開示の実施形態では、例えば符号化ビデオデータの一部またはその関連データとして、下記の（ｉ）及び（ｉｉ）うち１つまたは両方が提供される。
（ｉ）符号化されたビデオデータについて、参照量子化行列を示すための参照指示データ
（ｉｉ）符号化されたデータの値について、１以上の所定の修正を示すための修正指示データ

これらの技術は、クロミナンスサブサンプリングフォーマットのうちの２つが４：４：４フォーマット及び４：２：２フォーマットである場合に特に適用できる。

ＨＥＶＣ４：２：０におけるＱ行列の数は、昨今では、対応するチャンネル用の変換サイズごとに６つであり、イントラ及びインターごとに１セットである。４：４：４ＧＢＲの場合、量子化行列のいずれかのセットが、全てのチャンネルについて使用可能であり、または、量子化行列の３つの各セットが使用可能である。

開示の実施形態では、少なくとも行列のうち少なくとも１つは１×Ｎ行列である。これは、（上述したように、）１以上の行列が、実際にはスケーリングリストまたはそれと同様のものであり、線形の１×Ｎに配列された係数のアレイである場合である。

ここで提案した方法は、適用されたＱＰをインクリメントまたはデクリメントすることを含む。しかし、これは様々な手法で実現され得る。

ＨＥＶＣでは、２つのクロマチャンネル用のＱＰオフセットは、ビットストリームで送信される。これらのオフセットに±３が取り込まれ、またはそれらがクロマＱＰを導出するのに用いられる場合には±３がインクリメントまたはデクリメントされる。

上述したように、ＨＥＶＣでは、（ルナＱＰ＋クロマオフセット）が、クロマＱＰを導出するためにテーブルへのインデックスとして用いられる。このテーブルは、±３を取り込むように修正され得る（すなわち、元のテーブルの値が３によってインクリメントまたはデクリメントされる）。

クロマＱＰが導出された後、通常のＨＥＶＣプロセスにより、処理結果が３だけインクリメントまたはデクリメントされる。

順方向または逆方向の量子化のために、量子化係数または量子化ステップサイズ（inverseQStep/scaledQStep）を取得するためのテーブルへのインデックスとして、（ＱＰ ％ ６）が用いられることで、除算／乗算プロセスが実施される。（ＱＰ ％ ６は、６を法とするＱＰを意味する。）上述したように、これは変換データに適用される最終の量子化ステップサイズを表すものではなく、当該量子化ステップサイズは使用前にＱ行列によってさらに修正され得る。

ＨＥＶＣのデフォルトテーブルは６の長さを有し、８つの（２倍の）値をカバーする。これは単に記憶容量に関する要求を軽減するためであり、テーブルは、実際の使用のために、ＱＰの法（ｍｏｄ ６）に従ってテーブル中のエントリを選択することで拡張され、所定の基準値からの（ＱＰ-６を法とするＱＰ）の差に従って、適切な２の累乗によって乗算または除算される。

本実施形態は、ＱＰ値におけるオフセット±３を実現するために変形され得る。このオフセットは、テーブルルックアッププロセスにおいて適用されてもよいし、それに代えて修正されたＱＰを使った上記法プロセスが実行されてもよい。オフセットは、テーブルルックアップにおいて適用されることが想定されているが、テーブルにおける追加のエントリが以下のように提供されてもよい。

１つ目の代替手法は、テーブルを３つのエントリによって拡張することである。ここで、新しいエントリは下記の通りである（インデックス値６−８用）。

図３０に例示されたテーブルは、［（ＱＰ％６）＋３］（ＱＰインクリメント法）によってインデックスされている。ＱＰ％６は、６を法とするＱＰを意味する。

図３１に例示されたテーブルは、［（ＱＰ％６）−３］（ＱＰデクリメント法）によってインデックスされており、インデックス値−１から−３用に追加のエントリを有している。

エントロピ符号化
基本的なエントロピ符号化では、符号語が入力データシンボルに割り当てられ、最短の利用可能な符号語が、入力データにおける最も確からしいシンボルに割り当てられる。平均すると、その結果は、無損失であるが、入力データのごく小さなリプレゼンテーションがある。

この基本的な方法は、シンボル確率が、しばしば直前のデータ上で暫定的であることを考慮することによってさらに改善され、これにより、割り当てプロセスのコンテキストが適応される。

このような方法では、コンテキスト変数（ＣＶ：Context Variable）が使用されて各確率モデルの選択が決定され、このようなＣＶが、ＨＥＶＣ４：２：０方式において提供される。

４：２：２方式のエントロピ符号化を拡張するために、例えば、８×８ルマＴＵに対して４×４ＴＵでなく、４×８クロマＴＵが使用され、選択的に、単純に垂直方向で同じＣＶの選択を繰り返すことによって、コンテキスト変数が提供される。

しかしながら、本発明の一実施形態では、ＣＶの選択は、左上の係数（高エネルギー、ＤＣ及び／又は低空間周波数係数）に対しては繰り返して行われず、代わりに、新たなＣＶが抽出される。この場合、例えば、ルママップからマッピングが抽出されてもよい。この方法は、４：４：４方式において使用されてもよい。

符号化の間、４：２：０方式では、いわゆるジグザグスキャン（zig-scan）が、高周波数から低周波数へと順番に係数をスキャンする。しかしながら、この場合もやはり、４：２：２方式におけるクロマＴＵは非正方形であり、従って、本発明の一実施形態では、さらに水平方向とされるように、より一般的には、ＴＵのアスペクト比に対応して、スキャンの角度が傾けられた異なるクロマスキャンが提案される。

重要性マップのＣＶの選択のための近接、並びに、１又は２大きいＣＶの選択のためのｃ１／ｃ２システムが、対応して適応される。

同様に、本発明の一実施形態では、最後の有意係数（復号化における開始位置となる）は、共同位置ルマＴＵにおける最後の有意位置から差動的に符号化されたクロマＴＵに対する最後の有意位置で、４：４：４方式に対して調整を行うこともできる。

係数スキャニングは、特定のＴＵサイズに依存する予測モードで行うこともできる。従って、イントラ予測モードに基づく同じＴＵサイズに対して、異なるスキャンオーダが使用され得る。

４：２：０方式では、モード依存係数スキャニング（ＭＤＣＳ：Mode Dependent Coefficient Scanning）は、イントラ予測について４×４／８×８ルマＴＵ及び４×４クロマＴＵに適用されるのみである。

本発明の一実施形態では、４：２：２方式において、ＭＤＣＳが、イントラ予測について４×８及び８×４クロマＴＵに適用されることが提案される。同様に、４：４：４方式において、ＭＤＣＳが８×８及び４×４クロマＴＵに適用されることが提案される。

インループフィルタ
非ブロック化（Deblocking）
非ブロック化は、全てのＣＵ、ＰＵ及びＴＵ境界に適用され、ＣＵ／ＰＵ／ＴＵ形状は、考慮されない。フィルタ強度及びサイズは、局所的な統計に依存し、また、非ブロック化は、８×８ルマピクセルの粒度を持つ。

従って、４：２：０方式に適用される現在の非ブロック化が、４：２：２及び４：４：４方式においても適用されると予測される。

サンプル適応オフセット
サンプル適応オフセット（ＳＡＯ：Sample Adaptive Offsetting）では、各チャネルは、完全に独立である。ＳＡＯは、四分木を使用して、各チャネルについて画像データを分割し、生成されたブロックは、その大きさが少なくとも１つのＬＣＵの大きさとされる。リーフブロックは、ＬＣＵ境界に合わせられ、各リーフは、エンコーダにより決定された、３つのモードのうちの１つで動作することができる（中央バンドオフセット、サイドバンドオフセット、又はエッジオフセット）。各リーフは、そのピクセルを分類し、また、エンコーダは、ＳＡＯ入力データ及びソースデータを比較することによって、１６カテゴリのそれぞれに対するオフセット値を導き出す。これらのオフセットは、デコーダに送られる。復号化されたピクセルカテゴリに対するオフセットは、その値に加えられて、ソースからの偏差が最小化される。

さらに、ＳＡＯは、ピクチャレベルで有効化又は無効化され、仮に、ルマで有効化される場合、各クロマチャネルとは別に有効化され得る。

従って、この処理は、下層ブロック方式に対して非常に透過的であり、４：２：０方式に適用されている現在のＳＡＯが、４：２：２及び４：４：４方式に対しても適用可能であると予測される。

適応ループフィルタリング
４：２：０方式では、適用ループフィルタリング（ＡＬＦ：Adaptive Loop Filtering）は、基準設定において無効とされている。しかしながら、原則的には（許されるなら）、ＡＬＦは、クロマについてピクチャ全体に適用される。

ＡＬＦでは、ルマサンプルは、１５カテゴリのうちの１つに記憶され、各カテゴリは、異なるウィナー型フィルタを使用する。

これに反して、４：２：０では、クロマサンプルは、分類されておらず、Ｃｂに対して１つ、Ｃｒに対して１つのウィナー型フィルタが存在するのみである。

従って、本発明の一実施形態では、４：２：２及び４：４：４方式での増加するクロマ情報を考慮して、クロマサンプルが、例えば、４：２：２について７カテゴリに、４：４：４について１５カテゴリに分類されることが提案される。

一方、４：２：０方式では、ＡＬＦは、ＡＬＦ制御フラグ（ＡＬＦ制御深度によって特定されたＣＵレベルまで）を使用する、ＣＵ毎を基準としたルマについて無効とされ、ピクチャ毎を基準としたクロマについて無効とされる。

従って、本発明の一実施形態では、クロマについて１つまたは２つのチャネル固有ＡＬＦ制御フラグを有する４：２：２又は４：４：４方式が提案される。

シンタックス
ＨＥＶＣでは、４：２：０、４：２：２又は４：４：４方式を示すために、シーケンスレベルで示されるシンタックスが提案されている。しかしながら、本発明の一実施形態では、このレベルで、４：４：４ＧＢＲをも示すことが提案される。

データ信号
上述の符号化装置の変形例により生成されたデータ信号及び、このような信号を送信する記憶装置又は伝送媒体は、本発明の実施形態を表すと考えられることが理解されよう。

上述の実施形態の各特徴は、以下の番号の条項によって定義される。
１． 4:2:2フォーマットのビデオ信号の画像において使用可能なビデオ符号化方法であって、
符号化されるべき画像を、複数の符号化ユニット、複数の予測ユニット、及び複数の変換ユニットへ分割し、前記符号化ユニットは、ルミナンスサンプル及び対応するクロミナンスサンプルの方形のアレイであり、１つの前記符号化ユニット内に１つ以上の予測ユニット及び１つ以上の変換ユニットが存在し、前記予測ユニットは、予測処理の基本ユニットであって１つの予測ユニット内の全てのサンプルが共通の予測技術を用いて予測され、前記変換ユニットは、変換及び量子化の基礎ユニットであり、
非方形の予測ユニットを許容すべく非方形変換処理を可能とし、
変換ユニットのブロックサイズを、前記予測ユニットのブロック配列に合致するように選択する
ビデオ符号化方法。
２． 上記１に記載のビデオ符号化方法であって、
１つの符号化ユニットに対応する２つ以上の予測ユニット間の非対称を許容すべく非対称運動を可能とすることをさらに含む
ビデオ符号化方法。
３． 上記１または２に記載のビデオ符号化方法であって、
前記変換ユニットのブロックサイズを選択するステップは、
前記予測ユニットに対応する画像の一部から画像特徴を検出すること、及び、
前記変換ユニットの境界を前記画像の一部における画像特徴のエッジと一致させるように前記予測ユニットについての変換ユニットブロックサイズを選択すること
をさらに含むビデオ符号化方法。
４． 上記３に記載のビデオ符号化方法であって、
前記変換ユニットのブロックサイズを選択するステップは、
各予測ユニットのサイズについて定義された部分からなるツリー階層にしたがって、符号化ユニットから導出される１以上の変換ユニット用に変換ユニットのブロックサイズを選択することを含む
ビデオ符号化方法。
５． 上記１〜４のいずれか１項に記載のビデオ符号化方法であって、
前記変換ユニットのブロックサイズを選択するステップは、選択された符号化ユニット及び予測ユニットの構造にしたがって、下記の表から変換ユニットのブロックサイズを選択することを含み、
上記表中、レベル０、レベル１、レベル２は、上記ツリー階層の部分における連続するレベルを示し、n/aは世用されないモードを示し、各ブロックサイズは（幅寸法）×（高さ寸法）×（存在する場合、事例の数）を示し、Nは１より大きい整数を示す
ビデオ符号化方法。
６． 上記１〜４のいずれか１項に記載のビデオ符号化方法であって、
前記変換ユニットのブロックサイズを選択するステップは、選択された符号化ユニット及び予測ユニットの構造にしたがって、下記の表から変換ユニットのブロックサイズを選択することを含み、
上記表中、レベル０、レベル１、レベル２は、上記ツリー階層の部分における連続するレベルを示し、n/aは世用されないモードを示し、各ブロックサイズは（幅寸法）×（高さ寸法）×（存在する場合、事例の数）を示し、Nは１より大きい整数を示す
ビデオ符号化方法。
７． 上記１〜６のいずれか１項に記載のビデオ符号化方法であって、
非方形の変換ユニットを、当該変換ユニットの変換または量子化の前に、複数の方形ユニットへと分割するステップをさらに有する
ビデオ符号化方法。
８． コンピュータによって起動され、コンピュータに上記１〜７のいずれか１項の方法を実行させるプログラム。
９． 上記８に記載のプログラムを記憶した機械読み取り可能な非一時的記憶媒体。
１０． 上記１〜７のいずれか１項に記載の方法にしたがって生成された符号化データを含むデータ信号。
１１． 4:2:2フォーマットのビデオ信号の画像において使用可能なビデオ符号化装置であって、
符号化されるべき画像を、複数の符号化ユニット、複数の予測ユニット、及び複数の変換ユニットへ分割し、前記符号化ユニットは、ルミナンスサンプル及び対応するクロミナンスサンプルの方形のアレイであり、１つの前記符号化ユニット内に１つ以上の予測ユニット及び１つ以上の変換ユニットが存在し、前記予測ユニットは、予測処理の基本ユニットであって１つの予測ユニット内の全てのサンプルが共通の予測技術を用いて予測され、前記変換ユニットは、変換及び量子化の基礎ユニットであり、
非方形の予測ユニットを許容すべく非方形変換処理を可能とし、
変換ユニットのブロックサイズを、前記予測ユニットのブロック配列に合致するように選択する
ように構成された制御部を有する
ビデオ符号化装置。

上述の実施形態はさらに、以下の番号の条項によって定義される。
１． 入力ビデオデータの符号化にインター予測を用いるビデオ復号化方法であって、各クロミナンス要素は、ルミナンス要素の１／Ｍの水平方向の解像度及び１／Ｎの垂直方向の解像度を有し、上記Ｍ及びＮは１以上の整数であり、上記方法は、
現在の画像より先の１以上の画像を記憶し、
補間された予測ユニットのルミナンス要素が前記記憶された画像の対応する部分のＰ倍の水平解像度とＱ倍の垂直解像度を有するように（Ｐ及びＱは２以上の整数）、前記記憶された画像のより高解像度のバージョンの予測ユニットを補間し、
現在の画像と１以上の記憶された補間画像との間のインター画像の動きを検出して、現在の画像の予測ユニットと１以上の先の画像の領域との間の動きベクトルを生成し、
それぞれの動きベクトルによって示された記憶された補間画像の領域について、現在の画像の予測ユニットの動き補償予測を生成し、
前記補間ステップは、記憶された画像のクロミナンス要素に対して、水平方向がｘＲ、垂直方向がｘＳの補間フィルタを適用して補間クロミナンス予測ユニットを生成し（Ｒは（ＵｘＭｘＰ）に等しく、Ｓは（ＶｘＮｘＱ）に等しく、Ｕ及びＣは１以上の整数である）、
補間されたクロミナンス予測ユニットをサブサンプリングして、その水平解像度がUの因数によって分割され、その垂直解像度がＶの因数によって分割され、ＭＰｘＮＱサンプルのブロックが生成されるようにする
ことを含むビデオ復号化方法。
ここで、上記検出ステップは、復号化処理においては必要ではない場合もある。これは、デコーダは、エンコーダによって提供された（例えば、ビデオデータストリームの一部として）動きベクトルを使用することができるからである。
２． 上記１に記載のビデオ復号化方法であって、
上記Ｍ＝２かつＮ＝１である
ビデオ復号化方法。
３． 上記２に記載のビデオ復号化方法であって、
上記入力ビデオデータは４：２：２フォーマットである
ビデオ復号化方法。
４． 上記３に記載のビデオ復号化方法であって、
上記補間クロミナンス予測ユニットは、そのサンプルにおいて、上記ｘＲ及びｘＳの補間フィルタを用いて補間された４：２：０フォーマットの予測ユニットの２倍の高さを有する
ビデオ復号化方法。
５． 上記２に記載のビデオ復号化方法であって、
当該方法は、上記水平方向ｘＲ、垂直方向ｘＳの同じ補間フィルタを用いて、４：２：０入力ビデオデータと４：２：２入力ビデオデータとで別個に動作可能である
ビデオ復号化方法。
６． 上記１〜５のいずれか１項に記載のビデオ復号化方法であって、
Ｐ＝４である
ビデオ復号化方法。
７． 上記１〜６のいずれか１項に記載のビデオ復号化方法であって、
Ｑ＝４である
ビデオ復号化方法。
８． 上記１〜７のいずれか１項に記載のビデオ復号化方法であって、
上記補間クロミナンス予測ユニットのサブサンプリングステップは、垂直方向において、補間クロミナンス予測ユニットの各Ｖ番目のサンプルを用いる
ビデオ復号化方法。
９． 上記１〜８のいずれか１項に記載のビデオ復号化方法であって、
上記補間クロミナンス予測ユニットのサブサンプリングステップは、垂直方向において、補間クロミナンス予測ユニットの各Ｕ番目のサンプルを用いる
ビデオ復号化方法。
１０． 上記１〜９のいずれか１項に記載のビデオ復号化方法であって、
予測ユニット用にルミナンス動きベクトルを導出するステップと、
上記予測ユニット用に、上記ルミナンス予測動きベクトルの導出とは独立して、クロミナンス動きベクトルを導出するステップと
をさらに有するビデオ復号化方法。
１１． 上記１〜１０のいずれか１項に記載のビデオ復号化方法であって、
少なくとも上記ＲとＳの一方は２以上である
ビデオ復号化方法。
１２． 上記１〜１１のいずれか１項に記載のビデオ復号化方法であって、
水平方向ｘＲ及び垂直方向ｘＳの補間フィルタを、上記記憶された画像のルミナンス要素に適用するステップをさらに有する
ビデオ復号化方法。
１３． 上記１〜１２のいずれか１項に記載のビデオ復号化方法であって、
上記サブサンプリングステップは、補間クロミナンス予測ユニットのサンプルのサブセットを選択することを含む
ビデオ復号化方法。
１４． 入力ビデオデータの符号化にインター予測を用いるビデオ符号化方法であって、各クロミナンス要素は、ルミナンス要素の１／Ｍの水平方向の解像度及び１／Ｎの垂直方向の解像度を有し、上記Ｍ及びＮは１以上の整数であり、上記方法は、
現在の画像より先の１以上の画像を記憶し、
補間された予測ユニットのルミナンス要素が前記記憶された画像の対応する部分のＰ倍の水平解像度とＱ倍の垂直解像度を有するように（Ｐ及びＱは２以上の整数）、前記記憶された画像のより高解像度のバージョンの予測ユニットを補間し、
現在の画像と１以上の記憶された補間画像との間のインター画像の動きを検出して、現在の画像の予測ユニットと１以上の先の画像の領域との間の動きベクトルを生成し、
それぞれの動きベクトルによって示された記憶された補間画像の領域について、現在の画像の予測ユニットの動き補償予測を生成し、
前記補間ステップは、記憶された画像のクロミナンス要素に対して、水平方向がｘＲ、垂直方向がｘＳの補間フィルタを適用して補間クロミナンス予測ユニットを生成し（Ｒは（ＵｘＭｘＰ）に等しく、Ｓは（ＶｘＮｘＱ）に等しく、Ｕ及びＣは１以上の整数である）、
補間されたクロミナンス予測ユニットをサブサンプリングして、その水平解像度がUの因数によって分割され、その垂直解像度がＶの因数によって分割され、ＭＰｘＮＱサンプルのブロックが生成されるようにする
ことを含むビデオ符号化方法。
１５． コンピュータによって起動され、コンピュータに上記１〜１４のいずれか１項の方法を実行させるプログラム。
１６． 上記１５に記載のプログラムを記憶した機械読み取り可能な非一時的記憶媒体。
１７． 上記１〜１４のいずれか１項に記載の方法にしたがって生成された符号化データを含むデータ信号。
１８． 入力ビデオデータの符号化にインター予測を用いるビデオ復号化装置であって、各クロミナンス要素は、ルミナンス要素の１／Ｍの水平方向の解像度及び１／Ｎの垂直方向の解像度を有し、上記Ｍ及びＮは１以上の整数であり、上記装置は、
現在の画像より先の１以上の画像を記憶する記憶部と、
補間された予測ユニットのルミナンス要素が前記記憶された画像の対応する部分のＰ倍の水平解像度とＱ倍の垂直解像度を有するように（Ｐ及びＱは２以上の整数）、前記記憶された画像のより高解像度のバージョンの予測ユニットを補間する補間部と、
現在の画像と１以上の記憶された補間画像との間のインター画像の動きを検出して、現在の画像の予測ユニットと１以上の先の画像の領域との間の動きベクトルを生成する検出部と、
それぞれの動きベクトルによって示された記憶された補間画像の領域について、現在の画像の予測ユニットの動き補償予測を生成する生成部とを有し、
前記補間部は、
記憶された画像のクロミナンス要素に対して、水平方向がｘＲ、垂直方向がｘＳの補間フィルタを適用して補間クロミナンス予測ユニットを生成し（Ｒは（ＵｘＭｘＰ）に等しく、Ｓは（ＶｘＮｘＱ）に等しく、Ｕ及びＣは１以上の整数である）、
補間されたクロミナンス予測ユニットをサブサンプリングして、その水平解像度がUの因数によって分割され、その垂直解像度がＶの因数によって分割され、ＭＰｘＮＱサンプルのブロックが生成されるようにする
ビデオ復号化装置。
１９． 入力ビデオデータの符号化にインター予測を用いるビデオ符号化装置であって、各クロミナンス要素は、ルミナンス要素の１／Ｍの水平方向の解像度及び１／Ｎの垂直方向の解像度を有し、上記Ｍ及びＮは１以上の整数であり、上記装置は、
現在の画像より先の１以上の画像を記憶する記憶部と、
補間された予測ユニットのルミナンス要素が前記記憶された画像の対応する部分のＰ倍の水平解像度とＱ倍の垂直解像度を有するように（Ｐ及びＱは２以上の整数）、前記記憶された画像のより高解像度のバージョンの予測ユニットを補間する補間部と、
現在の画像と１以上の記憶された補間画像との間のインター画像の動きを検出して、現在の画像の予測ユニットと１以上の先の画像の領域との間の動きベクトルを生成する検出部と、
それぞれの動きベクトルによって示された記憶された補間画像の領域について、現在の画像の予測ユニットの動き補償予測を生成する生成部とを有し、
前記補間部は、
記憶された画像のクロミナンス要素に対して、水平方向がｘＲ、垂直方向がｘＳの補間フィルタを適用して補間クロミナンス予測ユニットを生成し（Ｒは（ＵｘＭｘＰ）に等しく、Ｓは（ＶｘＮｘＱ）に等しく、Ｕ及びＣは１以上の整数である）、
補間されたクロミナンス予測ユニットをサブサンプリングして、その水平解像度がUの因数によって分割され、その垂直解像度がＶの因数によって分割され、ＭＰｘＮＱサンプルのブロックが生成されるようにする
ビデオ符号化装置。
２０． 上記１８または１９に記載の装置を有する、ビデオ捕捉装置、表示装置、送信装置、受信装置、または記憶装置。

Claims (22)

1. ４：２：０フォーマットビデオ信号及び４：４：４フォーマットビデオ信号について動作可能な、ビデオ信号を復号化するビデオ復号化方法であって、
   現在の画像よりも前の１以上の記憶された画像から、現在の画像の予測ユニットを生成し、
   前記生成するステップにおいて、
   前記４：２：０フォーマットビデオ信号について、記憶されたルミナンス予測ユニットに、１／４画素補間用の８タップルミナンスフィルタを垂直及び水平に適用し、かつ、記憶されたクロミナンス予測ユニットに、１／８画素補間用の４タップクロミナンスフィルタを水平及び垂直に適用することによって、補間された前記予測ユニットのサンプルを抽出し、
   前記４：４：４フォーマットビデオ信号について、記憶された前記クロミナンス予測ユニットに前記４タップクロミナンスフィルタを水平及び垂直に適用して補間された前記クロミナンス予測ユニットのサンプルを抽出し、水平方向及び垂直方向での補間されたサンプルとして、一つおきの部分位置の結果のみを使用する
   ビデオ復号化方法。
2. 請求項１に記載のビデオ復号化方法であって、
   前記生成するステップにおいて、
   動きベクトルによって示された補間された前記予測ユニットのサンプルにアクセスして、補間された前記予測ユニットのサンプルによって表されるエリアに応じた現在の画像の前記予測ユニットの動き補償予測を生成する
   ビデオ復号化方法。
3. 請求項２に記載のビデオ復号化方法であって、
   前記動きベクトルは、サブピクセル精度動きベクトルである
   ビデオ復号化方法。
4. 請求項３に記載のビデオ復号化方法であって、
   前記４タップクロミナンスフィルタを適用するステップにおいて、
   前記クロミナンス予測ユニットに、一組の４タップクロミナンスフィルタのうちの１つの４タップクロミナンスフィルタを水平に適用し、前記一組の４タップクロミナンスフィルタのうちの前記１つの４タップクロミナンスフィルタを垂直に適用し、
   前記４タップクロミナンスフィルタの選択は、前記動きベクトルに基づいて水平及び垂直に適用される
   ビデオ復号化方法。
5. 請求項４に記載のビデオ復号化方法であって、
   前記４タップクロミナンスフィルタは、部分位置の順番に応じてインデックスされており、
   前記４：４：４フォーマットビデオ信号について、前記抽出するステップにおいて、インデックスされた順番で１つおきの４タップクロミナンスフィルタのサブセットから選択された４タップクロミナンスフィルタを適用する
   ビデオ復号化方法。
6. 請求項５に記載のビデオ復号化方法であって、
   前記１組の４タップクロミナンスフィルタは、７つの４タップクロミナンスフィルタを含む
   ビデオ復号化方法。
7. 請求項１に記載のビデオ復号化方法であって、
   前記１つおきの部分位置の結果が偶数部分位置の結果である
   ビデオ復号化方法。
8. ４：２：０フォーマットビデオ信号及び４：２：２フォーマットビデオ信号について動作可能な、ビデオ信号を符号化するビデオ符号化方法であって、
   現在の画像よりも前の１以上の記憶された画像から、現在の画像の予測ユニットの予測のための動きベクトルを生成し、
   前記生成するステップにおいて、
   前記４：２：０フォーマットビデオ信号について、記憶されたルミナンス予測ユニットに、１／４画素補間用の８タップルミナンスフィルタを垂直及び水平に適用し、かつ、記憶されたクロミナンス予測ユニットに、１／８画素補間用の４タップクロミナンスフィルタを水平及び垂直に適用することによって、補間された前記予測ユニットのサンプルを抽出し、
   前記４：４：４フォーマットビデオ信号について、記憶された前記クロミナンス予測ユニットに、前記４タップクロミナンスフィルタを水平及び垂直に適用して補間された前記クロミナンス予測ユニットのサンプルを抽出し、水平方向及び垂直方向での補間されたサンプルとして、一つおきの部分位置の結果のみを使用する
   ビデオ符号化方法。
9. 請求項８に記載のビデオ符号化方法であって、さらに、
   サブピクセル精度動きベクトルによって示された補間された前記予測ユニットのサンプルにアクセスして、補間された前記予測ユニットのサンプルによって表されるエリアに応じた現在の画像の前記予測ユニットの動き補償予測を生成する
   ビデオ符号化方法。
10. コンピュータにより実行されると、コンピュータに、請求項１に記載された方法を実行させるプログラムを記憶するコンピュータ読み取り可能な非一時的記録媒体。
11. コンピュータにより実行されると、コンピュータに、請求項８に記載された方法を実行させるプログラムを記憶するコンピュータ読み取り可能な非一時的記録媒体。
12. ４：２：０フォーマットビデオ信号及び４：４：４フォーマットビデオ信号について動作可能な、ビデオ信号を復号化するビデオ復号化装置であって、
    現在の画像よりも前の１以上の記憶された画像から、現在の画像の予測ユニットを生成する処理回路を備え、
    前記処理回路は、
    前記４：２：０フォーマットビデオ信号について、記憶されたルミナンス予測ユニットに、１／４画素補間用の８タップルミナンスフィルタを垂直及び水平に適用し、かつ、記憶されたクロミナンス予測ユニットに、１／８画素補間用の４タップクロミナンスフィルタを水平及び垂直に適用することによって、補間された前記予測ユニットのサンプルを抽出し、
    前記４：４：４フォーマットビデオ信号について、記憶された前記クロミナンス予測ユニットに前記４タップクロミナンスフィルタを水平及び垂直に適用して補間された前記クロミナンス予測ユニットのサンプルを抽出し、水平方向及び垂直方向での補間されたサンプルとして、一つおきの部分位置の結果のみを使用する
    ビデオ復号化装置。
13. 請求項１２に記載のビデオ復号装置であって、
    前記処理回路は、
    動きベクトルによって示された補間された前記予測ユニットのサンプルにアクセスして、補間された前記予測ユニットのサンプルによって表されるエリアに応じた現在の画像の前記予測ユニットの動き補償予測を生成することで、前記予測ユニットを生成する
    ビデオ復号化装置。
14. 請求項１３に記載のビデオ復号化装置であって、
    前記動きベクトルは、サブピクセル精度動きベクトルである
    ビデオ復号化装置。
15. 請求項１４に記載のビデオ復号化装置であって、
    前記処理回路は、前記クロミナンス予測ユニットに、一組の４タップクロミナンスフィルタのうちの１つの４タップクロミナンスフィルタを水平に適用し、前記一組の４タップクロミナンスフィルタのうちの前記１つの４タップクロミナンスフィルタを垂直に適用することで、前記４タップクロミナンスフィルタを適用し、
    前記４タップクロミナンスフィルタの選択は、前記動きベクトルに基づいて水平及び垂直に適用される
    ビデオ復号化装置。
16. 請求項１５に記載のビデオ復号化装置であって、
    前記４タップクロミナンスフィルタは、部分位置の順番に応じてインデックスされており、
    前記処理回路は、
    前記４：４：４フォーマットビデオ信号について、インデックスされた順番で１つおきの４タップクロミナンスフィルタのサブセットから選択された４タップクロミナンスフィルタを適用する
    ビデオ復号化装置。
17. 請求項１２に記載のビデオ復号化装置であって、
    前記１つおきの部分位置の結果が偶数部分位置の結果である
    ビデオ復号化装置。
18. 請求項１２に記載のビデオ復号化装置を含むオーディオ／ビデオデータ受信装置。
19. ディスプレイをさらに含む請求項１７に記載のオーディオ／ビデオデータ受信装置。
20. ４：２：０フォーマットビデオ信号及び４：４：４フォーマットビデオ信号について動作可能な、ビデオ信号を符号化するビデオ符号化装置であって、
    現在の画像よりも前の１以上の記憶された画像から、現在の画像の予測ユニットの予測のための動きベクトルを生成する処理回路を備え、
    前記処理回路は、
    前記４：２：０フォーマットビデオ信号について、記憶されたルミナンス予測ユニットに、１／４画素補間用の８タップルミナンスフィルタを垂直及び水平に適用し、かつ、記憶されたクロミナンス予測ユニットに、１／８画素補間用の４タップクロミナンスフィルタを水平及び垂直に適用することによって、補間された前記予測ユニットのサンプルを抽出し、
    前記４：４：４フォーマットビデオ信号について、記憶された前記クロミナンス予測ユニットに、前記４タップクロミナンスフィルタを水平及び垂直に適用して補間された前記クロミナンス予測ユニットのサンプルを抽出し、水平方向及び垂直方向での補間されたサンプルとして、一つおきの部分位置の結果のみを使用する
    ビデオ符号化装置。
21. 請求項２０に記載のビデオ符号化装置であって、
    前記処理回路は、さらに、
    サブピクセル精度動きベクトルによって示された補間された前記予測ユニットのサンプルにアクセスして、補間された前記予測ユニットのサンプルによって表されるエリアに応じた現在の画像の前記予測ユニットの動き補償予測を生成する
    ビデオ符号化装置。
22. イメージセンサと、請求項２０に記載のビデオ符号化装置とを含む画像キャプチャ装置。