JP6339083B2 - ビデオコーディングにおける４：２：２サンプルフォーマットのためのコード化ブロックフラグ（ｃｂｆ）コーディング - Google Patents

Description

[0001] 本出願は、その内容全体が参照により本明細書に組み込まれる、２０１２年１０月１日に出願した米国仮出願第６１／７０８，５８２号の利益を主張する。

[0002] 本開示は、ビデオコーディングに関し、より詳細には、残差データの区分化（partitioning of residual data）に関連する技法に関する。

[0003] デジタルビデオ機能は、デジタルテレビジョン、デジタルダイレクトブロードキャストシステム、ワイヤレスブロードキャストシステム、携帯情報端末（ＰＤＡ）、ラップトップコンピュータまたはデスクトップコンピュータ、タブレットコンピュータ、電子ブックリーダ、デジタルカメラ、デジタル記録デバイス、デジタルメディアプレーヤ、ビデオゲームデバイス、ビデオゲームコンソール、携帯電話または衛星無線電話、いわゆる「スマートフォン」、ビデオ遠隔会議デバイス、ビデオストリーミングデバイスなどを含む、広範囲にわたるデバイスに組み込むことができる。デジタルビデオデバイスは、ＭＰＥＧ−２、ＭＰＥＧ−４、ＩＴＵ−Ｔ Ｈ．２６３、ＩＴＵ−Ｔ Ｈ．２６４／ＭＰＥＧ−４、Ｐａｒｔ １０、アドバンストビデオコーディング（ＡＶＣ：Advanced Video Coding）、高効率ビデオコーディング（ＨＥＶＣ：High Efficiency Video Coding）規格によって定義された規格、およびそのような規格の拡張に記述されているビデオ圧縮技法（video compression technique）などのビデオ圧縮技法を実装する。ビデオデバイスは、そのようなビデオ圧縮技法を実装することによって、デジタルビデオ情報をより効率的に送信、受信、符号化、復号、および／または記憶することができる。

[0004] ビデオ圧縮技法は、ビデオシーケンスに固有の冗長性を低減または除去するために空間的（イントラピクチャ（intra-picture））予測および／または時間的（インターピクチャ（inter-picture））予測を実行する。ブロックベースのビデオコーディングの場合、ビデオスライス（すなわち、ビデオフレームまたはビデオフレームの一部）はビデオブロックに区分化され、これらのビデオブロックは、ツリーブロック、コーディングユニット（ＣＵ：coding unit）および／またはコーディングノードと呼ばれる場合がある。ピクチャのイントラコード化（Ｉ）スライス内のビデオブロックは、同じピクチャの中の隣接ブロック内の参照サンプルに対する空間的予測を使用して符号化される。ピクチャのインターコード化（ＰまたはＢ）スライス内のビデオブロックは、同じピクチャの中の隣接ブロック内の参照サンプルに対する空間的予測、または他の参照ピクチャの中の参照サンプルに対する時間的予測を使用して符号化することができる。ピクチャはフレームと呼ばれる場合があり、参照ピクチャは参照フレームと呼ばれる場合がある。

[0005] 空間的予測または時間的予測により、コーディングされるべきブロック用の予測ブロックがもたらされる。残差データ（residual data）は、コーディングされるべき元のブロックと予測ブロックとの間のピクセル差分を表す。インターコード化ブロックは、予測ブロックを形成する参照サンプルのブロックを指す動きベクトル（motion vector）と、コード化ブロックと予測ブロックとの間の差分を示す残差データとに従って符号化される。イントラコード化ブロックは、イントラコーディングモードと残差データとに従って符号化される。さらなる圧縮のために、残差データはピクセル領域から変換領域に変換され、残差変換係数をもたらし、次いで、その残差変換係数は量子化することができる。量子化変換係数は、最初は２次元アレイで構成され、変換係数の１次元ベクトルを生成するために走査でき、さらなる圧縮を実現するために、エントロピーコーディングを適用することができる。

[0006] 本開示は、長方形クロマブロック（rectangular chroma block）を作成する４：２：２などのカラーサンプルフォーマットを使用してビデオコーディングプロセスにおけるクロマ成分に対する変換ユニット区分化のための技法に関する。技法は、長方形クロマブロックを正方形サブブロック（square sub-blocks）に分割することと、正方形変換（square transforms）がクロマブロック内の残差データのために使用されることを可能にすることとを含み得る。いくつかの例では、技法は、サブブロック内の非ゼロ変換係数（non-zero transform coefficient）の存在または不在を示す正方形サブブロックに対するそれぞれのコード化ブロックフラグ（ＣＢＦ：coded block flag）を処理することを含み得る。同じくまたは代替的に、技法は、いくつかの例では、長方形クロマブロックの一方の正方形サブブロック、たとえば下部正方形サブブロックに対応するサンプルを、他方の正方形サブブロック、たとえば上部正方形サブブロックをイントラコード化することによって取得される復元されたサンプル（reconstructed sample）に基づいてイントラコード化することを含み得る。

[0007] 一例では、本開示はビデオデータを復号する方法を説明し、方法は、第１および第２の正方形サブブロックを有する長方形クロマブロックを取得することと、第１の正方形サブブロックが少なくとも１つの非ゼロ変換係数を含むかどうかを示すために第１の正方形サブブロックに対する第１のコード化ブロックフラグ（ＣＢＦ）を復号することと、第２の正方形サブブロックが少なくとも１つの非ゼロ変換係数を含むかどうかを示すために第２の正方形サブブロックに対する第２のＣＢＦを復号することと、長方形クロマブロックに対するＣＢＦを復号しないこととを含む。

[0008] 一例では、本開示はビデオデータを復号する方法を説明し、方法は、長方形クロマブロックリーフ（rectangular chroma block leaf）を第１および第２の正方形サブブロックに分割することと、第１の正方形サブブロックが少なくとも１つの非ゼロ変換係数を含むかどうかを示すために第１の正方形サブブロックに対する第１のコード化ブロックフラグ（ＣＢＦ）を符号化することと、第２の正方形サブブロックが少なくとも１つの非ゼロ変換係数を含むかどうかを示すために第２の正方形サブブロックに対する第２のＣＢＦを符号化することと、長方形クロマブロックに対するＣＢＦを符号化しないこととを含む。

[0009] 別の例では、本開示は、第１および第２の正方形サブブロックを有する長方形クロマブロックを取得することと、第１の正方形サブブロックが少なくとも１つの非ゼロ変換係数を含むかどうかを示すために第１の正方形サブブロックに対する第１のコード化ブロックフラグ（ＣＢＦ）を復号することと、第２の正方形サブブロックが少なくとも１つの非ゼロ変換係数を含むかどうかを示すために第２の正方形サブブロックに対する第２のＣＢＦを復号することと、長方形クロマブロックに対するＣＢＦを復号しないこととを行うように構成された１つまたは複数のプロセッサを含む、ビデオデータを復号するための装置を説明する。

[0010] 別の例では、本開示は、長方形クロマブロックを第１および第２の正方形サブブロックに分割することと、第１の正方形サブブロックが少なくとも１つの非ゼロ変換係数を含むかどうかを示すために第１の正方形サブブロックに対する第１のコード化ブロックフラグ（ＣＢＦ）を符号化することと、第２の正方形サブブロックが少なくとも１つの非ゼロ変換係数を含むかどうかを示すために第２の正方形サブブロックに対する第２のＣＢＦを符号化することと、長方形クロマブロックに対するＣＢＦを符号化しないこととを行うように構成された１つまたは複数のプロセッサを含む、ビデオデータを符号化するための装置を説明する。

[0011] 別の例では、本開示は、第１および第２の正方形サブブロックを有する長方形クロマブロックを取得するための手段と、第１の正方形サブブロックが少なくとも１つの非ゼロ変換係数を含むかどうかを示すために第１の正方形サブブロックに対する第１のコード化ブロックフラグ（ＣＢＦ）をコード化するための手段と、第２の正方形サブブロックが少なくとも１つの非ゼロ変換係数を含むかどうかを示すために第２の正方形サブブロックに対する第２のＣＢＦをコード化するための手段とを含み、ここにおいて、第１のＣＢＦをコード化するための手段および第２のＣＢＦをコード化するための手段のいずれもが長方形クロマブロックに対するＣＢＦをコード化しない、ビデオデータをコード化するための装置を説明する。

[0012] 別の例では、本開示は、コンピュータ可読記憶媒体について説明する。コンピュータ可読記憶媒体は、実行時に１つまたは複数のプロセッサに、第１および第２の正方形サブブロックを有する長方形クロマブロックを取得することと、第１の正方形サブブロックが少なくとも１つの非ゼロ変換係数を含むかどうかを示すために第１の正方形サブブロックに対する第１のコード化ブロックフラグ（ＣＢＦ）をコード化することと、第２の正方形サブブロックが少なくとも１つの非ゼロ変換係数を含むかどうかを示すために第２の正方形サブブロックに対する第２のＣＢＦをコード化することと、長方形クロマブロックに対するＣＢＦをコード化しないこととを行わせる命令を記憶している。

[0013] １つまたは複数の例の詳細は、添付の図面および以下の説明に記載されている。他の特徴、目的、および利点は、その説明および図面、ならびに特許請求の範囲から明らかになろう。

[0014] 本開示に記載された技法を利用できる、例示的なビデオ符号化および復号システムを示すブロック図。 [0015] 本開示に記載された技法を実装できる、例示的なビデオエンコーダを示すブロック図。 [0016] 本開示に記載された技法を実装できる、例示的なビデオデコーダを示すブロック図。 [0017] コーディングユニットのルーマ成分（）およびクロマ成分用の様々なカラーサンプルフォーマットを示す概念図。 コーディングユニットのルーマ成分およびクロマ成分用の様々なカラーサンプルフォーマットを示す概念図。 コーディングユニットのルーマ成分およびクロマ成分用の様々なカラーサンプルフォーマットを示す概念図。 [0018] ４：２：２カラーサンプルフォーマットに従ってフォーマットされた１６ｘ１６コーディングユニットを示す概念図。 [0019] 変換ユニットの４分木分解構造（quad-tree decomposition structure）を示す概念図。 [0020] ４分木分解レベルを示す概念図。 [0021] ビデオブロック用の変換ユニット区分化のための技法を示す概念図。 ビデオブロック用の変換ユニット区分化のための技法を示す概念図。 [0022] システムに従ってビデオデータを復号するための例示的な方法と本明細書で説明される方法とを示すフローチャート。 [0023] システムに従ってビデオデータを符号化するための別の例示的な方法と本明細書で説明される方法とを示すフローチャート。 [0024] システムに従ってビデオデータを復号するための例示的な方法と本明細書で説明される方法とを示すフローチャート。 [0025] システムに従ってビデオデータを符号化するための例示的な方法と本明細書で説明される方法とを示すフローチャート。

[0026] いくつかのビデオコーディング規格によれば、そのルーマ成分（luma component）、およびそのクロマ成分（chroma component）を含むコーディングユニット（ＣＵ：coding unit）は、変換ユニット（ＴＵ：transform unit）区分化のための同じ４分木分解構造を共有することができる。異なるカラーサンプリングフォーマットの下で、対応するクロマ成分ブロックは、ルーマブロックとは異なるサイズと形状とを有する場合がある。高効率ビデオコーディング（ＨＥＶＣ：High Efficiency Video Coding）規格の最終バージョンは、４：２：０フォーマットを使用し得る。ＨＥＶＣ規格の最終バージョンは、考慮されているＨＥＶＣ範囲拡張の一例と組み合わされると、たとえば４：２：２などの他のフォーマットを含み得る。考慮されているＨＥＶＣ範囲拡張に対して、たとえば４：２：２フォーマットを使用するとき、ＴＵの区分化から生じる場合がある変換の異なるサイズおよび形状のすべてが定義され、クロマ成分ブロックでの使用に利用可能であるとは限らない。正方形変換の使用を可能にするために、クロマ成分に対する変換係数の長方形ブロックは、本開示で説明されるように正方形サブブロックに分割され得る。たとえば、長方形クロマブロックは、上部正方形サブブロック（top square sub-block）と下部正方形サブブロック（bottom square sub-block）とを有し得る。

[0027] いくつかの例では、本出願は、４：２：２および４：４：４のカラーサブサンプリングなどのカラーフォーマットを使用するコーディングに関する。たとえば、一例は、ＨＥＶＣにおける４：２：２カラーサンプリングモードに対する正方形変換の使用を提供する。

[0028] 「ＨＥＶＣ Ｗｏｒｋｉｎｇ Ｄｒａｆｔ １０」または「ＷＤ１０」と呼ばれるＨＥＶＣ規格の最近のドラフトは、文書ＪＣＴＶＣ−Ｌ１００３ｖ３４、Ｂｒｏｓｓら、「Ｈｉｇｈ ｅｆｆｉｃｉｅｎｃｙ ｖｉｄｅｏ ｃｏｄｉｎｇ （ＨＥＶＣ） ｔｅｘｔ ｓｐｅｃｉｆｉｃａｔｉｏｎ ｄｒａｆｔ １０（ＦＤＩＳ ＆ Ｌａｓｔ Ｃａｌｌに対して）」、ＩＴＵ−Ｔ ＳＧ１６ ＷＰ３とＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１のＪｏｉｎｔ Ｃｏｌｌａｂｏｒａｔｉｖｅ Ｔｅａｍ ｏｎ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＪＣＴ−ＶＣ）、第１２回会合：スイス ジュネーブ、２０１３年１月１４〜２３日に記載されおり、この文書は、２０１３年６月６日現在、ｈｔｔｐ：／／ｐｈｅｎｉｘ．ｉｎｔ−ｅｖｒｙ．ｆｒ／ｊｃｔ／ｄｏｃ＿ｅｎｄ＿ｕｓｅｒ／ｄｏｃｕｍｅｎｔｓ／１２＿Ｇｅｎｅｖａ／ｗｇ１１／ＪＣＴＶＣ−Ｌ１００３−ｖ３４．ｚｉｐからダウンロード可能である。

[0029] 「ＨＥＶＣ Ｗｏｒｋｉｎｇ Ｄｒａｆｔ ６」または「ＷＤ６」と呼ばれるＨＥＶＣの別の最近の作業ドラフト（ＷＤ）は、文書ＪＣＴＶＣ−Ｈ１００３、Ｂｒｏｓｓら、「Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ （ＨＥＶＣ） ｔｅｘｔ ｓｐｅｃｉｆｉｃａｔｉｏｎ ｄｒａｆｔ ６」、ＩＴＵ−Ｔ ＳＧ１６ ＷＰ３とＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１とのＪｏｉｎｔ Ｃｏｌｌａｂｏｒａｔｉｖｅ Ｔｅａｍ ｏｎ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＪＣＴ−ＶＣ）、第８回会合：米国カリフォルニア、サンノゼ、２０１２年２月に記載されおり、この文書は、２０１２年９月２４日現在、ｈｔｔｐ：／／ｐｈｅｎｉｘ．ｉｎｔ−ｅｖｒｙ．ｆｒ／ｊｃｔ／ｄｏｃ＿ｅｎｄ＿ｕｓｅｒ／ｄｏｃｕｍｅｎｔｓ／８＿Ｓａｎ％２０Ｊｏｓｅ／ｗｇ１１／ＪＣＴＶＣ−Ｈ１００３−ｖ２２．ｚｉｐからダウンロード可能である。

[0030] 「ＨＥＶＣ Ｗｏｒｋｉｎｇ Ｄｒａｆｔ ８」または「ＷＤ８」と呼ばれるＨＥＶＣの別の最近の作業ドラフト（ＷＤ）は、文書ＪＣＴＶＣ−Ｊ１００３、Ｂｒｏｓｓら、「Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ （ＨＥＶＣ） ｔｅｘｔ ｓｐｅｃｉｆｉｃａｔｉｏｎ ｄｒａｆｔ ８」、ＩＴＵ−Ｔ ＳＧ１６ ＷＰ３およびＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１のＪｏｉｎｔ Ｃｏｌｌａｂｏｒａｔｉｖｅ Ｔｅａｍ ｏｎ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＪＣＴ−ＶＣ）、第１０回会合：スウェーデン ストックホルム、２０１２年７月１１〜２０日に記載されており、この文書は、２０１２年９月２４日現在、ｈｔｔｐ：／／ｐｈｅｎｉｘ．ｉｎｔ−ｅｖｒｙ．ｆｒ／ｊｃｔ／ｄｏｃ＿ｅｎｄ＿ｕｓｅｒ／ｄｏｃｕｍｅｎｔｓ／１０＿Ｓｔｏｃｋｈｏｌｍ／ｗｇ１１／ＪＣＴＶＣ−Ｊ１００３−ｖ８．ｚｉｐからダウンロード可能である。

[0031] ＨＥＶＣ範囲拡張は、文書ＪＣＴＶＣ−Ｎ１００５＿ｖ３、Ｆｌｙｎｎら、「Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ （ＨＥＶＣ） Ｒａｎｇｅ Ｅｘｔｅｎｓｉｏｎｓ ｔｅｘｔ ｓｐｅｃｉｆｉｃａｔｉｏｎ： Ｄｒａｆｔ ４」、ＩＴＵ−Ｔ ＳＧ１６ ＷＰ３とＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１とのＪｏｉｎｔ Ｃｏｌｌａｂｏｒａｔｉｖｅ Ｔｅａｍ ｏｎ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＪＣＴ−ＶＣ）、第１３回会合：韓国、仁川、２０１３年４月１８〜２６日に記載されており、この文書は、２０１３年９月２２日現在、ｈｔｔｐ：／／ｐｈｅｎｉｘ．ｉｔ−ｓｕｄｐａｒｉｓ．ｅｕ／ｊｃｔ／ｄｏｃ＿ｅｎｄ＿ｕｓｅｒ／ｃｕｒｒｅｎｔ＿ｄｏｃｕｍｅｎｔ．ｐｈｐ？ｉｄ＝８１３９からダウンロード可能である。

[0032] ＪＣＴ−ＶＣは、ＨＥＶＣ範囲拡張の一部として４：２：２および４：４：４のカラーフォーマットに対する新しいプロファイルを考慮中である。４：２：２フォーマットに対して、クロマ成分は、ルーマ成分と比較して水平方向に２分の１にダウンサンプリングされる。垂直方向におけるダウンサンプリングはない。

[0033] ＨＥＶＣによれば、フレームは、たとえば、３２×３２ピクセルブロックまたは６４×６４ピクセルブロック、あるいは他のサイズのブロックを備え得る、最大コーディングユニット（ＬＣＵ：largest coding unit）に分割され得る。概して、ＬＣＵは、各々がさらに区分化され得るサブコーディングユニット（サブＣＵ）に区分され得る。概して、コーディングユニット（ＣＵ：coding unit）という用語は、ＬＣＵまたはそのいずれかのサブＣＵ（たとえば、ＬＣＵのサブＣＵまたは別のサブＣＵのサブＣＵ）を指すことがある。ＣＵは、４個の正方形の、重複しないブロックに区分化され得る。ＬＣＵは、１つまたは複数のノードを含む４分木データ構造に対応し得、４分木のルートノードはＬＣＵ自体に対応し、他のノードはＬＣＵのサブＣＵに対応する。非被区分ＣＵは、概して、４分木のリーフノード（leaf node）（すなわち、子ノードを有しない４分木のノード）に対応する。したがって、非被区分ＣＵはリーフノードＣＵと呼ばれることがある。リーフノードＣＵは、概して、ＣＵのためのデータがどのように予測されるかを記述する１つまたは複数の予測ユニット（ＰＵ：prediction unit）と、残差データ、すなわち、ＣＵのための予測されたデータとＣＵのための元のデータとの間のピクセルごとの差分に対応する１つまたは複数の変換ユニット（ＴＵ：transform unit）とを含む。

[0034] 非被区分ＣＵのためのリーフノードは、ＣＵのＰＵのための予測モードを示す情報を含み得る。いくつかの例では、（変換ユニット（ＴＵ）４分木とも呼ばれる）残差４分木（ＲＱＴ：residual quadtree）がリーフノードＣＵのために与えられ得る。残差４分木はまた、ルートノードと、１つまたは複数のリーフノードとを含み得る。ＲＱＴは、予測モードを示す情報、および／または対応するリーフノードＣＵの一部分に対応するＴＵについての他の予測情報など、情報を含み得る。いずれの場合も、ＣＵについての情報は、ＣＵの１つまたは複数の部分のための予測モードを示し得る。

[0035] ＲＱＴにおいて与えられるモード情報が、特定のタイプのイントラ予測モードを示し得る。たとえば、ＲＱＴにおいて与えられる情報は、ＤＣ予測モードが使用されるかどうか、または方向性イントラ予測モードが使用されるかどうかを示し得る。ＤＣ予測モードでは、前にコード化されたブロックの隣接ピクセルの値がアグリゲートされ、現在ＣＵのピクセルの予測値を形成するために使用され得る。方向性予測モードでは、前にコード化されたブロックの隣接ピクセルの値は、現在ＣＵのピクセルの予測値を形成するために、特定の方向において適用され得る。

[0036] 一般に、ＨＥＶＣ変換係数コーディングの設計は、変換ユニット（ＴＵ）のすべての変換係数がゼロである場合をサポートしない。したがって、ＨＥＶＣにおいて、一般的に、コード化ブロックフラグ（ＣＢＦ）は、ＴＵ内の非ゼロ係数の存在または不在を通知するために使用される。本開示のいくつかの例は、長方形クロマブロックの２個の正方形サブブロックの各々に対するそれぞれのＣＢＦを、直接、たとえば長方形クロマブロックに対するＣＢＦフラグを送信することなく、送信することおよび／または受信すること、あるいは符号化することおよび／または復号することに関する。

[0037] たとえば、ビデオデータは、長方形クロマブロックを、たとえば４分木リーフにおいて第１および第２の正方形サブブロックに分割すること、または第１および第２の正方形サブブロックを含む長方形クロマブロックを取得することによってコード化され得る。第１の正方形サブブロックおよび第２の正方形サブブロックは、たとえば、長方形ブロックの上部正方形サブブロックおよび下部正方形サブブロックであり得る。第１の正方形サブブロックが少なくとも１つの非ゼロ変換係数を含むかどうかを示すために、第１のＣＢＦが、第１の正方形サブブロックに対してコード化され得る。第２の正方形サブブロックが少なくとも１つの非ゼロ変換係数を含むかどうかを示すために、第１のＣＢＦとは別の第２のＣＢＦが、同じく第１の正方形サブブロックに対してコード化され得る。

[0038] いくつかの例では、ＣＢＦは、一般に、長方形クロマブロックに対して、すなわち第１の正方形サブブロックと第２の正方形サブブロックとの組合せに対してコード化されない。このようにすると、長方形クロマブロックの正方形サブブロックの各々は、それぞれのサブブロックが非ゼロ変換係数を含むかどうかを判断するように処理される、それ自体の表示すなわちそれ自体のＣＢＦを有する。したがって、長方形クロマブロック全体に対するＣＢＦを生成する必要はない。

[0039] 特定の一例では、各クロマ成分に対して、クロマＣＵサイズが８×１６であり、そのサイズが４個の４×８変換ユニット（ＴＵ）に再分割される場合、ＣＢＦは、一般に、４×８ブロックレベルにおいて通知されないことになる。代わりに、４×８（すなわち、長方形）クロマブロックは、２個の４×４（すなわち、正方形）サブブロックにさらに再分割され得る。この例では、ＣＢＦは、４×８ブロックではなく、４×４ブロックの各々に対してコード化される。

[0040] ＪＣＴ−ＶＣは、４：２：２および４：４：４のカラーフォーマットに対する新しいプロファイルを考慮中である。４：２：２フォーマットに対するいくつかの提案によれば、クロマ成分は、ルーマ成分と比較して水平方向に２分の１にダウンサンプリングされる。垂直方向におけるダウンサンプリングはない。

[0041] このタイプのサブサンプリングはＴＵサイズに影響を及ぼす。たとえば、サイズ１６（幅）×１６（高さ）のＣＵを考える。残差４分木が、ルーマ（luma）に対してＣＵを４個の８×８のＴＵに再分割することを考える。次に、クロマ成分に対して、ＴＵのサイズは４×８である。最大のルーマ変換のサイズが３２×３２であり、最小のルーマ変換サイズが４×４である場合、４：２：２クロマ成分に対して、１６×３２、８×１６および４×８の変換が必要である。拡張されたクロマフォーマットソフトウェアでは、これらのサイズに対応する長方形変換が使用され得る。これは、ハードウェアの複雑さに対する影響を有する。ハードウェアでは、各変換サイズは、一般的に、個別のブロックとして実装される。したがって、長方形変換の追加は、ハードウェアの複雑さを増加する。さらに、これらのサイズの長方形変換の使用はまた、量子化に対する変更（±３だけＱＰを調整すること）を必要とする。

[0042] 上記で説明したように、長方形クロマブロックを正方形サブブロックに分割することは、そのようなサブブロックのイントラコーディングに対するいくつかの考慮を提供し得る。同じくまたは代替的に、本開示で説明される技法は、いくつかの例では、長方形クロマブロックの一方の正方形サブブロック、たとえば下部正方形サブブロックに対応するサンプルを、長方形クロマブロックの他方の正方形サブブロック、たとえば上部正方形サブブロックをイントラコード化することによって取得される復元されたサンプルに基づいてイントラコード化することを含み得る。一例では、ビデオデータをコード化する方法は、第１の正方形サブブロックと第２の正方形サブブロックとを含む長方形クロマブロックを受信することを含み得る。いくつかの例では、長方形クロマブロックは、変換されない長方形クロマブロック、すなわち非被変換長方形クロマブロックであり得る。他の例では、長方形クロマブロックは、変換される長方形クロマブロック、すなわち長方形クロマ変換ブロックであり得る。同様に、いくつかの例では、正方形サブブロックは、変換されない正方形サブブロック、すなわち非被変換正方形サブブロックであり得る。他の例では、正方形サブブロックは、変換される正方形サブブロック、すなわち正方形変換サブブロックであり得る。したがって、長方形クロマブロックは、変換される長方形クロマブロックまたは変換されない長方形クロマブロックであり得る。同様に、正方形サブブロックは、変換される正方形サブブロックまたは変換されない正方形サブブロックであり得る。したがって、他のブロックは、変換されることも変換されないこともある。したがって、いくつかの場合には、変換は、様々なブロックに対してスキップされることがある。

[0043] クロマデータの第１のブロックは、イントラ予測されたクロマデータの第１のブロックと第１の正方形サブブロックから取得された第１の残差データとを使用して復元され得る。イントラ予測されたクロマデータの第２のブロックは、クロマデータの復元された第１のブロックの参照サンプルから、第２の正方形サブブロックに対して生成され得る。クロマデータの第２のブロックは、イントラ予測されたクロマデータの第２のブロックと第２の正方形サブブロックからの第２の残差データとを使用して復元され得る。

[0044] ＨＥＶＣイントラ予測ＲＱＴコーディングの場合では、１）イントラ予測と、２）変換−量子化−逆量子化−逆変換とのステップがインターリーブされる。本開示では、２つの例が示される。一例では、ビデオエンコーダ内の予測モジュールまたはビデオエンコーダは、ＲＱＴ構造内、たとえばイントラ予測モジュール内の各長方形リーフに対して長方形クロマブロック上でイントラ予測を実行し得る。次に、ビデオエンコーダは、イントラ予測残差を２個の正方形ブロックに分割し、各ブロックに対して正方形変換を適用することができる。別の例では、ビデオエンコーダは、予測のプロセスをインターリーブして、ＨＥＶＣメインプロファイルの場合のように変換することができる。この場合、長方形リーフブロックは、（上部および下部の（top and bottom））２個の正方形クロマブロックに分割される。

[0045] エンコーダは、イントラ予測ブロック、すなわちイントラ予測されたクロマデータのブロックと、イントラ予測されたクロマデータのブロックのピクセルと上部正方形クロマサブブロック（top square chroma sub-block）のピクセルとの間の差分を表すイントラ予測残差データとを生成するために、上部正方形クロマサブブロック上でイントラ予測を実行する。イントラ予測残差データは、エンコーダ内で変換と、量子化と、逆量子化と、逆変換とを受ける。残差データを再生するための逆量子化および逆変換の後、クロマデータの復元された上部正方形サブブロックを形成するために、加算器が、もたらされた残差データを元のイントラ予測ブロックに加算することができる。次に、上部正方形サブブロックからの復元されたサンプル（および／または他の復元されたサンプル）が、下部正方形サブブロックに対するイントラ予測を実行するためにイントラ予測サンプルとして使用される。たとえば、コーダは、復元された上部正方形クロマサブブロックからの参照サンプルを使用して下部正方形クロマサブブロック（bottom square chroma sub-block）に対するクロマデータのイントラ予測されたブロックを生成し得る。次に、一例では、ビデオエンコーダは、下部正方形クロマサブブロックのデータと下部正方形サブブロックに対して生成されたクロマデータのイントラ予測されたブロックとの間の差分を表す、下部正方形クロマサブブロックに対する残差データを生成する。エンコーダは、たとえばデコーダによる使用のために、下部正方形サブブロックに対する残差データの変換と、量子化と、エントロピーコーディングとを実行する。ビデオデコーダは、上部正方形サブブロックを復号し、デコーダ側で下部正方形サブブロックに対するイントラ予測されたブロックを生成し、下部正方形サブブロックに対する残差データを取得し、次にイントラ予測されたブロックと残差データとを加算することによって下部正方形サブブロックを復元するために、イントラ予測参照サンプルとして上部正方形サブブロックからの復元されたピクセルデータを使用する。

[0046] したがって、このイントラコーディングの例では、ビデオエンコーダは、長方形クロマブロックを上部正方形サブブロックと下部正方形サブブロックとに分割し得る。ビデオエンコーダは、上部正方形サブブロックに対するイントラコーディングモードを選択し、上部正方形サブブロックに対するクロマデータのイントラ予測されたブロックを生成するためにイントラコーディングモードを適用することができる。たとえば、クロマデータのイントラ予測されたブロックは、たとえば左のブロックまたは上のブロックのいずれかとして上部正方形サブブロックに空間的に隣接する１つまたは複数のブロックからのイントラ予測参照サンプルを使用して生成され得る。ビデオエンコーダは、上部正方形サブブロックの元のクロマデータとクロマデータのイントラ予測されたブロックとの間の差分に基づいて残差データのブロックを生成する。ビデオエンコーダは、上部正方形サブブロックに対する残差データのブロックを変換係数に変換し、残差データを表す変換係数を量子化する。ビデオエンコーダは、クロマデータのイントラ予測されたブロックのデコーダによる生成を可能にするために、上部正方形サブブロックに対するイントラコーディングモード情報をエントロピー符号化し、デコーダが残差データを取得することを可能にするために、量子化された変換係数をエントロピー符号化する。

[0047] エンコーダ側において、上部正方形サブブロックからのイントラ予測参照サンプルを使用して下部正方形サブブロックをイントラ符号化するために、ビデオエンコーダは、クロマデータの上部正方形サブブロックに対する残差データを取得するために変換係数を逆量子化および逆変換し、クロマデータの上部正方形サブブロックに対するクロマデータのイントラ予測されたブロックを生成し、次にクロマデータのイントラ予測されたブロックに残差データを加算することによってクロマデータの上部正方形ブロックを復元する。次に、復元された上部正方形サブブロックからのクロマデータのいくつかは、クロマデータの下部正方形サブブロックをイントラコード化するために、イントラ予測参照サンプルとして使用され得る。

[0048] たとえば、エンコーダは、下部正方形サブブロックに対するイントラコーディングモードを選択し、下部正方形サブブロックに対するクロマデータのイントラ予測されたブロックを生成するためにイントラコーディングモードを適用することができる。下部正方形サブブロックに対するクロマデータのイントラ予測されたブロックは、たとえば、上部正方形サブブロックからの復元されたイントラ予測参照サンプルを使用して、および／または左の隣接ブロックなどの別の空間的に隣接するブロックからのイントラ予測参照サンプルを使用して生成され得る。上部正方形サブブロックからのイントラ予測サンプルが使用される場合、ビデオエンコーダは、上部正方形サブブロックからのイントラ予測サンプルに基づいて下部正方形サブブロックに対するクロマデータのイントラ予測ブロックを生成する。

[0049] ビデオエンコーダは、下部正方形サブブロックの元のクロマデータと下部正方形サブブロックのクロマデータのイントラ予測されたブロックとの間の差分に基づいて残差データのブロックを生成し得る。ビデオエンコーダは、下部正方形サブブロックに対する残差データのブロックを変換係数に変換し、残差データを表す変換係数を量子化することができる。ビデオエンコーダは、下部正方形サブブロックに対するクロマデータのイントラ予測されたブロックのデコーダによる生成を可能にするために、下部正方形サブブロックに対するイントラコーディングモード情報をエントロピー符号化し、デコーダが下部正方形サブブロックに対する残差データを取得することを可能にするために、量子化された変換係数をエントロピー符号化することができる。

[0050] デコーダ側において、デコーダは、コード化されたビットストリームを受信し、上部正方形サブブロックと下部正方形サブブロックとに分割される長方形クロマブロックを取得する。デコーダは、上部正方形サブブロックをイントラ復号する。たとえば、デコーダは、１つまたは複数の空間的に隣接するブロックからの参照サンプルを使用して上部正方形サブブロックに対するクロマデータのイントラ予測されたブロックを生成し、上部正方形サブブロックに対する残差データを作成するために上部正方形サブブロックに対する変換係数を逆量子化して逆変換し、次にクロマデータのイントラ予測されたブロックと残差データとを加算することによってクロマデータの上部正方形サブブロックを復元する。次に、復元された上部正方形サブブロックは、下部正方形サブブロックのイントラ予測のために使用され得る。

[0051] たとえば、ビデオデコーダは、クロマデータの復元された上部正方形サブブロックからのイントラ予測参照サンプルを使用して下部正方形サブブロックに対するクロマデータのイントラ予測されたブロックを生成し得る。ビデオデコーダは、下部正方形サブブロックに対する残差データを作成するために下部正方形サブブロックに対する変換係数を逆量子化して逆変換し、次にクロマデータのイントラ予測されたブロックと下部正方形サブブロックに対する残差データとを加算することによってクロマデータの下部正方形サブブロックを復元する。いくつかの例では、代替または追加として、下部正方形サブブロックは、左の隣接ブロックなどの他の空間的に隣接するブロックからの参照サンプルを、単独でまたは上部正方形サブブロックからの参照サンプルとの組合せのいずれかで、使用してイントラ予測され得る。上記で説明された方法で、上部正方形サブブロックは、長方形クロマブロックの下部正方形サブブロックをイントラ予測するために使用され得る。

[0052] 次に、ビデオコーディングプロセスの様々な態様が説明される。概して、デジタルビデオデバイスは、デジタルビデオ情報をより効率的に符号化および復号するためのビデオ圧縮技法を実装する。ビデオ圧縮技法は、ビデオコーディング規格に従って定義することができる。ビデオコーディング規格の他の例には、ＩＴＵ−Ｔ Ｈ．２６１、ＩＳＯ／ＩＥＣ ＭＰＥＧ−１ Ｖｉｓｕａｌ、ＩＴＵ−Ｔ Ｈ．２６２またはＩＳＯ／ＩＥＣ ＭＰＥＧ−２ Ｖｉｓｕａｌ、ＩＴＵ−Ｔ Ｈ．２６３、ＩＳＯ／ＩＥＣ ＭＰＥＧ−４ Ｖｉｓｕａｌ、ならびに、そのスケーラブルビデオコーディング（ＳＶＣ：Scalable Video Coding）およびマルチビュービデオコーディング（ＭＶＣ：Multiview Video Coding）の拡張を含む（ＩＳＯ／ＩＥＣ ＭＰＥＧ−４ ＡＶＣとしても知られている）ＩＴＵ−Ｔ Ｈ．２６４が含まれる。加えて、ＩＴＵ−Ｔ Ｖｉｄｅｏ Ｃｏｄｉｎｇ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ（ＶＣＥＧ）およびＩＳＯ／ＩＥＣ Ｍｏｔｉｏｎ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ（ＭＰＥＧ）のＪｏｉｎｔ Ｃｏｌｌａｂｏｒａｔｉｏｎ Ｔｅａｍ ｏｎ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＪＣＴ−ＶＣ）によって開発されている新しいビデオコーディング規格、すなわち高効率ビデオコーディング（ＨＥＶＣ）が存在する。

[0053] ＨＥＶＣの規格化の取り組みは、ＨＥＶＣテストモデル（ＨＭ）と呼ばれるビデオコーディングデバイスのモデルに基づく。ＨＭは、他の以前のビデオコーディング規格、たとえばＩＴＵ−Ｔ Ｈ．２６４／ＡＶＣの開発中に利用可能なビデオコーディングデバイスに対して、現在のビデオコーディングデバイスの能力が向上していると仮定する。たとえば、Ｈ．２６４は９個のイントラ予測符号化モードを提供するが、ＨＥＶＣは３５個ものイントラ予測符号化モードを提供する。

[0054] ＨＥＶＣ規格は、ＨＥＶＣの配信バージョン用の規格番号であることを意図した、ＩＳＯ／ＩＥＣ ２３００８−ＨＥＶＣと呼ばれる場合もある。本出願では、例示のために、開発中のＨＥＶＣ規格の現在提案されている態様のいくつかに従うコーディングが記載される。しかしながら、本開示に記載された技法は、Ｈ．２６４または他の規格に従って定義されるビデオコーディングプロセス、または他の標準もしくはプロプライエタリなビデオコーディングプロセスなどの他のビデオコーディングプロセスのために有用であり、適用することができる。

[0055] ＨＥＶＣ ＷＤ１０などのビデオコーディング規格に従って動作する典型的なビデオエンコーダは、元のビデオシーケンスの各フレーム（すなわち、ピクチャ）を、「ブロック」または「コーディングユニット」と呼ばれる、連続する長方形の領域に区分化する。これらのブロックは、ビデオシーケンスに固有の冗長性を低減または除去するために、空間的（フレーム内）予測技法および／または時間的（フレーム間）予測技法を適用することによって、符号化することができる。空間的予測は「イントラモード（intra mode）」（Ｉモード）と呼ばれる場合があり、時間的予測は「インターモード」（ＰモードまたはＢモード）と呼ばれる場合がある。予測技法は、ビデオデータの予測ブロックを生成する。コード化されるべき元のビデオデータのブロックは、予測ブロックと比較される。

[0056] ビデオデータの元のブロックのピクセル値と予測ブロックのピクセル値との間の差分は、残差データ（residual data）と呼ばれることがある。残差データは、ルーマ成分とクロマ成分とに対する残差データを含み得る。残差データは、通常、予測ブロックのピクセル値とビデオデータの元のブロックのピクセル値との間の差分のアレイである。変換、たとえば離散コサイン変換（ＤＣＴ：discrete cosine transform）、整数変換、ウェーブレット変換、または概念上同様な変換は、対応する変換係数のセットを生成するために、コーディングプロセスの間残差データに適用することができる。したがって、ビデオの元のブロックは、変換係数に逆変換を実行し、残差データを予測ブロックに追加することによって、復元することができる。変換係数はまた、量子化することができる。すなわち、変換係数の値は、定義されたビット深度によるビットストリングとして表すことができる。場合によっては、量子化は、低い値の変換係数をゼロとして表すことになる場合がある。量子化された変換係数は、変換係数レベルと呼ばれる場合がある。

[0057] ＨＥＶＣ規格に従うビデオコーディングの場合、一例として、ビデオフレームはコーディングユニットに区分化することができる。コーディングユニット（ＣＵ）は、一般に、ビデオ圧縮のために様々なコーディングツールが適用される基本ユニットとして働く長方形の画像領域を指す。ＣＵは、通常正方形であり、たとえば、ＩＴＵ−Ｔ Ｈ．２６４などの他のビデオコーディング規格に記述されたいわゆる「マクロブロック（macroblock）」と同様であると見なすことができる。ＣＵは、ビデオサンプル値のアレイと見なすことができる。ビデオサンプル値は、画素、ピクセル、またはペルと呼ぶ場合もある。ＣＵのサイズは、水平方向および垂直方向のサンプルの数によって定義することができる。したがって、ＣＵはＮｘＮまたはＮｘＭのＣＵと記述することができる。

[0058] 本開示では、「ＮｘＮ」および「ＮｂｙＮ」は、垂直寸法および水平寸法に関するビデオブロックのピクセル寸法、たとえば、１６ｘ１６ピクセルまたは１６ｂｙ１６ピクセルを指すように互換的に使用することができる。一般に、１６ｘ１６ブロックは、垂直方向に１６ピクセル（ｙ＝１６）、水平方向に１６ピクセル（ｘ＝１６）を有する。同様に、ＮｘＮブロックは、一般に、垂直方向にＮピクセル、水平方向にＮピクセルを有し、ここでＮは非負整数値を表す。ブロック内のピクセルは行と列で構成することができる。その上、ブロックは、必ずしも、水平方向に垂直方向と同じ数のピクセルを有する必要があるとは限らない。たとえば、ブロックはＮｘＭピクセルを備える場合があり、ここでＭは必ずしもＮに等しいとは限らない。

[0059] 良好なコーディング効率を実現するために、ＣＵはビデオコンテンツに応じて可変サイズを有することができる。ＣＵは、通常、Ｙと表記される輝度成分、ならびに、ＵおよびＶと表記される２つのクロマ成分を有する。２つのクロマ成分ＵおよびＶは、それぞれＣ_bおよびＣ_rと表記される場合もある。たとえば、ＨＥＶＣに従って、ビットストリーム内のシンタックスデータは、サンプルの数に関してフレームまたはピクチャ用の最大のＣＵである、最大コーディングユニット（ＬＣＵ：largest coding unit）を定義することができる。ＣＵのサイズは、通常、水平方向および垂直方向のサンプルの数によって定義される。通常、ＬＣＵは６４ｘ６４のルーマサンプルを含む。他の寸法のＣＵは、ＬＣＵをサブＣＵに再帰的に区分化することによって生成することができる。ビットストリーム用のシンタックスデータは、ＣＵ深度と呼ばれる、ＬＣＵが分割され得る最大回数を定義することができる。したがって、ビットストリームは最小コーディングユニット（ＳＣＵ：smallest coding unit）を定義することもできる。通常、ＳＣＵは８ｘ８のルーマサンプルを含む。したがって、一例では、４個の３２×３２ ＣＵが、６４×６４ ＬＣＵを４個のサブＣＵに区分化することによって生成され、３２×３２ ＣＵの各々が、１６個の８×８ ＣＵにさらに区分化され得るか、または別の例では、３２×３２ブロック（図１）が４個の１６×１６ブロック（図２）に区分化され得る。

[0060] クロマフォーマットまたはカラーサンプルフォーマットと呼ばれる場合もあるビデオサンプリングフォーマットは、ＣＵに含まれるルーマサンプルの数に対して、ＣＵに含まれるクロマサンプルの数を定義することができる。クロマ成分用のビデオサンプリングフォーマットに応じて、Ｕ成分およびＶ成分の、サンプルの数に関するサイズは、Ｙ成分のサイズと同じか、または異なる場合がある。Ｈ．２６４／ＡＶＣビデオコーディング規格およびＨＥＶＣ ＷＤ１０ビデオコーディング規格では、ｃｈｒｏｍａ＿ｆｏｒｍａｔ＿ｉｄｃと呼ばれる値は、ルーマ成分に対して、クロマ成分の異なるサンプリングフォーマットを示すために定義される。表１は、値ｃｈｒｏｍａ＿ｆｏｒｍａｔ＿ｉｄｃの値と関連するクロマフォーマットとの間の関係を示す。

[0061] 表１では、変数ＳｕｂＷｉｄｔｈＣおよびＳｕｂＨｅｉｇｈｔＣの値は、ルーマ成分用のサンプルの数とクロマ成分ごとのサンプルの数との間の、水平および垂直のサンプリングレートの比を示すために使用することができる。表１に記載されたクロマフォーマットでは、２つのクロマ成分は同じサンプリングレートを有する。

[0062] 表１の例では、４：２：０フォーマットの場合、水平方向と垂直方向の両方について、ルーマ成分用のサンプリングレートは、クロマ成分のサンプリングレートの２倍である。結果として、４：２：０フォーマットに従ってフォーマットされたコーディングユニットの場合、ルーマ成分用のサンプルのアレイの幅および高さは、クロマ成分用のサンプルの各アレイの幅および高さの２倍である。同様に、４：２：２フォーマットに従ってフォーマットされたコーディングユニットの場合、ルーマ成分用のサンプルのアレイの幅は、クロマ成分ごとのサンプルのアレイの幅の２倍であるが、ルーマ成分用のサンプルのアレイの高さは、クロマ成分ごとのサンプルのアレイの高さに等しい。４：４：４フォーマットに従ってフォーマットされたコーディングユニットの場合、ルーマ成分用のサンプルのアレイは、クロマ成分ごとのサンプルのアレイと同じ幅と高さとを有する。

[0063] 図１は、本開示に記載された技法を利用できる、例示的なビデオ符号化および復号システム１０を示すブロック図である。具体的には、ビデオコーディングシステム１０は、４：２：２サンプルフォーマットが利用されるとき、ルーマ成分とクロマ成分とのサンプル間でＴＵ区分のための技法を実行するように構成することができる。図３に示されたように、システム１０は、ビデオデコーダ３０によって後で復号されるべき符号化ビデオデータを生成するビデオエンコーダ２０を含む。ソースデバイス１２および宛先デバイス１４は、デスクトップコンピュータ、ノートブック（すなわち、ラップトップ）コンピュータ、タブレットコンピュータ、セットトップボックス、いわゆる「スマート」フォンなどの電話ハンドセット、いわゆる「スマート」パッド、テレビジョン、カメラ、ディスプレイデバイス、デジタルメディアプレーヤ、ビデオゲームコンソール、ビデオストリーミングデバイスなどを含む、広範囲にわたるデバイスのいずれかを備えることができる。場合によっては、ソースデバイス１２および宛先デバイス１４は、ワイヤレス通信に対応することができる。

[0064] 宛先デバイス１４は、リンク１６を介して復号されるべき符号化ビデオデータを受信することができる。リンク１６は、ビデオエンコーダ２０からビデオデコーダ３０に符号化ビデオデータを移動することが可能な、任意のタイプの媒体またはデバイスを備えることができる。一例では、リンク１６は、ビデオエンコーダ２０が、符号化ビデオデータをリアルタイムでビデオデコーダ３０に直接送信することを可能にするための通信媒体を備えることができる。符号化ビデオデータは、ワイヤレス通信プロトコルなどの通信規格に従って変調され、宛先デバイス１４に送信することができる。通信媒体は、無線周波数（ＲＦ）スペクトルまたは１つもしくは複数の物理伝送線路などの任意のワイヤレスまたは有線の通信媒体を備えることができる。通信媒体は、ローカルエリアネットワーク、ワイドエリアネットワーク、またはインターネットなどのグローバルネットワークなどのパケットベースネットワークの一部を形成することができる。通信媒体は、ソースデバイス１２から宛先デバイス１４への通信を容易にするために有用であり得るルータ、スイッチ、基地局、または任意の他の機器を含むことができる。

[0065] 代替として、符号化データは、出力インターフェース２２からストレージデバイス３４に出力することができる。同様に、入力インターフェース２８は、ストレージデバイス３４から符号化データをアクセスすることができる。ストレージデバイス３４は、ハードドライブ、ブルーレイ（登録商標）ディスク、ＤＶＤ、ＣＤ−ＲＯＭ、フラッシュメモリ、揮発性もしくは不揮発性メモリ、または符号化ビデオデータを記憶するための任意の他の適切なデジタル記憶媒体などの様々な分散されるか、またはローカルでアクセスされるデータ記憶媒体のいずれかを含むことができる。さらなる一例では、ストレージデバイス３４は、ビデオエンコーダ２０によって生成された符号化ビデオを保持できるファイルサーバまたは別の中間ストレージデバイスに対応することができる。宛先デバイス１４は、ストリーミングまたはダウンロードにより、ストレージデバイス３４から、入力インターフェース２８を介して、記憶されたビデオデータにアクセスすることができる。ファイルサーバは、符号化ビデオデータを記憶し、その符号化ビデオデータをビデオデコーダ３０に送信することが可能な任意のタイプのサーバであり得る。例示的なファイルサーバには、（たとえば、ウェブサイト用の）ウェブサーバ、ＦＴＰサーバ、ネットワーク接続ストレージ（ＮＡＳ：network attached storage）デバイス、またはローカルディスクドライブが含まれる。ビデオデコーダ３０は、インターネット接続を含む、任意の標準のデータ接続を介して符号化ビデオデータにアクセスすることができる。これは、ファイルサーバに記憶された符号化ビデオデータにアクセスするのに適したワイヤレスチャネル（たとえば、Ｗｉ−Ｆｉ（登録商標）接続）、有線接続（たとえば、ＤＳＬ、ケーブルモデムなど）、または両方の組合せを含むことができる。ストレージデバイス３４からの符号化ビデオデータの送信は、ストリーミング送信、ダウンロード送信、または両方の組合せであり得る。

[0066] 本開示の技法は、必ずしもワイヤレスの用途または設定に限定されるとは限らない。本技法は、オーバージエアテレビジョン放送、ケーブルテレビジョン送信、衛星テレビジョン送信、たとえばインターネットを介したストリーミングビデオ送信、データ記憶媒体に記憶するためのデジタルビデオの符号化、データ記憶媒体に記憶されたデジタルビデオの復号、または他の用途などの様々なマルチメディア用途のいずれかをサポートする際のビデオコーディングに適用することができる。いくつかの例では、システム１０は、ビデオストリーミング、ビデオ再生、ビデオブロードキャスティング、および／またはビデオテレフォニーなどの用途をサポートするために、一方向または双方向のビデオ送信をサポートするように構成することができる。

[0067] 図１の例では、ソースデバイス１２は、ビデオソース１８と、ビデオエンコーダ２０と、出力インターフェース２２とを含む。場合によっては、出力インターフェース２２は、変調器／復調器（モデム）および／または送信機を含むことができる。ビデオソース１８は、たとえばビデオカメラなどのビデオキャプチャデバイス、以前にキャプチャされたビデオを含んでいるビデオアーカイブ、ビデオコンテンツプロバイダからビデオを受信するためのビデオフィードインターフェース、および／もしくはソースビデオとしてコンピュータグラフィックスデータを生成するためのコンピュータグラフィックスシステムなどのソース、またはそのようなソースの組合せを含むことができる。一例として、ビデオソース１８がビデオカメラである場合、ソースデバイス１２および宛先デバイス１４は、いわゆるカメラフォンまたはビデオフォンを形成することができる。しかしながら、本開示に記載された技法は、概してビデオコーディングに適用可能であり、ワイヤレスおよび／または有線の用途に適用することができる。

[0068] ビデオエンコーダ２０は、ビデオソース１８からの、キャプチャされた、以前にキャプチャされた、またはコンピュータ生成されたビデオを符号化する。キャプチャされた、以前にキャプチャされた、またはコンピュータ生成されたビデオは、４：２：０、４：２：２または４：４：４のサンプルフォーマットを含む、上述されたサンプルフォーマットのいずれかに従ってフォーマットすることができる。ビデオエンコーダ２０は、４：２：０、４：２：２または４：４：４のサンプルフォーマットのいずれかに従ってフォーマットされたビデオに、ビデオコーディングを実行することができる。場合によっては、ビデオエンコーダ２０は、コーディングプロセスの一部として、キャプチャされた、以前にキャプチャされた、またはコンピュータ生成されたビデオをアップサンプリングまたはダウンサンプリングすることができる。たとえば、キャプチャされたビデオは、４：４：４サンプルフォーマットに従ってフォーマットでき、ビデオエンコーダ２０は、キャプチャされたビデオを４：２：２フォーマットにダウンサンプリングし、ダウンサンプリングされたビデオにビデオ符号化を実行することができる。符号化ビデオデータは、ソースデバイス１２の出力インターフェース２２を介して、宛先デバイス１４に直接送信することができる。符号化ビデオデータは、さらに（または代替として）、復号および／または再生のための宛先デバイス１４または他のデバイスによる後のアクセスのために、ストレージデバイス３４上に記憶することができる。

[0069] 宛先デバイス１４は、入力インターフェース２８と、ビデオデコーダ３０と、ディスプレイデバイス３２とを含む。場合によっては、入力インターフェース２８は、受信機および／またはモデムを含むことができる。宛先デバイス１４の入力インターフェース２８は、リンク１６を介して符号化ビデオデータを受信する。リンク１６を介して通信されるか、またはストレージデバイス３４に供給された符号化ビデオデータは、ビデオデータを復号する際に、ビデオデコーダ３０などのビデオデコーダが使用するための、ビデオエンコーダ２０によって生成された様々なシンタックス要素を含むことができる。そのようなシンタックス要素は、通信媒体上で送信されるか、記憶媒体上に記憶されるか、またはファイルサーバ上に記憶される符号化ビデオデータとともに含まれる場合がある。

[0070] ディスプレイデバイス３２は、宛先デバイス１４と一体化されるか、またはその外部にあり得る。いくつかの例では、宛先デバイス１４は、一体型ディスプレイデバイスを含むことができ、かつ外部ディスプレイデバイスとインターフェースするように構成することができる。他の例では、宛先デバイス１４はディスプレイデバイスであり得る。概して、ディスプレイデバイス３２は、復号されたビデオデータをユーザに表示し、液晶ディスプレイ（ＬＣＤ）、プラズマディスプレイ、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、または別のタイプのディスプレイデバイスなどの様々なディスプレイデバイスのいずれかを備えることができる。

[0071] ビデオエンコーダ２０およびビデオデコーダ３０は、現在開発中の高効率ビデオコーディング（ＨＥＶＣ）規格などのビデオ圧縮規格に従って動作することができ、概して現在のＨＥＶＣテストモデル（ＨＭ）または将来のＨＭに準拠することができる。

[0072] 代替として、ビデオエンコーダ２０およびビデオデコーダ３０は、代替的にＭＰＥＧ−４、Ｐａｒｔ １０、アドバンストビデオコーディング（ＡＶＣ）と呼ばれるＩＴＵ−Ｔ Ｈ．２６４規格などの他のプロプライエタリ（proprietary）規格もしくは業界規格、またはそのような規格の改訂もしくは拡張に従って動作することができる。しかしながら、本開示の技法は、いかなる特定のコーディング規格にも限定されない。ビデオ圧縮規格の他の例には、ＭＰＥＧ−２およびＩＴＵ−Ｔ Ｈ．２６３が含まれる。

[0073] 図１には示されていないが、いくつかの態様では、ビデオエンコーダ２０およびビデオデコーダ３０は、各々オーディオエンコーダおよびデコーダと統合することができ、適切なＭＵＸ−ＤＥＭＵＸユニット、または他のハードウェアおよびソフトウェアを含んで、共通のデータストリームまたは個別のデータストリーム内のオーディオとビデオの両方の符号化を処理することができる。適用可能な場合、いくつかの例では、ＭＵＸ−ＤＥＭＵＸユニットは、ＩＴＵ Ｈ．２２３マルチプレクサプロトコル、またはユーザデータグラムプロトコル（ＵＤＰ）などの他のプロトコルに準拠することができる。

[0074] ビデオエンコーダ２０およびビデオデコーダ３０は、各々１つもしくは複数のマイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、ディスクリート論理、ソフトウェア、ハードウェア、ファームウェアまたはそれらの任意の組合せなどの様々な適切なエンコーダ回路のいずれかとして実装することができる。本技法が部分的にソフトウェアに実装されるとき、デバイスは、適切な非一時的コンピュータ可読媒体（non-transitory computer-readable medium）にソフトウェア用の命令を記憶し、１つまたは複数のプロセッサを使用してその命令をハードウェアで実行して、本開示の技法を実行することができる。ビデオエンコーダ２０およびビデオデコーダ３０の各々は、１つまたは複数のエンコーダまたはデコーダ内に含まれ、そのいずれも、それぞれのデバイス内の複合エンコーダ／デコーダ（コーデック）の一部として統合することができる。

[0075] 上述されたように、ＨＥＶＣ ＷＤ１０では、ビデオフレームまたはピクチャは、ルーマサンプルとクロマサンプルの両方を含む一連のツリーブロックまたは最大コーディングユニット（ＬＣＵ）に分割することができる。ＬＣＵは、関連付けられたＰＵとＴＵとを含むＣＵに再帰的に分割することができる。いくつかの例では、ＣＵのサイズは、８ｘ８サンプルから、最大６４ｘ６４サンプル以上を有するツリーブロックのサイズまで及ぶ場合がある。さらに、ＨＥＶＣ ＷＤ１０では、ビデオフレームまたはピクチャは、１つまたは複数のスライスに区分化することができ、ここでスライスは、コーディング順序で連続するいくつかのＬＣＵを含む。ビデオフレームは、スライスに含まれるＣＵに関連付けられたコーディングモードに基づいて、スライスに区分化することができる。たとえば、スライスは、スライス内のすべてのＣＵが、スキップモード、直接モード、イントラ予測モード、またはインター予測モードなどの、共通コーディングモードを共有するように定義することができる。

[0076] 一連のビデオフレームまたはピクチャは、ピクチャグループのコード化ビデオシーケンスの一部としてコード化することができる。ピクチャグループ（ＧＯＰ：group of pictures）は、概して、ビデオピクチャのうちの一連の１つまたは複数を備える。ＧＯＰは、ＧＯＰ内に含まれるいくつかのピクチャを記述するシンタックスデータを、ＧＯＰのヘッダ内、ピクチャのうちの１つもしくは複数のヘッダ内、または他の場所に含むことができる。ピクチャの各スライスは、それぞれのスライス用の符号化モードを記述するスライスシンタックスデータを含むことができる。本明細書に記載されたように、ビデオエンコーダ２０は、通常、ビデオデータを符号化するために個々のビデオスライス内のビデオブロックに対して動作する。しかしながら、ビデオエンコーダ２０はまた、ビデオフレームをスライスに区分化すること、および／またはＧＯＰレベルもしくはスライスレベルのシンタックスを生成することなどの、高レベルのビデオコーディングプロセスを実行することができる。

[0077] 上述されたように、ＣＵに関連付けられたシンタックスデータは、ＣＵの１つまたは複数のＰＵへの区分を記述することができる。ＣＵに関連付けられたシンタックスデータは、たとえば、４分木に従ってＣＵを１つまたは複数のＴＵに区分化することも記述することができる。いくつかの例では、ＰＵまたはＴＵは、正方形または非正方形の形状であり得る。概して、ＰＵまたはＴＵは、予測プロセスに関係するデータを含む。たとえば、ＰＵがイントラモード符号化されるとき、ＰＵは、ＰＵ用のイントラ予測モードを記述するデータを含むことができる。別の例として、ＰＵがインターモード符号化されるとき、ＰＵは、ＰＵ用の動き情報を定義するデータを含むことができる。ＰＵ用の動き情報を定義するデータは、たとえば、水平成分と垂直成分とを有する動きベクトルと、解像度（たとえば、４分の１ピクセル精度または８分の１ピクセル精度）と、動きベクトル用の参照ピクチャリスト（たとえば、リスト０、リスト１、またはリストＣ）を示す予測方向と、動きベクトルが参照ピクチャリスト内で指す参照ピクチャを示す参照ピクチャインデックスとを記述することができる。したがって、ＰＵは、予測プロセスに関係する情報を搬送するための基本ユニットと考えることができる。一例では、ビデオエンコーダ２０は、ＨＥＶＣテストモデル（ＨＭ）によってサポートされるＰＵ構造により、ビデオデータを符号化するように構成することができる。

[0078] 一例として、ＨＭは、様々なＰＵサイズでの予測をサポートする。特定のＣＵのサイズが２Ｎｘ２Ｎであると仮定すると、ＨＭは、２Ｎｘ２ＮまたはＮｘＮのＰＵサイズでのイントラ予測と、２Ｎｘ２Ｎ、２ＮｘＮ、Ｎｘ２Ｎ、またはＮｘＮの対称的なＰＵサイズでのインター予測とをサポートする。ＨＭはまた、２ＮｘｎＵ、２ＮｘｎＤ、ｎＬｘ２Ｎ、およびｎＲｘ２ＮのＰＵサイズでのインター予測のための非対称区分をサポートする。非対称区分では、ＣＵの一方向は区分化されないが、他の方向は２５％と７５％とに区分化される。２５％の区分に対応するＣＵの部分は、その後に「Ｕｐ」、「Ｄｏｗｎ」、「Ｌｅｆｔ」、または「Ｒｉｇｈｔ」という指示が続く「ｎ」によって示される。したがって、たとえば、「２ＮｘｎＵ」は、上部の２Ｎｘ０．５ＮのＰＵおよび下部の２Ｎｘ１．５ＮのＰＵで水平方向に区分化された２Ｎｘ２ＮのＣＵを指す。

[0079] 上述されたように、ＴＵは、変換プロセスおよび量子化プロセスに使用される基本ユニットである。１つまたは複数のＰＵを有する所与のＣＵは、１つまたは複数の変換ユニット（ＴＵ）も含むことができる。さらに、ＨＥＶＣ ＷＤ１０では、ＲＱＴ区分に基づいてサイズ決定される。言い換えれば、ＲＱＴ区分は、変換サイズを定義し得、ＣＵに対して規定され得、いくつかの例では、これは必ずしもそうであるとは限らないが、ＰＵ区分と無関係であり得る。いくつかの例では、ＴＵは、ＰＵと同じサイズであるか、またはＰＵよりも小さい場合がある。いくつかの例では、たとえば、インターモードに対して、ＴＵはＰＵより大きくてもよい。そのような場合、予測が実行されるサイズは、変換が適用されるサイズと同じであってよい。いくつかの例では、ＣＵに対応する残差サンプルは、「残差４分木」（ＲＱＴ：residual quad tree）として知られる４分木構造を使用して、より小さいユニットに再分割することができる。ＲＱＴのリーフノードは、変換ユニット（ＴＵ）と呼ばれる場合がある。

[0080] イントラ予測またはインター予測に続いて、ビデオエンコーダ２０は、ＰＵに対応する残差ビデオデータを計算することができる。残差値は、コード化されるべき元のブロックのピクセル値と、イントラ予測またはインター予測によって形成された予測ブロックのピクセル値との間の差分を表すピクセル差分値を備える。予測ユニット内の残差ビデオデータ、すなわち残差ピクセル差分値は、ＴＵ構造に従って変換係数に変換されて、変換係数を生成することができる。したがって、残差データは、ピクセル領域から変換領域に変換することができる。いくつかの場合（たとえば、変換スキップモード）には、変換はスキップされ得る。

[0081] 変換係数を生成するための任意の変換に続いて、ビデオエンコーダ２０は、変換係数の量子化を実行することができる。量子化は、概して、係数を表すために使用されるデータの量をできるだけ低減するために変換係数を量子化するプロセスを指し、さらなる圧縮を行う。量子化プロセスは、係数の一部または全部に関連するビット深度を低減することができる。たとえば、量子化中にｎビット値がｍビット値に切り捨てられる場合があり、ここでｎはｍよりも大きい。

[0082] いくつかの例では、ビデオエンコーダ２０は、エントロピー符号化できる直列化ベクトルを生成するために、あらかじめ定義された走査順序を利用して、量子化変換係数を走査することができる。他の例では、ビデオエンコーダ２０は、適応走査を実行することができる。量子化変換係数を走査して１次元ベクトルを形成した後に、ビデオエンコーダ２０は、たとえば、コンテキスト適応型可変長コーディング（ＣＡＶＬＣ：context adaptive variable length coding）、コンテキスト適応型バイナリ算術コーディング（ＣＡＢＡＣ：context adaptive binary arithmetic coding）、シンタックスベースコンテキスト適応型バイナリ算術コーディング（ＳＢＡＣ：syntax-based context-adaptive binary arithmetic coding）、確率間隔区分エントロピー（ＰＩＰＥ：Probability Interval Partitioning Entropy）コーディング、または別のエントロピー符号化方法に従って、１次元ベクトルをエントロピー符号化することができる。ビデオエンコーダ２０はまた、ビデオデータを復号する際にビデオデコーダ３０が使用するための符号化ビデオデータに関連するシンタックス要素をエントロピー符号化することができる。

[0083] ＣＡＢＡＣを実行するために、ビデオエンコーダ２０は、送信されるべきシンボルにコンテキストモデル内のコンテキストを割り当てることができる。コンテキストは、たとえば、シンボルの隣接値が非０であるか否かに関係する場合がある。ＣＡＶＬＣを実行するために、ビデオエンコーダ２０は、送信されるべきシンボル用の可変長コードを選択することができる。ＶＬＣ内のコードワードは、比較的短いコードが優勢シンボルに対応し、より長いコードが劣勢シンボルに対応するように構成することができる。このようにして、ＶＬＣを使用すると、たとえば、送信されるべきシンボルごとに等長コードワードを使用するよりも、ビット節約を実現することができる。確率判断は、シンボルに割り当てられたコンテキストに基づく場合がある。

[0084] 上記で説明したように、ＨＥＶＣ変換係数コーディングは、すべての係数がゼロである場合をサポートしない。ＨＥＶＣは、ゼロと評価された係数だけを有するブロックを解析（parse）するように設計されていない。したがって、ＨＥＶＣは、ゼロと評価された係数だけを有するブロックをスキップすることができる必要があり得る。これは、非ゼロ係数の存在または不在を通知するために一般的に使用されるコード化ブロックフラグ（ＣＢＦ：coded block flag）の使用によって達成され得る。本開示のいくつかの例では、ビデオエンコーダ２０は、長方形ブロックのクロマサブブロックに対する２個のＣＢＦ、変換係数の２個の正方形クロマサブブロックの各々に対する１個のＣＢＦ、を長方形ブロックに対してＣＢＦフラグを送信することなく直接、通知する。次に、ビデオデコーダ３０は、２個のＣＢＦ、２個の正方形クロマサブブロックの各々に対する１個のＣＢＦ、を受信し得る。ビデオエンコーダ２０は、長方形ブロックに対する（この例では）符号化ビットストリーム内のＣＢＦを通知せず、それゆえ、ビデオデコーダ３０は、符号化ビットストリーム内の長方形クロマブロックに対するＣＢＦを受信しないことになる。より具体的には、ビデオエンコーダ２０は、ソースデバイス１２内で、２個のＣＢＦ、２個のブロックの各々に対する１個のＣＢＦ、を長方形ブロックに対するＣＢＦフラグを符号化することなく各ブロックに対して直接、符号化し得る。長方形ブロックに対するＣＢＦは、サブブロックのうちの少なくとも１つが非ゼロ係数を含むことを示す。しかしながら、いくつかの例では、サブブロックの各々に対する個別のＣＢＦによって、長方形ブロックに対するＣＢＦは必要ではない。しかしながら、他の例では、長方形ＣＢＦは依然として送信されることがある。長方形ＣＢＦがゼロである場合、正方形サブブロックに対するＣＢＦを送信することはスキップされてよい。ＣＢＦは、復号および／または再生のための宛先デバイス１４または他のデバイスによる後のアクセスのためにストレージデバイス３４に記憶され得る。別の例では、これらのＣＢＦは、リンク１６を介して出力インターフェース２２によって送信されるビットストリーム内に符号化され得、および／またはストレージデバイス３４の符号化されたビットストリームストレージ内に記録され得る。次に、宛先デバイス１４内のビデオデコーダ３０は、入力インターフェース２８においてリンク１６および／またはストレージデバイス３４から２個のＣＢＦを受信し得る。次に、ビデオデコーダ３０はＣＢＦを復号され得る。

[0085] たとえば、ビデオデータは、たとえば４：２：２カラーサンプルフォーマットに従って生成された長方形クロマブロックを、たとえば４分木リーフにおいて第１および第２の正方形サブブロックに分割することによってコード化され得る。第１の正方形サブブロックが少なくとも１つの非ゼロ変換係数を含むかどうかを示すために、ＣＢＦが、第１の正方形サブブロックに対してコード化され得る。第２の正方形サブブロックが少なくとも１つの非ゼロ変換係数を含むかどうかを示すために、別のＣＢＦが、同じく、第２の正方形サブブロックに対してコード化され得る。この例では、ＣＢＦは、一般に、長方形クロマブロック、すなわちクロマ成分に対する第１の正方形サブブロックと第２の正方形サブブロックとの組合せ、に対してコード化されない。

[0086] 特定の一例では、各クロマ成分に対して、クロマＣＵサイズが８×１６であり、そのサイズが４個の４×８変換ユニットに再分割される場合、ＣＢＦは、一般に、４×８ブロックレベルにおいて通知されないことになる。４×８長方形クロマブロックは、２個の４×４正方形サブブロックにさらに再分割され得る。ＣＢＦは、４×４正方形クロマサブブロックの各々に対してコード化される。詳細には、ビデオエンコーダ２０は、サブブロックの各々に対するＣＢＦを符号化し、ビデオデコーダ３０は、サブブロックの各々に対するＣＢＦを復号することができる。

[0087] 別の例では、各クロマ成分に対して、クロマＣＵのサイズが８×１６であり、そのサイズがさらに４個の４×８変換ユニットに再分割され得る場合、１個のＣＢＦフラグが、４個の４×８変換ブロックのいずれかが非ゼロ係数を有するかどうかを示すことを８×１６レベルにおいて通知され得る。４個の４×８変換ブロックのいずれかが非ゼロ係数を有する場合、４×８ブロックの各々に対して、別のＣＢＦフラグが送信され得る。一例は、ＣＢＦがＲＱＴリーフレベルにおいて通知される方法を変える間だけ、この構造を保持する。第１の例では、４分木リーフにおける長方形ブロックが２個の正方形変換ブロックに分割されるとき、１個のＣＢＦフラグが、正方形変換ブロックの各々に対して送信され得る。したがって、上記の例では、１個のＣＢＦフラグが８×１６ブロックに対して送信され、次に、４×８リーフブロックの各々に対して２個のＣＢＦフラグが送信される。別の例では、リーフブロックに対して、ＣＢＦが階層的に通知される。その場合、４×８リーフブロックの各々に対して、１個のＣＢＦフラグが、非ゼロ変換係数が存在するかどうかを通知するために送信される。このフラグが１である場合、正方形変換ブロックの各々に対して１個の、２個の追加のＣＢＦフラグが送信される。これらの２つの例示的な手法は、クロマＣＢＦが（ルーマに関して）直接通知されるときでさえ、または代わりにクロマＣＢＦが階層的に通知される場合に、使用され得ることに留意されたい。その場合、ＲＱＴリーフブロックに対するＣＢＦだけが送信される。

[0088] クロマ成分は、たとえば、ＣｒおよびＣｂクロマ成分、またはＵおよびＶクロマ成分など、第１および第２のクロマ成分を含み得る。第１および第２のサブブロックをコード化することは、第１の長方形クロマブロックの第１および第２の正方形サブブロックをコード化することと、第２の長方形クロマブロックの第１および第２の正方形サブブロックをコード化することとを含む。

[0089] しかしながら、別の例では、ＣＢＦは階層的にコード化され得る。ＣＢＦの階層的コーディングのそのような一例では、ビデオエンコーダ２０は、全長方形ブロックに対して１個のＣＢＦを送信し得る。そのような長方形ブロックは、２個の正方形ブロックに分割され得、ビデオエンコーダ２０は、長方形ブロックＣＢＦが非ゼロであるとき、正方形ブロックの各々に対して追加のＣＢＦフラグを送信し得る。ビデオデコーダ３０は、全長方形ブロックに対して１個のＣＢＦを受信し得る。そのような長方形ブロックは、２個の正方形ブロックに分割され得、ビデオデコーダ３０は、長方形ブロックＣＢＦが非ゼロであるとき、正方形ブロックの各々に対して追加のＣＢＦフラグを受信し得る。

[0090] より具体的には、ソースデバイス１２のビデオエンコーダ２０は、全長方形ブロックに対して１個のＣＢＦを符号化し得る。そのような長方形ブロックは、２個の正方形ブロックに分割され得、ビデオエンコーダ２０は、長方形ブロックＣＢＦが非ゼロであるとき、正方形ブロックの各々に対して追加のＣＢＦを符号化し得る。ＣＢＦは、復号および／または再生のための宛先デバイス１４または他のデバイスによる後のアクセスのためにストレージデバイス３４に記憶され得る。代替として、これらのＣＢＦは、出力インターフェース２２によってリンク１６および／またはストレージデバイス３４に送信され得る。ＣＢＦは、宛先の入力インターフェース２８によって受信され得、デバイス１４は、全長方形ブロックに対して１個のＣＢＦと、長方形ブロックＣＢＦが非ゼロであるときに正方形ブロックの各々に対して追加のＣＢＦとを受信し得る。追加のＣＢＦは、長方形ブロックＣＢＦがゼロであるときは、記憶されないか、送信されないか、または受信されないことになる。

[0091] ビデオデータをコード化することに関する別の例は、長方形クロマブロックを送信することおよび／または受信することを含み得る。たとえば、ソースデバイス１２の出力インターフェース２２は長方形クロマブロックを送信し得、宛先デバイス１４の入力インターフェース２８は長方形クロマブロックを受信し得る。より具体的には、ソースデバイス１２のビデオエンコーダ２０は、長方形クロマブロックを符号化し得、それは、出力インターフェース２２によってリンク１６に送信され得、および／またはビデオデコーダ３０などのデコーダによって後で取り出すためにストレージデバイス３４上に記憶され得る。符号化された長方形クロマブロックは、宛先デバイス１４の入力インターフェース２８においてリンク１６および／またはストレージデバイス３４から取り出され得、ビデオデコーダ３０によって復号され得る。符号化ビデオデータは、さらに（または代替として）、復号および／または再生のための宛先デバイス１４または他のデバイスによる後のアクセスのためにストレージデバイス３４上に記憶され得る。

[0092] 本開示のいくつかの例では、ビデオデコーダ３０は、上記で説明されたように、第１の正方形サブブロックと第２の正方形サブブロックとに分割される長方形クロマブロックを取得し得る。上記で説明されたように、長方形クロマブロックを正方形サブブロックに分割することは、そのようなサブブロックのイントラコーディングに対するいくつかの考慮を提供し得る。同じくまたは代替的に、技法は、いくつかの例では、長方形クロマブロックの一方の正方形サブブロックに対応するサンプルを、他方の正方形サブブロックをイントラコード化することによって取得される復元されたサンプルに基づいてイントラコード化することを含み得る。イントラ予測されたクロマデータの第１のブロックは、イントラ予測サンプルの第１のブロックと第１の正方形サブブロックから取得された第１の残差データとを使用して復元され得る。たとえば、上部ブロックをイントラ復号した後、ビデオデコーダ３０は、イントラ予測ブロックと残差とを生成することによって下部サブブロックをイントラ復号する。イントラ予測サンプルの第２のブロックは、イントラ予測されたクロマデータの第１のブロックから生成され得る。イントラ予測されたクロマデータの第２のブロックは、イントラ予測サンプルの第２のブロックと第２の正方形サブブロックからの第２の残差データとを使用して復元され得る。たとえば、ビデオデコーダ３０は、上部ブロックからの復元されたサンプルを使用して下部ブロックをイントラコード化し得る。

[0093] ＨＥＶＣイントラ予測ＲＱＴコーディングの場合では、１）イントラ予測と、２）変換−量子化−逆量子化−逆変換とのステップがインターリーブされる。本開示によれば、２つの例が示される。１つの例では、ＲＱＴ構造内の各長方形リーフに対して、ビデオエンコーダ２０の予測モジュールまたはビデオデコーダ３０の予測モジュールが、長方形ブロック上でイントラ予測を実行し得る。次に、予測モジュールは、イントラ予測残差を２個の正方形ブロックに分割し得、正方形変換が各ブロックに適用される。別の例では、予測および変換のプロセスは、上記で説明されたように、たとえばＨＥＶＣメインプロファイルの場合のようにインターリーブされる。この場合、ビデオエンコーダ２０の予測モジュールまたはビデオデコーダ３０の予測モジュールは、長方形リーフブロックを２個の正方形ブロック（上部および下部）に分割するか、または２個の正方形ブロックに分割される長方形リーフブロックを取得することができる。ビデオエンコーダ２０またはビデオデコーダ３０の予測モジュールは、上部正方形サブブロック上でイントラ予測を実行し得る。たとえば、ビデオエンコーダ２０は、イントラ予測ブロックを生成することによって上部サブブロックイントラコード化し得る。イントラ予測残差は、変換と、量子化と、逆量子化と、逆変換とを受ける。ビデオエンコーダ２０内の加算器は、復元された上部正方形サブブロックを形成するために、もたらされたブロックを元のイントラ予測ブロックに加算し得る。次に、上部ブロックからの復元されたサンプル（ならびに他の復元されたサンプル）が、下部正方形サブブロックに対するイントラ予測を実行するために使用される。たとえば、ビデオデコーダ２０は、上部正方形サブブロックからの復元されたサンプルを使用して下部正方形サブブロックをイントラコード化し得る。別の例では、ビデオデコーダ３０は、上部正方形サブブロックを復号した後で、対応する機能を実行し得る。たとえば、ビデオデコーダ３０は、イントラ予測された上部正方形サブブロックを復元し、下部正方形サブブロックに対してイントラ予測されたクロマデータを生成するために、上部正方形サブブロックの復元された参照サンプルを使用することができる。次に、ビデオデコーダ３０は、下部正方形サブブロックに対する残差データを、下部正方形サブブロックに対してイントラ予測されたクロマデータに加算することによって、下部正方形サブブロックを復元し得る。

[0094] 図２は、本開示に記載された技法を実装できる、例示的なビデオエンコーダ２０を示すブロック図である。ビデオエンコーダ２０は、ビデオスライス内のビデオブロックのイントラコーディングおよびインターコーディングを実行することができる。イントラコーディングは、所与のビデオフレームまたはピクチャ内のビデオの空間的冗長性を低減または除去するために、空間的予測に依拠する。インターコーディングは、ビデオシーケンスの隣接するフレームまたはピクチャ内のビデオの時間的冗長性を低減または除去するために、時間的予測に依拠する。イントラモード（Ｉモード）は、いくつかの空間ベース圧縮モードのいずれかを指す場合がある。単方向予測（Ｐモード）または双予測（Ｂモード）などのインターモードは、いくつかの時間ベース圧縮モードのいずれかを指す場合がある。

[0095] 図２の例では、ビデオエンコーダ２０は、予測モジュール４１と、参照ピクチャメモリ６４と、加算器５０と、変換モジュール５２と、量子化モジュール５４と、エントロピー符号化モジュール５６とを含む。予測モジュール４１は、動き推定モジュール４２と、動き補償モジュール４４と、イントラ予測モジュール４６とを含む。ビデオブロック復元用に、ビデオエンコーダ２０はまた、逆量子化モジュール５８と、逆変換モジュール６０と、加算器６２とを含む。復元されたビデオからブロッキネスアーティファクト（blockiness artifact）を除去するために、ブロック境界をフィルタ処理するデブロッキングフィルタ（deblocking filter）（図２に図示せず）も含む場合がある。必要な場合、デブロッキングフィルタは、通常、加算器６２の出力をフィルタ処理するはずである。デブロッキングフィルタに加えて、さらなるループフィルタ（ループ内またはループ後）が使用される場合もある。

[0096] 図２に示されたように、ビデオエンコーダ２０はビデオデータを受信し、予測モジュール４１はデータをビデオブロックに区分化する。場合によっては、予測モジュール４１は、レートひずみ分析に基づいてビデオデータを区分化することができる。受信されたビデオデータは、上述されたサンプルフォーマットのいずれかに従ってフォーマットすることができる。たとえば、ビデオデータは、４：２：２サンプルフォーマットに従ってフォーマットすることができる。区分化は、たとえば、ＬＣＵおよびＣＵの４分木構造に従って、スライス、タイル、または他のより大きいユニットにビデオデータを区分化すること、ならびにビデオブロック区分化を含む場合がある。

[0097] ビデオエンコーダ２０は、一般に、符号化されるべきビデオスライス内のビデオブロックを符号化する構成要素を示す。スライスは、複数のビデオブロックに（かつ場合によっては、タイルと呼ばれるビデオブロックのセットに）分割することができる。予測モジュール４１は、誤り結果（たとえば、コーディングレートおよびひずみレベル）に基づいて、現在ビデオブロックについて、複数のイントラコーディングモードのうちの１つ、または複数のインターコーディングモードのうちの１つなどの、複数の可能なコーディングモードのうちの１つを選択することができる。予測モジュール４１は、もたらされたイントラコード化ブロックまたはインターコード化ブロックを、加算器５０に供給して残差ブロックデータを生成し、加算器６２に供給して参照ピクチャとして使用するための符号化ブロックを復元することができる。

[0098] 予測モジュール４１内のイントラ予測モジュール４６は、空間圧縮を行うために、コーディングされるべき現在ブロックと同じフレームまたはスライス内の、１つまたは複数の隣接ブロックに対する現在ビデオブロックのイントラ予測コーディングを実行することができる。予測モジュール４１内の動き推定モジュール４２および動き補償モジュール４４は、時間圧縮を行うために、１つまたは複数の参照ピクチャ内の１つまたは複数の予測ブロックに対する現在ビデオブロックのインター予測コーディングを実行する。

[0100] 動き推定モジュール４２は、ビデオシーケンス用の所定のパターンに従って、ビデオスライス用のインター予測モードを決定するように構成することができる。所定のパターンは、シーケンス内のビデオスライスを、ＰスライスまたはＢスライスとして指定することができる。動き推定モジュール４２および動き補償モジュール４４は、高度に統合される場合があるが、概念的な目的のために別々に示されている。動き推定モジュール４２によって実行される動き推定は、ビデオブロックに関する動きを推定する動きベクトルを生成するプロセスである。動きベクトルは、たとえば、参照ピクチャ内の予測ブロックに対する現在ビデオフレームまたはピクチャ内のビデオブロックのＰＵの変位を示すことができる。

[0101] インターコーディング用の予測ブロックは、絶対値差分和（ＳＡＤ：absolute difference）、２乗差分和（ＳＳＤ：sum of square difference）、または他の差分メトリックによって決定できるピクセル差分に関して、コード化されるべきビデオブロックのＰＵに厳密に一致することがわかるブロックであり得る。代替として、イントラコーディング用の予測ブロックは、１つまたは複数の隣接ブロックからのピクセル値に関する空間予測に基づいて形成されたブロックであり得る。いくつかの例では、インター予測の場合、ビデオエンコーダ２０は、参照ピクチャメモリ６４に記憶された参照ピクチャのサブ整数ピクセル位置に関する値を計算することができる。たとえば、ビデオエンコーダ２０は、参照ピクチャの１／４ピクセル位置、１／８ピクセル位置、または他の分数ピクセル位置の値を補間することができる。したがって、動き推定モジュール４２は、フルピクセル位置と分数ピクセル位置とに対する動き探索を実行し、分数ピクセル精度で動きベクトルを出力することができる。

[0102] 動き推定モジュール４２は、ＰＵの位置を参照ピクチャの予測ブロックの位置と比較することによって、インターコード化スライス内のビデオブロックのＰＵ用の動きベクトルを計算する。参照ピクチャは、第１の参照ピクチャリスト（リスト０）または第２の参照ピクチャリスト（リスト１）から選択でき、それらの各々は、参照ピクチャメモリ６４に記憶された１つまたは複数の参照ピクチャを識別する。動き推定モジュール４２は、計算された動きベクトルをエントロピー符号化モジュール５６と動き補償モジュール４４とに送る。

[0103] 動き補償モジュール４４によって実行される動き補償は、動き推定によって決定された動きベクトルに基づいて予測ブロックをフェッチまたは生成すること、場合によってはサブピクセル精度に対する補間を実行することを含む場合がある。現在ビデオブロックのＰＵ用の動きベクトルを受信すると、動き補償モジュール４４は、動きベクトルが参照ピクチャリストのうちの１つの中で指す予測ブロックの位置を特定することができる。

[0104] ビデオエンコーダ２０は、コード化されている現在ビデオブロックのピクセル値から予測ブロックのピクセル値を減算し、ピクセル差分値を形成することによって、インターコーディングまたはイントラコーディング用の残差ビデオブロックを形成する。ピクセル差分値は、ブロック用の残差データを形成し、ルーマ差分成分とクロマ差分成分の両方を含む場合がある。加算器５０は、この減算演算を実行する１つまたは複数の構成要素を表す。動き補償モジュール４４はまた、ビデオスライスのビデオブロックを復号する際にビデオデコーダ３０が使用するための、ビデオブロックとビデオスライスとに関連するシンタックス要素を生成することができる。

[0105] イントラ予測モジュール４６は、上述されたように、動き推定モジュール４２および動き補償モジュール４４によって実行されるインター予測の代替として、現在ブロックをイントラ予測することができる。詳細には、イントラ予測モジュール４６は、現在ブロックを符号化するために使用すべきイントラ予測モードを決定することができる。いくつかの例では、イントラ予測モジュール４６は、たとえば、別々の符号化パス中に様々なイントラ予測モードを使用して現在ブロックを符号化でき、イントラ予測モジュール４６（または、いくつかの例では、モード選択モジュール４０）は、テストされたモードから使用するのに適切なイントラ予測モードを選択することができる。

[0106] たとえば、イントラ予測モジュール４６は、様々なテストされたイントラ予測モードのためのレートひずみ分析を使用してレートひずみ値を計算し、テストされたモードの中で最良のレートひずみ特性を有するイントラ予測モードを選択することができる。レートひずみ分析は、一般に、符号化ブロックと、符号化ブロックを生成するために符号化された元の符号化されていないブロックとの間のひずみ（または誤差）の量、ならびに符号化ブロックを生成するために使用されるビットレート（すなわち、ビット数）を決定する。イントラ予測モジュール４６は、様々な符号化ブロック用のひずみおよびレートから比率を計算して、どのイントラ予測モードがブロック用の最良のレートひずみ値を表すかを判定することができる。レートひずみ分析は、色成分の組合せに実行される場合があることに留意されたい。

[0107] いずれの場合も、あるブロックについてのイントラ予測モードを選択した後、イントラ予測モジュール４６は、エントロピーエンコーディングモジュール５６にブロックについて選択されたイントラ予測モードを示す情報を提供することができる。エントロピーエンコーディングモジュール５６は、本開示の技法による、選択されたイントラ予測モードを示す情報を符号化することができる。ビデオエンコーダ２０は、送信ビットストリーム内に、複数のイントラ予測モードインデックステーブルおよび複数の変更された（コードワードマッピングテーブルとも呼ばれる）イントラ予測モードインデックステーブルと、様々なブロック用の符号化コンテキストの定義と、コンテキストの各々に使用すべき、最確イントラ予測モード、イントラ予測モードインデックステーブル、および変更されたイントラ予測モードインデックステーブルの指示とを含む場合がある構成データを含む場合がある。ビットストリームは、さらに（または代替的に）、復号および／または再生のための宛先デバイス１４または他のデバイスによる後のアクセスのためにストレージデバイス３４に記憶され得る。

[0108] 予測モジュール４１が、インター予測またはイントラ予測のいずれかを介して、現在ビデオブロック用の予測ブロックを生成した後、ビデオエンコーダ２０は、現在ビデオブロックから予測ブロックを減算することによって残差ビデオブロックを形成する。残差ブロック内の残差ビデオデータは、１つまたは複数のＴＵに含まれ、変換モジュール５２に適用することができる。変換モジュール５２は、ビデオエンコーダ２０の構成要素、モジュールまたは機能ユニットを指し、変換プロセスおよび量子化プロセス用のデータの基本ユニットであるＴＵと混同されるべきではないことに留意されたい。変換モジュール５２は、離散コサイン変換（ＤＣＴ）または概念的に同様の変換などの変換を使用して、残差ビデオデータを残差変換係数に変換する。変換モジュール５２は、残差ビデオデータをピクセル領域から周波数領域などの変換領域に変換することができる。変換モジュール５２は、もたらされた変換係数を量子化モジュール５４に送ることができる。

[0109] いくつかの例では、インターコード化またはイントラコード化されたＣＵが、正方形ルーマ成分と、４：２：２フォーマットが使用されるときに長方形クロマ成分とを作成する。変換モジュール５２は、長方形クロマＴＵに対して正方形サブブロックを生成し得る。上記で説明されたように、長方形クロマブロックを正方形サブブロックに分割することは、そのようなサブブロックのイントラコーディングに対するいくつかの考慮を提供し得る。同じくまたは代替的に、技法は、いくつかの例では、長方形クロマブロックの一方の正方形サブブロックに対応するサンプルを、他方の正方形サブブロックをイントラコード化することによって取得される復元されたサンプルに基づいてイントラコード化することを含み得る。

[0110] 上記で説明されたように、ビデオエンコーダ２０は、２個のＣＢＦ、変換係数の長方形クロマブロックの２個の正方形サブブロックの各々に対する１個のＣＢＦ、を長方形ブロックに対するＣＢＦフラグなしに直接、符号化し得る。たとえば、ビデオエンコーダ２０内のエントロピー符号化モジュール５６は、２個のＣＢＦ、長方形クロマ成分ブロックに対する２個のサブブロックの各々に対する１個のＣＢＦ、を長方形ブロックに対するＣＢＦフラグを符号化することなく直接、符号化し得る。いくつかの例では、変換モジュール５２は、変換係数の長方形クロマブロックを、たとえば４分木リーフにおいて、第１および第２の正方形サブブロックに分割し得る。ＲＱＴモジュールまたはＲＱＴブロックを含む例では、そのようなモジュールまたはブロックは、変換係数の長方形クロマブロックを第１および第２の正方形サブブロックに分割することを実行し得る。エントロピー符号化モジュール５６、またはビデオエンコーダ２０の別の機能ユニットは、第１の正方形サブブロックが少なくとも１つの非ゼロ変換係数を含むかどうかを示すために、第１の正方形サブブロックに対するシンタックス要素としてＣＢＦを符号化し得る。エントロピー符号化モジュール５６はまた、第２の２の正方形サブブロックが少なくとも１つの非ゼロ変換係数を含むかどうかを示すために、第２正方形サブブロックに対するシンタックス要素としてＣＢＦを符号化し得る。エントロピー符号化モジュール５６は、一般に、長方形クロマブロック、すなわち第１の正方形サブブロックと第２の正方形サブブロックとの組合せに対してＣＢＦを符号化しない。ＣＢＦは、所与のサブブロックが非ゼロ変換係数を含むかまたは含まないかを示すために、符号化ビットストリーム内で与えられ得る。サブブロックが非ゼロ変換係数を含むことをＣＢＦが示す場合、ビデオデコーダ３０は、非ゼロ変換係数を処理するためにサブブロックを解析する。そうではなく、サブブロックが非ゼロ変換係数を含むことをＣＢＦが示さない場合、ビデオデコーダ３０は、変換係数の処理のためにサブブロックを解析することをスキップし得る。

[0111] 特定の一例では、各クロマ成分に対して、クロマＣＵサイズが８×１６であり、そのサイズが４個の４×８変換ユニットに再分割される場合、エントロピー符号化モジュール５６は、一般に、ＣＢＦを符号化せず、ＣＢＦは、一般に、４×８ブロックレベルにおいて通知されないことになる。４×８ブロックは、２個の４×４サブブロックにさらに再分割され得る。エントロピー符号化モジュール５６は、４×４ブロックの各々に対してＣＢＦを符号化し得る。一例では、クロマ成分は、第１および第２のクロマ成分、たとえばＣｂおよびＣｒ、またはＵおよびＶを含み得る。第１および第２のサブブロックをコード化することは、第１の長方形クロマブロックの第１および第２の正方形サブブロックをコード化することと、第２の長方形クロマブロックの第１および第２の正方形サブブロックをコード化することとを含む。

[0112] しかしながら、別の例では、エントロピー符号化モジュール５６は、ＣＢＦを階層的に符号化し得る。ＣＢＦの階層的符号化のそのような一例では、ソースデバイス１２のビデオエンコーダ２０は、全長方形ブロックに対して１個のＣＢＦを送信し得、たとえば、エントロピー符号化モジュール５６は、全長方形ブロックに対して１個のＣＢＦを符号化し得る。そのような長方形ブロックは、２個の正方形ブロックに分割され得、ソースデバイス１２は、長方形ブロックＣＢＦが非ゼロであるときに正方形ブロックの各々に対して追加のＣＢＦフラグを送信し得、たとえば、ビデオエンコーダ２０は、長方形ブロックＣＢＦが非ゼロであるときに正方形ブロックの各々に対して追加のＣＢＦフラグを符号化し得る。

[0113] ビデオデータを符号化することに関する別の例は、長方形クロマブロックを送信することを含み得る。たとえば、ソースデバイス１２は、長方形クロマブロックを送信し得る。より具体的には、ビデオエンコーダ２０のエントロピー符号化モジュール５６は、長方形クロマブロックを符号化し得、それは、出力インターフェース２２によってリンク１６に送信され得る。代替として、ビデオエンコーダ２０は、長方形クロマブロックを符号化し得、それは、たとえば何らかのストレージ媒体またはメモリ上のストレージデバイス３４に記憶され得る。概して、多くのそのような長方形クロマブロックは、たとえば完全なピクチャまたは完全な一連のピクチャを形成するために、ストレージデバイス３４を使用して記憶される。記憶された１つまたは複数の長方形クロマブロックは、後で、ストレージデバイス３４から、たとえば長方形クロマブロックが記憶されているどんな媒体からも読み出され得る。いくつかの例では、宛先デバイス１４によって長方形クロマブロックを取り出すために使用されるストレージデバイスからの長方形クロマブロックを記憶するために、異なるストレージデバイス３４がソースデバイス１２によって使用され得ることが理解されよう。

[0114] いくつかの例では、ビデオデコーダ３０は、長方形クロマブロックを第１の正方形サブブロックと第２の正方形サブブロックとに分割し得る。ビデオデコーダ３０は、イントラ予測ブロックと残差とを生成することによって上部サブブロックをイントラ復号する。上記で説明されたように、イントラ予測されたクロマデータの第１の正方形サブブロックは、イントラ予測されたクロマデータの第１のブロックと第１の正方形サブブロックから取得された第１の残差データとを使用して復元され得る。たとえば、ビデオデコーダ３０は、イントラ予測サンプルとして上部正方形サブブロックからの復元されたサンプルを使用して、長方形クロマブロックの下部正方形サブブロックをイントラ復号し得る。第２の正方形サブブロックに対するイントラ予測されたクロマデータは、クロマデータの第１の正方形サブブロックから取得された参照サンプルから生成され得る。クロマデータの第２の正方形サブブロックは、イントラ予測されたクロマデータの第２のブロックと第２の正方形サブブロックからの第２の残差データとを使用して復元され得る。

[0115] いくつかの例では、ビデオエンコーダ２０内の第１および第２のサブブロックを符号化することは、第１の長方形クロマブロックの第１および第２の正方形サブブロックを符号化することと、第２の長方形クロマブロックの第１および第２の正方形サブブロックを復号することとを含み得る。いくつかの例では、図８Ａに示されるように、第１のサブブロックは上部サブブロックであり得、第２のサブブロックは長方形クロマブロックの下部サブブロックであり得る。いくつかの例では、長方形クロマブロックは、図４Ｂおよび図５に示されるように、４：２：２サンプリングフォーマットを有する。

[0116] いくつかの例では、ビデオエンコーダ２０の一部、たとえば逆量子化モジュール５８および／または逆変換モジュール６０が、ビデオデータを復号し得る。たとえば、ビデオエンコーダ２０は、たとえば逆量子化モジュール５８および／または逆変換モジュール６０内で、長方形クロマブロックを受信し得、ここにおいて、長方形クロマブロックは、第１の正方形サブブロックと第２の正方形サブブロックとに分割される。逆量子化モジュール５８および／または逆変換モジュール６０は、イントラ予測されたクロマデータの第１のブロックと第１の正方形サブブロックから取得された第１の残差データとを使用してクロマデータの第１のブロックを復元し得る。クロマデータの復元された第１のブロックは、参照ピクチャメモリ６４内に記憶され得る。予測モジュール４１は、クロマデータの復元された第１のブロックから取得された参照サンプルに基づいて、第２のサブブロックに対してイントラ予測されたクロマデータの第２のブロックを生成し得、第２のサブブロックとイントラ予測されたクロマデータとの間の差分に基づいて残差データを生成し得る。したがって、第２のサブブロックは、エコンストラクション（econstruction）第１のサブブロックからのイントラ予測参照サンプルを使用してイントラ予測される。逆量子化モジュール５８および／または逆変換モジュール６０は、たとえば参照ピクチャメモリ６４内のストレージに対して、イントラ予測されたクロマデータの第２のブロックと第２の正方形サブブロックからの第２の残差データとを使用してクロマデータの第２のサブブロックを復元し得る。他の例では、ビデオエンコーダ２０の他の部分が、これらの機能の一部または全部を実行し得る。

[0117] 一例では、ビデオエンコーダ２０、たとえば逆量子化モジュール５８および／または逆変換モジュール６０が、第１の正方形サブブロックの変換係数を逆量子化し、第１の残差データを生成するために逆量子化された変換係数を逆変換し、クロマデータの第１のブロックを復元するために第１の残差データをイントラ予測されたクロマデータの第１のブロックに加算する。次に、ビデオエンコーダ２０は、たとえば予測モジュール４１内で、クロマデータの復元された第１のサブブロックからのイントラ予測参照サンプルを使用してクロマデータの第２の正方形サブブロックをイントラ符号化する。

[0118] いくつかの例では、ビデオエンコーダ２０は、たとえば左の隣接ブロックなどの追加の空間的に隣接するブロックからのイントラ予測参照サンプルを、単独でまたは復元された第１の正方形サブブロックからのイントラ予測参照サンプルとの組合せのいずれかで使用して、クロマデータの第２の正方形サブブロックをイントラ符号化し得る。上述のように、いくつかの例では、追加の隣接ブロックは、左の隣接ブロックであり得る。他の例では、他の隣接ブロックが使用され得る。

[0119] 図３は、本開示に記載された技法を実装できる、例示的なビデオデコーダ３０を示すブロック図である。図３の例では、ビデオデコーダ３０は、エントロピー復号モジュール８０と、予測モジュール８１と、逆量子化モジュール８６と、逆変換モジュール８８と、加算器９０と、参照ピクチャメモリ９２とを含む。予測モジュール８１は、動き補償モジュール８２と、イントラ予測モジュール８４とを含む。いくつかの例では、ビデオデコーダ３０は、図２からのビデオエンコーダ２０に関して記載された符号化パスとは全体的に逆の復号パスを実行することができる。

[0120] 復号プロセス中に、ビデオデコーダ３０は、ビデオエンコーダ２０から、符号化ビデオスライスのビデオブロックと、関連するシンタックス要素とを表す符号化ビデオのビットストリームを受信する。ビデオデコーダ３０のエントロピー復号モジュール８０は、ビットストリームをエントロピー復号して、量子化係数と、動きベクトルと、他のシンタックス要素とを生成する。エントロピー復号モジュール８０は、予測モジュール８１に動きベクトルと他のシンタックス要素とを転送する。ビデオデコーダ３０は、ビデオスライスレベルおよび／またはビデオブロックレベルでシンタックス要素を受信することができる。

[0121] ビデオスライスがイントラコード化（Ｉ）スライスとしてコード化されるとき、予測モジュール８１のイントラ予測モジュール８４は、通知されたイントラ予測モードと、現在フレームまたはピクチャの、前に復号されたブロックからのデータとに基づいて、現在ビデオスライスのビデオブロック用の予測データを生成することができる。ビデオフレームがインターコード化（すなわち、ＢまたはＰ）スライスとしてコード化されるとき、予測モジュール８１の動き補償モジュール８２は、エントロピー復号モジュール８０から受信された動きベクトルと他のシンタックス要素とに基づいて、現在ビデオスライスのビデオブロック用の予測ブロックを生成する。予測ブロックは、参照ピクチャリストのうちの１つの中の参照ピクチャのうちの１つから生成することができる。ビデオデコーダ３０は、参照ピクチャメモリ９２に記憶された参照ピクチャに基づいて、デフォルトの構成技法を使用して、参照フレームリスト、リスト０とリスト１とを構成することができる。

[0122] 動き補償モジュール８２は、動きベクトルと他のシンタックス要素とを解析することによって、現在ビデオスライスのビデオブロック用の予測情報を決定し、その予測情報を使用して、復号されている現在ビデオブロック用の予測ブロックを生成する。たとえば、動き補償モジュール８２は、受信されたシンタックス要素のいくつかを使用して、ビデオスライスのビデオブロックをコード化するために使用される予測モード（たとえば、複数のインター予測モードの１つ）と、インター予測スライスタイプ（たとえば、Ｂスライス、またはＰスライス）と、スライス用の参照ピクチャリストのうちの１つまたは複数用の構成情報と、スライスの各インター符号化ビデオブロック用の動きベクトルと、スライスの各インターコード化ビデオブロック用のインター予測ステータスと、現在ビデオスライス内のビデオブロックを復号するための他の情報とを決定する。

[0123] 動き補償モジュール８２はまた、補間フィルタに基づいて補間を実行することができる。動き補償モジュール８２は、ビデオブロックの符号化中にビデオエンコーダ２０によって使用された補間フィルタを使用して、参照ブロックのサブ整数ピクセル用の補間値を計算することができる。この場合、動き補償モジュール８２は、受信されたシンタックス要素からビデオエンコーダ２０によって使用された補間フィルタを判断し、その補間フィルタを使用して予測ブロックを生成することができる。

[0124] 逆量子化モジュール８６は、ビットストリーム内で供給され、エントロピー復号モジュール８０によって復号された量子化変換係数を逆量子化、すなわち反量子化する。逆量子化プロセスは、量子化の程度と、同様に、適用されるべき逆量子化の程度とを判断するために、ビデオスライス内のビデオブロックごとにビデオエンコーダ２０によって計算される量子化パラメータの使用を含む場合がある。

[0125] 逆変換モジュール８８は、変換係数を受信し、ピクセル領域内の残差ブロックを生成するために逆変換、たとえば逆ＤＣＴ、逆整数変換、または概念的に同様の逆変換プロセスを変換係数に適用する。いくつかの例では、逆変換モジュール８８は、変換ユニット区分化技法に基づいてビデオエンコーダによって生成された変換係数を受信することができる。

[0126] 動き補償モジュール８２またはイントラ予測モジュール８４が、動きベクトルと他のシンタックス要素とに基づいて現在ビデオブロック用の予測ブロックを生成した後、ビデオデコーダ３０は、逆変換モジュール８８からの残差ブロックを動き補償モジュール８２によって生成された対応する予測ブロックと加算することによって、復号されたビデオブロックを形成する。加算器９０は、この加算演算を実行する１つまたは複数の構成要素を表す。

[0127] 必要な場合、ブロッキネスアーティファクトを除去するために、デブロッキングフィルタも、復号ブロックをフィルタ処理するように適用することができる。ピクセル遷移を平滑化するか、または場合によってはビデオ品質を改善するために、（コーディングループ内またはコーディングループ後のいずれかの）他のループフィルタも使用することができる。次いで、所与のフレームまたはピクチャ内の復号されたビデオブロックは、後続の動き補償に使用される参照ピクチャを記憶する参照ピクチャメモリ９２に記憶される。参照ピクチャメモリ９２はまた、図１のディスプレイデバイス３２などのディスプレイデバイスに後で表示するための、復号されたビデオを記憶する。

[0128] 上記で説明されたように、ビデオデコーダ３０は、変換係数の長方形クロマブロックの、１個の正方形サブブロックに対する第１のＣＢＦと第２の正方形サブブロックに対する第２のＣＢＦとを含む、２個のＣＢＦを復号し得る。したがって、ビデオデコーダ３０は、サブブロックが存在する長方形ブロックに対するＣＢＦフラグを受信することなく直接、正方形サブブロックに対するＣＢＦを受信し得る。たとえば、ビデオエンコーダ３０内のエントロピー復号モジュール８０は、２個のＣＢＦ、２個のブロックの各々に対する１個のＣＢＦ、を長方形ブロックに対するＣＢＦフラグなしに直接、復号し得る。上記で説明されたように、いくつかの例では、予測モジュール４１など、ビデオエンコーダ２０内のモジュールは、長方形クロマブロックを、たとえば４分木リーフにおいて、第１および第２の正方形サブブロックに分割し得る。したがって、ビデオデコーダ３０は、ＣＢＦと、２個の正方形サブブロックに対応する係数とを受信し得る。エントロピー復号モジュール８０は、第１の正方形サブブロックが少なくとも１つの非ゼロ変換係数を含むかどうかを示すために、第１の正方形サブブロックに対するＣＢＦを復号し得る。エントロピー復号モジュール８０はまた、第２の正方形サブブロックが少なくとも１つの非ゼロ変換係数を含むかどうかを示すために、第２の正方形サブブロックに対するＣＢＦを復号し得る。長方形ブロックに対するＣＢＦはこの例では受信されないので、エントロピー復号モジュール８０は、一般に、長方形クロマブロック、すなわち第１および第２の正方形サブブロックの組合せに対するＣＢＦを復号しない。

[0129] 特定の一例では、各クロマ成分に対して、クロマＣＵサイズが８×１６であり、そのサイズが４個の４×８変換ユニットに再分割される場合、エントロピー復号モジュール８０は、一般に、ＣＢＦを復号せず、ＣＢＦは、一般に、４×８長方形ブロックレベルにおいて通知されないことになる。４×８ブロックは、２個の４×４正方形サブブロックにさらに再分割され得る。エントロピー復号モジュール８０は、４×４ブロックの各々に対するＣＢＦを復号し得る。一例では、クロマ成分は、第１および第２のクロマ成分を含む。第１および第２のサブブロックを復号することは、第１の長方形クロマブロックの第１および第２の正方形サブブロックを復号することと、第２の長方形クロマブロックの第１および第２の正方形サブブロックを復号することとを含む。一般的に、ＣＢＦは、非ゼロ係数の存在または不在を通知するために使用される。本開示のいくつかの例では、ビデオエンコーダ２０は、クロマサブブロックに対する２個のＣＢＦ、変換係数の長方形ブロックの２個の正方形クロマサブブロックの各々に対する１個のＣＢＦ、を長方形ブロックに対するＣＢＦフラグを送信することなく直接、通知する。次に、ビデオデコーダ３０は、２個のＣＢＦ、２個の正方形クロマサブブロックの各々に対する１個のＣＢＦ、を受信し得る。ＣＢＦは、長方形ブロックに対して（この例では）ビデオエンコーダ２０によって、符号化されたビットストリーム内に通知されず、それゆえ、長方形クロマブロックに対するＣＢＦは、ビデオデコーダ３０によって符号化ビットストリーム内で受信されないことになる。サブブロックが非ゼロ変換係数を含むことをＣＢＦが示す場合、ビデオデコーダ３０は、非ゼロ変換係数を処理するためにサブブロックを解析する。そうではなく、サブブロックが非ゼロ変換係数を含むことをＣＢＦが示さない場合、ビデオデコーダ３０は、変換係数の処理のためにサブブロックを解析することをスキップし得る。

[0130] しかしながら、別の例では、エントロピー復号モジュール８０は、ＣＢＦを階層的に復号し得る。ＣＢＦの階層的復号のそのような一例では、宛先デバイス１４のビデオデコーダ３０は、全長方形ブロックに対して１個のＣＢＦを受信し得、たとえば、エントロピー復号モジュール８０は、全長方形ブロックに対して１個のＣＢＦを復号し得る。そのような長方形ブロックは、たとえばビデオエンコーダ２０において２個の正方形ブロックに分割されていることがあり、ソースデバイス１２のビデオエンコーダ２０は、長方形ブロックＣＢＦが非ゼロであるときに正方形ブロックの各々に対して追加のＣＢＦフラグを送信していることがあり、たとえば、エントロピー復号モジュール８０は、長方形ブロックＣＢＦが非ゼロであるときに正方形ブロックの各々に対して追加のＣＢＦフラグを復号し得る。この場合、長方形ブロックに対するＣＢＦは、サブブロックのいずれかが非ゼロ係数を含むかどうかを示す。含む場合、ビデオデコーダ３０は、それぞれのサブブロックが非ゼロ係数を含むかどうかを示す、個別のサブブロックのＣＢＦを受信する。

[0131] ビデオデコーダ３０は、たとえば、ビデオエンコーダ２０において第１の正方形サブブロックと第２の正方形サブブロックとに分割されている長方形クロマブロックを受信し、処理するように構成されたデコーダの一例を表す。上記で説明されたように、イントラ予測されたクロマデータの第１の正方形サブブロックは、イントラ予測されたクロマデータの第１のブロックと第１の正方形サブブロックから取得された第１の残差データとを使用して復元され得る。第２のサブブロックに対するイントラ予測されたクロマデータの第２のブロックは、イントラ予測されたクロマデータの第１のブロックから生成され得る。クロマデータの第２のサブブロックは、イントラ予測されたクロマデータの第２のブロックと第２の正方形サブブロックからの第２の残差データとを使用して復元され得る。

[0132] 上記で説明されたように、いくつかの例では、ビデオデコーダ３０は、たとえば４分木リーフにおいて、第１および第２の正方形サブブロックになる長方形クロマブロックを取得するように構成されたデコーダの一例を表す。ビデオデコーダ３０、たとえばエントロピー復号モジュール８０は、第１の正方形サブブロックが少なくとも１つの非ゼロ変換係数を含むかどうかを示すために、第１の正方形サブブロックに対する第１のＣＢＦを復号し得る。ビデオデコーダ３０内のエントロピー復号モジュール８０はまた、第２の正方形サブブロックが少なくとも１つの非ゼロ変換係数を含むかどうかを示すために、第２の正方形サブブロックに対する第２のＣＢＦを復号し得る。本明細書で説明されるように、いくつかの例では、ビデオデコーダ３０は、一般に、長方形クロマブロックに対するＣＢＦを復号しない。

[0133] いくつかの例では、クロマ成分は、第１および第２のクロマ成分を含み得る。ビデオエンコーダ３０内の第１および第２の正方形サブブロックを復号することは、第１の長方形クロマブロックの第１および第２の正方形サブブロックを復号することと、第２の長方形クロマブロックの第１および第２の正方形サブブロックを復号することとを含み得る。いくつかの例では、図８Ａに示されるように、第１のサブブロックは上部正方形サブブロックであり得、第２のサブブロックは長方形クロマブロックの下部正方形サブブロックであり得る。いくつかの例では、長方形クロマブロックは、図４Ｂおよび図５に示されるように、４：２：２サンプリングフォーマットを有する。

[0134] いくつかの例では、ビデオデコーダ３０の一部、たとえばエントロピー復号モジュール８０は、ビデオデータをエントロピー復号し得る。たとえば、エントロピー復号モジュール８０は長方形クロマブロックを受信し得、ここにおいて、長方形クロマブロックは、第１の正方形サブブロックと第２の正方形サブブロックとに分割される。予測モジュール８１は、イントラ予測されたクロマデータの第１のブロックと第１の正方形サブブロックから取得された第１の残差データとを使用してクロマデータの第１の正方形サブブロックを復元し得る。予測モジュール８１は、復元された第１の正方形サブブロック内の参照サンプルに基づいて第２の正方形サブブロックに対するイントラ予測されたクロマデータの第２のブロックを生成し得、イントラ予測されたクロマデータの第２のブロックと第２の正方形サブブロックからの第２の残差データとを使用してイントラ予測されたクロマデータの第２の正方形サブブロックを復元し得る。他の例では、ビデオデコーダ３０の他の部分が、これらの機能の一部または全部を実行し得る。したがって、上部正方形サブブロックからのイントラ予測参照サンプルは、長方形クロマブロックの下部正方形サブブロックに対するイントラ予測されたブロックを生成するために使用され得る。

[0135] 一例では、ビデオデコーダ３０、たとえば逆量子化モジュール８６および／または逆変換モジュール８８は、第１の正方形サブブロックの変換係数を逆量子化し、第１の残差データを生成するために逆量子化された変換係数を逆変換する。加算器９０は、クロマデータの第１の正方形サブブロックを復元するために、第１の残差データをイントラ予測されたクロマデータの第１のブロックに加算し得る。

[0136] いくつかの例では、ビデオデコーダ３０は、追加の空間的に隣接するブロックからのイントラ予測参照サンプルを、単独でまたは第１の正方形サブブロック、たとえば上部正方形サブブロックからのイントラ予測参照サンプルとの組合せのいずれかで使用して、クロマデータのイントラ予測されたブロックを生成することによってクロマデータの第２のサブブロックを復元し得る。いくつかの例では、追加の隣接ブロックは、左の隣接ブロックであってよい。他の例では、他の隣接ブロックが使用され得る。

[0137] 図４Ａ〜図４Ｃは、コーディングユニットのルーマ成分およびクロマ成分用の様々なサンプルフォーマットを示す概念図である。図４Ａは、４：２：０サンプルフォーマットを示す概念図である。図４Ａに示されたように、４：２：０サンプルフォーマットの場合、クロマ成分はルーマ成分の４分の１のサイズである。したがって、４：２：０サンプルフォーマットに従ってフォーマットされたＣＵの場合、クロマ成分のサンプルごとに４個のルーマサンプルが存在する。図４Ｂは、４：２：２サンプルフォーマットを示す概念図である。図４Ｂに示されたように、４：２：２サンプルフォーマットの場合、クロマ成分はルーマ成分の２分の１のサイズである。したがって、４：２：２サンプルフォーマットに従ってフォーマットされたＣＵの場合、クロマ成分のサンプルごとに２個のルーマサンプルが存在する。図４Ｃは、４：４：４サンプルフォーマットを示す概念図である。図４Ｃに示されたように、４：４：４サンプルフォーマットの場合、クロマ成分はルーマ成分と同じサイズである。したがって、４：４：４サンプルフォーマットに従ってフォーマットされたＣＵの場合、クロマ成分のサンプルごとに１個のルーマサンプルが存在する。

[0138] 図５は、４：２：２サンプルフォーマットに従ってフォーマットされた１６ｘ１６コーディングユニットの一例を示す概念図である。上述されたように、ＣＵは、通常、水平方向および垂直方向のルーマサンプルの数によって定義される。したがって、図５に示されたように、４：２：２サンプルフォーマットに従ってフォーマットされた１６ｘ１６ＣＵは、ルーマ成分の１６ｘ１６サンプルと、クロマ成分ごとの８ｘ１６サンプルとを含む。さらに、上述されたように、ＣＵはより小さいＣＵに区分化することができる。たとえば、図５に示されたＣＵは、４個の８ｘ８ＣＵに区分化され得、各ＣＵは、ルーマ成分用の８ｘ８サンプルと、クロマ成分ごとの４ｘ８サンプルとを含む。

[0139] さらに、いくつかのビデオコーディング規格では、コーディングユニットは、予測または変換の目的でより小さいユニットに区分化することができる。ＨＥＶＣによれば、ＣＵは、１つまたは複数の予測ユニット（ＰＵ）および／または１つまたは複数の変換ユニット（ＴＵ）を含むことができる。本開示はまた、「ブロック（block）」、「区分（partition）」または「部分（portion）」という用語を使用して、ＣＵ、ＰＵ、またはＴＵのいずれかを指す。一般に、「部分」は、ビデオフレームの任意のサブセットを指すことができる。さらに、本開示は、通常、「ビデオブロック（video block）」という用語を使用して、ＣＵのコーディングノードを指す。いくつかの特定の場合では、本開示はまた、「ビデオブロック」という用語を使用して、コーディングノードならびにＰＵおよびＴＵを含むツリーブロック、すなわち、ＬＣＵまたはＣＵを指す場合がある。したがって、ビデオブロックはＣＵ内部のコーディングノードに対応する場合があり、ビデオブロックは固定または可変のサイズを有する場合があり、指定されたコーディング規格に応じてサイズが異なる場合がある。

[0140] ＰＵは、対応するＣＵの全部または一部を表す場合があり、ＰＵ用の参照サンプルを取り出すためのデータを含む場合がある。ＰＵは正方形または長方形の形状を有する場合がある。たとえば、図５のＣＵがインター予測を使用してコード化された場合、それは４個の長方形ＰＵに分割でき、各ＰＵは、時間的に隣接するフレーム内のセット参照サンプルを識別する情報を含む。参照サンプルのセットは、結合されて予測ビデオブロックを形成することができる。上述されたように、予測ビデオブロックは、ＣＵから減算されて残差データを形成することができる。

[0141] 上述されたように、変換は残差データに適用されて、残差データをピクセル領域から変換領域に変換することができる。変換ブロックすなわちＴＵは、変換が適用される残差データのセットに対応する場合がある。ＴＵは、変換を実行し、変換係数の対応するセットを生成する目的のためのピクセル差分値のサイズを表す。ＴＵのサイズはＣＵのサイズと同じ場合があるか、またはＣＵは複数のＴＵに区分化される場合がある。たとえば、図５に示されたＣＵに関しては、ある変換はルーマサンプルの１６ｘ１６アレイに関連付けられた残差データに実行することができ、ある変換は、ルーマサンプルの４個の８ｘ８アレイの各々に実行することができる。より大きいＴＵは、一般に、復元された画像内のより知覚可能な「ブロッキネス（blockiness）」を有するより大きい圧縮を提供し、より小さいＴＵは、一般に、より知覚可能でない「ブロッキネス」を有するより小さい圧縮しか提供しない。ＴＵサイズの選択は、レートひずみ最適化分析（rate-distortion optimization analysis）に基づく場合がある。

[0142] ＬＣＵと同様に、ＴＵはより小さいＴＵに再帰的に区分化することができる。ＴＵをより小さいＴＵに区分化することから得られるＴＵは、変換ブロック構造と呼ばれる場合がある。変換ブロック構造の一例は、いわゆるツリー構造である。ツリー構造は、ＴＵ全体として、またはいくつかのより小さいＴＵに分割されるものとしてのいずれかで、変換ブロックをコード化することができる。このプロセスは、あらゆる異なる分解レベルでブロックごとに再帰的に行うことができる。

[0143] 図６は４分木分解構造（quad-tree decomposition structure）を示す概念図であり、そこでは、ＣＵは連続するレベルで４個の４分の１サイズのブロックに分割されるか、または分割されないかのいずれかである。図６では、全ブロックが元のＣＵに対応し得る。破線は、４分木構造に従った変換ブロックの分解の一結果を示す。図６に示された分解は、いくつかの可能な分解結果のうちの１つであることに留意されたい。図６に示されたように、３レベルの変換分解が存在する。第１のレベル（すなわち、レベル１の分解）で、変換ブロック全体が４個の４分の１サイズのブロックに分割される。次いで、第２のレベル（すなわち、レベル２）で、第２の４分の１サイズのブロックが、４個の１６分の１サイズのブロックにさらに分割される。次いで、第３のレベル（すなわち、レベル３）で、第４の１６分の１サイズのブロックが、４個のさらに小さい変換ブロックにさらに分割される。符号化プロセスの間、ビデオエンコーダは、レートひずみ最適化分析に基づいて、変換ブロックがさらに分割されるべきかどうかを判定することができる。

[0144] 図６に示された分解技法は４分木分解構造と呼ばれ、その場合、ブロックは、４個の４分の１サイズのブロックに分割されるか、または分割されないかのいずれかである。図６では、ブロックは正方形のサブブロックだけに分割される。しかしながら、ＨＥＶＣ ＷＤ１０に記述された分解技法などの他の分解技法では、ブロックは、変換目的で長方形のサブブロックにも分割され得る。

[0145] 図７は、４分木分解を示すレベル図である。図７は、図６に示された４分木分解を通知するために使用され得るレベル図の一例を示す。このように、図７は、分解構造を表現する代替方法を提供する。図７に示されたように、様々な分解レベルで、変換分割フラグは以下のように通知することができる。

[0146] コーディングユニットレベルであるレベル０で、変換がさらに分割されるので、１のフラグが通知される。レベル１で、第２の４分の１サイズのブロックだけがさらに分割されるので、０、１、０、０のフラグが符号化されたビットストリーム内でビデオエンコーダによって送られる。レベル２で、他のブロックはこれ以上分割されないので、第２の４分の１サイズのブロックだけがビデオエンコーダによってさらに通知される必要がある。第２の４分の１サイズのブロックでは、第４のブロックだけがさらに分割されるので、０、０、０、１のフラグがレベル２でビデオエンコーダによって送られる。レベル３で、ブロックはこれ以上分割されないので、０、０、０、０のフラグが送られる。明確にするために、本開示では、より小さいレベル値は分解構造内のより高いレベル（すなわち、ルートレベルにより近いレベル）を意味することに言及されるべきである。図６および図７に示されたように、レベル０はルートレベルまたはトップレベルである。

[0147] 図８Ａ〜図８Ｂは、４：２：２サンプルフォーマットに従ってフォーマットされたビデオブロック用の変換ユニット区分化の様々なケースを示す。図８Ａ〜図８Ｂの各々において、クロマ成分は、上部サブブロックと下部サブブロックとに区分化され得る。一例では、第１のルーマ４分木は、クロマ成分を（たとえば、４：２：２に対する）長方形ブロックに分割するように追従され得る。次に、リーフクロマブロックが、上部正方形サブブロックと下部正方形サブブロックとに分割され得る。クロマ成分に対する長方形ブロックを上部正方形サブブロックと下部正方形サブブロックとに区分化することにより、クロマ成分が最初に上部サブブロックと下部サブブロックとに区分化されない場合と比較すると、代替的なＴＵの形状およびサイズは、クロマ成分用に生成され得る。たとえば、正方形ＴＵの形状は、正方形変換が使用され得るように生成され得る。

[0148] 図８Ａ〜図８Ｂのビデオブロックは、以下のサイズ４ｘ４、８ｘ８、１６ｘ１６、３２ｘ３２、および６４ｘ６４のいずれかのビデオブロックまたはＣＵに対応する場合がある。一般に、クロマ成分を上部サブブロックと下部サブブロックとに区分化することにより、クロマ成分が上部サブブロックと下部サブブロックとに区分化されない場合と比較して、２倍多いＴＵをクロマ成分用に生成することができる。さらに、クロマ成分を上部サブブロックと下部サブブロックとに区分化することにより、クロマ成分が上部サブブロックと下部サブブロックとに区分化されない場合と比較して、ＴＵは、ＴＵの垂直寸法と水平寸法が２で割られる場合に生成することができる。クロマ成分が上部サブブロックと下部サブブロックとに区分化されるときの、ＣＵをＴＵに区分化するいくつかの特定のケースが、以下で詳細に記載される。しかしながら、簡略にするために、クロマ成分を上部サブブロックと下部サブブロックとに区分化することから導出され得るすべてのＴＵ区分の組合せが詳細に記載されていないが、図８Ａ〜図８Ｂに関して記載された区分化技法は、様々なレベルの分解で適用され得ることに留意されたい。

[0149] 図８Ａは、クロマ成分が上部サブブロックと下部サブブロックとに区分化され、ルーマ成分に基づくさらなる区分が適用されない場合の区分構造に基づく、例示的な変換ユニットを示す。図８Ａに示されたように、ルーマブロックはこれ以上分割されず、対応するクロマブロックの各々は、長方形クロマブロックの上部サブブロックと下部サブブロックとに区分化される。図８Ａに示された例では、クロマブロックが、長方形クロマブロックの上部サブブロックと下部サブブロックとに区分化された後にクロマ成分をさらに区分化する判定は、ルーマ成分の区分化に基づく場合がある。したがって、図８Ａに示された例では、ルーマブロックがこれ以上分割されないので、クロマ成分の各々はこれ以上分割することができない。

[0150] 一例では、図８Ａに示されたＴＵ区分化に関連するＣＵは、８ｘ８ＣＵであり得る。この場合、クロマ成分を上部サブブロックと下部サブブロックとに区分化すると、ルーマ成分用の８ｘ８ＴＵおよびクロマ成分用の２つの４ｘ４ＴＵがもたらされる。このケースは、ルーマ成分用の８ｘ８ＴＵとクロマ成分用の４ｘ８ＴＵとをもたらす、クロマ成分が上部サブブロックと下部サブブロックとに区分化されないケースと対比することができる。上述されたように、４ｘ４ＴＵはＨＥＶＣ用に定義でき、４ｘ８ＴＵは定義または利用することができない。したがって、クロマ成分を上部サブブロックと下部サブブロックとに区分化すると、有用なＴＵの形状とサイズとをもたらすことができる。

[0151] やはり、ＨＥＶＣ変換係数コーディングは、すべての係数がゼロの場合をサポートしないので、一般的に、ＣＢＦは、非ゼロ係数の存在または不在を通知するために使用される。ＨＥＶＣにおいて、クロマＣＢＦは階層的にコード化され得る。ＣＢＦの階層的コーディングのそのような一例では、１個のＣＢＦフラグが、全長方形ブロックに対して送信され得る。そのようなブロックは、２個の正方形ブロックに分割され得、追加のＣＢＦフラグは、たとえば長方形ブロックＣＢＦが非ゼロであるときだけ、正方形ブロックの各々に対して送信され得る。

[0152] 特定の一例では、各クロマ成分に対して、クロマＣＵサイズが８×１６であり、そのサイズが４個の４×８変換ユニットに再分割される場合、１個のＣＢＦが、４×８ブロックレベルにおいて通知される。４×８ブロックは、２個の４×４ブロックにさらに再分割され得る。４×８ブロックレベルにおいて通知されるＣＢＦは、４×４変換ブロックのいずれかが非ゼロ係数を有するかどうかを示す。４×４変換ブロックのいずれかが非ゼロ係数を有する場合、４×４ブロックの各々に対して、別のＣＢＦフラグが送信される。

[0153] 概して、図８Ａに示されたＴＵ区分化に関連するＣＵは、ＮｘＮのＣＵとして記載され得る。クロマ成分を上部サブブロックと下部サブブロックとに区分化すると、クロマ成分が上部サブブロックと下部サブブロックとに区分化されない場合の１個のＮ／２ｘＮのＴＵとは対照的に、２個のＮ／２ｘＮ／２のＴＵがもたらされ、それは、ブロックを処理するための正方形変換の使用を可能にし得る。したがって、クロマ成分を上部サブブロックと下部サブブロックとに区分化すると、クロマ成分が上部サブブロックと下部サブブロックとに分割されない場合の、１対２のアスペクト比を有する１つの長方形ＴＵと比較して、２つの正方形ＴＵがもたらされる。上記で指摘されたように、この例では、クロマサブブロックの各々は、ルーマブロックと同じアスペクト比を有する。他の例では、図８Ａに関して記載された技法は、４ｘ４、１６ｘ１６、３２ｘ３２、または６４ｘ６４のＣＵに適用できることに留意されたい。簡略にするために、可能なＣＵサイズ用の対応するルーマおよびクロマのＴＵサイズは、詳細に記載されない。本明細書で説明されるように、コーダは、上部サブブロックと下部サブブロックとのためのＣＢＦをコード化し得る。加えて、本明細書で説明されるように、別の例では、コーダは、長方形クロマブロックの下部サブブロックに対してイントラ予測サンプルを生成するために復元された上部サブブロックを使用し得る。

[0154] 図８Ｂは、４分木区分化が適用され、クロマ成分が上部サブブロックと下部サブブロックとに区分化される、区分化構造に基づく例示的な変換ユニットを示す。図８Ｂに示されたように、ルーマブロックは、変換目的で４個の正方形サブブロックに分割される。対応するクロマブロックは、各々、両方とも正方形である上部サブブロックと下部サブブロックとに区分化され、次いで、上部サブブロックと下部サブブロックの各々は、さらに小さいサイズを有する４個の正方形ブロックにさらに区分化される。一般に、図８ＢのＣＵは、ＮｘＮのＣＵとして記述することができる。ルーマ成分を区分化すると、４個のＮ／２ｘＮ／２のＴＵがもたらされる。クロマ成分を上部サブブロックと下部サブブロックとに区分化すると、クロマ成分が上部サブブロックと下部サブブロックとに区分化されない場合の４個のＮ／４ｘＮ／２のＴＵとは対照的に、８個のＮ／４ｘＮ／４のＴＵがもたらされる。したがって、クロマ成分を上部サブブロックと下部サブブロックとに区分化すると、クロマ成分が上部サブブロックと下部サブブロックとに分割されない場合の、１対２のアスペクト比を有する４個の長方形ＴＵと比較して、８個の正方形ＴＵがもたらされる。図８ＢのＣＵは、４ｘ４、８ｘ８、１６ｘ１６、３２ｘ３２、または６４ｘ６４のＣＵであり得ることに留意されたい。一例では、クロマ成分は、第１および第２のクロマ成分、たとえば上部および下部、を含む。第１および第２のサブブロックをコード化することは、第１の長方形クロマブロックの第１および第２の正方形サブブロックをコード化することと、第２の長方形クロマブロックの第１および第２の正方形サブブロックをコード化することとを含む。

[0155] ビデオデータをコード化する１つの例示的な方法では、図８Ｂに示されるように、ビデオエンコーダ２０またはビデオデコーダ３０は、長方形クロマブロックを、たとえば４分木リーフにおいて、第１の正方形サブブロックと第２の正方形サブブロックとに分割し得る。ビデオエンコーダ２０またはビデオデコーダ３０は、第１の正方形サブブロックが少なくとも１つの非ゼロ変換係数を含むかどうかを示すために、第１の正方形サブブロックに対する第１のＣＢＦを復号し得る。ビデオエンコーダ２０またはビデオデコーダ３０はまた、第２の正方形サブブロックが少なくとも１つの非ゼロ変換係数を含むかどうかを示すために、第２の正方形サブブロックに対する第２のＣＢＦを復号し得る。ビデオエンコーダ２０またはビデオデコーダ３０は、一般に、長方形クロマブロックに対するＣＢＦを復号しない。いくつかの例では、第１のサブブロックは上部サブブロックであり得、第２のサブブロックは長方形クロマブロックの下部サブブロックであり得る。長方形クロマブロックは、４：２：２サンプリングフォーマットを有する。

[0156] 図９は、システムに従ってビデオデータを復号するための例示的な方法と本明細書で説明される方法とを示すフローチャートである。図９に示されるビデオデータを復号する例示的な方法では、ビデオデコーダ３０などのデコーダ ビデオデータ、そこにおいて、クロマデータは、第１および第２の正方形サブブロックがともに長方形クロマブロックを構成するように、長方形クロマブロック内で配列される（９０２）。たとえば、ビデオデコーダ３０の予測モジュール８１は、第１の正方形サブブロックと第２の正方形サブブロックとに分割される長方形クロマブロックを、たとえば４分木リーフにおいて取得する。

[0157] いくつかの例では、第１のサブブロックが上部サブブロックを備え、第２のサブブロックが長方形クロマブロックの下部サブブロックを備える。加えて、いくつかの例では、長方形クロマブロックは、４：２：２サンプリングフォーマットを有する。

[0158] ビデオデコーダ３０は、第１の正方形サブブロックが少なくとも１つの非ゼロ変換係数を含むかどうかを示すために、第１の正方形サブブロックに対する第１のコード化ブロックフラグ（ＣＢＦ：coded block flag）をコード化する（９０４）。たとえば、ビデオデコーダ３０のエントロピー復号モジュール８０は、第１の正方形サブブロックが少なくとも１つの非ゼロ変換係数を含むかどうかを示すために、第１の正方形サブブロックに対する第１のＣＢＦを復号し得る。

[0159] ビデオデコーダ３０はまた、第２の正方形サブブロックが少なくとも１つの非ゼロ変換係数を含むかどうかを示すために、第２の正方形サブブロックに対する第２のＣＢＦをコード化し（９０６）、その一方で、長方形クロマブロックに対して、すなわち全長方形クロマブロックに対してＣＢＦをコード化しない。たとえば、ビデオデコーダ３０のエントロピー復号モジュール８０は、第１の正方形サブブロックが少なくとも１つの非ゼロ変換係数を含むかどうかを示すために第１の正方形サブブロックに対する第１のＣＢＦを復号し得、第２の正方形サブブロックが少なくとも１つの非ゼロ変換係数を含むかどうかを示すために第２の正方形サブブロックに対する第２のＣＢＦを復号し得る。

[0160] いくつかの例では、クロマ成分は、第１および第２のクロマ成分を含み、そこにおいて、第１および第２のサブブロックを復号することは、第１の長方形クロマブロックの第１および第２の正方形サブブロックを復号することと、第２の長方形クロマブロックの第１および第２の正方形サブブロックを復号することとを備える。ビデオデコーダ３０、たとえばエントロピー復号モジュール８０は、第１の正方形サブブロックが少なくとも１つの非ゼロ変換係数を含むかどうかを示すために、第１の正方形サブブロックに対する第１のＣＢＦを復号し得る。ビデオデコーダ３０内のエントロピー復号モジュール８０はまた、第２の正方形サブブロックが少なくとも１つの非ゼロ変換係数を含むかどうかを示すために、第２の正方形サブブロックに対する第２のＣＢＦを復号し得る。本明細書で説明されるように、いくつかの例では、ビデオデコーダ３０は、一般に、長方形クロマブロックに対するＣＢＦを復号しない。

[0161] 図１０は、システムに従ってビデオデータを符号化するための例示的な方法と本明細書で説明される方法とを示すフローチャートである。図１０に示されるビデオデータを符号化する例示的な方法では、ビデオエンコーダ２０などのエンコーダは、長方形クロマブロックを、たとえば４分木リーフにおいて、第１の正方形サブブロックと第２の正方形サブブロックとに分割する（１００２）。たとえば、ビデオエンデコーダ２０の予測モジュール４１は、長方形クロマブロックを、たとえば４分木リーフにおいて、第１の正方形サブブロックと第２の正方形サブブロックとに分割する。

[0162] いくつかの例では、第１のサブブロックが上部サブブロックを備え、第２のサブブロックが長方形クロマブロックの下部サブブロックを備える。加えて、いくつかの例では、第１のサブブロックおよび第２のサブブロックは、４：２：２サンプリングフォーマットを有するクロマブロックを備える。

[0163] ビデオエンコーダ２０は、第１の正方形サブブロックが少なくとも１つの非ゼロ変換係数を含むかどうかを示すために、第１の正方形サブブロックに対する第１のコード化ブロックフラグ（ＣＢＦ）をコード化する（１００４）。たとえば、ビデオエンコーダ２０のエントロピー符号化モジュール５６は、第１の正方形サブブロックが少なくとも１つの非ゼロ変換係数を含むかどうかを示すために、第１の正方形サブブロックに対する第１のＣＢＦを符号化し得る。

[0164] ビデオエンコーダ２０はまた、第２の正方形サブブロックが少なくとも１つの非ゼロ変換係数を含むかどうかを示すために、第２の正方形サブブロックに対する第２のＣＢＦを符号化し（１００６）、その一方で、長方形クロマブロックに対するＣＢＦを符号化しない。たとえば、ビデオエンコーダ２０のエントロピー符号化モジュール５６は、第１の正方形サブブロックが少なくとも１つの非ゼロ変換係数を含むかどうかを示すために、第２の正方形サブブロックに対する第２のＣＢＦを符号化し得る。

[0165] 図１１は、システムに従ってビデオデータを復号するための例示的な方法と本明細書で説明される方法とを示すフローチャートである。図１１の例示的な方法では、ビデオデコーダ３０は、長方形クロマブロックを受信する。長方形クロマブロックは、ビデオデコーダ３０によって第１の正方形サブブロックと第２の正方形サブブロックとに分割され得る（１１０２）。一例では、ビデオデコーダ３０は、長方形クロマブロックを受信し、長方形クロマブロックは、第１の正方形サブブロックと第２の正方形サブブロックとに分割される。第１の正方形サブブロックは上部正方形サブブロックであり得、第２の正方形変換ブロックは長方形クロマブロックの下部正方形サブブロックであり得る。

[0166] ビデオデコーダ３０は、第１の正方形変換ブロックを復元する（１１０４）。いくつかの例では、第１の正方形変換ブロックを復元することは、イントラ予測されたクロマデータの第１のブロックと第１の正方形サブブロックから取得された第１の残差データとを使用することを含み得る。一例では、ビデオデコーダ３０は、イントラ予測されたビデオデータの第１のブロックと第１の正方形サブブロックから取得された第１の残差データとを使用して、イントラ予測されたクロマデータの第１のブロック、たとえば上部正方形サブブロックをイントラ復号する。

[0167] ビデオデコーダ３０は、復元された第１の正方形サブブロックからの参照サンプルを使用して第２の正方形サブブロックをイントラ予測する（１１０６）。第２の正方形サブブロックをイントラ予測することは、復元された第１の正方形サブブロックからの参照サンプルを使用してイントラ予測されたクロマデータの第２のブロックを生成することと、イントラ予測されたクロマデータの第２のブロックと第２の正方形サブブロックに対する第２の残差データとを使用して第２の正方形変換サブブロック（second square transfrom sub-block）を復元することとを含み得る（１１０８）。

[0168] ビデオデコーダ３０は、イントラ予測されたクロマデータの第２のブロックと第２の正方形サブブロックからの第２の残差データとを使用して、第２の正方形サブブロックを復元し得る。たとえば、ビデオデコーダ３０は、イントラ予測されたクロマデータの第２のブロックと第２の正方形サブブロックからの第２の残差データとを使用して、クロマデータの第２のブロック、たとえば下部正方形サブブロックを復元し得る。

[0169] いくつかの例では、ビデオデコーダは、第１の正方形サブブロックの変換係数を逆量子化し、第１の残差データを生成するために逆量子化された変換係数を逆変換し、クロマデータの第１のブロックを生成するために第１の残差データをイントラ予測されたクロマデータの第１のブロックに加算する。第１の正方形サブブロックに対するイントラ予測されたクロマデータの第１のブロックは、１つまたは複数の空間的に隣接するブロックからのイントラ予測予測サンプルを使用して生成され得る。次に、第１のサブブロックからのイントラ予測参照サンプルは、第２の正方形サブブロックに対するクロマデータのブロックをイントラ予測するために使用され得る。

[0170] いくつかの例では、ビデオデコーダ３０は、追加または代替として、クロマデータの第１のブロック、たとえば上部正方形サブブロックによって与えられるイントラ予測サンプルのブロックに加えられるものである、追加の隣接ブロックからのイントラ予測サンプルを使用して、クロマデータの第２のブロック、たとえば下部正方形サブブロックを復元し得る。いくつかのイントラ予測モードは、イントラコード化されるブロック（この例では下部正方形サブブロックなど、の上の空間的に隣接する上部ブロック（この例では上部正方形サブブロックなど）からのピクセルサンプルを、単独でまたは、たとえば様々な方向性イントラモードｓにおいて別の空間的に隣接するブロックからのピクセルサンプルとの組合せのいずれかで、使用し得る。いくつかの例では、追加の隣接ブロックは、たとえばクロマ成分の下部正方形サブブロックに隣接する、コード化されるブロックに対して左の隣接ブロックを備える。

[0171] 図１２は、システムに従ってビデオデータを符号化するための例示的な方法と本明細書で説明される方法とを示すフローチャートである。図１２の例示的な方法では、ビデオエンコーダ２０は、長方形クロマブロックを受信する。長方形クロマブロックは、ビデオエンコーダ２０によって第１の正方形サブブロックと第２の正方形サブブロックとに分割され得る（１２０２）。たとえば、ビデオエンコーダ２０の予測モジュール４１は、長方形クロマブロックを受信し得、長方形クロマブロックを第１の正方形サブブロックと第２の正方形サブブロックとに分割し得る。第１の正方形サブブロックは上部正方形サブブロックであり得、第２の正方形サブブロックは長方形クロマブロックの下部正方形サブブロックであり得る。

[0172] ビデオエンコーダ２０は、第１の正方形変換ブロックを復元する（１２０４）。いくつかの例では、第１の正方形変換ブロックを復元することは、イントラ予測されたクロマデータの第１のブロックと第１の正方形サブブロックに対する第１の残差データとを使用することを含み得る。たとえば、ビデオエンコーダ２０は、第１のブロック、たとえば上部正方形サブブロックをイントラコード化し、第１ブロックの復元時に、第２のブロック、たとえば下部正方形サブブロックをイントラ符号化するために復元されたデータを使用する。詳細には、ビデオエンコーダ２０は、イントラ予測されたクロマデータのブロックと、イントラ予測されたクロマデータのピクセル値と第１のブロックのピクセル値との間の差分を表す残差データのブロックとを生成することによって、第１のブロックを符号化し得る。ビデオエンコーダ２０は、残差データを変換係数のブロックに変換し、変換係数を量子化することができる。ビデオエンコーダ２０は、係数を逆量子化し、逆変換して残差データを復元し得、次に、第１の正方形サブブロックに対するイントラ予測されたクロマデータの第１のブロックを生成することと、イントラ予測されたクロマデータを第１の正方形サブブロックから取得された第１の残差データに加算することとによってクロマデータの第１の正方形サブブロックを復元し得る。ビデオエンコーダ２０はまた、コード化ビデオビットストリームでビデオデコーダ３０に送信するために、残差データとイントラコーディングモード情報とをエントロピーコード化する。

[0173] 第２の正方形サブブロック（たとえば、下部正方形サブブロック）をイントラ符号化するために、ビデオエンコーダ２０は、イントラ予測されたクロマデータのブロックを生成するために第１の正方形サブブロックからのイントラ予測参照サンプルを使用し、次に、イントラ予測されたクロマデータと第２の正方形サブブロックのクロマデータとの間の差分を示す残差データを生成する。次に、ビデオエンコーダ２０は、残差データとモード情報とをエントロピーコード化し、復号動作においてビデオデコーダ３０によって使用するための符号化ビデオビットストリーム内にエントロピーコード化されたデータを含める。このようにして、復元された上部正方形サブブロックからのクロマデータは、クロマデータの下部正方形サブブロックをイントラコード化するために、イントラ予測参照サンプルとして使用され得る。

[0174] ビデオエンコーダ２０は、復元された第１の正方形サブブロックからの参照サンプルを使用して第２の正方形サブブロックをイントラ予測する（１２０６）。第２の正方形サブブロックをイントラ予測することは、イントラ予測されたクロマデータの第２のブロックと第１の正方形サブブロック内のイントラ予測サンプルに基づいて第２の正方形サブブロックに対する第２の残差データとを生成することと、イントラ予測されたクロマデータの第２のブロックと第２の残差データとを使用して第２の正方形変換サブブロックを符号化することとを含み得る（１２０８）。

[0175] ビデオエンコーダ２０は、イントラ予測されたクロマデータの第２のブロックと第２の正方形サブブロックからの第２の残差データとを使用して、クロマデータの第２のブロック、たとえば下部正方形サブブロックを復元し得る。いくつかの例では、ビデオコーダは、たとえばビデオエンコーダ２０の復元ループ内で、第１の正方形サブブロックの変換係数を逆量子化し、第１の残差データを生成するために逆量子化された変換係数を逆変換し、クロマデータの第１のブロックを生成するために第１の残差データをイントラ予測されたクロマデータの第１のブロックに加算することができる。第１の正方形サブブロックに対するイントラ予測されたクロマデータの第１のブロックは、１つまたは複数の空間的に隣接するブロックからのイントラ予測予測サンプルを使用して生成され得る。次に、第１のサブブロックからのイントラ予測参照サンプルは、第２の正方形サブブロックに対するクロマデータのブロックをイントラ予測するために使用され得る。

[0176] いくつかの例では、ビデオエンコーダ２０は、追加または代替として、すなわちクロマデータの第１のブロック、上部正方形サブブロックによって与えられるイントラ予測サンプルのブロックに加えられるものである、追加の隣接ブロックからのイントラ予測サンプルを使用して、クロマデータの第２のブロック、たとえば下部正方形サブブロックを復元し得る。いくつかのイントラ予測モードは、イントラコード化されるブロック（この例では下部正方形サブブロックなど）の上の空間的に隣接する上部ブロック（この例では上部正方形サブブロックなど）からのピクセルサンプルを、単独でまたは、たとえば様々な方向性イントラモードｓにおいて別の空間的に隣接するブロックからのピクセルサンプルとの組合せのいずれかで、使用し得る。いくつかの例では、追加の隣接ブロックは、たとえばクロマ成分の下部正方形サブブロックに隣接する、コード化されるブロックに対して左の隣接ブロックを備える。

[0177] いくつかの例は、４：２：２フォーマットビデオの場合でさえも正方形変換の使用を提供するコーディングシステムを含む。ベーシックＨＥＶＣ４分木構造は、４：２：２クロマ成分の長方形ブロックの各々が４個の長方形ブロックにさらに分割され得るように保持され得る。たとえば、１６×３２クロマブロックは、４個の８×１６ブロックに分割され得る。８×１６の各々は、４個の４×８ブロックにさらに再分割され得る。４分木のリーフにおいて、すなわち、ブロックがそれ以上分割されないとき、４：２：２クロマ成分に対する長方形ブロックは、２個の正方形ブロックに分割され、正方形変換が適用される。たとえば、２個の８×８変換が８×１６リーフブロックに対して使用される。ＱＰ選択プロセスは、ＨＥＶＣメインプロファイルから不変であり得る。±３だけＱＰに対して調整することは実行されない。たとえば４：２：２クロマ成分の、分割された長方形ブロックが、たとえばビデオデコーダにおいて受信され得る。したがって、ビデオエンコーダとビデオデコーダの両方は、第１の正方形サブブロックと第２の正方形サブブロックとの上で動作し得る。ビデオエンコーダは、長方形クロマブロックを第１および第２の正方形サブブロックに分割し得る。ビデオデコーダは、これらの第１および第２の正方形サブブロックを受信し得る。

[0178] １つまたは複数の例では、記載された機能は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組合せに実装することができる。ソフトウェアに実装される場合、機能は、１つまたは複数の命令またはコードとしてコンピュータ可読媒体上に記憶されるか、またはコンピュータ可読媒体を介して送信され、ハードウェアベースの処理ユニットによって実行される場合がある。コンピュータ可読媒体は、たとえば、通信プロトコルに従って、ある場所から別の場所へのコンピュータプログラムの転送を容易にする任意の媒体を含む、データ記憶媒体または通信媒体などの有形媒体に対応するコンピュータ可読記憶媒体を含む場合がある。このようにして、コンピュータ可読媒体は、概して、（１）非一時的（non-transitory）である有形コンピュータ可読記憶媒体（tangible computer-readable storage media）、または（２）信号もしくは搬送波などの通信媒体に対応する場合がある。データ記憶媒体は、本開示に記載された技法を実装するための命令、コードおよび／またはデータ構造を取り出すために、１つもしくは複数のコンピュータまたは１つもしくは複数のプロセッサによってアクセスできる任意の利用可能な媒体であり得る。コンピュータプログラム製品はコンピュータ可読媒体を含む場合がある。

[0179] 限定ではなく例として、そのようなコンピュータ可読記憶媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ（登録商標）、ＣＤ−ＲＯＭもしくは他の光ディスクストレージ、磁気ディスクストレージもしくは他の磁気ストレージデバイス、フラッシュメモリ、または、命令もしくはデータ構造の形態の所望のプログラムコードを記憶するために使用され、コンピュータによってアクセスできる、任意の他の媒体を備えることができる。また、いかなる接続もコンピュータ可読媒体と適切に呼ばれる。たとえば、命令が、同軸ケーブル、光ファイバーケーブル、ツイストペア、デジタル加入者回線（ＤＳＬ）、または赤外線、無線、およびマイクロ波などのワイヤレス技術を使用して、ウェブサイト、サーバ、または他のリモートソースから送信される場合、同軸ケーブル、光ファイバーケーブル、ツイストペア、ＤＳＬ、または赤外線、無線、およびマイクロ波などのワイヤレス技術は、媒体の定義に含まれる。しかしながら、コンピュータ可読記憶媒体およびデータ記憶媒体は、接続、搬送波、信号、または他の一時媒体を含まないが、代わりに非一時的有形記憶媒体を対象とすることを理解されたい。本明細書で使用するディスク（disk）およびディスク（disc）は、コンパクトディスク（disc）（ＣＤ）、レーザディスク（登録商標）（disc）、光ディスク（disc）、デジタル多用途ディスク（disc）（ＤＶＤ）、フロッピー（登録商標）ディスク（disk）およびブルーレイディスク（disc）を含み、ディスク（disk）は、通常、データを磁気的に再生し、ディスク（disc）は、データをレーザで光学的に再生する。上記の組合せもコンピュータ可読媒体の範囲内に含まれるべきである。

[0180] 命令は、１つもしくは複数のデジタル信号プロセッサ（ＤＳＰ）などの１つもしくは複数のプロセッサ、汎用マイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブル論理アレイ（ＦＰＧＡ）、または他の均等な集積回路もしくはディスクリート論理回路によって実行することができる。したがって、本明細書で使用する「プロセッサ」という用語は、前述の構造、または本明細書に記載された技法の実装に適した任意の他の構造のいずれかを指す場合がある。加えて、いくつかの態様では、本明細書に記載された機能は、符号化および復号のために構成された専用のハードウェアおよび／もしくはソフトウェアモジュール内に提供されるか、または複合コーデックに組み込まれる場合がある。また、本技法は、１つまたは複数の回路または論理要素内に完全に実装することができる。

[0181] 本開示の技法は、ワイヤレスハンドセット、集積回路（ＩＣ）、またはＩＣのセット（たとえば、チップセット）を含む、多種多様なデバイスまたは装置に実装することができる。開示された技法を実行するように構成されたデバイスの機能的態様を強調するために、様々な構成要素、モジュール、またはユニットが本開示に記載されたが、それらの構成要素、モジュール、またはユニットは、必ずしも異なるハードウェアユニットによって実現する必要があるとは限らない。むしろ、上述されたように、様々なユニットが、適切なソフトウェアおよび／またはファームウェアとともに、上述された１つまたは複数のプロセッサを含む、コーデックハードウェアユニットに組み合わせられるか、または相互動作ハードウェアユニットの集合によって提供される場合がある。

[0182] 様々な例が記載された。これらおよび他の例は、以下の特許請求の範囲内に入る。
以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
［Ｃ１］ ビデオデータを復号する方法であって、
第１および第２の正方形サブブロックを有する長方形クロマブロックを取得することと、
前記第１の正方形サブブロックが少なくとも１つの非ゼロ変換係数を含むかどうかを示すために、前記第１の正方形サブブロックに対する第１のコード化ブロックフラグ（ＣＢＦ）を復号することと、
前記第２の正方形サブブロックが少なくとも１つの非ゼロ変換係数を含むかどうかを示すために、前記第２の正方形サブブロックに対する第２のＣＢＦを復号することと、
前記長方形クロマブロックに対するＣＢＦを復号しないことと
を備える、方法。
［Ｃ２］ 前記第１のサブブロックが上部サブブロックを備え、前記第２のサブブロックが前記長方形クロマブロックの下部サブブロックを備える、Ｃ１に記載の方法。
［Ｃ３］ 前記長方形クロマブロックが、４：２：２サンプリングフォーマットを有する、Ｃ１に記載の方法。
［Ｃ４］ 前記第１の正方形サブブロックが前記長方形クロマブロックの上部ブロックであり、前記第２の正方形サブブロックが前記長方形クロマブロックの下部ブロックである、Ｃ１に記載の方法。
［Ｃ５］ 前記変換係数を使用して残差データを生成することと、
前記残差データを使用してコード化ビデオデータを復元することと
をさらに備える、Ｃ１に記載の方法。
［Ｃ６］ ビデオデータを符号化する方法であって、
長方形クロマブロックリーフを第１および第２の正方形サブブロックに分割することと、
前記第１の正方形サブブロックが少なくとも１つの非ゼロ変換係数を含むかどうかを示すために、前記第１の正方形サブブロックに対する第１のコード化ブロックフラグ（ＣＢＦ）を符号化することと、
前記第２の正方形サブブロックが少なくとも１つの非ゼロ変換係数を含むかどうかを示すために、前記第２の正方形サブブロックに対する第２のＣＢＦを符号化することと、
前記長方形クロマブロックに対するＣＢＦを符号化しないことと
を備える、方法。
［Ｃ７］ 前記第１のサブブロックが上部サブブロックを備え、前記第２のサブブロックが前記長方形クロマブロックの下部サブブロックを備える、Ｃ６に記載の方法。
［Ｃ８］ 前記長方形クロマブロックが、４：２：２サンプリングフォーマットを有する、Ｃ６に記載の方法。
［Ｃ９］ 前記第１の正方形サブブロックが前記長方形クロマブロックの上部ブロックであり、前記第２の正方形サブブロックが前記長方形クロマブロックの下部ブロックである、Ｃ６に記載の方法。
［Ｃ１０］ 前記変換係数を使用して残差データを生成することと、
前記残差データを使用してビデオデータを符号化することとをさらに備える、Ｃ６に記載の方法。
［Ｃ１１］ ビデオデータを復号するための装置であって、
第１および第２の正方形サブブロックを有する長方形クロマブロックを取得することと、
前記第１の正方形サブブロックが少なくとも１つの非ゼロ変換係数を含むかどうかを示すために、前記第１の正方形サブブロックに対する第１のコード化ブロックフラグ（ＣＢＦ）を復号することと、
前記第２の正方形サブブロックが少なくとも１つの非ゼロ変換係数を含むかどうかを示すために、前記第２の正方形サブブロックに対する第２のＣＢＦを復号することと、
前記長方形クロマブロックに対するＣＢＦを復号しないこととを行うように構成された１つまたは複数のプロセッサを備える、装置。
［Ｃ１２］ 上部サブブロックを備える前記第１のサブブロックおよび前記長方形クロマブロックの下部サブブロックを備える前記第２のサブブロック、Ｃ１１に記載の装置。
［Ｃ１３］ 前記長方形クロマブロックが、４：２：２サンプリングフォーマットを有する、Ｃ１１に記載の装置。
［Ｃ１４］ 前記第１の正方形サブブロックが前記長方形クロマブロックの上部ブロックであり、前記第２の正方形サブブロックが前記長方形クロマブロックの下部ブロックである、Ｃ１１に記載の装置。
［Ｃ１５］ 前記１つまたは複数のプロセッサが、
前記変換係数を使用して残差データを生成することと、
前記残差データを使用してコード化ビデオデータを復元することと
を行うようにさらに構成される、Ｃ１１に記載の装置。
［Ｃ１６］ ビデオデータを符号化するための装置であって、
長方形クロマブロックを第１および第２の正方形サブブロックに分割することと、
前記第１の正方形サブブロックが少なくとも１つの非ゼロ変換係数を含むかどうかを示すために、前記第１の正方形サブブロックに対する第１のコード化ブロックフラグ（ＣＢＦ）を符号化することと、
前記第２の正方形サブブロックが少なくとも１つの非ゼロ変換係数を含むかどうかを示すために、前記第２の正方形サブブロックに対する第２のＣＢＦを符号化することと、
前記長方形クロマブロックに対するＣＢＦを符号化しないことと
を行うように構成された１つまたは複数のプロセッサを備える、装置。
［Ｃ１７］ 上部サブブロックを備える前記第１のサブブロックおよび前記長方形クロマブロックの下部サブブロックを備える前記第２のサブブロック、Ｃ１６に記載の装置。
［Ｃ１８］ 前記長方形クロマブロックが、４：２：２サンプリングフォーマットを有する、Ｃ１６に記載の装置。
［Ｃ１９］ 前記第１の正方形サブブロックが前記長方形クロマブロックの上部ブロックであり、前記第２の正方形サブブロックが前記長方形クロマブロックの下部ブロックである、Ｃ１６に記載の装置。
［Ｃ２０］ 前記１つまたは複数のプロセッサが、
前記変換係数を使用して残差データを生成することと、
前記残差データを使用してビデオデータを符号化することと
を行うようにさらに構成される、Ｃ１６に記載の装置。
［Ｃ２１］ ビデオデータをコード化するための装置であって、
第１および第２の正方形サブブロックを有する長方形クロマブロックを取得するための手段と、
前記第１の正方形サブブロックが少なくとも１つの非ゼロ変換係数を含むかどうかを示すために、前記第１の正方形サブブロックに対する第１のコード化ブロックフラグ（ＣＢＦ）をコード化するための手段と、
前記第２の正方形サブブロックが少なくとも１つの非ゼロ変換係数を含むかどうかを示すために、前記第２の正方形サブブロックに対する第２のＣＢＦをコード化するための手段と
を備え、
ここにおいて、前記第１のＣＢＦをコード化するための前記手段と前記第２のＣＢＦをコード化するための前記手段のいずれもが、前記長方形クロマブロックに対するＣＢＦをコード化しない、装置。
［Ｃ２２］ 前記第１のＣＢＦをコード化するための前記手段または前記第２のＣＢＦをコード化するための前記手段が、上部サブブロックを備える前記第１のサブブロックを処理することと、前記長方形クロマブロックの下部サブブロックを備える前記第２のサブブロックを処理することとを行うようにさらに構成される、Ｃ２１に記載の装置。
［Ｃ２３］ ４：２：２サンプリングフォーマットを有するクロマブロックを備える前記第１のサブブロックおよび４：２：２サンプリングフォーマットを有するクロマブロックを備える前記第２のサブブロックを処理するための手段をさらに備える、Ｃ２１に記載の装置。
［Ｃ２４］ 前記第１の正方形サブブロックが前記長方形クロマブロックの上部ブロックであり、前記第２の正方形サブブロックが前記長方形クロマブロックの下部ブロックである、Ｃ２１に記載の装置。
［Ｃ２５］ 第１および第２の正方形サブブロックを有する長方形クロマブロックを取得することが、前記第１および第２の正方形サブブロックを受信することを備える、Ｃ２１に記載の装置。
［Ｃ２６］ 第１および第２の正方形サブブロックを有する長方形クロマブロックを取得することが、前記長方形クロマブロックを前記第１および第２の正方形サブブロックに分割することを備える、Ｃ２１に記載の装置。
［Ｃ２７］ １つまたは複数のプロセッサによる実行時に、前記１つまたは複数のプロセッサに、
第１および第２の正方形サブブロックを有する長方形クロマブロックを取得することと、
前記第１の正方形サブブロックが少なくとも１つの非ゼロ変換係数を含むかどうかを示すために、前記第１の正方形サブブロックに対する第１のコード化ブロックフラグ（ＣＢＦ）をコード化することと、
前記第２の正方形サブブロックが少なくとも１つの非ゼロ変換係数を含むかどうかを示すために、前記第２の正方形サブブロックに対する第２のＣＢＦをコード化することと、
前記長方形クロマブロックに対するＣＢＦをコード化しないことと
を行わせる命令を記憶する、非一時的コンピュータ可読記憶媒体。
［Ｃ２８］ 前記第１のサブブロックが上部サブブロックを備え、前記第２のサブブロックが前記長方形クロマブロックの下部サブブロックを備える、Ｃ２７に記載の非一時的コンピュータ可読記憶媒体。
［Ｃ２９］ 前記長方形クロマブロックが、４：２：２サンプリングフォーマットを有する、Ｃ２７に記載の非一時的コンピュータ可読記憶媒体。
［Ｃ３０］ 前記第１の正方形サブブロックが前記長方形クロマブロックの上部ブロックであり、前記第２の正方形サブブロックが前記長方形クロマブロックの下部ブロックである、Ｃ２７に記載の非一時的コンピュータ可読記憶媒体。

Claims (15)

1. ビデオデータを復号する方法であって、
   コーディングユニットのクロマサンプリングフォーマットに基づいて、前記コーディングユニットのリーフノードに対して、第１および第２の正方形サブブロックを備える長方形クロマブロックを取得することと、
   前記長方形クロマブロックを備える前記リーフノードに基づいて、長方形クロマブロック全体に対するコード化ブロックフラグ（ＣＢＦ）を復号しないことと、
   前記第１の正方形サブブロックが少なくとも１つの非ゼロ変換係数を含むかどうかを示す前記第１の正方形サブブロックに対する第１のＣＢＦを復号することと、
   前記第２の正方形サブブロックが少なくとも１つの非ゼロ変換係数を含むかどうかを示す前記第２の正方形サブブロックに対する第２のＣＢＦを復号することと、
   を備え、ここにおいて、前記第１の正方形サブブロックをイントラコード化することによって取得される復元されたサンプルが、前記第２の正方形サブブロックに対応するサンプルをイントラコード化するために使用される、方法。
2. 前記第１のサブブロックが上部サブブロックを備え、前記第２のサブブロックが前記長方形クロマブロックの下部サブブロックを備え、好ましくは、前記コーディングユニットが、４：２：２サンプリングフォーマットを有し、さらに好ましくは、
   前記変換係数を使用して残差データを生成することと、
   前記残差データを使用してコード化ビデオデータを復元することと
   をさらに備える、請求項１に記載の方法。
3. ビデオデータを符号化する方法であって、
   コーディングユニットのクロマサンプリングフォーマットに基づいて、リーフノードに対応する長方形クロマブロックを第１および第２の正方形サブブロックに分割することと、
   前記長方形クロマブロックを備える前記リーフノードに基づいて、長方形クロマブロック全体に対するコード化ブロックフラグ（ＣＢＦ）を符号化しないことと、
   前記第１の正方形サブブロックが少なくとも１つの非ゼロ変換係数を含むかどうかを示すために、前記第１の正方形サブブロックに対する第１のＣＢＦを符号化することと、
   前記第２の正方形サブブロックが少なくとも１つの非ゼロ変換係数を含むかどうかを示すために、前記第２の正方形サブブロックに対する第２のＣＢＦを符号化することと、
   を備え、ここにおいて、前記第１の正方形サブブロックをイントラコード化することによって取得される復元されたサンプルが、前記第２の正方形サブブロックに対応するサンプルをイントラコード化するために使用される、方法。
4. 前記第１のサブブロックが上部サブブロックを備え、前記第２のサブブロックが前記長方形クロマブロックの下部サブブロックを備える、請求項３に記載の方法。
5. 前記コーディングユニットが、４：２：２サンプリングフォーマットを有する、請求項３または４に記載の方法。
6. 前記変換係数を使用して残差データを生成することと、
   前記残差データを使用してビデオデータを符号化することと
   をさらに備える、請求項３に記載の方法。
7. ビデオデータを復号するための装置であって、
   コーディングユニットのクロマサンプリングフォーマットに基づいて、前記コーディングユニットのリーフノードに対して、第１および第２の正方形サブブロックを備える長方形クロマブロックを取得することと、
   前記長方形クロマブロックを備える前記リーフノードに基づいて、長方形クロマブロック全体に対するコード化ブロックフラグ（ＣＢＦ）を復号しないことと、
   前記第１の正方形サブブロックが少なくとも１つの非ゼロ変換係数を含むかどうかを示す前記第１の正方形サブブロックに対する第１のＣＢＦを復号することと、
   前記第２の正方形サブブロックが少なくとも１つの非ゼロ変換係数を含むかどうかを示す前記第２の正方形サブブロックに対する第２のＣＢＦを復号することと
   を行うように構成された１つまたは複数のプロセッサを備え、ここにおいて、前記第１の正方形サブブロックをイントラコード化することによって取得される復元されたサンプルが、前記第２の正方形サブブロックに対応するサンプルをイントラコード化するために使用される、装置。
8. 前記第１のサブブロックが上部サブブロックを備え、前記第２のサブブロックが前記長方形クロマブロックの下部サブブロックを備える、請求項７に記載の装置。
9. 前記コーディングユニットが、４：２：２サンプリングフォーマットを有する、請求項７または８に記載の装置。
10. 前記１つまたは複数のプロセッサが、
    前記変換係数を使用して残差データを生成することと、
    前記残差データを使用してコード化ビデオデータを復元することと
    を行うようにさらに構成される、請求項７に記載の装置。
11. ビデオデータを符号化するための装置であって、
    コーディングユニットのクロマサンプリングフォーマットに基づいて、前記コーディングユニットのリーフノードに対応する長方形クロマブロックを第１および第２の正方形サブブロックに分割することと、
    前記長方形クロマブロックを備える前記リーフノードに基づいて、長方形クロマブロック全体に対するコード化ブロックフラグ（ＣＢＦ）を符号化しないことと、
    前記第１の正方形サブブロックが少なくとも１つの非ゼロ変換係数を含むかどうかを示すために、前記第１の正方形サブブロックに対する第１のＣＢＦを符号化することと、
    前記第２の正方形サブブロックが少なくとも１つの非ゼロ変換係数を含むかどうかを示すために、前記第２の正方形サブブロックに対する第２のＣＢＦを符号化することと、
    を行うように構成された１つまたは複数のプロセッサ
    を備え、ここにおいて、前記第１の正方形サブブロックをイントラコード化することによって取得される復元されたサンプルが、前記第２の正方形サブブロックに対応するサンプルをイントラコード化するために使用される、装置。
12. 前記第１のサブブロックが上部サブブロックを備え、前記第２のサブブロックが前記長方形クロマブロックの下部サブブロックを備える、請求項１１に記載の装置。
13. 前記コーディングユニットが、４：２：２サンプリングフォーマットを有する、請求項１１または１２に記載の装置。
14. 前記１つまたは複数のプロセッサが、
    前記変換係数を使用して残差データを生成することと、
    前記残差データを使用してビデオデータを符号化することと
    を行うようにさらに構成される、請求項１１に記載の装置。
15. 非一時的コンピュータ可読記憶媒体であって、
    １つまたは複数のプロセッサによる実行時に、前記１つまたは複数のプロセッサに、
    コーディングユニットのクロマサンプリングフォーマットに基づいて、前記コーディングユニットのリーフノードに対して、第１および第２の正方形サブブロックを備える長方形クロマブロックを取得することと、
    前記長方形クロマブロックを備える前記リーフノードに基づいて、長方形クロマブロック全体に対するコード化ブロックフラグ（ＣＢＦ）を復号しないことと、
    前記第１の正方形サブブロックが少なくとも１つの非ゼロ変換係数を含むかどうかを示す前記第１の正方形サブブロックに対する第１のコード化ブロックフラグ（ＣＢＦ）をコード化することと、
    前記第２の正方形サブブロックが少なくとも１つの非ゼロ変換係数を含むかどうかを示す前記第２の正方形サブブロックに対する第２のＣＢＦをコード化することと、
    を行わせる命令を記憶し、ここにおいて、前記第１の正方形サブブロックをイントラコード化することによって取得される復元されたサンプルが、前記第２の正方形サブブロックに対応するサンプルをイントラコード化するために使用される、非一時的コンピュータ可読記憶媒体。

Images