JP6671450B2 - 映像サンプルのブロックをデブロックする方法 - Google Patents

Description

（技術分野）
本発明は一般にはデジタル映像信号処理に関し、特に、映像サンプルのブロックをデブロックする方法、装置、及び、システムに関する。本発明はまた、映像サンプルのブロックをデブロックするためのコンピュータプログラムが記録されたコンピュータ可読媒体を含むコンピュータプログラム製品にも関する。

（背景）
映像データの送信及び記憶のためのアプリケーションを含む、映像符号化のための多くのアプリケーションが現在存在している。また、多くの映像符号化標準が開発されており、他のものは現在開発中である。映像符号化標準化における近年の進展により、「映像符号化共同作業チーム（ＪＣＴ−ＶＣ：Joint Collaborative Team on Video Coding）」と呼ばれる団体が結成されている。映像符号化共同作業チーム（ＪＣＴ−ＶＣ）には、映像符号化エキスパートグループ（ＶＣＥＧ：Video Coding Experts Group）として知られている、国際電気通信連合（ＩＴＵ）の電気通信標準化セクター（ＩＴＵ−Ｔ）のスタディグループ１６、クエスチョン６（ＳＧ１６／Ｑ６）のメンバーと、動画エキスパートグループ（ＭＰＥＧ：Moving Picture Experts Group）としても知られている、国際標準化機構／国際電気標準会議 合同技術委員会１／分科委員会２９／ワーキンググループ１１（ＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１：International Organisations for Standardisation / International Electrotechnical Commission Joint Technical Committee 1 / Subcommittee 29 / Working Group 11）のメンバーが含まれる。

映像符号化共同作業チーム（ＪＣＴ−ＶＣ）は、「Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣ」（ＩＳＯ／ＩＥＣ１４４９６−１０）映像符号化標準よりも極めて性能がよい新たな映像符号化標準を製作した。新たな映像符号化標準は、「高効率映像符号化（ＨＥＶＣ：High Efficiency Video Coding）」と名付けられている。高効率映像符号化（ＨＥＶＣ）のさらなる開発は、「スクリーンコンテンツ」あるいは「不連続トーンコンテンツ」のように様々に知られているコンテンツに対して改善されたサポートを導入することに向けられている。このようなコンテンツは、コンピュータ又はタブレット装置からの、例えば、ＤＶＩコネクタからの、あるいは、無線ＨＤＭＩリンクを介して送信されうる、映像出力の典型である。このようなコンテンツは従来の映像圧縮標準によってはうまく取り扱われていなかったので、この種のコンテンツに対して達成可能な符号化効率を改善することに向けられた新たな活動が進行中である。

映像データは１つ以上のカラーチャネルを含む。一般には、１つのプライマリカラーチャネルと２つのセカンダリカラーチャネルが存在する。プライマリカラーチャネルは一般に「輝度（ｌｕｍａ：ルマ）」チャネルと呼ばれ、セカンダリカラーチャネルは一般に「クロマ（ｃｈｒｏｍａ）」チャネルと呼ばれている。映像データは、「ＹＣｂＣｒ」や「ＲＧＢ」等の色空間を使用して表される。

スクリーンコンテンツのアプリケーションに対しては「ＲＧＢ」が広く使用されている。これはＬＣＤパネルを駆動するために一般に使用されているフォーマットであるからである。「Ｇ」（緑）チャネルに最も大きな信号強度が存するため、一般にＧチャネルはプライマリカラーチャネルを使用して符号化され、残りのチャネル（すなわち、「Ｂ」、「Ｒ」）はセカンダリカラーチャネルを使用して符号化される。このような符号化方法は「ＧＢＲ」と呼ばれることがある。「ＹＣｂＣｒ」色空間が使用される場合、「Ｙ」チャネルはプライマリカラーチャネルを使用して符号化され、「Ｃｂ」及び「Ｃｒ」チャネルはセカンダリカラーチャネルを使用して符号化される。

映像データはまた、特定のクロマフォーマットを使用して表される。４：４：４のクロマフォーマットが使用される場合、プライマリカラーチャネルとセカンダリカラーチャネルの空間サンプリングは同一の空間密度で空間的にサンプリングされる。一般にＬＣＤパネルが４：４：４のフォーマットで画素を提供するように、スクリーンコンテンツに対して、広く使用されるクロマフォーマットは４：４：４である。ビット深度は各カラーチャネルにおけるサンプルのビット幅を規定し、これは利用可能なサンプル値の範囲を示す。カラーチャネルは異なるビット深度を有するかもしれないが、一般に、全てのカラーチャネルは同一のビット幅を有する。

高効率映像符号化（ＨＥＶＣ）においては、イントラ予測（画面内予測）、イントラブロックコピー予測、及び、インター予測（画面間予測）の３種類の使用される予測方法が存在する。イントラ予測及びイントラブロックコピー法は、映像フレームの一部のコンテンツを、同一の映像フレームの他の部分から予測することを可能にする。イントラ予測法は典型的には方向を持つテクスチャ（構造）を有するサンプルのブロックを生成するところ、イントラ予測モードは、テクスチャの方向と、テクスチャを生成するための基礎として使用されるフレーム内の隣接するサンプルを特定する。イントラブロックコピー予測法は、現在のフレームからのサンプルのブロックを、サンプルの現在のブロックに対する予測として使用する。

インター予測法は、映像フレーム内のサンプルのブロックのコンテンツを、以前の映像フレーム内のブロックから予測する。以前の映像フレーム（すなわち、異なりうる「表示順」とは対照的に「復号順」に）は「参照フレーム」と呼ばれてもよい。インター予測された予測ユニットは、「単一方向の」インター予測に対して構成された場合は１つの参照フレームを参照し、あるいは、「２つの方向の」インター予測に対して構成された場合は２つの参照フレームを参照してもよい。サンプルの１つのブロックが、各参照フレームから取得される。各参照フレームは、参照ピクチャのリストから選択される。サンプルのブロックは、動きベクトルを使用した、考慮される予測ユニット（ＰＵ：Prediction Unit）の位置に対する空間的オフセットである。予測ユニット（ＰＵ）が双方向のインター予測に対して構成されている場合、別個の動きベクトルが各参照フレームからサンプルのブロックを取得するために適用される。

映像フレームのシーケンス内の最初の映像フレームは、それよりも前に参照できるフレームがないため、フレーム内のサンプルの全てのブロックに対してイントラ予測を使用することが典型的である。それに続く映像フレームは、サンプルのブロックを予測するために、１つ以上の以前の映像フレームを使用してもよい。符号化効率を最大化するために、キャプチャされたフレームデータに最も近い予測ブロックを生成する予測法が典型的に使用される。サンプルの予測ブロックとキャプチャされたフレームデータとの間の残りの差分は「残差（residual）」として知られている。この差分の空間領域表現は、一般に、周波数領域表現へ変換される。一般に、周波数領域表現は、画像センサからキャプチャされたコンテンツの空間領域表現に存在する情報をコンパクトに格納するところ、このようなコンテンツは「ナチュラルコンテンツ」、「連続トーンコンテンツ」、あるいは、「カメラキャプチャコンテンツ」とも呼ばれる。スクリーンコンテンツに対して、フォント等のコンテンツのソフトウェアレンダリングの結果、エッジがシャープになるにつれて、ウィンドウのエッジやアイコンの結果は、周波数領域において効果的に表現されなくなる。周波数領域表現は、整数の離散コサイン変換（ＤＣＴ）等の変換の適用に起因する「残差係数（residual coefficients）」のブロックを含む。さらに、残差係数（あるいは「変倍された変換係数」）は量子化され、これにより損失が導入されるだけでなく、またさらに、ビットストリームで符号化されるのに必要な情報の量が削減される。残差の非可逆な周波数領域表現は、「変換係数」としても知られており、ビットストリーム内に格納されてもよい。非ゼロ値を有する各残差係数は、「有意（significant）」残差係数とも呼ばれる。復号部内で復元される残差における「非可逆性」の程度は、ビットストリームから復号された映像データの、キャプチャされたフレームデータと比べたゆがみと、ビットストリームのサイズに影響する。

（概要）
本発明の目的は、既存の構成の１つ以上の欠点を実質的に解消するか、あるいは、少なくとも改善することである。

本明細書の一側面によれば、映像データのサンプルのブロックのエッジをデブロックする方法であって、
映像データのブロックの各々がプライマリカラーチャネルと少なくとも１つのセカンダリカラーチャネルとを含む映像データの、隣接する２つのブロックの第１のブロックに対して第１の予測モードを復号する工程と、
前記映像データの隣接する２つのブロックの第２のブロックに対して第２の予測モードを復号する工程と、
前記第１の予測モードと前記第２の予測モードが両方ともイントラブロックコピーである場合、前記映像データの前記第１のブロックと前記映像データの前記第２のブロックとの間の境界に対応するエッジに沿ってサンプルのブロックに対する境界強度値を決定する工程であって、該境界強度値は、前記隣接する２つのブロックと関連付けられたブロックベクトルが異なる大きさを有する場合に弱いデブロッキングフィルタの適用を示し、該ブロックベクトルが等しい大きさを有する場合にデブロッキングフィルタは適用されないことを示す、工程と、
前記弱いデブロッキングフィルタが適用されるべきことを前記決定された境界強度値が示す場合にのみ前記２つのブロックの前記エッジに沿ってデータの前記ブロックへ前記弱いデブロッキングフィルタを適用する工程であって、該弱いデブロッキングフィルタは、隣接して位置づけられた２つのイントラ予測モードブロックを有すると決定されたエッジに適用されるフィルタと異なる、工程と
を有することを特徴とする方法が提供される。

本明細書の他の側面によれば、映像データのサンプルのブロックのエッジをデブロックする装置であって、
映像データのブロックの各々がプライマリカラーチャネルと少なくとも１つのセカンダリカラーチャネルとを含む映像データの、隣接する２つのブロックの第１のブロックに対して第１の予測モードを復号し、該映像データの隣接する２つのブロックの第２のブロックに対して第２の予測モードを復号する復号モジュールと、
前記第１の予測モードと前記第２の予測モードが両方ともイントラブロックコピーである場合、前記映像データの前記第１のブロックと前記映像データの前記第２のブロックとの間の境界に対応するエッジに沿ってサンプルのブロックに対する境界強度値を決定する決定モジュールであって、該境界強度値は、前記隣接する２つのブロックと関連付けられたブロックベクトルが異なる大きさを有する場合に弱いデブロッキングフィルタの適用を示し、該ブロックベクトルが等しい大きさを有する場合にデブロッキングフィルタは適用されないことを示す、決定モジュールと、
前記弱いデブロッキングフィルタが適用されるべきことを前記決定された境界強度値が示す場合にのみ前記２つのブロックの前記エッジに沿ってデータの前記ブロックへ前記弱いデブロッキングフィルタを適用する適用モジュールであって、該弱いデブロッキングフィルタは、隣接して位置づけられた２つのイントラ予測モードブロックを有すると決定されたエッジに適用されるフィルタと異なる、適用モジュールと
を備えることを特徴とする装置が提供される。

本明細書のさらなる他の側面によれば、映像データのサンプルのブロックのエッジをデブロックするシステムであって、
データ及びコンピュータプログラムを記憶するメモリと、
前記コンピュータプログラムを実行する前記メモリに結合されたプロセッサと
を備え、
前記コンピュータプログラムは、
映像データのブロックの各々がプライマリカラーチャネルと少なくとも１つのセカンダリカラーチャネルとを含む映像データの、隣接する２つのブロックの第１のブロックに対して第１の予測モードを復号する工程と、
前記映像データの隣接する２つのブロックの第２のブロックに対して第２の予測モードを復号する工程と、
前記第１の予測モードと前記第２の予測モードが両方ともイントラブロックコピーである場合、前記映像データの前記第１のブロックと前記映像データの前記第２のブロックとの間の境界に対応するエッジに沿ってサンプルのブロックに対する境界強度値を決定する工程であって、該境界強度値は、前記隣接する２つのブロックと関連付けられたブロックベクトルが異なる大きさを有する場合に弱いデブロッキングフィルタの適用を示し、該ブロックベクトルが等しい大きさを有する場合にデブロッキングフィルタは適用されないことを示す、工程と、
前記弱いデブロッキングフィルタが適用されるべきことを前記決定された境界強度値が示す場合にのみ前記２つのブロックの前記エッジに沿ってデータの前記ブロックへ前記弱いデブロッキングフィルタを適用する工程であって、該弱いデブロッキングフィルタは、隣接して位置づけられた２つのイントラ予測モードブロックを有すると決定されたエッジに適用されるフィルタと異なる、工程と
を実行するための命令を備えることを特徴とするシステムが提供される。

本明細書のさらなる他の側面によれば、映像データのサンプルのブロックのエッジをデブロックするためのコンピュータプログラムを有する非一時的なコンピュータ可読媒体であって、
映像データのブロックの各々がプライマリカラーチャネルと少なくとも１つのセカンダリカラーチャネルとを含む映像データの、隣接する２つのブロックの第１のブロックに対して第１の予測モードを復号するコードと、
前記映像データの隣接する２つのブロックの第２のブロックに対して第２の予測モードを復号するコードと、
前記第１の予測モードと前記第２の予測モードが両方ともイントラブロックコピーである場合、前記映像データの前記第１のブロックと前記映像データの前記第２のブロックとの間の境界に対応するエッジに沿ってサンプルのブロックに対する境界強度値を決定するコードであって、該境界強度値は、前記隣接する２つのブロックと関連付けられたブロックベクトルが異なる大きさを有する場合に弱いデブロッキングフィルタの適用を示し、該ブロックベクトルが等しい大きさを有する場合にデブロッキングフィルタは適用されないことを示す、コードと、
前記弱いデブロッキングフィルタが適用されるべきことを前記決定された境界強度値が示す場合にのみ前記２つのブロックの前記エッジに沿ってデータの前記ブロックへ前記弱いデブロッキングフィルタを適用するコードであって、該弱いデブロッキングフィルタは、隣接して位置づけられた２つのイントラ予測モードブロックを有すると決定されたエッジに適用されるフィルタと異なる、コードと
を備えたコンピュータプログラムを当該媒体上に記憶したコンピュータ可読媒体が提供される。

本明細書のさらなる他の側面によれば、映像データのサンプルのブロックのエッジをデブロックする方法であって、
映像データのブロックの各々がプライマリカラーチャネルと少なくとも１つのセカンダリカラーチャネルとを含む映像データの、隣接する２つのブロックの第１のブロックに対して第１の予測モードを復号する工程と、
前記映像データの隣接する２つのブロックの第２のブロックに対して第２の予測モードを復号する工程と、
前記映像データの前記第１のブロックと前記映像データの前記第２のブロックとの間の境界に対応するエッジに沿ってサンプルのブロックに対する境界強度値を決定する工程と、
前記第１の予測モードがイントラ予測であり、前記第２の予測モードがイントラブロックコピー予測であることを前記決定された境界強度値が示す場合、前記エッジに沿ってデータの前記ブロックへ弱いデブロッキングフィルタを適用する工程であって、該弱いデブロッキングフィルタは、隣接して位置づけられた２つのイントラ予測モードブロックを有すると決定されたブロックに適用されるフィルタと異なる、工程と
を有することを特徴とする方法が提供される。

本明細書のさらなる他の側面によれば、映像データのサンプルのブロックのエッジをデブロックする装置であって、
映像データのブロックの各々がプライマリカラーチャネルと少なくとも１つのセカンダリカラーチャネルとを含む映像データの、隣接する２つのブロックの第１のブロックに対して第１の予測モードを復号し、該映像データの隣接する２つのブロックの第２のブロックに対して第２の予測モードを復号する復号モジュールと、
前記映像データの前記第１のブロックと前記映像データの前記第２のブロックとの間の境界に対応するエッジに沿ってサンプルのブロックに対する境界強度値を決定する決定モジュールと、
前記第１の予測モードがイントラ予測であり、前記第２の予測モードがイントラブロックコピー予測であることを前記決定された境界強度値が示す場合、前記エッジに沿ってデータの前記ブロックへ弱いデブロッキングフィルタを適用する適用モジュールであって、該弱いデブロッキングフィルタは、隣接して位置づけられた２つのイントラ予測モードブロックを有すると決定されたブロックに適用されるフィルタと異なる、適用モジュールと
を備えることを特徴とする装置が提供される。

本明細書のさらなる他の側面によれば、映像データのサンプルのブロックのエッジをデブロックするシステムであって、
データ及びコンピュータプログラムを記憶するメモリと、
前記コンピュータプログラムを実行する前記メモリに結合されたプロセッサと
を備え、
前記コンピュータプログラムは、
映像データのブロックの各々がプライマリカラーチャネルと少なくとも１つのセカンダリカラーチャネルとを含む映像データの、隣接する２つのブロックの第１のブロックに対して第１の予測モードを復号する工程と、
前記映像データの隣接する２つのブロックの第２のブロックに対して第２の予測モードを復号する工程と、
前記映像データの前記第１のブロックと前記映像データの前記第２のブロックとの間の境界に対応するエッジに沿ってサンプルのブロックに対する境界強度値を決定する工程と、
前記第１の予測モードがイントラ予測であり、前記第２の予測モードがイントラブロックコピー予測であることを前記決定された境界強度値が示す場合、前記エッジに沿ってデータの前記ブロックへ弱いデブロッキングフィルタを適用する工程であって、該弱いデブロッキングフィルタは、隣接して位置づけられた２つのイントラ予測モードブロックを有すると決定されたブロックに適用されるフィルタと異なる、工程と
を実行するための命令を備えることを特徴とするシステムが提供される。

本明細書のさらなる他の側面によれば、映像データのサンプルのブロックのエッジをデブロックするためのコンピュータプログラムを有するコンピュータ可読媒体であって、
映像データのブロックの各々がプライマリカラーチャネルと少なくとも１つのセカンダリカラーチャネルとを含む映像データの、隣接する２つのブロックの第１のブロックに対して第１の予測モードを復号するコードと、
前記映像データの隣接する２つのブロックの第２のブロックに対して第２の予測モードを復号するコードと、
前記映像データの前記第１のブロックと前記映像データの前記第２のブロックとの間の境界に対応するエッジに沿ってサンプルのブロックに対する境界強度値を決定するコードと、
前記第１の予測モードがイントラ予測であり、前記第２の予測モードがイントラブロックコピー予測であることを前記決定された境界強度値が示す場合、前記エッジに沿ってデータの前記ブロックへ弱いデブロッキングフィルタを適用するコードであって、該弱いデブロッキングフィルタは、隣接して位置づけられた２つのイントラ予測モードブロックを有すると決定されたブロックに適用されるフィルタと異なる、コードと
を備えたコンピュータプログラムを当該媒体上に記憶したコンピュータ可読媒体が提供される。

本明細書のさらなる他の側面によれば、デブロックする方法であって、
映像データのブロックの各々がプライマリカラーチャネルと少なくとも１つのセカンダリカラーチャネルとを含む映像データの、隣接する２つのブロックの第１のブロックに対して第１の予測モードを復号する工程と、
前記映像データの隣接する２つのブロックの第２のブロックに対して第２の予測モードを復号する工程と、
前記映像データの前記第１のブロックと前記映像データの前記第２のブロックとの間の境界に対応するエッジに沿ってサンプルのブロックに対する境界強度値を決定する工程と、
前記第１の予測モードがイントラ予測であり、前記第２の予測モードがイントラブロックコピー予測であることを前記決定された境界強度値が示す場合、前記エッジに沿って前記プライマリカラーチャネルデータにのみデブロッキングフィルタを適用する工程と
を有することを特徴とする方法が提供される。

本明細書のさらなる他の側面によれば、デブロックする装置であって、
映像データのブロックの各々がプライマリカラーチャネルと少なくとも１つのセカンダリカラーチャネルとを含む映像データの、隣接する２つのブロックの第１のブロックに対して第１の予測モードを復号し、該映像データの隣接する２つのブロックの第２のブロックに対して第２の予測モードを復号する復号モジュールと、
前記映像データの前記第１のブロックと前記映像データの前記第２のブロックとの間の境界に対応するエッジに沿ってサンプルのブロックに対する境界強度値を決定する決定モジュールと、
前記第１の予測モードがイントラ予測であり、前記第２の予測モードがイントラブロックコピー予測であることを前記決定された境界強度値が示す場合、前記エッジに沿って前記プライマリカラーチャネルデータにのみデブロッキングフィルタを適用するデブロッキングフィルタモジュールと
を備えることを特徴とする装置が提供される。

本明細書のさらなる他の側面によれば、デブロックするシステムであって、
データ及びコンピュータプログラムを記憶するメモリと、
前記コンピュータプログラムを実行する前記メモリに結合されたプロセッサと
を備え、
前記コンピュータプログラムは、
映像データのブロックの各々がプライマリカラーチャネルと少なくとも１つのセカンダリカラーチャネルとを含む映像データの、隣接する２つのブロックの第１のブロックに対して第１の予測モードを復号する工程と、
前記映像データの隣接する２つのブロックの第２のブロックに対して第２の予測モードを復号する工程と、
前記映像データの前記第１のブロックと前記映像データの前記第２のブロックとの間の境界に対応するエッジに沿ってサンプルのブロックに対する境界強度値を決定する工程と、
前記第１の予測モードがイントラ予測であり、前記第２の予測モードがイントラブロックコピー予測であることを前記決定された境界強度値が示す場合、前記エッジに沿って前記プライマリカラーチャネルデータにのみデブロッキングフィルタを適用する工程と
を実行するための命令を備えることを特徴とするシステムが提供される。

本明細書のさらなる他の側面によれば、デブロックする方法を実行するためのコンピュータプログラムを有するコンピュータ可読媒体であって、
映像データのブロックの各々がプライマリカラーチャネルと少なくとも１つのセカンダリカラーチャネルとを含む映像データの、隣接する２つのブロックの第１のブロックに対して第１の予測モードを復号するコードと、
前記映像データの隣接する２つのブロックの第２のブロックに対して第２の予測モードを復号するコードと、
前記映像データの前記第１のブロックと前記映像データの前記第２のブロックとの間の境界に対応するエッジに沿ってサンプルのブロックに対する境界強度値を決定するコードと、
前記第１の予測モードがイントラ予測であり、前記第２の予測モードがイントラブロックコピー予測であることを前記決定された境界強度値が示す場合、前記エッジに沿って前記プライマリカラーチャネルデータにのみデブロッキングフィルタを適用するコードと
を備えたコンピュータプログラムを当該媒体上に記憶したコンピュータ可読媒体が提供される。

他の側面もまた開示される。

（図面の簡単な説明）
以下、次の図面及び付録を参照して、本発明の少なくとも１つの実施形態を説明する。
図１は、映像符号化・復号システムを示す概略ブロック図である。 、 図２Ａ及び図２Ｂは、図１の映像符号化・復号システムの１つ又は両方が実施されてもよい、汎用コンピュータシステムの概略ブロック図を形成する。 図３は、映像符号化部の機能モジュールを示す概略ブロック図である。 図４は、映像復号部の機能モジュールを示す概略ブロック図である。 図５Ａは、符号化木ブロック（ＣＴＢ：coding tree block）内で符号化ブロック（ＣＢ：coding block）を「Ｚ−スキャン」の順にスキャンする例を示す概略ブロック図である。 図５Ｂは、イントラブロックコピー動作の例を示す概略ブロック図である。 図６は、再構成されたサンプルの領域を有するフレームの例を示す概略ブロック図である。 図７は、フレームの一部における水平及び垂直のエッジの例を示す概略ブロック図である。 図８は、各エッジのいずれかのサイドにおける予測ユニット（ＰＵ：prediction unit）の予測モードに起因するエッジの種類の例を示す概略ブロック図である。 図９は、異なるカラーチャネルに対するフィルタ強度設定と境界強度値を示すテーブルである。 図１０Ａは、エッジの各サイドの予測ユニット（ＰＵ）の予測モードに従いエッジに対して境界強度を設定する規則を示すテーブルである。 図１０Ｂは、エッジの各サイドの予測ユニット（ＰＵ）の予測モードに従いエッジに対して境界強度を設定する規則を示すテーブルである。 図１０Ｃは、エッジの各サイドの予測ユニット（ＰＵ）の予測モードに従いエッジに対して境界強度を設定する規則を示すテーブルである。 図１１は、デブロッキングフィルタに対して境界強度を設定する方法を示す概略フロー図である。 図１２は、デブロッキングフィルタに対して境界強度を設定する方法を示す概略フロー図である。 図１３は、映像データのブロックのイントラブロックコピー及びデブロックの方法を示す概略フロー図である。

付録１及び付録２は、本明細書に開示された修正及び変形に従い修正されたＨＥＶＣ標準に係る構文テーブルを提供する。

（ベストモードを含む詳細な説明）
任意の１つ以上の添付図面において、同一の参照符号を有するステップ及び／又は特徴が参照される場合、反対の意図が示されない限り、これらのステップ及び／又は特徴は、この説明の目的に対して、同一の機能ないし動作を有する。

量子化プロセスに起因するアーチファクト（悪影響）を減少させるために、「デブロック」フィルタが、映像データのブロック間の滑らかな境界に適用されてもよい。映像データの隣接ブロック間の相違を平滑化することは、復号された映像データの知覚される（すなわち、主観的な）品質を大幅に改善することができる。映像データの隣接ブロック間の相違を平滑化することはまた、復号された映像データの客観的な品質の基準である、ピーク信号対雑音比（ＰＳＮＲ：peak signal to noise ratio）をも改善することができる。

図１は、映像符号化・復号システム１００の機能モジュールを示す概略ブロック図である。システム１００は、「スクリーンコンテンツ」のプレゼンスにおける主観的及び客観的な映像品質を改善するデブロックの方法を利用してもよい。スクリーンコンテンツは、連続トーンコンテンツほど強くフィルタリングされるべきでない高周波数情報を含むコンテンツである。

システム１００は、送信元装置１１０及び宛先装置１３０を含む。通信チャネル１２０は、送信元装置１１０から宛先装置１３０へ符号化映像情報を通信するために使用される。ある構成において、送信元装置１１０及び宛先装置１３０はそれぞれ携帯電話ハンドセットを備えてもよく、そのような場合、通信チャネル１２０は無線チャネルである。他の構成において、送信元装置１１０及び宛先装置１３０はビデオ会議機器を備えてもよく、そのような場合、通信チャネル１２０は典型的にはインターネット接続等の有線チャネルである。さらに、送信元装置１１０及び宛先装置１３０は、無線テレビ放送、ケーブルテレビアプリケーション、インターネットビデオアプリケーション、及び、符号化映像データがあるストレージ媒体又はファイルサーバにおいてキャプチャされるアプリケーションにわたって支援する装置を含む、任意の広範囲の装置を備えてもよい。

図１に示すように、送信元装置１１０は、映像ソース１１２、映像符号化部１１４、及び、送信部１１６を含む。映像ソース１１２は典型的には、撮像センサ、一時的でない記録媒体に記憶された以前キャプチャされた映像シーケンス、あるいは、遠隔撮像センサからの映像フィード等のキャプチャ映像フレームデータのソースを備える。映像ソース１１２はまた、例えば、オペレーティングシステムや様々なコンピュータアプリケーションの映像出力を表示するコンピュータグラフィックカードの出力としてもよい。そのようなコンテンツは「スクリーンコンテンツ」の例である。撮像センサを映像ソース１１２として含んでもよい送信元装置１１０の例には、スマートフォン、ビデオカムコーダ、及び、ネットワークビデオカメラが含まれてもよい。映像符号化部１１４は、映像ソース１１２からのキャプチャフレームデータを符号化映像データに変換するところ、これについては図３を参照してさらに説明する。符号化映像データは典型的には、符号化ビットストリームであり、送信部１１６により通信チャネル１２０を介して符号化映像データ（又は「符号化映像情報」）として送信される。符号化映像データはまた、後に通信チャネル１２０を介して送信されるまでか、あるいは、通信チャネル１２０を介して送信することに代えて、「フラッシュ」メモリ又はハードディスクドライブ等の一時的でないストレージ装置１２２に記憶することもできる。

宛先装置１３０は、受信部１３２、映像復号部１３４、及び、ディスプレイ装置１３６を含む。受信部１３２は、通信チャネル１２０から符号化映像データを受信し、受信した映像データを映像復号部１３４へ受け渡す。次に、映像復号部１３４は復号されたフレームデータをディスプレイ装置１３６へ出力する。ディスプレイ装置１３６の例には、スマートフォン、タブレットコンピュータ、コンピュータモニタ、あるいは、スタンドアロン型のテレビセット等における、陰極線管や液晶ディスプレイが含まれる。また、送信元装置１１０及び宛先装置１３０の各々の機能性は、単一の装置に実施することもできる。

上述の装置の例にもかかわらず、送信元装置１１０及び宛先装置１３０の各々は、典型的にはハードウェア及びソフトウェアのコンポーネントの組み合わせを介して、汎用コンピュータシステム内に構成されてもよい。図２Ａは、コンピュータモジュール２０１と、キーボード２０２、マウスポインタ装置２０３、スキャナ２２６、映像ソース１１２として構成されてもよいカメラ２２７、及び、マイク２８０等の入力装置と、プリンタ２１５、ディスプレイ装置１３６として構成されてもよいディスプレイ装置２１４、及び、スピーカ２１７を含む出力装置とを包含するコンピュータシステム２００等を示している。外部の変調復調器（モデム）送受信装置２１６は、接続２２１を介して通信ネットワーク２２０へ、又は、通信ネットワーク２２０から通信するために、コンピュータモジュール２０１により使用されてもよい。通信チャネル１２０を示してもよい通信ネットワーク２２０は、インターネット、セルラ電気通信網、あるいは、プライベートＷＡＮ等の、ワイドエリアネットワーク（ＷＡＮ）としてもよい。接続２２１が電話線の場合、モデム２１６は従来の「ダイアルアップ」モデムとしてもよい。あるいは、接続２２１が大容量（例えば、ケーブル）の接続である場合、モデム２１６はブロードバンドモデムとしてもよい。また、通信ネットワーク２２０への無線接続のために、無線モデムが使用されてもよい。送受信装置２１６は送信部１１６と受信部１３２の機能性を提供してもよく、通信チャネル１２０は接続２２１において実施されてもよい。

コンピュータモジュール２０１は典型的には、少なくとも１つのプロセッサユニット２０５及びメモリユニット２０６を含む。例えば、メモリユニット２０６は、半導体ランダムアクセスメモリ（ＲＡＭ）及び半導体リードオンリーメモリ（ＲＯＭ）を有してもよい。コンピュータモジュール２０１はまた、映像ディスプレイ２１４、スピーカ２１７、及び、マイク２８０に結合する音声・映像インタフェース２０７と、キーボード２０２、マウス２０３、スキャナ２２６、カメラ２２７、及び、オプションでジョイスティック又は他のヒューマンインタフェース装置（不図示）に結合するに入出力（Ｉ／Ｏ）インタフェース２１３と、外部モデム２１６及びプリンタ２１５に対するインタフェース２０８とを含む、多数のＩ／Ｏインタフェースを含む。音声・映像インタフェース２０７からコンピュータモニタ２１４への信号は、一般にコンピュータグラフィックカードの出力であり、「スクリーンコンテンツ」の例を提供する。ある実装において、モデム２１６は、コンピュータモジュール２０１内の、例えばインタフェース２０８内に組み込んでもよい。コンピュータモジュール２０１はまた、ローカルエリアネットワーク（ＬＡＮ）として知られるローカルエリアの通信ネットワーク２２２へ接続２２３を介してコンピュータシステム２００を結合できるようにする、ローカルネットワークインタフェース２１１をも有している。図２Ａに示すように、ローカル通信ネットワーク２２２はまた、接続２２４を介してワイドネットワーク２２０にも結合してよく、接続２２４は典型的には、いわゆる「ファイアウォール」装置又は同様の機能の装置を含んでいるだろう。ローカルネットワークインタフェース２１１は、イーサネット（商標）回路カード、Ｂｌｕｅｔｏｏｔｈ（商標）無線構成、あるいは、ＩＥＥＥ８０２．１１無線構成を備えてもよいが、多数の他の種類のインタフェースがインタフェース２１１に対して実施されてもよい。ローカルネットワークインタフェース２１１はまた送信部１１６と受信部１３２の機能性をも提供してもよく、通信チャネル１２０はまたローカル通信ネットワーク２２２においても実施されてもよい。

Ｉ／Ｏインタフェース２０８及び２１３は、シリアル接続及びパラレル接続のいずれか又は両方を提供してもよく、前者は典型的にはユニバーサルシリアルバス（ＵＳＢ）標準に従い実装され、対応するＵＳＢコネクタ（不図示）を有する。ストレージ装置２０９が提供され、典型的にはハードディスクドライブ（ＨＤＤ）２１０を含む。また、フロッピーディスクドライブや磁気テープドライブ（不図示）等の他のストレージ装置が使用されてもよい。光学ディスクドライブ２１２は、典型的にはデータの不揮発性ソースとして作用するために提供される。例えば、光学ディスク（例えば、ＣＤ−ＲＯＭ、ＤＶＤ、ブルーレイディスク（商標））、ＵＳＢ−ＲＡＭ、ポータブルな外部ハードドライブ、及び、フロッピーディスク等のポータブルメモリ装置は、コンピュータシステム２００への適切なデータソースとして使用されてもよい。典型的には、ＨＤＤ２１０、光学ドライブ２１２、ネットワーク２２０及び２２２のいずれかは、映像ソース１１２、又は、ディスプレイ２１４を介して再生するために記憶される復号された映像データの宛先として動作するように構成されてもよい。システム１００の送信元装置１１０及び宛先装置１３０、あるいは、システム１００の送信元装置１１０及び宛先装置１３０は、コンピュータシステム２００に実施されてもよい。

コンピュータモジュール２０１のコンポーネント２０５〜２１３は、典型的には、相互接続されたバス２０４を介して、関連技術において知られている、コンピュータシステム２００の動作の従来のモードをもたらすような態様で通信する。例えば、プロセッサ２０５は、接続２１８を使用してシステムバス２０４へ結合される。同様に、メモリ２０６及び光学ディスクドライブ２１２は、接続２１９によりシステムバス２０４へ結合される。前述の構成を実施することが可能なコンピュータの例には、ＩＢＭ−ＰＣ及び互換機、Ｓｕｎ ＳＰＡＲＣステーション、Ａｐｐｌｅ Ｍａｃ（商標）、あるいは、類似のコンピュータシステムが含まれる。

適切または望まれる場合、映像符号化部１１４及び映像復号部１３４、並びに、後述する方法は、コンピュータシステム２００を使用して実装してもよく、映像符号化部１１４、映像復号部１３４、及び、説明する方法は、コンピュータシステム２００内で実行可能な１つ以上のソフトウェアアプリケーションプログラム２３３として実装されてもよい。特に、映像符号化部１１４、映像復号部１３４、及び、説明する方法のステップは、コンピュータシステム２００内で実行されるソフトウェア２３３において命令２３１（図２Ｂ参照）によりもたらされる。ソフトウェア命令２３１は、１つ以上の特定のタスクをそれぞれ実行する、１つ以上のコードモジュールとして形成されてもよい。また、ソフトウェアは２つの別の部分に分けてもよく、第１の部分と対応するコードモジュールは説明する方法を実行し、第２の部分と対応するコードモジュールは第１の部分とユーザとの間のユーザインタフェースを管理する。

ソフトウェアは、例えば、後述するストレージ装置を含むコンピュータ可読媒体に記憶されてもよい。ソフトウェアはコンピュータ可読媒体からコンピュータシステム２００へロードされ、次に、コンピュータシステム２００により実行される。コンピュータ可読媒体に記録されたそのようなソフトウェア又はコンピュータプログラムを有するコンピュータ可読媒体は、コンピュータプログラム製品である。コンピュータシステム２００におけるコンピュータプログラム製品の使用は、好適には、映像符号化部１１４、映像復号部１３４、及び、説明する方法を実装するための有利な装置をもたらす。

ソフトウェア２３３は、典型的には、ＨＤＤ２１０又はメモリ２０６に記憶される。ソフトウェアはコンピュータ可読媒体からコンピュータシステム２００へロードされ、コンピュータシステム２００により実行される。したがって、例えば、ソフトウェア２３３は、光学ディスクドライブ２１２により読み出される光学的に可読なディスクストレージ媒体（たとえば、ＣＤ−ＲＯＭ）２２５上に記憶されてもよい。

いくつかの例において、アプリケーションプログラム２３３は、１つ以上のＣＤ−ＲＯＭ２２５上でのユーザ符号化に供給され、対応するドライブ２１２を介して読み出されてもよいし、あるいは、ネットワーク２２０又は２２２からユーザにより読み出されてもよい。さらにまた、ソフトウェアは、他のコンピュータ可読媒体からコンピュータシステム２００へロードされることもできる。コンピュータ可読ストレージ媒体とは、記録された命令及びデータの少なくともいずれかを、実行及び処理の少なくともいずれかのために、コンピュータシステム２００へ提供する任意の一時的でない有形のストレージ媒体をいう。そのようなストレージ媒体の例には、コンピュータモジュール２０１の内部又は外部の装置であるかに関わりなく、フロッピーディスク、磁気テープ、ＣＤ−ＲＯＭ、ＤＶＤ、ブルーレイディスク（商標）、ハードディスクドライブ、ＲＯＭ若しくは集積回路、ＵＳＢメモリ、光磁気ディスク、又は、ＰＣＭＣＩＡカード等のコンピュータ可読カード、その他が含まれる。ソフトウェア、アプリケーションプログラム、命令、及び、映像データ若しくは符号化映像データの少なくともいずれかをコンピュータモジュール４０１に提供することにも関わってもよい、一時的若しくは有形でないコンピュータ可読伝送媒体の例には、無線若しくは赤外線伝送チャネル、他のコンピュータ若しくはネットワーク装置へのネットワーク接続、及び、電子メール伝送及びウェブサイト上に記録された情報を含むインターネット若しくはイントラネット、その他が含まれる。

前述のアプリケーションプログラム２３３の第２の部分と対応するコードモジュールは、ディスプレイ２１４上でレンダリング、さもなければ示される、１つ以上のグラフィカルユーザインタフェース（ＧＵＩ）を実装するために実行されてもよい。典型的には、キーボード２０２及びマウス２０３の操作により、コンピュータシステム２００及びアプリケーションのユーザは、ＧＵＩと関連付けられたアプリケーションへのコマンド及び入力の少なくともいずれかの制御を提供するために、機能的に適応性のある態様でインタフェースを操作してもよい。スピーカ２１７を介した会話プロンプト出力、及び、マイク２８０を介したユーザ音声コマンドを利用した音声インタフェース等の、他の形態の機能的に適応性のあるユーザインタフェースもまた実装されてもよい。

図２Ｂは、プロセッサ２０５及び「メモリ」２３４の詳細な概略ブロック図である。メモリ２３４は、図２Ａにおいてコンピュータモジュール２０１によりアクセスすることが可能な全てのメモリモジュール（ＨＤＤ２０９及び半導体メモリ２０６を含む）の論理的な集合体を示している。

はじめにコンピュータモジュール２０１に電源が投入されると、パワーオン・セルフテスト（ＰＯＳＴ）プログラム２５０が実行される。ＰＯＳＴプログラム２５０は、典型的には、図２Ａの半導体メモリ２０６のＲＯＭ２４９に記憶される。ソフトウェアを記憶するＲＯＭ２４９等のハードウェア装置は、ファームウェアと呼ばれることがある。ＰＯＳＴプログラム２５０は、正しい機能性を確保するためにコンピュータモジュール２０１内のハードウェアを検査し、典型的には、プロセッサ２０５、メモリ２３４（２０９、２０６）、及び、ベーシックインプットアウトプットシステム（ＢＩＯＳ）ソフトウェアモジュール２５１をチェックするところ、ＢＩＯＳソフトウェアモジュール２５１は典型的には正しい動作のためにＲＯＭ２４９内にも記憶される。ＰＯＳＴプログラム２５０の作動が一度成功すると、ＢＩＯＳ２５１は図２Ａのハードディスクドライブ２１０を稼働させる。ハードディスクドライブ２１０の稼働は、ハードディスクドライブ２１０に常駐するブートストラップローダプログラム２５２がプロセッサ２０５を介して実行することをもたらす。これによりオペレーティングシステム２５３がＲＡＭメモリ２０６内にロードされ、オペレーティングシステム２５３はこれに基づいて動作を開始する。オペレーティングシステム２５３は、プロセッサ２０５により実行可能なシステムレベルアプリケーションであり、プロセッサ管理、メモリ管理、装置管理、記憶管理、ソフトウェアアプリケーションインタフェース、及び、一般ユーザインタフェースを含む、様々な高レベルの機能を実現する。

オペレーティングシステム２５３は、コンピュータモジュール２０１上で作動している各プロセス又はアプリケーションが、他のプロセスに割り当てられたメモリと衝突することなく実行するために十分なメモリを有することを確保するために、メモリ２３４（２０９、２０６）を管理する。さらに、各プロセスが効果的に作動することができるように、図２Ａのコンピュータシステム２００において利用可能な異なる種類のメモリは正しく使用されなければならない。したがって、集約されたメモリ２３４は、（そうでないことを言及しない限り）メモリの特定のセグメントがどのように割り当てられるかを示すことが意図されているのではなく、コンピュータシステム２００によりアクセス可能なメモリの一般的概念と、それがどのように使用されるかを提供することが意図されている。

図２Ｂに示すように、プロセッサ２０５は、制御ユニット２３９、算術論理ユニット（ＡＬＵ）２４０、及び、キャッシュメモリと呼ばれることがあるローカル又は内部メモリ２４８を含む、多数の機能モジュールを含む。キャッシュメモリ２４８は、典型的には、レジスタセクションにおける多数のストレージレジスタ２４４〜２４６を含む。１つ以上の内部バス２４１は、これらの機能モジュールと機能的に相互接続する。また、プロセッサ２０５は、典型的には、接続２１８を使用してシステムバス２０４を介して外部装置と通信するための１つ以上のインタフェース２４２をも有している。メモリ２３４は、接続２１９を使用してバス２０４へ結合される。

アプリケーションプログラム２３３は、条件分岐及びループ命令を含んでもよい、命令２３１のシーケンスを含む。プログラム２３３はまた、プログラム２３３の実行において使用されるデータ２３２を含んでもよい。命令２３１及びデータ２３２は、メモリ位置２２８、２２９、２３０、及び、２３５、２３６、２３７にそれぞれ記憶される。命令２３１の相対的なサイズ及びメモリ位置２２８〜２３０に応じて、メモリ位置２３０に示す命令により図示されているように、特定の命令が単一のメモリ位置に記憶されてもよい。あるいは、メモリ位置２２８及び２２９に示す命令セグメントにより図示されているように、命令は別のメモリ位置にそれぞれ記憶される複数の部分に分割されてもよい。

一般に、プロセッサ２０５は、その中で実行される命令の集合が与えられる。プロセッサ２０５は、他の命令の集合を実行してプロセッサ２０５が反応する、それに続く入力を待機する。各入力は、いずれも図２Ａに図示されている、入力装置２０２、２０３の１つ以上により生成されたデータ、ネットワーク２２０、２０２の１つをまたがり外部ソースから受信されたデータ、ストレージ装置２０６、２０９の１つから取得されたデータ、あるいは、対応するリーダ２１２に挿入されたストレージ媒体２２５から取得されたデータを含む、多数のソースの１つ以上から提供されてもよい。命令の集合の実行は、ある場合は、データの出力をもたらす。また、実行は、メモリ２３４へのデータまたは変数の記憶を伴ってもよい。

映像符号化部１１４、映像復号部１３４、及び、説明する方法は、対応するメモリ位置２５５、２５６、２５７におけるメモリ２３４に記憶された、入力変数２５４を使用してもよい。映像符号化部１１４、映像復号部１３４、及び、説明する方法は、対応するメモリ位置２６２、２６３、２６４におけるメモリ２３４に記憶される、出力変数２６１を生成してもよい。中間変数２５８は、メモリ位置２５９、２６０、２６６、及び、２６７に記憶されてもよい。

図２Ｂのプロセッサ２０５を参照すると、レジスタ２４４、２４５、２４６、算術論理ユニット（ＡＬＵ）２４０、及び、制御ユニット２３９は、プログラム２３３を構成する命令集合におけるあらゆる命令に対して、「フェッチ、復号、及び、実行」のサイクルを実行するのに必要なマイクロ動作のシーケンスを実行するように協働する。各フェッチ、復号、及び、実行のサイクルは、以下を備える。：
（ａ）メモリ位置２２８、２２９、２３０から命令２３１をフェッチ又は読み出す、フェッチ動作。
（ｂ）どの命令がフェッチされたかを制御ユニット２３９が決定する復号動作。
（ｃ）制御ユニット２３９及びＡＬＵ２４０の少なくともいずれかが命令を実行する実行動作。

その後、次の命令に対するさらなるフェッチ、復号、及び、実行のサイクルが実行されてもよい。同様に、制御ユニット２３９がメモリ位置２３２に値を記憶し又は書き込む、記憶サイクルが実行されてもよい。

後述する図１１、図１２、及び、図１３の方法における各ステップ又はサブプロセスは、プログラム２３３の１つ以上のセグメントと関連付けられ、典型的には、プロセッサ２０５内のレジスタセクション２４４、２４５、２４７、ＡＬＵ２４０、及び、制御ユニット２３９により協働して実行されて、プログラム２３３の言及されたセグメントに対する命令集合におけるあらゆる命令に対して、フェッチ、復号、及び、実行のサイクルを実行する。

図３は、映像符号化部１１４の機能モジュールを示す概略ブロック図である。図４は、映像復号部１３４の機能モジュールを示す概略ブロック図である。一般に、データは、ブロック又はアレイ（例えば、サンプルのブロック又は変換係数のブロック）における映像符号化部１１４及び映像復号部１３４内の機能モジュール間で受け渡される。個々のアレイ要素（例えば、サンプル又は変換係数）の挙動を参照して機能モジュールを説明する場合、挙動は全てのアレイ要素に適用されるものと理解すべきである。映像符号化部１１４及び映像復号部１３４は、図２Ａ及び図２Ｂに示すように、汎用コンピュータシステム２００を使用して実装されてもよい。ここでは、様々な機能モジュールは、コンピュータシステム２００内の専用ハードウェアにより実装されるか、ハードディスクドライブ２０５に常駐するソフトウェアアプリケーションプログラム２３３の１つ以上のソフトウェアコードモジュールのようなコンピュータシステム２００内で実行可能であり、その実行においてプロセッサ２０５により制御されるソフトウェアにより実装されるか、あるいは、コンピュータシステム２００内の専用ハードウェア及び実行可能なソフトウェアの組み合わせにより実装されてもよい。あるいは、映像符号化部１１４、映像復号部１３４、及び、説明する方法は、説明する方法の機能又はサブ機能を実行する１つ以上の集積回路等の、専用ハードウェアに実装されてもよい。そのような専用ハードウェアには、グラフィックプロセッサ、デジタルシグナルプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、あるいは、１つ以上のマイクロプロセッサ及び関連メモリが含まれてもよい。特に、映像符号化部１１４はモジュール３２０〜３５０を備え、映像復号部１３４はモジュール４２０〜４４０を備え、これらのモジュールは、ソフトウェアアプリケーションプログラム２３３の１つ以上のソフトウェアコードモジュールとしてそれぞれ実装されてもよい。

図３の映像符号化部１１４は高効率映像符号化（ＨＥＶＣ）映像符号化パイプラインの一例であるが、他の映像コーデックもまた本明細書に記載の処理ステージを実行するために使用されてもよい。映像符号化部１１４は、一連のフレーム等の、各フレームが１つ以上のカラーチャネルを含む、キャプチャフレームデータを受信する。

映像符号化部１１４は、フレームデータ３１０等のキャプチャされたフレームデータの各フレームを、サイドのサイズが２のべき乗である、「符号化木ユニット」（ＣＴＵ）と一般に呼ばれる矩形領域に分割する。フレームデータ３１０における符号化木ユニット（ＣＴＵ）は、一般に、ラスタスキャンの順にスキャンされる。各符号化木ユニット（ＣＴＵ）は、各符号化木ユニット（ＣＴＵ）が各カラーチャネルに対して１つの符号化木ブロック（ＣＴＢ）を含むように、現在のフレームにより表される画像の全てのカラーチャネルと関連付けられる。例えば、ＹＣｂＣｒ色空間を使用して符号化されたフレームにおいて、符号化木ユニット（ＣＴＵ）は、フレームにより表される画像における同一の空間位置に対応するＹ、Ｃｂ、及び、Ｃｒ色平面に対する３つの符号化木ブロック（ＣＴＢ）からなる。個別の符号化木ブロック（ＣＴＢ）のサイズは、色成分にまたがって変化し、一般に、使用される色成分スケーリングモード又は「クロマフォーマット」に依存する。例えば、全ての色成分が同一のサイズを有する、「４：４：４」クロマフォーマットとして一般に知られているモードにおいては、符号化木ブロック（ＣＴＢ）のサイズは同一となる。クロマ成分が水平及び垂直の両方に２の因数で削減される、「４：２：０」クロマフォーマットとして一般に知られているモードにおいては、クロマ符号化木ブロック（ＣＴＢ）のサイズは、輝度符号化木ブロック（ＣＴＢ）のサイズの（水平及び垂直の両方に）２倍小さくなる。符号化木ユニット（ＣＴＵ）のサイズが特定された場合、そのサイズは、通常、輝度符号化木ブロック（ＣＴＢ）のサイズを指す。クロマ符号化木ブロック（ＣＴＢ）のサイズは、符号化木ユニット（ＣＴＵ）のサイズ、及び、色成分スケーリングモードから推論されてもよい。

各符号化木ユニット（ＣＴＵ）は、階層的な四分木の下位区分の各葉ノードに１つの符号化ユニット（ＣＵ）が存在するように、「符号化ユニット」（ＣＵ）の集まりとともに、フレームの一部の階層的な四分木の下位区分を含む。各符号化ユニット（ＣＵ）は、各カラーチャネルに対する、サンプルの２次元アレイ、又は、「サンプルのブロック」を含む。再区分は、葉ノードに存在する符号化ユニット（ＣＵ）が特定の最小サイズに到達するまで続けることができる。特定の最小サイズは、最小符号化ユニット（ＳＣＵ）サイズと呼ばれる。一般に、最小符号化ユニット（ＳＣＵ）サイズは８×８であるが、１６×１６あるいは３２×３２等の、他のサイズも可能である。符号化ユニット（ＣＵ）のサイズは、輝度サンプルのユニットにおいて特定される。したがって、輝度チャネルに対する対応する符号化ブロック（ＣＢ）は符号化ユニット（ＣＵ）と同一の次元を有することになる。クロマチャネルに対する対応する符号化ブロック（ＣＢ）はクロマサブサンプリングサイズに従い変倍された次元を有する。符号化木ユニット（ＣＴＵ）の再区分が行われず、単一の符号化ユニット（ＣＵ）が符号化木ユニット（ＣＴＵ）の全体を占める場合、そのような符号化ユニット（ＣＵ）は最大符号化ユニット（ＬＣＵ：largest coding unit）（又は、最大符号化ユニットサイズ）と呼ばれる。一般に、最大符号化ユニット（ＬＣＵ）のサイズは６４×６４である。しかし、３２×３２や１６×１６等の、他の最大符号化ユニット（ＬＣＵ）のサイズも可能である。最大符号化ユニット（ＬＣＵ）の次元もまた、輝度サンプルのユニットにおいて特定される。四分木の階層化の結果として、符号化木ユニット（ＣＴＵ）の全体は１つ以上の符号化ユニット（ＣＵ）により占められる。最大符号化ユニットサイズは、符号化映像シーケンスとして知られるフレームの集まりに対するビットストリームにおいて伝達される。特定のフレームに対して、最大符号化ユニット（ＬＣＵ）サイズ及び最小符号化ユニット（ＳＣＵ）サイズは変化しない。

映像符号化部１１４は、各符号化ブロック（ＣＵ）に対して１つ以上の予測ユニット（ＰＵ）を生成する。各符号化ユニット（ＣＵ）においては様々な構成の予測ユニット（ＰＵ）が可能であり、符号化ユニット（ＣＵ）における予測ユニット（ＰＵ）の各構成は「分割（パーティション）モード」と呼ばれる。映像符号化部１１４により生成された各符号化ブロック（ＣＵ）に対する予測ユニット（ＰＵ）は重なり合わない。さらに、フレームの符号化木ユニット（ＣＴＵ）の各々に対応する、フレームの領域を予測ユニット（ＰＵ）がカバーするように、符号化ユニットの全体は、符号化ユニット（ＣＵ）に対する映像符号化部１１４により生成された１つ以上の予測ユニット（ＰＵ）により占められる。符号化ユニット（ＣＵ）を予測ユニット（ＰＵ）に区分することは、各色成分に対する符号化ブロック（ＣＢ）を「予測ブロック（ＰＢ）」に再区分することをもたらす。再区分に使用される色成分のスケーリングモードに応じて、異なる色成分に対する同一の符号化ユニット（ＣＵ）に対応する予測ブロック（ＰＢ）のサイズは、サイズにおいて異なる。

映像符号化部１１４は、多重化モジュール３４０から予測ユニット（ＰＵ）３８２を出力する。差分モジュール３４４は、「残差サンプルアレイ」３６０を生成する。残差サンプルアレイ３６０は、予測ユニット（ＰＵ）３８２と、フレームデータ３１０の符号化木ブロック（ＣＴＢ）の符号化ユニット（ＣＵ）からのデータサンプルの対応する２次元アレイとの間の差分である。予測ユニット（ＰＵ）３８２と対応する２次元アレイとの間の差分は、アレイの各位置における対応するサンプルに対して計算される。予測ユニット（ＰＵ）３８２と対応する２次元アレイとの間の差分は正又は負となってもよいため、１つの差分サンプルのダイナミックレンジはビット深度に１ビットを加えたものである。

残差サンプルアレイ３６０は、変換モジュール３２０において周波数領域へ変換されてもよい。差分モジュール３４４からの残差サンプルアレイ３６０は変換モジュール３２０により受信され、変換モジュール３２０は、「順変換（forward transform）」を適用することにより、残差サンプルアレイ３６０を空間表現から周波数領域表現へ変換する。変換モジュール３２０は、特定の精度を有する変換に従い、変換係数を生成する。符号化ユニット（ＣＵ）は、１つ以上の変換ユニット（ＴＵ）に再分割される。再分割された符号化ユニット（ＣＵ）は、「残差四分木」又は「残差四分木（ＲＱＴ）」と呼ばれてもよい。変換ユニット（ＴＵ）は、フレームの全ての色成分とまとめて関連付けられる。各変換ユニット（ＴＵ）は、各カラーチャネルに対する個別の変換ブロック（ＴＢ）を含む。ピクチャ変換ブロック（ＴＢ）に適用される色成分スケーリングモードに応じて、クロマチャネルは、色成分のスケーリングによって、対応する輝度変換ブロック（ＴＢ）よりもサイズが小さくてもよい。変換ブロック（ＴＢ）、予測ブロック（ＰＢ）、及び、符号化ブロック（ＣＢ）はそれぞれ「ブロック」又は「サンプルのブロック」と呼ばれてもよく、ブロックの種類は「ブロック」の用語が使用されている文脈から理解されるべきである。２つのブロックの間に他のブロックが位置していない場合、その２つのブロックは互いに「隣接し」、あるいは、「隣接して位置している」と考えられる。２つのブロックは異なるサイズを有して、かつ、なお隣接している（あるいは、「隣接して位置している」）と考えられてもよい。

量子化制御モジュール３４６は、「レートゆがみ基準」に係る様々な可能な量子化パラメータ値に対する符号化ビットストリーム３１２において要求されるビットレートをテストしてもよい。レートゆがみ基準は、符号化ビットストリーム３１２又はその局所領域のビットレートと、ゆがみとの間の許容しうるトレードオフの評価尺度である。ゆがみは、フレームバッファ３３２に存在するフレームと、キャプチャされたフレームデータ３１０との間の差分の評価尺度である。ゆがみは、ピーク信号対雑音比（ＰＳＮＲ）あるいは差分絶対値和（ＳＡＤ：sum of absolute differences）基準を使用して決定されてもよい。映像符号化部１１４のある構成においては、レートゆがみ基準は輝度カラーチャネルに対するレート及びゆがみを考慮するため、符号化の決定は輝度チャネルの特性に基づいて行われる。一般に、残差四分木（ＲＱＴ）は輝度及びクロマカラーチャネルの間で共有され、クロマ情報の量は輝度と比べて相対的に小さいため、輝度のみがレートゆがみ基準において考慮されてもよい。

量子化パラメータ３８４は、量子化制御モジュール３４６から出力される。量子化パラメータは映像データのフレームに対して固定されてもよいし、あるいは、フレームが符号化される際に、ブロックごとに基づき変化してもよい。また、量子化パラメータ３８４を制御する他の方法が使用されてもよい。残差四分木に対する可能な変換ユニット（ＴＵ）の集合は、利用可能な変換サイズ及び符号化ユニット（ＣＵ）のサイズに依存する。より大きなサイズの変換ユニット（ＴＵ）は、輝度とクロマの両方のカラーチャネルに対するより大きな変換の使用をもたらす。一般に、より大きな変換は、残差サンプルアレイのよりコンパクトな表現に、残差サンプルアレイにまたがって広がるサンプルデータ（あるいは「残差エネルギー」）を提供する。より小さな変換ユニット（ＴＵ）は、残差サンプルアレイのよりコンパクトな表現に、残差サンプルアレイの特定の領域にローカライズされた残差エネルギーを提供する。残差四分木（ＲＱＴ）の多くの可能な構成は、高効率映像符号化（ＨＥＶＣ）標準において残差サンプルアレイ３６０の高い符号化効率を実現するために使用されてもよい。

予測モードセレクタモジュール３４８は、現在の予測ユニット（ＰＵ）に対する予測モード３８６を選択する。

変換モジュール３２０と量子化モジュール３２２がバイパスされる、「変換量子化バイパス」モードが提供される。変換量子化バイパスモードは、「ｃｕ＿ｔｒａｎｓｑｕａｎｔ＿ｂｙｐａｓｓ＿ｆｌａｇ」構文要素を使用して、符号化ユニット（ＣＵ）レベルにおいて伝達される。変換量子化バイパスモードは、符号化ビットストリーム３１２においてフレームデータ３１０を可逆的に符号化するために使用されてもよい。変換量子化バイパスモードの使用は制御ユニット（ＣＵ）レベルで制御され、これによりフレームデータ３１０の部分を可逆的に符号化することが可能となる。変換量子化バイパスモードの可用性は「高レベル構文」を介して制御され、これによりフレームデータ３１０のどの部分においても可逆的符号化が要求されない場合に、変換量子化バイパスモードを制御する信号伝達のオーバーヘッドを除去することが可能となる。高レベル構文は、一般にまれに符号化される符号化ビットストリーム３１２の部分を参照する。高レベル構文はビットストリーム３１２の特性を記述するため（例えば、映像符号化部１１４及び映像復号部１３４において使用される特定の符号化ツールを制限、さもなければ構成するために）に使用される。高レベル構文の例には、「シーケンスパラメータセット」、「ピクチャパラメータセット」、及び、「スライスヘッダ」が含まれる。

高効率映像符号化（ＨＥＶＣ）標準に対して、残差サンプルアレイ３６０の周波数領域表現への変換は、修正された離散コサイン変換（ＤＣＴ）等の変換を使用して実装される。このような変換において、修正により、乗算のかわりにシフト及び加算を使用して実装することが可能となる。修正は、従来の離散コサイン変換（ＤＣＴ）と比べて実装の複雑さを軽減することができる。修正された離散コサイン変換（ＤＣＴ）に加えて、修正された離散サイン変換（ＤＳＴ）もまた特定の状況において使用されてもよい。様々なサイズの残差サンプルアレイ３６０及び変倍された変換係数３６２が、サポートされている変換サイズに従い可能である。高効率映像符号化（ＨＥＶＣ）標準において、３２×３２、１６×１６、８×８、４×４等のサイズを有する、データサンプルの２次元（２Ｄ）のアレイにおいて変換が実行される。したがって、変換サイズの所定の集合が映像符号化部１１４に利用可能である。さらに、変換サイズの集合は、輝度チャネルとクロマチャネルとの間で異なってもよい。

変換は輝度チャネルとクロマチャネルの両方に適用されてもよい。変換ユニット（ＴＵ）との関係で、輝度チャネルとクロマチャネルの取り扱いの間で差違が存在する。各残差四分木は１つの符号化ユニット（ＣＵ）を占め、符号化ユニットの、残差四分木階層の各葉ノードにおいて１つの変換ユニットを含む階層への四分木分解として規定される。各変換ユニット（ＴＵ）は、サポートされている変換サイズの１つに対応する次元を有する。残差四分木階層の各レベルにおいて、「符号化ブロックフラグ値」は各カラーチャネルにおける変換の可能なプレゼンスを信号伝達する。信号伝達は、（さらなる分割が存在しない場合）現在の階層レベルにおける変換が存在すること、または、低位の階層レベルは結果として生じた変換ユニット（ＴＵ）の間で少なくとも１つの変換を含んでもよいことを示してもよい。符号化ブロックフラグ値がゼロの場合、現在又は低位の階層レベルにおける全ての残差係数はゼロであることが知られる。このような場合、現在の階層レベル又は低位の階層レベルにおけるあらゆる変換ユニット（ＴＵ）の対応するカラーチャネルに対して、変換を実行する必要はない。符号化ブロックフラグ値が１の場合、現在の領域がさらに再分割されないときは、その領域は少なくとも１つの非ゼロ（即ち、有意な）残差係数を要する変換を含んでいる。現在の領域がさらに再分割された場合、１つの符号化ブロックフラグ値は、結果として生じた再分割された領域の各々が非ゼロ残差係数を含んでもよいことを示す。このようにして、各カラーチャネルに対して、０以上の変換が、符号化ユニット（ＣＵ）の何もないものから全体まで変化する符号化ユニット（ＣＵ）の領域の一部をカバーしてもよい。別個の符号化ブロックフラグ値が、各カラーチャネルに対して存在する。可能な符号化ブロックフラグ値が１つしか存在しない場合があるため、符号化ブロックフラグ値の各々は符号化される必要がない。

所与の変換ブロック（ＴＢ）に対して、変換が実行されてもよいし、あるいは、変換がスキップされてもよい。このような「変換スキップ」ブロックにおいて、残差係数は空間領域表現を提供する。変換スキップモードは修正された整数離散コサイン変換（ＤＣＴ）が実現できるものよりも、より圧縮効率の高い高周波数（不連続トーン）情報を実現することができるため、「変換スキップ」モードは一般にスクリーンコンテンツに対して選択される。変換スキップ動作が各変換ブロック（ＴＢ）に対して信号伝達されるため、所与の変換ユニット（ＴＵ）に対して、変換スキップの信号伝達は各カラーチャネルに対して独立に提供される。

変倍された変換係数３６２は、変換係数３６４を生成するために、決定された量子化パラメータ３８４に従いそのデータサンプル値が変倍及び量子化される量子化モジュール３２２へ入力される。変換係数３６４は、残差サンプルアレイ３６０と同じ次元を有する値のアレイである。変換が適用された場合、変換係数３６４は、残差サンプルアレイ３６０の周波数領域表現を提供する。変換がスキップされた場合、変換係数３６４は、残差サンプルアレイ３６０の空間領域表現（すなわち、量子化モジュール３２２により量子化されているが、変換モジュール３２０により変換されていない）を提供する。離散コサイン変換（ＤＣＴ）に対して、変換係数３６４の左上の値は、残差サンプルアレイ３６０に対する「ＤＣ」値を特定し、「ＤＣ係数」として知られている。ＤＣ係数は残差サンプルアレイ３６０の値の「平均」の代表である。変換係数３６４における他の値は、残差サンプルアレイ３６０に対する「ＡＣ係数」を特定する。変倍及び量子化は、決定された量子化パラメータ３８４の値に応じて、精度の損失をもたらす。決定された量子化パラメータ３８４の値が高くなるにつれて、残差データからより多くの情報が失われ、再構成されたサンプル３７０においてより多くのブロッキングアーチファクトが存在する結果となる。符号化すべき情報が少なくなるにつれて、情報の損失は、映像符号化部１１４により実現される圧縮を増大させる。この圧縮効率の増大は、映像復号部１３４から出力される視覚品質を低下させて現れる。決定された量子化パラメータ３８４は、フレームデータ３１０の各フレームを符号化する間に適応させてもよい。あるいは、決定された量子化パラメータ３８４は、フレームデータ３１０の一部に対して修正されてもよい。１つの構成において、決定された量子化パラメータ３８４は、フレームデータ３１０の全フレームに対して修正されてもよい。別個の値を使用した異なる残差係数の量子化のような、決定された量子化パラメータ３８４の他の適応も可能である。

変換係数３６４及び決定された量子化パラメータ３８４は、逆量子化モジュール３２６への入力として取得される。逆量子化モジュール３２６は、量子化モジュール３２２により実行される変倍を反転させて、再変倍された変換係数３６６を生成する。再変倍された変換係数３６６は、変換係数３６４の再編倍されたものである。変換係数３６４、決定された量子化パラメータ３８４、及び、予測モード３８６は、エントロピー符号化モジュール３２４への入力としても取得される。エントロピー符号化モジュール３２４は、変換係数３６４の値を符号化ビットストリーム３１２（又は「映像ビットストリーム」）において符号化する。量子化モジュール３２２の動作によりもたらされる精度の損失により、再変倍された変換係数３６６は、変倍された変換係数３６２における元の値と同一ではない。次に、逆量子化モジュール３２６からの再変倍された変換係数３６６は、逆変換モジュール３２８へ出力される。逆変換モジュール３２８は、周波数領域から空間領域へ逆変換を行って、再変倍された変換係数３６６の空間領域表現３６８を生成する。空間領域表現３６８は、映像復号部１３４において生成される空間領域表現と実質的に同一である。次に、空間領域表現３６８は合算モジュール３４２へ入力される。

動き推定モジュール３３８は、フレームデータ３１０と、一般にメモリ２０６内に構成されるフレームバッファモジュール３３２に記憶されたフレームの１つ以上の集合からの以前のフレームデータとを比較することにより、動きベクトル３７４を生成する。フレームの集合は「参照ピクチャリスト」として知られる。次に、動きベクトル３７４は動き補償モジュール３３４へ入力されるところ、動き補償モジュール３３４は、動きベクトル３７４から取得された空間オフセットを考慮して、フレームバッファモジュール３３２に記憶されたデータサンプルをフィルタリングすることによりインター予測された予測ユニット（ＰＵ）３７６を生成する。図３に示されていないが、動きベクトル３７４は、符号化ビットストリーム３１２において符号化するエントロピー符号化モジュール３２４へも受け渡される。動きベクトルは、「動きベクトル差分」、すなわち、現在のブロック及び隣接ブロックに対する動きベクトルの大きさの差分として符号化される。

イントラフレーム予測モジュール３３６は、合算モジュール３４２から取得された再構成されたサンプル３７０を使用してイントラ予測された予測ユニット（ＰＵ）３７８を生成する。特に、イントラフレーム予測モジュール３３６は、現在の予測ユニット（ＰＵ）に対するイントラ予測されたサンプルを生成するために既に復号されている隣接ブロックからのサンプルを使用する。（例えば、フレーム境界において）隣接ブロックが利用可能でない場合、隣接するサンプルは、参照のため「利用可能でない」と考えられる。このような場合、隣接するサンプル値の代わりにデフォルト値が使用される。典型的には、デフォルト値（あるいは「ハーフトーン」）は、ビット深度により暗示される範囲の半分と等しい。例えば、映像符号化部１１４が８のビット深度に対して構成された場合、デフォルト値は１２８である。合算モジュール３４２は多重化モジュール３４０からの予測ユニット（ＰＵ）３８２と多重化部の空間領域出力３８２とを合算する。

イントラブロックコピーモジュール３５０は、イントラブロックコピー予測ユニットと呼んでもよい、予測ユニット（ＰＵ）３８２に対する最適な参照ブロックを生成するために様々なブロックベクトルをテストする。参照ブロックは、現在の符号化木ブロック（ＣＴＢ）及び／又は以前の符号化木ブロック（ＣＴＢ）から取得された再構成されたサンプル３７０、又は、フレームバッファ３３２からのサンプルからのブロックを含む。多重化部３５２は、提供されたブロックベクトルに基づいて、再構成されたサンプル３７０とフレームバッファ３３２からのサンプルのブロックの間で選択する。参照ブロックは、まだ復号されていない（したがって、再構成されたサンプル３７０において利用可能でない）現在の符号化木ブロック（ＣＴＢ）における符号化ブロック（ＣＢ）からのサンプルを全く含むことができない。ブロックベクトルは、現在考慮されている予測ユニット（ＰＵ）の位置に対する参照ブロックの相対的な位置を特定する２次元ベクトルである。ブロックベクトルは、水平成分（すなわち、「Ｘ成分」）と垂直成分（すなわち、「Ｙ成分」）を含む。イントラブロックコピーモジュール３５０は、入れ子のループを使用して検索を行うことにより、すべての有効なブロックベクトルをテストしてもよい。より高速な検索方法を使用することもできる。イントラブロックコピーモジュール３５０は、現在の符号化ブロック（ＣＵ）に水平又は垂直に揃えられたブロックベクトルに対してのみ検索することにより検索の複雑さを低減してもよく、ほぼ水平及びほぼ垂直のブロックベクトルもまた検索されるようにしてもよい。イントラブロックコピーモジュール３５０は、ブロックベクトルの空間的にまばらな集合をテストし、次に、まばらなブロックベクトルの最適なものの近傍において絞り込んだ検索を実行して、最終的なブロックベクトルを生成してもよい。

予測ユニット（ＰＵ）は、イントラ予測、インター予測、イントラブロックコピー法、あるいは、パレット予測を使用して生成されてもよい。イントラ予測法は、予測ユニット（ＰＵ）内の参照データサンプルを生成するために、（典型的には予測ユニットの上及び左に）以前復号された予測ユニット（ＰＵ）に隣接するデータサンプルを使用する。様々な方向のイントラ予測が可能である（全部で３３個の方向）。さらに、全部で３５個の可能なイントラ予測モードに対して、「ＤＣモード」と「平面モード」がサポートされている。インター予測法は、選択された参照フレームからブロックを参照するために、動きベクトルを使用する。動き推定モジュール３３８及び動き補償モジュール３３４は、輝度サンプルの４分の１（１／４）の精度を有する動きベクトル３７４において動作し、フレームデータ３１０におけるフレーム間の動きの正確なモデリングを可能にする。イントラブロックコピー法は、現在のフレームにおける以前復号されたサンプルからサンプルのブロックを参照するためにブロックベクトルを使用する。ブロックベクトルは整数の画素精度において規定される。

パレット予測は、一連の「実行」動作及び「コピー」動作から取得されたサンプルで予測ユニット（ＰＵ）を充たす。実行動作は、パレットにおいて利用可能な色を使用して、ラスタスキャンの順に予測ユニット（ＰＵ）を充たす。コピー動作は、予測ユニット（ＰＵ）の隣接サンプルから現在のサンプルへ値をコピーすることにより、ラスタスキャンの順に予測ユニット（ＰＵ）を充たす。予測ユニット（ＰＵ）の全体は、実行とコピーの動作の組み合わせを使用してラスタスキャンの順に充たされる。色のパレットから高い精度で予測ユニット（ＰＵ）コンテンツを特定する能力は、スクリーンコンテンツに対してパレット予測モードを大いに有益なものにする。

イントラ予測法、インター予測法、イントラブロックコピー法、又は、パレット予測法のいずれを使用するかの決定は、レート・ゆがみのトレードオフに従い行われる。結果として生じた符号化ビットストリーム３１２の所望のビットレートと、予測法により取り込まれた画質のゆがみの量との間にはトレードオフがある。イントラ予測が使用される場合、レート・ゆがみのトレードオフにも従い、可能なイントラ予測モードの集合から１つのイントラ予測モードが選択される。多重化モジュール３４０は、イントラフレーム予測モジュール３３６からのイントラ予測された参照サンプル３７８、動き補償ブロック３３４からのインター予測された予測ユニット（ＰＵ）３７６、イントラブロックコピーモジュール３５０からのイントラブロックコピーされたサンプル、又は、パレット予測モジュール（図３に図示せず）からのパレット予測されたサンプルのいずれかを選択してもよい。多重化モジュール３４０は、予測モード３８６に従い選択を行う。

合算モジュール３４２は、デブロッキングフィルタモジュール３３０へ入力される再構成されたサンプル３７０を生成する。デブロッキングフィルタモジュール３３０はブロック境界に沿ってフィルタリングを実行し、メモリ２０６内に構成されたフレームバッファモジュール３３２へ書き込まれるデブロックされたサンプル３７２を生成する。フレームバッファモジュール３３２は、参照ピクチャリストの一部として将来の参照に対する１つ以上の以前のフレームからのデータを保持するための十分な容量を有するバッファである。

エントロピー符号化部３２４は、コンテキスト適応バイナリ算術符号化（ＣＡＢＡＣ：context adaptive binary arithmetic coding）アルゴリズムを実行することにより、変換係数３６４、予測モード３８６、動きベクトル（あるいは動きベクトル差分）、及び、他のパラメータ（まとめて「構文要素」と呼ぶ）を、符号化ビットストリーム３１２へ変換する。構文要素は「構文構造」にグループ化される。グループ化は、階層構造を記述するために反復を含んでもよい。イントラ予測モード等の序数値、又は、動きベクトル等の整数値に加えて、構文要素は、四分木分割等を示すフラグもまた含む。

図４の映像復号部１３４は高効率映像符号化（ＨＥＶＣ）映像復号パイプラインを参照して記載されているが、他の映像コーデックもまたモジュール４２０〜４３４の処理ステージに従事してもよい。また、符号化された映像情報は、メモリ２０６、ハードディスクドライブ２１０、ＣＤ−ＲＯＭ、ブルーレイディスク（商標）、又は、他のコンピュータ可読記憶媒体から読み出されてもよい。これに代えて、符号化映像情報は、通信ネットワーク２２０に接続されたサーバ又は無線周波数受信機等の外部ソースから受信されてもよい。

図４において見られるように、符号化ビットストリーム３１２等の受信された映像データは、映像復号器１３４へ入力される。符号化ビットストリーム３１２は、メモリ２０６、ハードディスクドライブ２１０、ＣＤ−ＲＯＭ、ブルーレイディスク（商標）、又は、他のコンピュータ可読記憶媒体から読み出されてもよい。これに代えて、符号化ビットストリーム３１２は、通信ネットワーク２２０に接続されたサーバ又は無線周波数受信機等の外部ソースから受信されてもよい。符号化ビットストリーム３１２は、復号すべきキャプチャされたフレームデータを表す符号化構文要素を含む。

符号化ビットストリーム３１２は、符号化ビットストリーム３１２から構文要素を抽出し構文要素の値を映像復号部１３４の他のブロックへ受け渡すエントロピー復号モジュール４２０へ入力される。エントロピー復号モジュール４２０は、符号化ビットストリーム３１２から構文要素を復号するために、コンテキスト適応バイナリ算術符号化（ＣＡＢＡＣ）アルゴリズムを適用する。復号された構文要素は、映像復号部１３４内でパラメータを再構成するために使用される。パラメータは、０以上の残差データアレイ４５０、動きベクトル４５２（動きベクトルの差分は符号化ビットストリーム３１２から復号され、動きベクトル４５２は動きベクトルの差分から取得される）、予測モード４５４を含む。残差データアレイ４５０は逆量子化モジュール４２１へ受け渡され、動きベクトル４５２は動き補償モジュール４３４へ受け渡され、予測モード４５４はイントラフレーム予測モジュール４２６及び多重化部４２８へ受け渡される。

逆量子化モジュール４２１は、残差データアレイ４５０の残差データにおいて逆スケーリングを行って、変換係数の形態で再構成されたデータ４５５を生成する。逆量子化モジュール４２１は、再構成されたデータ４５５を逆変換モジュール４２２へ出力する。逆変換モジュール４２２は、再構成されたデータ４５５（すなわち、変換係数）を周波数領域表現から空間領域表現へ変換するために「逆変換」を適用し、残差サンプルアレイ４５６を出力する。逆変換モジュール４２２は、逆変換モジュール３２８と同じ動作を行う。逆変換モジュール４２２は逆変換を行うように構成される。逆変換モジュール４２２により行われる変換は、高効率映像符号化（ＨＥＶＣ）標準に準拠した符号化ビットストリーム３１２を復号するために要求される変換サイズの所定の集合から選択される。

動き補償モジュール４３４は、エントロピー復号モジュール４２０からの動きベクトル４５２を、メモリ２０６内に構成されたフレームバッファブロック４３２からの参照フレームデータ４６０と組み合わせて使用し、予測ユニット（ＰＵ）に対するインター予測された予測ユニット（ＰＵ）４６２を生成する。インター予測の予測ユニット（ＰＵ）４６２は、以前復号されたフレームデータに基づく出力復号されたフレームデータの予測である。現在の予測ユニット（ＰＵ）はイントラ予測を使用して符号化されたことを予測モード４５４が示す場合、イントラフレーム予測モジュール４２６は、予測ユニット（ＰＵ）に対してイントラ予測された予測ユニット（ＰＵ）４６４を生成する。イントラ予測の予測ユニット（ＰＵ）４６４は、予測ユニットに空間的に隣接するデータサンプル、また、予測モード４５４により供給される予測方向を使用して生成される。空間的に隣接するデータサンプルは、合算モジュール４２４から出力される再構成されたサンプル４５８から取得される。イントラブロックコピーモジュール４３６は、現在及び／又は以前の符号化木ブロック（ＣＴＢ）、又は、フレームバッファ４３２からのサンプルのアレイをコピーするために、多重化部４４０を使用して参照サンプル４３８のブロックを生成する。参照サンプルのオフセットは、現在の符号化木ブロック（ＣＴＢ）内の現在の符号化ブロック（ＣＢ）の位置に（エントロピー復号部４２０により復号された）ブロックベクトルを加えることにより計算される。現在及び以前の符号化木ブロック（ＣＴＢ）の外に位置する参照ブロックを示すブロックベクトルに対して、多重化部４４０は、フレームバッファ４３２からサンプルを選択し、さもなければ多重化部は再構成されたサンプル４５８からサンプルを選択する。多重化モジュール４２８は、イントラ予測された予測ユニット（ＰＵ）４６４、インター予測された予測ユニット（ＰＵ）４６２、イントラブロックコピーモジュール４３６からの参照ブロック４３８、又は、パレット予測モジュール（図４に図示せず）からのパレット予測のいずれかから、現在の予測モード４５４に応じて予測ユニット（ＰＵ）４６６を選択する。多重化モジュール４２８から出力された予測ユニット（ＰＵ）４６６は、逆スケール・変換モジュール４２２からの残差サンプルアレイ４５６へ合算モジュール４２４により加算されて、再構成されたサンプル４５８を生成する。次に、再構成されたサンプル４５８は、デブロッキングフィルタモジュール４３０、イントラフレーム予測モジュール４２６、及び、イントラブロックコピーモジュール４３６の各々へ入力される。デブロッキングフィルタモジュール４３０は、目に見えるアーチファクトを平滑化するために、変換ユニット（ＴＵ）境界等のデータブロック境界に沿ってフィルタリングを行う。デブロッキングフィルタモジュール４３０の出力は、メモリ２０６内に構成されたフレームバッファモジュール４３２へ書き込まれる。フレームバッファモジュール４３２は、将来の参照のために、１つ以上の復号されたフレームを保持するために十分なストレージを提供する。また、復号されたフレーム４１２は、フレームバッファモジュール４３２から、ディスプレイ装置１３６等（例えば、ディスプレイ装置２１４の形態）のディスプレイ装置へ出力される。

図５Ａは、符号化木ブロック（ＣＴＢ）５００内で符号化ブロック（ＣＢ）を「Ｚ−スキャン」の順にスキャンする例を示す概略ブロック図である。符号化木ブロック（ＣＴＢ）５００の階層的な分解の各レベルにおいて、「Ｚ」に似ているスキャン、すなわち、左から右へ、次に上から下へのスキャンが実行される。スキャンは深さ優先の態様で再帰的に適用される。図５Ａの例において、符号化木ブロック（ＣＴＢ）５００の左上における４つの符号化ブロック（ＣＢ）がＺスキャンの順（例えば、５０２）にスキャンされ、図５Ａの例において現在処理されている符号化ブロック（ＣＢ）５０６へ到達する。符号化木ブロック（ＣＴＢ）５００の残りはＺスキャン順５０４に従いスキャンされる。符号化木ブロック（ＣＴＢ）５００における以前復号された符号化ブロック（ＣＢ）からのサンプルはイントラ予測に対して利用可能である。映像復号部１３４によりまだ復号されていない符号化ブロック（ＣＢ）からのサンプルは、イントラ予測に対して利用可能でなく、図５Ａでは斜線のハッチングにより示されている。そのように、映像符号化部１１４はまた、まだ復号されていない符号化ブロック（ＣＢ）からのサンプルを、イントラブロックコピーに対して利用可能でないものとして取り扱う。

図５Ｂは、イントラブロックコピー動作の例を示す概略ブロック図である。イントラブロックコピー動作の例において、符号化ブロック（ＣＢ）５２２は、イントラブロックコピーモードを使用するように構成される。ブロックベクトル５２４は、符号化ブロック（ＣＢ）５２２を再構成するために使用される現在の符号化木ブロック（ＣＴＢ）５２８における符号化ブロック（ＣＢ）５２２の左上のサンプル位置に対するサンプルの参照ブロック５２６を参照する。図５Ｂの例において、現在の符号化木ブロック（ＣＴＢ）５２８の領域５３０はまだ復号されていない。これは、領域５３０はＺスキャンの順序では符号化ブロック（ＣＢ）５２２の後に続くためである。したがって、領域５３０は参照のために利用可能でない。図５Ｂの例において、参照ブロック５２６は、以前の符号化木ブロック（ＣＴＢ）が示されていない、現在の符号化木ブロック（ＣＴＢ）５２８内に完全に包含されている。

映像符号化部１１４のイントラブロックコピーモジュール３５０と映像復号部１３４のイントラブロックコピーモジュール４３６のメモリ容量は、６４×６４の輝度サンプルとして構成された符号化木ブロック（ＣＴＢ）のサイズと、選択されたクロマフォーマットに従うクロマに対する対応する次元を有する、２つの符号化木ブロック（ＣＴＢ）の輝度及びクロマのサンプルを保持するのに十分である。

図６は、イントラブロックコピーに対する局所的で離れた領域に分割された映像データ６００のフレームの例を示している。符号化ユニット（ＣＵ）６０６はイントラブロックコピーを使用するために構成される。２つのブロックベクトルの例が符号化ユニット（ＣＵ）６０６に対して示されている。第１のブロックベクトル６０８は参照ブロック６１０を参照している。参照ブロック６１０は、符号化ユニット（ＣＵ）６０６を含む符号化木ユニット（ＣＴＵ）の（ラスタスキャン順で）前の符号化木ユニット（ＣＴＵ）に位置している。そのようにして、参照ブロック６１０はオンチップメモリ内に含まれ、映像符号化部１１４において再構成されたサンプル３７０からブロックを選択する多重化部３５２、又は、映像復号部１３４において再構成されたサンプル４５８からブロックを選択する多重化部４４０によってアクセスされる。第２のブロックベクトル６１２は参照ブロック６１４を参照している。参照ブロック６１４は、ラスタスキャンの順序で現在又は以前の符号化木ユニット（ＣＴＵ）ではない符号化木ユニット（ＣＴＵ）に位置している。そのようにして、参照ブロック６１０はオフチップメモリに含まれる。参照ブロック６１０は、映像符号化部１１４におけるフレームバッファ３３０からブロックを選択する多重化部３５２、又は、映像復号部１３４におけるフレームバッファ４３０からブロックを選択する多重化部４４０によってアクセスされる。映像復号部１３４において、フレーム６００は復号の処理にあるため、フレーム６００の全てのサンプルが多重化部４４０による選択に利用可能であるわけではない。領域６０２は、フレーム６００において以前復号された符号化木ユニット（ＣＴＵ）を示している。一般に、領域６０２は多重化部４４０による選択に対して利用可能である。符号化ユニット（ＣＵ）６０６を含む符号化木ユニット（ＣＴＵ）の前の１つ以上の符号化木ユニット（ＣＴＵ）は、デブロッキングフィルタ４３０におけるパイプライン遅延により利用可能ではないことがありうる。

図７は、フレーム部分７００における水平及び垂直のエッジの例を示す概略ブロック図である。フレーム部分７００は、プライマリカラーチャネルと少なくとも１つのセカンダリカラーチャネルを含む。カラーチャネルは、サンプル７０２等のサンプルのアレイを含む。各サンプルは、考慮されているカラーチャネルのビット深度に依存した範囲を有する数値を有する。フレーム部分７００は、８×８ブロックのグリッドに分割される。デブロッキングフィルタ処理は、グリッドのエッジに沿ってのみ実行される。グリッドは、エッジ７０８等の水平エッジと、エッジ７０７等の垂直エッジを含む。８×８グリッド上の各エッジ（例えば、７０８）に沿って、「境界強度」が規定される。次に、「フィルタ強度」が、考慮されているエッジに隣接するブロックの境界強度及び量子化パラメータから取得される。デブロッキングフィルタ処理は、プライマリカラーチャネルとセカンダリカラーチャネルの間で異なり、図９を参照してさらに後述する。量子化パラメータは、４×４ブロックの粒度へ低下するように変化してもよい。したがって、フィルタ強度はまた、８×８グリッド上の各４つのサンプルの粒度へ低下するように変化してもよい。結果として、１つの８サンプルエッジに沿って、４つのサンプルの各グループに対して２つの異なるフィルタ強度が可能である。各エッジは隣接する２つのブロック間の接触部分（インタフェース）であるため、２つの「サイド」を有する。水平エッジ７０９に対して、水平エッジ７０９の上のブロックの部分、及び、水平エッジ７０９の下のブロックの部分を占める影付きサンプル７０４は、水平エッジ７０９に対するデブロッキングフィルタ処理への入力として使用される。垂直エッジ７１１に対して、垂直エッジ７１１の左のブロック、及び、垂直エッジ７１１の右のブロックの部分を占める影付きサンプル７０６は、垂直エッジ７１１に対するデブロッキングフィルタ処理への入力として使用される。

図８は、各エッジのいずれかのサイドにおける予測ユニット（ＰＵ）の予測モードに起因するエッジの種類の例を示す概略ブロック図である。符号化木ブロック（ＣＴＢ）８００は、様々なサイズ及び予測モードを有する複数の予測ユニット（ＰＵ）を含む。図８の例において、符号化木ブロック（ＣＴＢ）８００は、エッジの各サイドにおける予測ユニット（ＰＵ）に対して予測モードの各組み合わせとともにエッジを有する。エッジ８０２は、イントラ予測された予測ユニット（ＰＵ）８０１とイントラブロックコピーされた予測ユニット（ＰＵ）８０３の間に存在する。エッジ８０４は、イントラブロックコピーされた予測ユニット（ＰＵ）８０３とイントラブロックコピーされた予測ユニット（ＰＵ）８０５の間に存在する。エッジ８０６は、イントラブロックコピーされた予測ユニット（ＰＵ）８０５とインター予測された予測ユニット（ＰＵ）８０７の間に存在する。エッジ８０８は、インター予測された予測ユニット（ＰＵ）８０７とインター予測された予測ユニット（ＰＵ）８０９の間に存在する。エッジ８１０は、インター予測された予測ユニット（ＰＵ）８１１とイントラ予測された予測ユニット（ＰＵ）８１３の間に存在する。エッジ８１２は、イントラ予測された予測ユニット（ＰＵ）８１３とイントラ予測された予測ユニット（ＰＵ）８１５の間に存在する。エッジ８１４は、インター予測された予測ユニット（ＰＵ）８０９とパレット予測された予測ユニット（ＰＵ）８１７の間に存在する。エッジ８１６は、イントラ予測された予測ユニット（ＰＵ）８１３とパレット予測された予測ユニット（ＰＵ）８１７の間に存在する。エッジ８１８は、イントラブロックコピー予測された予測ユニット（ＰＵ）８０５とパレット予測された予測ユニット（ＰＵ）８１５の間に存在する。

図８に示されていないが、他の種類のエッジが、各予測ユニット（ＰＵ）がパレット予測を使用する隣接する２つの予測ユニット（ＰＵ）の間に存在する。図８に示すように、４つの予測モード（すなわち、イントラ予測、インター予測、イントラブロックコピー、及び、パレットモード）とともに、１０種類のエッジ（すなわち、８０２、８０４、８０６、８０８、８１０、８１２、８１４、８１６、８１８、及び、図８に示されていないパレットとパレットのエッジ）が隣接する予測ユニット（ＰＵ）の間でとりうる。さらに、８×８サンプルグリッドの粒度へ低下した予測ユニット（ＰＵ）の中にもエッジは存在するが、そのようなエッジはデブロックされない。

変換ユニット（ＴＵ）間のエッジもまた図８に示されていない。変換ユニット（ＴＵ）間のエッジはデブロックのためにマークされる。一般に、エッジフラグのアレイは、どのエッジがデブロックされ、どのエッジがデブロックされないかを伝達するために使用される。（例えば、デブロッキングフィルタの２つの経路を介して、関連付けられたエッジフラグを決定するための対応するパスとともに）水平エッジと垂直エッジは別個に考慮される。

図９は、異なるカラーチャネルに対するフィルタ強度設定と境界強度値を示すテーブル９００である。３つの境界強度値（すなわち、０、１、２）が規定されている。ゼロの境界強度値は、プライマリカラーチャネルとセカンダリカラーチャネルにおいて考慮されているエッジにデブロックは適用されないことを示す。１の境界強度値は、プライマリカラーチャネルにおいて考慮されているエッジには「弱い」フィルタが適用され、セカンダリカラーチャネルにおいて考慮されているエッジにはフィルタリングは適用されないことを示す。２の境界強度値は、プライマリカラーチャネルにおいて考慮されているエッジには「強い」フィルタが適用され、セカンダリカラーチャネルにおいて考慮されているエッジにはフィルタリングが適用されることを示す。エッジフラグがゼロ（０）に設定された８×８サンプルグリッドに沿ったエッジ、すなわち、２つの予測ユニット（ＰＵ）又は２つの変換ユニット（ＴＵ）の境界に存在しないエッジに対して、境界強度値は黙示的にゼロに設定される。デブロッキングフィルタの「強度」は、考慮されているエッジのいずれかのサイドにおける変換ユニット（ＴＵ）の量子化パラメータに依存する。所与の量子化パラメータ値に対して、フィルタリングが適用される場合、「強い」フィルタと「弱い」フィルタの２つのフィルタ強度がサポートされる。所与の量子化パラメータ値における「強い」フィルタは、より弱い量子化パラメータ値における「弱い」フィルタに対応する。

図１０Ａは、エッジの各サイドの予測ユニット（ＰＵ）の予測モードに従いエッジに対して境界強度を設定する規則を示すテーブル１０００である。規則はテーブル１０００に要約され、以下のように規定される。テーブル１０００は、隣接する２つのブロックの予測モードをとり、隣接する２つのブロックの間のエッジに沿って境界強度を示す。水平エッジに対して、予測ユニット（ＰＵ）は考慮されているエッジの上及び下にある。垂直エッジに対して、予測ユニット（ＰＵ）は考慮されているエッジの左又は右にある。図１０Ａの規則において、いずれかのブロックが、イントラ予測、イントラブロックコピー、又は、パレットモードの予測モードを有する場合、境界強度は２に設定される。さもなければ（すなわち、両方のブロックがインター予測の予測モードを有する場合）、以下の条件の１つ以上が充たされる場合、境界強度は１に設定される。：
（ａ）対応する変換ブロック（ＴＢ）における少なくとも１つの有意な残差係数の存在を信号伝達する考慮されたエッジのいずれかのサイドにおける変換ブロック（ＴＢ）の符号化されたブロックフラグのいずれか又は両方により示されるように、少なくとも１つの非ゼロ（すなわち、有意）の残差係数がいずれかの変換ブロック（ＴＢ）に存在すること。
（ｂ）各ブロックに対して異なる参照画像が使用されるか、又は、各ブロックに対して異なる数の動きベクトルが使用されること。
（ｃ）各ブロックに対して１つの動きベクトルが使用され、２つの動きベクトルの間の絶対差分が４つのクォーター（四半）輝度サンプルよりも大きいこと。
（ｄ）２つの動きベクトルが各ブロックに対して使用され、同じ２つの参照ピクチャが各ブロックに対して使用され、動きベクトルの各対の間の絶対差分が４つのクォーター輝度サンプルよりも大きいこと。

上記条件（ａ）、（ｂ）、（ｃ）、（ｄ）のいずれもが充たされない場合、考慮されているエッジに対する境界強度はゼロ（０）に設定される。

テーブル１０００の規則において、プライマリカラーチャネルにおいて強いフィルタリングが適用され、いずれかのブロックがイントラ予測又はイントラブロックコピーを使用するブロック間のエッジに対するセカンダリカラーチャネルにおいてフィルタリングが適用される。イントラ予測された予測ユニット（ＰＵ）は、「ナチュラルコンテンツ」、すなわち、利用可能な参照フレームが存在しない場合に対して使用される。イントラ予測処理は、予測ユニット（ＰＵ）の予測されたサンプルを生成するために、現在の予測ユニット（ＰＵ）に隣接するブロックからのサンプルを使用する。予測ユニット（ＰＵ）に隣接するブロックのサンプルから決定された情報が限定されているため、イントラ予測された予測ユニット（ＰＵ）はほぼ常に残差情報を含む。ナチュラルコンテンツに対して、変換が残差情報に対して頻繁に適用される。上述のスクリーンコンテンツに対して、変換は効率よく圧縮されることができないことの高周波数情報の存在により、変換はスキップされてもよい。イントラ予測を有する変換された残差の広く行き渡った使用は、２つの境界強度値の使用が適切であることを示す。イントラブロックコピーモードとパレットモードは、ナチュラルコンテンツに対してめったに選択されない。

フレームデータ３１０が（例えば、画像センサからの）ナチュラルコンテンツである場合に、イントラブロックコピー又はパレットモードが映像符号化部１１４による選択に対して利用可能なときは、小さな符号化効率の改善が観察される。スクリーンコンテンツに対して、イントラブロックコピー及びパレットモードは頻繁に選択される。特に、イントラブロックコピーは、高周波数情報を有する領域をコピーするために選択されることが多い。そのような領域は「シャープな（鋭い）」エッジを含み、そのようなものとして、シャープなエッジが平滑化されることにより、強いデブロッキングフィルタを適用することは符号化効率を削減し、その結果、ＰＳＮＲが減退するかもしれない。そのような場合、コンテンツの正確な性質と、イントラブロックコピーモードによる使用に対する適切な参照ブロックの可用性に応じて、パレットモードもまた頻繁に選択される。

図１０Ｂは、エッジの各サイドの予測ユニット（ＰＵ）の予測モードに従いエッジに対して境界強度を設定する規則を示すテーブル１０１０である。規則はテーブル１０１０に要約され、以下のように規定される。テーブル１０１０は、隣接する２つのブロックの予測モードをとり、隣接する２つのブロックの間のエッジに沿って境界強度を示す。図１０Ｂの規則において、いずれかのブロックがイントラ予測の予測モードを有する場合、境界強度は２に設定される。さもなければ、両方のブロックがイントラブロックコピーの予測モードを有する場合、２つのブロックに対応するブロックベクトルが等しい（すなわち、ブロックベクトルが等しい大きさを有する）ときは境界強度はゼロ（０）に設定され、２つのブロックに対応するブロックベクトルが等しくないときは境界強度は１に設定される。さもなければ、いずれかのブロックが、イントラブロックコピー、又は、パレットモードの予測モードを有する場合、境界強度は１に設定される。さもなければ（すなわち、両方のブロックがインター予測の予測モードを有する場合）、境界強度は図１０Ａを参照して上述の条件（ａ）−（ｄ）に従い設定される。

テーブル１０１０の規則において、隣接する２つのブロックが、イントラブロックコピー予測、パレット予測モード、又は、イントラブロックコピーとパレット予測モードの組み合わせを使用する場合、隣接する２つのブロックの間のエッジは、プライマリカラーチャネルにおいては弱いフィルタが適用され、セカンダリカラーチャネルにおいてはフィルタがないことをもたらす１の境界強度値を使用する。イントラブロックコピー又はパレットモードは一般にスクリーンコンテンツを含む映像データのフレームの領域に対して選択されるため、デブロッキングフィルタを弱めることは、そのような領域における効果の平滑化を減退させ、そのような領域における高周波数（すなわち、よりシャープなエッジ）を保つ。テーブル１０１０の規則は、テーブル１０００の規則と比較して圧縮効率を改善する。

図１０Ｃは、エッジの各サイドの予測ユニット（ＰＵ）の予測モードに従いエッジに対して境界強度を設定する規則を示すテーブル１０２０である。規則はテーブル１０２０に要約され、以下のように規定される。テーブル１０２０は、隣接する２つのブロックの予測モードをとり、隣接する２つのブロックの間のエッジに沿って境界強度を示す。図１０Ｃの規則において、いずれかのブロックが、イントラブロックコピー、又は、パレットモードの予測モードを有する場合、境界強度は１に設定される。さもなければ、いずれかのブロックがイントラ予測の予測モードを有する場合、境界強度は２に設定される。さもなければ（すなわち、ブロックがインター予測の予測モードを有する場合）、境界強度は図１０Ａを参照して上述の条件（ａ）−（ｄ）に従い設定される。

テーブル１０２０の規則において、隣接する２つのブロックのいずれかのブロックが、イントラブロックコピー、パレットモード、又は、イントラブロックコピーとパレット予測モードの組み合わせを使用する場合、隣接する２つのブロックの間のエッジは、１の境界強度値を使用し、その結果としてプライマリカラーチャネルにおいては弱いフィルタが適用され、セカンダリカラーチャネルにおいてはフィルタが適用されないこととなる。テーブル１０１０の規則と比較して、テーブル１０２０の規則は、イントラブロックコピーに対するデブロッキングフィルタの適用をさらに削減する。イントラブロックコピー又はパレット予測モードは一般にスクリーンコンテンツを含む映像データのフレームの領域に対して選択されるため、デブロッキングフィルタを弱めることは、そのような領域における効果の平滑化を減退させ、そのような領域における高周波数（すなわち、よりシャープなエッジ）を保つ。テーブル１０２０の規則は、テーブル１０１０の規則と比較して圧縮効率をさらに改善する。

図１１は、デブロッキングフィルタに対して境界強度値を設定する方法１１００を示す概略フロー図である。方法１１００は、テーブル１０１０の規則に従い境界強度値を設定することをもたらす。方法１１００は、ハードディスクドライブ２１０上に存在し、プロセッサ２０５によりその実行が制御される、映像符号化部１１４又は映像復号部１３４を実装する１つ以上のソフトウェアコードモジュールとして実装されてもよい。方法１１００は、映像符号化部１１４及び映像復号部１３４の両方において実行される。方法１１００は、映像符号化部１１４及びデブロッキングフィルタモジュール３３０を参照して説明される。もっとも、方法１１００の説明は、映像復号部１３４及びデブロッキングフィルタモジュール４３０にも適用する。方法１１００は、８×８のブロック粒度に下げられた、フレームデータ３１０における各エッジに対して実行される。

初期変換及び符号化ブロックフラグテストのステップ１１０１が映像符号化部１１４の特定の構成におけるプロセッサ２０５により実行される。初期変換及び符号化ブロックフラグテストのステップ１１０１はまた、映像復号部１３４の特定の構成におけるプロセッサ２０５によっても実行される。ステップ１１０１を以下さらに詳細に説明する。

イントラテストのステップ１１０２において、デブロッキングフィルタモジュール３３０は、プロセッサ２０５の制御の下で、考慮されているエッジのいずれかのサイドにおける予測ユニット（ＰＵ）の予測モードをテストする。同様に、方法１１００が映像復号部１３４により実行されている場合、ステップ１１０２はデブロッキングフィルタモジュール４３０によっても実行される。いずれかの予測モードがイントラ予測の場合、プロセッサ２０５における制御は境界強度２のステップ１１０４へ移動する。さもなければ（すなわち、両方の予測モードがイントラ予測でない場合）、プロセッサ２０５における制御はイントラブロックコピー又はパレットモードテストのステップ１１０５へ移動する。

境界強度２のステップ１１０４において、デブロッキングフィルタモジュール３３０は、プロセッサ２０５の制御の下で、考慮されているエッジに対する境界強度値を２に設定する。次に、方法１１００は終了する。再び、方法１１００が映像復号部１３４により実行されている場合、ステップ１１０４はデブロッキングフィルタモジュール４３０によっても実行される。

イントラブロックコピー又はパレットモードテストのステップ１１０５において、デブロッキングフィルタモジュール３３０は、プロセッサ２０５の制御の下で、考慮されているエッジのいずれかのサイドにおける予測ユニット（ＰＵ）の予測モードをテストする。いずれかの予測モードがイントラブロックコピー又はパレットモードの場合、プロセッサ２０５における制御はブロックベクトルテストのステップ１１０７へ移動する。さもなければ（すなわち、両方の予測モードがインター予測である場合）、プロセッサ２０５における制御は変換及び符号化ブロックフラグ値テストのステップ１１０６へ移動する。再び、方法１１００が映像復号部１３４により実行されている場合、ステップ１１０５はデブロッキングフィルタモジュール４３０によっても実行される。

符号化ブロックフラグ値テストのステップ１１０６において、デブロッキングフィルタモジュール３３０は、プロセッサ２０５の制御の下で、考慮されているエッジのいずれかのサイドに沿って輝度変換ブロック（ＴＢ）の符号化ブロックフラグをテストする。いずれかの変換ブロック（ＴＢ）が少なくとも１つの有意な残差係数を含む（すなわち、対応する符号化ブロックフラグが１の値を有する）場合、プロセッサの制御は境界強度１のステップ１１１０へ移動する。さもなければ（すなわち、両方の輝度変換ブロック（ＴＢ）が有意な残差係数を有しない場合）、制御は参照ピクチャ及び動きベクトルテストのステップ１１０８へ移動する。再び、方法１１００が映像復号部１３４により実行されている場合、ステップ１１０６はデブロッキングフィルタモジュール４３０によっても実行される。

ブロックベクトルテストのステップ１１０７において、デブロッキングフィルタモジュール３３０は、プロセッサ２０５の制御の下で、考慮されているエッジのいずれかのサイドにおける予測ユニット（ＰＵ）の予測モードをテストする。予測モードが両方ともイントラブロックコピーである場合、２つの予測ユニット（ＰＵ）のブロックベクトルが比較される。ブロックベクトルが等しい（すなわち、ブロックベクトルが等しい大きさを有する）場合、プロセッサ２０５における制御は境界強度０のステップ１１１２へ移動する。さもなければ（すなわち、ブロックベクトルが等しくない場合）、プロセッサ２０５における制御は境界強度１のステップ１１１０へ移動する。再び、方法１１００が映像復号部１３４により実行されている場合、ステップ１１０７はデブロッキングフィルタモジュール４３０によっても実行される。

参照ピクチャ及び動きベクトルテストのステップ１１０８において、デブロッキングフィルタモジュール３３０（又は、方法１１００が映像復号部１３４により実行されている場合、デブロッキングフィルタモジュール４３０）は、プロセッサ２０５の制御の下で、各予測ユニット（ＰＵ）の以下の条件をテストする。：
（ａ）各予測ユニット（ＰＵ）に対して異なる参照ピクチャが使用されるか、又は、各予測ユニット（ＰＵ）に対して異なる数の動きベクトルが使用されること。
（ｂ）各予測ユニット（ＰＵ）に対して１つの動きベクトルが使用され、２つの動きベクトルの間の絶対差分が４つのクォーター輝度サンプルよりも大きいこと。
（ｃ）２つの動きベクトルが各予測ユニット（ＰＵ）に対して使用され、同じ２つの参照ピクチャが各ブロックに対して使用され、動きベクトルの各対の間の絶対差分が４つのクォーター輝度サンプルよりも大きいこと。

条件（ａ）〜（ｃ）のいずれかが充たされる場合、プロセッサ２０５における制御は境界強度１のステップ１１１０へ移動する。さもなければ（すなわち、条件（ａ）〜（ｃ）のいずれもが充たされない場合）、プロセッサ２０５における制御は境界強度０のステップ１１１２へ移動する。

境界強度１のステップ１１１０において、デブロッキングフィルタモジュール３３０（又は、方法１１００が映像復号部１３４により実行されている場合、デブロッキングフィルタモジュール４３０）は、プロセッサ２０５の制御の下で、考慮されているエッジの境界強度値を１に設定する。次に、方法１１００は終了する。

境界強度０のステップ１１１２において、デブロッキングフィルタモジュール３３０（又は、方法１１００が映像復号部１３４により実行されている場合、デブロッキングフィルタモジュール４３０）は、プロセッサ２０５の制御の下で、考慮されているエッジの境界強度値を０に設定する。次に、方法１１００は終了する。

映像符号化部１１４及び映像復号部１３４の１つの構成において、方法１１００は、初期変換及び符号化ブロックフラグテストのステップ１１０１がイントラテストのステップ１１０２の前に実行されるように修正される。初期変換及び符号化ブロックフラグテストのステップ１１０１において、両方の予測ユニット（ＰＵ）が少なくとも１つの有意な残差係数を有し（すなわち、対応する符号化ブロックフラグが１の値を有し）、予測ユニットが変換を使用しなかった、すなわち、「変換スキップ」が考慮された予測ユニット（ＰＵ）に対して有効にされた場合、制御は境界強度０のステップ１１１２へ移動する。このような構成において、たとえ有意な残差係数が存在しても、デブロッキングフィルタは変換スキップを用いて隣接ブロック間で適用されない。変換スキップがスクリーンコンテンツに対して選択されようとするにつれて、デブロッキングフィルタの適用の省略は、そのようなコンテンツの意図しない平滑化を防ぐ。デブロッキングフィルタが変換スキップを使用して隣接するブロック間で適用されない場合、符号化効率の小さな改善が実現される。

映像符号化部１１４及び映像復号部１３４の他の構成において、初期変換及び符号化ブロックフラグ値テストのステップ１１０１は、予測ユニット（ＰＵ）のいずれか又は両方が少なくとも１つの有意な残差係数を有し（すなわち、符号化ブロックフラグが１に等しい）、予測ユニット（ＰＵ）に対応する輝度チャネル（すなわち、プライマリカラーチャネル）の変換ブロック（ＴＢ）が変換を使用しなかった、すなわち、「変換スキップ」が考慮された変換ブロック（ＴＢ）に対して有効にされた場合に、制御が境界強度０のステップ１１１２へ移動するように修正される。このような構成において、たとえ有意な残差係数が存在しても、ブロックの少なくとも１つが変換スキップを使用する隣接ブロック間でデブロッキングフィルタは適用されない。変換スキップがスクリーンコンテンツに対して選択されようとするにつれて、デブロッキングフィルタの適用の省略はそのようなコンテンツの意図しない平滑化を防ぎ、小さな符号化効率の改善が実現される。

映像符号化部１１４及び映像復号部１３４のさらなる他の構成において、初期変換及び符号化ブロックフラグ値テストのステップ１１０１は、境界強度を決定するために以下の規則が適用されるように修正される。すなわち、Ｐは考慮されているエッジの一方のサイドにおける変換ユニット（ＴＵ）又は予測ユニット（ＰＵ）を示し、Ｑは考慮されているエッジの他方のサイドにおける変換ユニット（ＴＵ）又は予測ユニット（ＰＵ）を示すものとする。以下の式が真（ｔｒｕｅ）と評価された場合はプロセッサ２０５における制御が境界強度０のステップ１１１２へ移動し、さもなければ制御はステップ１１０２へ移動する２つの変形が利用可能である。
・変形１：（ＣＢＦ（Ｐ）が０又はＴＳ（Ｐ）と等しい）かつ（ＣＢＦ（Ｑ）が０又はＴＳ（Ｑ）かつ（Ｉｎｔｒａ（Ｐ）又はＩＢＣ（Ｐ）かつＩｎｔｒａ（Ｑ）又はＩＢＣ（Ｑ））と等しい）
・変形２：（ＣＢＦ（Ｐ）が０又はＴＳ（Ｐ）と等しい）かつ（ＣＢＦ（Ｑ）が０又はＴＳ（Ｑ）かつ（ＩＢＣ（Ｐ）又はＩＢＣ（Ｑ））と等しい）
ここで、ＣＢＦ（ｘ）はブロック「ｘ」と関連付けられた輝度変換ブロック（ＴＢ）の符号化ブロックフラグと等しく、ＴＳ（ｘ）はブロック「ｘ」と関連付けられた輝度変換ブロック（ＴＢ）の変換スキップフラグと等しく、Ｉｎｔｒａ（ｘ）はブロック「ｘ」と関連付けられた予測ユニット（ＰＵ）の予測モードがイントラ予測であることを示し、ＩＢＣ（ｘ）はブロック「ｘ」と関連付けられた予測ユニット（ＰＵ）の予測モードがイントラブロックコピーであることを示す。そのような構成は、エッジの一方のサイドが有意な残差係数を全く有さず、スクリーンコンテンツを含むフレームの領域に対して改善された符号化効率を提供する、変換がスキップされたブロックと関連付けられたエッジに沿ってデブロックをすることを無効化する。

映像符号化部１１４及び映像復号部１３４のさらなる他の構成において、方法１１００のブロックベクトルテストのステップ１１０７は省略される。ステップ１１０７が省略された構成においては、イントラブロックコピーテストのステップ１１０５においてプロセッサ２０５が、所与のエッジに沿った予測ユニット（ＰＵ）のいずれか又は両方がイントラブロックコピー、パレットモード、又は、イントラブロックコピー及びパレット予測モードの組み合わせを使用すると決定した場合、制御は境界強度１のステップ１１１０へ移動する。ステップ１１０７が省略された構成において、デブロッキングフィルタの境界強度を決定するイントラブロックコピー予測ユニットのブロックベクトルをバッファする要件は除去される。そのようにして、ブロックベクトルは、映像符号化部１１４におけるデブロックモジュール３３０又は映像復号部１３４におけるデブロックモジュール４３０によってアクセスされない。ステップ１１０７が省略された構成において、図１０Ｂのテーブル０１０に記載された規則は、イントラブロックコピーをそれぞれ使用する２つの予測ユニット（ＰＵ）の間のエッジに対する境界強度値が常に１となるように修正される。

映像符号化部１１４及び映像復号部１３４のさらなる他の構成において、図１１のステップ１１０５は以下のように修正される。すなわち、いずれかの予測モードがイントラブロックコピー又はパレットモードの場合、プロセッサ２０５における制御は境界強度０のステップ１１１２へ移動する。そのような修正されたステップ１１０５を備えた構成において、所与のエッジに対して、エッジのいずれかのサイドにおける予測ユニット（ＰＵ）がイントラブロックコピーモード、パレットモード、又は、これらの２つの予測モードの組み合わせを使用している場合、デブロッキングフィルタは、プライマリカラーチャネル及びセカンダリカラーチャネルに対して無効化される。

図１２は、デブロッキングフィルタに対して境界強度値を設定する方法１２００を示す概略フロー図である。方法１２００は、テーブル１０２０の規則に従い境界強度値を設定することをもたらす。方法１２００は、ハードディスクドライブ２１０上に存在し、プロセッサ２０５によりその実行が制御される、映像符号化部１１４又は映像復号部１３４を実装する１つ以上のソフトウェアコードモジュールとして実装されてもよい。方法１２００は、映像符号化部１１４及び映像復号部１３４の両方において実行される。もっとも、方法１２００は、映像符号化部１１４を参照して以下に説明する。方法１２００は、８×８のブロック粒度に下げられた、フレームデータ３１０における各エッジに対して実行される。

イントラブロックコピー又はパレットモードテストのステップ１２０１において、デブロッキングフィルタモジュール３３０（方法１２００が映像復号部１３４により実行されている場合はデブロッキングフィルタモジュール４３０）は、プロセッサ２０５の制御の下で、考慮されているエッジの一方のサイドにおける予測ユニット（ＰＵ）の第１の予測モードと、考慮されているエッジの他方のサイドにおける予測ユニット（ＰＵ）の第２の予測モードをテストする。いずれかの予測モードがイントラブロックコピー又はパレットモードの場合、プロセッサ２０５における制御は境界強度１のステップ１２１０へ移動する。ステップ１２０１において実行されるテストは、第１の予測モードがイントラ予測で第２の予測モードがイントラブロックコピー又はパレットモードである場合、あるいは、第１の予測モードがイントラブロックコピー又はパレットモードで第２の予測モードがイントラである場合、制御が境界強度１のステップ１２１０へ移動することをもたらす。ステップ１２０１は、もたらされる境界強度が２ではなく１である点で、図１１のステップ１１０２と異なる。ステップ１２０１において実行されるテストは各エッジを対照的に取り扱うため、以下のような第１の予測モード及び第２の予測モードの規定が可能である。すなわち、左側予測ユニット（ＰＵ）及び右側予測ユニット（ＰＵ）、右側予測ユニット（ＰＵ）及び左側予測ユニット、上方予測ユニット（ＰＵ）及び下方予測ユニット（ＰＵ）、あるいは、下方予測ユニット（ＰＵ）及び上方予測ユニット（ＰＵ）である。さもなければ（すなわち、両方の予測モードがイントラブロックコピー、パレットモード、又は２つの予測モードの組み合わせではない場合）、プロセッサ２０５における制御はイントラテストのステップ１２０２へ異動する。

イントラテストのステップ１２０２において、デブロッキングフィルタモジュール３３０（又は、方法１２００が映像復号部１３４により実行されている場合、デブロッキングフィルタモジュール４３０）は、プロセッサ２０５の制御の下で、考慮されているエッジのいずれかのサイドにおける予測ユニット（ＰＵ）の予測モードをテストする。いずれかの予測モードがイントラ予測の場合、プロセッサ２０５における制御は境界強度２のステップ１２０４へ移動する。さもなければ（すなわち、両方の予測モードがインター予測である場合）、プロセッサ２０５における制御は変換及び符号化ブロックフラグ値テストのステップ１２０６へ移動する。

境界強度２のステップ１２０４において、デブロッキングフィルタモジュール３３０（又は、方法１２００が映像復号部１３４により実行されている場合、デブロッキングフィルタモジュール４３０）は、プロセッサ２０５の制御の下で、考慮されているエッジの境界強度値を２に設定する。次に、方法１２００は終了する。

符号化ブロックフラグテストのステップ１２０６において、デブロッキングフィルタモジュール３３０（又は、方法１２００が映像復号部１３４により実行されている場合、デブロッキングフィルタモジュール４３０）は、プロセッサ２０５の制御の下で、考慮されているエッジのいずれかのサイドに沿って輝度変換ブロック（ＴＢ）の符号化ブロックフラグをテストする。いずれかの変換ブロック（ＴＢ）が少なくとも１つの有意な残差係数を含む（すなわち、対応する符号化ブロックフラグが１の値を有する）場合、プロセッサ２０５の制御は境界強度１のステップ１２１０へ移動する。さもなければ（すなわち、両方の輝度変換ブロック（ＴＢ）が有意な残差係数を有しない場合）、制御は参照ピクチャ及び動きベクトルテストのステップ１２０８へ移動する。

参照ピクチャ及び動きベクトルテストのステップ１２０８において、デブロッキングフィルタモジュール３３０（又は、方法１２００が映像復号部１３４により実行されている場合、デブロッキングフィルタモジュール４３０）は、プロセッサ２０５の制御の下で、各予測ユニット（ＰＵ）の以下の条件をテストする。：
（ａ）各予測ユニット（ＰＵ）に対して異なる参照ピクチャが使用されるか、又は、各予測ユニット（ＰＵ）に対して異なる数の動きベクトルが使用されること。
（ｂ）各予測ユニット（ＰＵ）に対して１つの動きベクトルが使用され、２つの動きベクトルの間の絶対差分が４つのクォーター輝度サンプルよりも大きいこと。
（ｃ）２つの動きベクトルが各予測ユニット（ＰＵ）に対して使用され、同じ２つの参照ピクチャが各ブロックに対して使用され、動きベクトルの各対の間の絶対差分が４つのクォーター輝度サンプルよりも大きいこと。

条件（ａ）〜（ｃ）のいずれかが充たされる場合、プロセッサ２０５における制御は境界強度１のステップ１２１０へ移動する。さもなければ（すなわち、条件（ａ）〜（ｃ）のいずれもが充たされない場合）、プロセッサ２０５における制御は境界強度０のステップ１２１２へ移動する。

境界強度１のステップ１２１０において、デブロッキングフィルタモジュール３３０（又は、方法１２００が映像復号部１３４により実行されている場合、デブロッキングフィルタモジュール４３０）は、プロセッサ２０５の制御の下で、考慮されているエッジの境界強度値を１に設定する。次に、方法１２００は終了する。

境界強度０のステップ１２１２において、デブロッキングフィルタモジュール３３０（又は、方法１２００が映像復号部１３４により実行されている場合、デブロッキングフィルタモジュール４３０）は、プロセッサ２０５の制御の下で、考慮されているエッジの境界強度値を０に設定する。次に、方法１２００は終了する。

映像符号化部１１４及び映像復号部１３４のある構成において、図１２のステップ１２０１は以下のように修正される。すなわち、いずれかの予測モードがイントラブロックコピー又はパレットモードの場合、プロセッサ２０５における制御は境界強度０のステップ１２１２へ移動する。ステップ１２０１がそのように修正された構成において、所与のエッジに対して、エッジのいずれかのサイドにおける予測ユニット（ＰＵ）がイントラブロックコピーモード、パレットモード、又は、イントラブロックコピー及びパレット予測モードの組み合わせを使用している場合、デブロッキングフィルタは、プライマリカラーチャネル及びセカンダリカラーチャネルに対して無効化される。

図１３は、映像データのブロックのイントラブロックコピー及びデブロックの方法を示す概略フロー図である。方法１３００は、ハードディスクドライブ２１０上に存在し、プロセッサ２０５によりその実行が制御される、映像符号化部１１４又は映像復号部１３４を実装する１つ以上のソフトウェアコードモジュールとして実装されてもよい。方法１３００は、映像符号化部１１４及び映像復号部１３４の両方において実行される。もっとも、方法１３００は、映像符号化部１１４を参照して以下に説明する。方法１３００はフレーム内の各符号化木ブロック（ＣＴＢ）へ適用される。

ステップ１３０２〜１３２０は、以下に説明するように、全ての符号化木ブロック（ＣＴＢ）が横断されるように実行される。さらに、方法１３００は映像データのフレームにおける各符号化木ブロック（ＣＴＢ）に対して実行される。

予測モードを決定するステップ１３０２において、予測モード選択モジュール３４８は、プロセッサ２０５の制御の下で、映像符号化部１１４（映像復号部１３４のエントロピー復号部４２０）において、隣接して位置づけられた２つの予測ユニット（ＰＵ）に対して予測モードを決定する。方法１３００が映像復号部１３４により実行されている場合、ステップ１１０６はエントロピー復号モジュール４２０によっても実行される。

イントラブロックコピーテストのステップ１３０４にいて、プロセッサ２０５は、考慮されている予測ユニット（ＰＵ）の予測モードをテストする。予測モードがイントラブロックコピーの使用を示す場合、プロセッサにおける制御は領域テストのステップ１３０６へ移動する。さもなければ、プロセッサ２０５における制御は、イントラ予測又はインター予測（図１３に図示せず）のいずれかに対するステップへ移動し、次に残差四分木を決定するステップ１３１２へ移動する。

領域テストのステップ１３０６において、映像符号化部１１４におけるイントラブロックコピーモジュール３５０（又は、方法１３００が映像復号部１３４により実行されている場合は、映像復号部１３４におけるイントラブロックコピーモジュール４３６）は、考慮されている予測ユニット（ＰＵ）と関連付けられたベクトルブロックをテストする。ブロックベクトルが現在又は以前の符号化木ユニット（ＣＴＵ）内の参照ブロック、すなわち、映像符号化部１１４における再構成されたサンプル３７０又は映像復号部１３４における再構成されたサンプル４５８を参照した場合、プロセッサ２０５における制御は、再構成されたサンプルからコピーするステップ１３０８へ移動する。図６のブロックベクトル６０８は、現在及び／又は以前の符号化木ユニット（ＣＴＵ）内の参照ブロックを参照するそのようなブロックベクトルの例である。さもなければ（ブロックベクトルが、現在及び以前の符号化木ユニット（ＣＴＵ）の外の参照ブロックを参照する）、プロセッサ２０５における制御はフレームバッファからコピーするステップ１３１０へ移動する。図６のブロックベクトル６１２は、現在及び以前の符号化木ユニット（ＣＴＵ）の外の参照ブロックを示すブロックベクトルの例である。

再構成されたサンプルからコピーするステップ１３０８において、映像符号化部１１４における多重化部３５２は、再構成されたサンプル３７０からサンプルのブロックを選択する。ステップ１３０８において選択された再構成されたサンプルは、インループフィルタリング（すなわち、デブロック）が実行される前に存在するサンプルである。あるいは、映像復号部１３４における多重化部４４０は、方法１３００が映像復号部１３４により実行されている場合に、再構成されているサンプル４５８からステップ１３０８におけるサンプルのブロックを選択する。再構成されたサンプル３７０は、デブロックされていないサンプルである。再構成されたサンプル３７０は、現在の符号化木ユニット（ＣＴＵ）又は以前の符号化木ユニット（ＣＴＵ）に対応する映像データのフレームの領域からのものである。そのようにして、再構成されたサンプル３７０は一般に「オンチップ」メモリを使用して記憶される。ローカル又はオンチップのメモリを使用することで、外部メモリ（例えば、２０６）への帯域幅要件が軽減される。オンチップメモリは一般に、シリコン領域に関して高価だが非常に高い帯域幅を提供する静的ＲＡＭを使用して実装される。オンチップメモリは、オンチップメモリの（例えば、シリコン領域に関する）著しいコストに起因して、映像データの全フレームを保持するのに十分な容量を欠いていることが一般的である。

フレームバッファからコピーするステップ１３１０において、映像符号化部１１４における多重化部３５２は、フレームバッファ３３２からサンプルのブロックを選択する。ステップ１３１０において選択された再構成されたサンプルは、インループフィルタリング（すなわち、デブロック）が適用されたものである。あるいは、映像復号部１３４における多重化部４４０は、方法１３００が映像復号部１３４により実行されている場合に、ステップ１３１０におけるフレームバッファ４３２からサンプルのブロックを選択する。ステップ１３１０において選択された再構成されたサンプルは、外部メモリ（例えば、２０６）におけるフレームバッファから取得される。そのようにして、ステップ１３１０において選択された再構成されたサンプルはデブロッキングフィルタリングが適用されている。ステップ１３１０において選択された再構成されたサンプルは、現在及び以前の符号化木ユニット（ＣＴＵ）の前の映像データのフレームの任意の位置から取得されてもよい。そのようにして、ステップ１３１０において選択可能なサンプルに対する記憶要件は、オンチップメモリにおける実際的な制約を上回り、代わりに、外部メモリ（例えば、２０６）に記憶されなければならない。

映像データのフレームにおけるイントラブロックコピーを使用するように構成された後の符号化ユニット（ＣＵ）により符号化ユニット（ＣＵ）のサンプルが参照された場合に、各再構成された符号化ユニット（ＣＵ）は外部メモリ（例えば、２０６）に記憶される必要があるであろうから、再構成されたサンプル（すなわち、デブロッキングフィルタの適用の前）を外部メモリ（例えば、２０６）に記憶させることは外部メモリの帯域幅を増大させるだろう。デブロックされたサンプル（例えば、３７２）は、映像符号化部１１４の動作の間、外部メモリ（例えば、２０６）に既に記憶される。同様に、デブロッキングフィルタモジュール４３０からの出力は、映像復号部１３４の動作の間、フレームバッファモジュール４３２に記憶される。そのようにして、デブロックされたサンプルのブロックは、外部メモリ（例えば、２０６）への追加のサンプルの書き込みを全く要することなく、多重化部３５２による選択に利用可能である。さらに、読みだしアクセスに対する外部メモリの帯域幅における増加は、イントラブロックコピーを使用するように構成された各符号化ユニット（ＣＵ）に対してのみ存在する。同様の作用が、多重化部４４０による選択に利用可能なフレームバッファ４３２における再構成されたサンプルのブロックを有する映像復号部１３４において発生する。

残差四分木を決定するステップ１３１２において、符号化ユニット（ＣＵ）に対する残差四分木が決定される。映像符号化部１１４において、プロセッサ２０５の制御の下で、多数の異なる残差四分木をテストし、各々に対して、量子化、変換、逆量子化、及び、逆変換のステップ（すなわち、モジュール３２０〜３２８の通りに）を実行することにより、残差四分木は一般に決定される。次に、残差四分木は、プロセッサ２０５の制御の下で、エントロピー符号化部３２４により符号化ビットストリーム３１２において符号化される。

方法１３００が映像復号部１３４により実行された場合、残差四分木及び残差計数は、ステップ１３１２においてエントロピー復号部４２０により決定される。ステップ１３１２において、エントロピー復号部４２０は、プロセッサ２０５の制御の下で、映像ビットストリーム３１２からの関連付けられた構文要素を復号する。

以下に説明するように、ステップ１３１４〜１３２０は、第１の水平エッジのテスト及びデブロックと、第２の垂直エッジのテスト及びデブロックとの２つの経路において実行される。

予測ユニット（ＰＵ）のエッジを決定するステップ１３１４において、映像符号化部１１４におけるデブロックモジュール３３０（又は、方法１３００が映像復号部１３４により実行されている場合は、映像復号部１３４におけるデブロックモジュール４３０）は、プロセッサ２０５の制御の下で、エッジフラグアレイにおけるエッジフラグを決定する。エッジフラグアレイは、８×８のサンプルグリッドに沿ったエッジの粒度へ、どのエッジはデブロックされるかもしれず、どのエッジはデブロックされないかを信号伝達する。異なる予測ユニット（ＰＵ）の間のエッジは、デブロックに対してフラグ付けされる。フラグはメモリ２０６内に記憶されてもよい。各符号化ユニット（ＣＵ）に対する予測ユニット（ＰＵ）境界は、符号化ユニット（ＣＵ）の分割モードに基づき知られる。

変換ユニット（ＴＵ）の境界を決定するステップ１３１６において、映像符号化部１１４におけるデブロックモジュール３３０（又は、方法１３００が映像復号部１３４により実行されている場合は、映像復号部１３４におけるデブロックモジュール４３０）は、プロセッサ２０５の制御の下で、エッジフラグアレイにおける追加のエッジフラグを決定する。ステップ１３１４において設定されたエッジフラグに加えて、異なる変換ユニット（ＴＵ）間のあらゆるエッジもまたデブロックに対してフラグづけされる。変換ユニット（ＴＵ）の境界は、各符号化ユニット（ＣＵ）に対する決定された残差四分木（ＲＱＴ）に基づいて知られる。

境界強度を決定するステップ１３１８において、映像符号化部１１４におけるデブロックモジュール３３０（又は、方法１３００が映像復号部１３４により実行されている場合は、映像復号部１３４におけるデブロックモジュール４３０）は、プロセッサ２０５の制御の下で、各エッジに対する境界強度値を決定する。

映像符号化部１１４及び映像復号部１３４の１つの構成において、方法１１００は、ステップ１３１８を実行する場合に呼び出される。ステップ１３１８を実行する場合に方法１１００が呼び出される構成において、セカンダリカラーチャネルのエッジはデブロックされず、隣接して位置づけられたイントラブロックコピーされた予測ユニット（ＰＵ）の間のエッジにおけるプライマリカラーチャネルに対して弱いフィルタが適用されるように、デブロッキングフィルタを弱めることが行われる。

映像符号化部１１４及び映像復号部１３４の他の構成において、方法１２００は、ステップ１３１８において呼び出される。方法１２００がステップ１３１８において呼び出される構成において、セカンダリカラーチャネルのエッジはデブロックされず、いずれかの予測ユニット（ＰＵ）がイントラブロックコピーを使用する隣接する予測ユニットの間のエッジにおけるプライマリカラーチャネルに対して弱いフィルタが適用されるように、デブロッキングフィルタを弱めることが行われる。

方法１３００はデブロッキングフィルタを適用するステップ１３２０に継続する。ステップ１３２０において、映像符号化部１１４におけるデブロックモジュール３３０（又は、方法１３００が映像復号部１３４により実行されている場合は、映像復号部１３４におけるデブロックモジュール４３０）は、プロセッサ２０５の制御の下で、ステップ１３０８から決定された境界強度値に従い符号化木ブロック（ＣＴＢ）における各エッジのデブロックを実行する。プライマリカラーチャネル及びセカンダリカラーチャネルは、図９のテーブル９００に従いフィルタ強度を使用してフィルタリングされる。特に、１の境界強度値に対して、プライマリカラーチャネルはデブロッキングフィルタリングを適用し、セカンダリカラーチャネルはデブロッキングフィルタリングを適用しない。次に、方法１３００は終了する。

付録Ａは、方法１１００に従う、高効率映像符号化（ＨＥＶＣ）標準に対する「ワーキングドラフト」テキストを示している。

付録Ｂは、方法１２００に従う、高効率映像符号化（ＨＥＶＣ）標準に対する「ワーキングドラフト」テキストを示している。

上述のブロックベクトルを符号化する方法は、イントラブロックコピーにより実現可能な圧縮効率を改善し、イントラブロックコピーを映像符号化部による選択のより優位性のある候補モードにするため、非常に望ましい。したがって、上述の方法は実現可能な圧縮効率を改善する。

（産業上の利用可能性）
上述の構成は、コンピュータ及びデータ処理業界、特に、映像信号等の信号を符号化及び復号するためのデジタル信号処理に適用可能である。

前述のものは本発明の実施形態を少数のみ説明したものであり、それに対する修正及び／又は変更は、本発明の範囲及び精神から離れることなく行うことが可能であり、実施形態は例示であり制限的ではない。

本明細書の文脈において、「備えている（comprising）」という用語は、「主に含むが必ずしも単独である必要はない」、「有する（having）」、又は、「含む（including）」ことを意味し、「のみからなる」ことを意味しない。「備える（comprise）」、「備える（comprises）」等の用語「備えている（comprising）」の変形は、それに応じて変化した意味を有する。

［付録Ａ］
８．７．２．４ 境界フィルタリング強度の導出処理
この処理への入力は、
− 輝度ピクチャサンプルアレイｒｅｃＰｉｃｔｕｒｅ_L
− 現在のピクチャの左上の輝度サンプルに対する現在の輝度符号化ブロックの左上のサンプルを特定する輝度位置（ｘＣｂ，ｙＣｂ）
− 現在の輝度符号化ブロックのサイズを特定する変数ｌｏｇ2ＣｂＳｉｚｅ
− 垂直（ＥＤＧＥ＿ＶＥＲ）と水平（ＥＤＧＥ＿ＨＯＲ）のどちらのエッジがフィルタリングされるかを特定する変数ｅｄｇｅＴｙｐｅ
− ２次元（ｎＣｂＳ）×（ｎＣｂＳ）アレイのｅｄｇｅＦｌａｇｓ
である。

この処理の出力は、境界フィルタリング強度を特定する２次元（ｎＣｂＳ）×（ｎＣｂＳ）アレイのｂＳである。

変数ｘＤ_i、ｙＤ_j、ｘＮ、及び、ｙＮは以下のようにして取得される。
１．ｅｄｇｅＴｙｐｅがＥＤＧＥ＿ＶＥＲと等しい場合、ｘＤ_iは（ｉ＜＜３）に等しく設定され、ｙＤ_jは（ｊ＜＜２）に等しく設定され、ｘＮは（１＜＜（ｌｏｇ2ＣｂＳｉｚｅ−３））−１に等しく設定され、及び、ｙＮは（１＜＜（ｌｏｇ2ＣｂＳｉｚｅ−２））−１に等しく設定される。
２．さもなければ（ｅｄｇｅＴｙｐｅがＥＤＧＥ＿ＨＯＲと等しい）、ｘＤ_iは（ｉ＜＜２）に等しく設定され、ｙＤ_jは（ｊ＜＜３）に等しく設定され、ｘＮは（１＜＜（ｌｏｇ2ＣｂＳｉｚｅ−２））−１に等しく設定され、及び、ｙＮは（１＜＜（ｌｏｇ2ＣｂＳｉｚｅ−３））−１に等しく設定される。

ｉ＝０，．．．，ｘＮのｘＤ_iとｊ＝０，．．．，ｙＮのｙＤ_jに対して以下が適用される。
３．ｅｄｇｅＦｌａｇｓ［ｘＤ_i］［ｙＤ_j］が０に等しい場合、変数ｂＳ［ｘＤ_i］［ｙＤ_j］は０に等しく設定される。
４．さもなければ（ｅｄｇｅＦｌａｇｓ［ｘＤ_i］［ｙＤ_j］が１に等しい）、以下が適用される。
− サンプル値ｐ₀及びｑ₀は以下のようにして取得される。
・ｅｄｇｅＴｙｐｅがＥＤＧＥ＿ＶＥＲと等しい場合、ｐ₀はｒｅｃＰｉｃｔｕｒｅ_L［ｘＣｂ＋ｘＤ_i−１］［ｙＣｂ＋ｙＤ_j］に等しく設定され、ｑ₀はｒｅｃＰｉｃｔｕｒｅ_L［ｘＣｂ＋ｘＤ_i］［ｙＣｂ＋ｙＤ_j］に等しく設定される。
・さもなければ（ｅｄｇｅＴｙｐｅがＥＤＧＥ＿ＨＯＲと等しい）、ｐ₀はｒｅｃＰｉｃｔｕｒｅ_L［ｘＣｂ＋ｘＤ_i］［ｙＣｂ＋ｙＤ_j−１］に等しく設定され、ｑ₀はｒｅｃＰｉｃｔｕｒｅ_L［ｘＣｂ＋ｘＤ_i］［ｙＣｂ＋ｙＤ_j］に等しく設定される。
− 変数ｂＳ［ｘＤ_i］［ｙＤ_j］は以下のようにして取得される。
・サンプルｐ₀又はｑ₀が、（イントラブロックコピーモード又はパレット予測モード）ではなくイントラ予測モードを用いて符号化された符号化ユニットの輝度符号化ブロックにある場合、ｂＳ［ｘＤ_i］［ｙＤ_j］は２に等しく設定される。
・さもなければ、ブロックエッジが変換ブロックエッジでもあり、また、サンプルｐ₀又はｑ₀が１つ以上の非ゼロ変換係数レベルを含む輝度変換ブロックにある場合、ｂＳ［ｘＤ_i］［ｙＤ_j］は１に等しく設定される。
・さもなければ、以下の条件の１つ以上が真の場合、ｂＳ［ｘＤ_i］［ｙＤ_j］は１に等しく設定される。
・サンプルｐ₀を含む輝度予測ブロックの予測に対しては、サンプルｑ₀を含む輝度予測ブロックの予測に対するものとは異なる参照ピクチャ又は異なる数の動きベクトルが使用される。
注釈１ − ２つの輝度予測ブロックに対して使用される参照ピクチャが同一か異なるかの決定は、どのピクチャが参照されるかにのみ基づき、予測が参照ピクチャリスト０へのインデックスを使用して形成されるかには関係せず、また、参照ピクチャリスト内のインデックスの位置が異なるか否かにも関係しない。
注釈２ − （ｘＰｂ，ｙＰｂ）をカバーする左上の輝度サンプルを用いて輝度予測ブロックの予測に対して使用される動きベクトルの数は、ＰｒｅｄＦｌａｇＬ０［ｘＰｂ］［ｙＰｂ］＋ＰｒｅｄＦｌａｇＬ１［ｘＰｂ］［ｙＰｂ］と等しい。
・１つの動きベクトルがサンプルｐ₀を含む輝度予測ブロックを予測するために使用され、１つの動きベクトルがサンプルｑ₀を含む輝度予測ブロックを予測するために使用され、使用される動きベクトルの水平又は垂直の成分の間の絶対差分がクォーター輝度サンプルを単位として４以上である。
・２つの動きベクトル及び２つの異なる参照ピクチャがサンプルｐ₀を含む輝度予測ブロックを予測するために使用され、同じ２つの参照ピクチャに対する２つの動きベクトルがサンプルｑ₀を含む輝度予測ブロックを予測するために使用され、同じ参照ピクチャに対する２つの輝度予測ブロックの予測において使用される２つの動きベクトルの水平又は垂直の成分の間の絶対差分がクォーター輝度サンプルを単位として４以上である。
・同じ参照ピクチャに対する２つの動きベクトルがサンプルｐ₀を含む輝度予測ブロックを予測するために使用され、同じ参照ピクチャに対する２つの動きベクトルがサンプルｑ₀を含む輝度予測ブロックを予測するために使用され、以下の条件の両方が真である。：
- ２つの輝度予測ブロックの予測において使用されるリスト０の動きベクトルの水平又は垂直の成分の間の絶対差分がクォーター輝度サンプルにおいて４以上であるか、又は、２つの輝度予測ブロックの予測において使用されるリスト１の動きベクトルの水平又は垂直の成分の間の絶対差分がクォーター輝度サンプルを単位として４以上である。
- サンプルｐ₀を含む輝度予測ブロックの予測において使用されるリスト０の動きベクトルとサンプルｑ₀を含む輝度予測ブロックの予測において使用されるリスト１の動きベクトルとの水平又は垂直の成分の間の絶対差分がクォーター輝度サンプルを単位として４以上であるか、又は、サンプルｐ₀を含む輝度予測ブロックの予測において使用されるリスト１の動きベクトルとサンプルｑ₀を含む輝度予測ブロックの予測において使用されるリスト０の動きベクトルとの水平又は垂直の成分の間の絶対差分がクォーター輝度サンプルを単位として４以上である。
・さもなければ、変数ｂＳ［ｘＤ_i］［ｙＤ_j］は０に等しく設定される。

［付録Ｂ］
８．７．２．４ 境界フィルタリング強度の導出処理
この処理への入力は、
− 輝度ピクチャサンプルアレイｒｅｃＰｉｃｔｕｒｅ_L
− 現在のピクチャの左上の輝度サンプルに対する現在の輝度符号化ブロックの左上のサンプルを特定する輝度位置（ｘＣｂ，ｙＣｂ）
− 現在の輝度符号化ブロックのサイズを特定する変数ｌｏｇ2ＣｂＳｉｚｅ
− 垂直（ＥＤＧＥ＿ＶＥＲ）と水平（ＥＤＧＥ＿ＨＯＲ）のどちらのエッジがフィルタリングされるかを特定する変数ｅｄｇｅＴｙｐｅ
− ２次元（ｎＣｂＳ）×（ｎＣｂＳ）アレイのｅｄｇｅＦｌａｇｓ
である。

この処理の出力は、境界フィルタリング強度を特定する２次元（ｎＣｂＳ）×（ｎＣｂＳ）アレイのｂＳである。

変数ｘＤ_i、ｙＤ_j、ｘＮ、及び、ｙＮは以下のようにして取得される。
− ｅｄｇｅＴｙｐｅがＥＤＧＥ＿ＶＥＲと等しい場合、ｘＤ_iは（ｉ＜＜３）に等しく設定され、ｙＤ_jは（ｊ＜＜２）に等しく設定され、ｘＮは（１＜＜（ｌｏｇ2ＣｂＳｉｚｅ−３））−１に等しく設定され、及び、ｙＮは（１＜＜（ｌｏｇ2ＣｂＳｉｚｅ−２））−１に等しく設定される。
− さもなければ（ｅｄｇｅＴｙｐｅがＥＤＧＥ＿ＨＯＲと等しい）、ｘＤ_iは（ｉ＜＜２）に等しく設定され、ｙＤ_jは（ｊ＜＜３）に等しく設定され、ｘＮは（１＜＜（ｌｏｇ2ＣｂＳｉｚｅ−２））−１に等しく設定され、及び、ｙＮは（１＜＜（ｌｏｇ2ＣｂＳｉｚｅ−３））−１に等しく設定される。

ｉ＝０，．．．，ｘＮのｘＤ_iとｊ＝０，．．．，ｙＮのｙＤ_jに対して以下が適用される。
− ｅｄｇｅＦｌａｇｓ［ｘＤ_i］［ｙＤ_j］が０に等しい場合、変数ｂＳ［ｘＤ_i］［ｙＤ_j］は０に等しく設定される。
− さもなければ（ｅｄｇｅＦｌａｇｓ［ｘＤ_i］［ｙＤ_j］が１に等しい）、以下が適用される。
− サンプル値ｐ₀及びｑ₀は以下のようにして取得される。
− ｅｄｇｅＴｙｐｅがＥＤＧＥ＿ＶＥＲと等しい場合、ｐ₀はｒｅｃＰｉｃｔｕｒｅ_L［ｘＣｂ＋ｘＤ_i−１］［ｙＣｂ＋ｙＤ_j］に等しく設定され、ｑ₀はｒｅｃＰｉｃｔｕｒｅ_L［ｘＣｂ＋ｘＤ_i］［ｙＣｂ＋ｙＤ_j］に等しく設定される。
− さもなければ（ｅｄｇｅＴｙｐｅがＥＤＧＥ＿ＨＯＲと等しい）、ｐ₀はｒｅｃＰｉｃｔｕｒｅ_L［ｘＣｂ＋ｘＤ_i］［ｙＣｂ＋ｙＤ_j−１］に等しく設定され、ｑ₀はｒｅｃＰｉｃｔｕｒｅ_L［ｘＣｂ＋ｘＤ_i］［ｙＣｂ＋ｙＤ_j］に等しく設定される。
− 変数ｂＳ［ｘＤ_i］［ｙＤ_j］は以下のようにして取得される。
− サンプルｐ ₀ 又はｑ ₀ が、イントラブロックコピーモード又はパレット予測モードを用いて符号化された符号化ユニットの輝度符号化ブロックにある場合、ｂＳ［ｘＤ _i ］［ｙＤ _j ］は１に等しく設定される。
− さもなければ、サンプルｐ₀又はｑ₀が、イントラ予測モードを用いて符号化された符号化ユニットの輝度符号化ブロックにある場合、ｂＳ［ｘＤ_i］［ｙＤ_j］は２に等しく設定される。
− さもなければ、ブロックエッジが変換ブロックエッジでもあり、また、サンプルｐ₀又はｑ₀が１つ以上の非ゼロ変換係数レベルを含む輝度変換ブロックにある場合、ｂＳ［ｘＤ_i］［ｙＤ_j］は１に等しく設定される。
− さもなければ、１つ以上の以下の条件が真の場合、ｂＳ［ｘＤ_i］［ｙＤ_j］は１に等しく設定される。
・サンプルｐ₀を含む輝度予測ブロックの予測に対しては、サンプルｑ₀を含む輝度予測ブロックの予測に対するものとは異なる参照ピクチャ又は異なる数の動きベクトルが使用される。
注釈１ − ２つの輝度予測ブロックに対して使用される参照ピクチャが同一か異なるかの決定は、どのピクチャが参照されるかにのみ基づき、予測が参照ピクチャリスト０へのインデックスを使用して形成されるかには関係せず、また、参照ピクチャリスト内のインデックスの位置が異なるか否かにも関係しない。
注釈２ − （ｘＰｂ，ｙＰｂ）をカバーする左上の輝度サンプルを用いて輝度予測ブロックの予測に対して使用される動きベクトルの数は、ＰｒｅｄＦｌａｇＬ０［ｘＰｂ］［ｙＰｂ］＋ＰｒｅｄＦｌａｇＬ１［ｘＰｂ］［ｙＰｂ］と等しい。
・１つの動きベクトルがサンプルｐ₀を含む輝度予測ブロックを予測するために使用され、１つの動きベクトルがサンプルｑ₀を含む輝度予測ブロックを予測するために使用され、使用される動きベクトルの水平又は垂直の成分の間の絶対差分がクォーター輝度サンプルを単位として４以上である。
・２つの動きベクトル及び２つの異なる参照ピクチャがサンプルｐ₀を含む輝度予測ブロックを予測するために使用され、同じ２つの参照ピクチャに対する２つの動きベクトルがサンプルｑ₀を含む輝度予測ブロックを予測するために使用され、同じ参照ピクチャに対する２つの輝度予測ブロックの予測において使用される２つの動きベクトルの水平又は垂直の成分の間の絶対差分がクォーター輝度サンプルを単位として４以上である。
・同じ参照ピクチャに対する２つの動きベクトルがサンプルｐ₀を含む輝度予測ブロックを予測するために使用され、同じ参照ピクチャに対する２つの動きベクトルがサンプルｑ₀を含む輝度予測ブロックを予測するために使用され、以下の条件の両方が真である。：
・２つの輝度予測ブロックの予測において使用されるリスト０の動きベクトルの水平又は垂直の成分の間の絶対差分がクォーター輝度サンプルにおいて４以上であるか、又は、２つの輝度予測ブロックの予測において使用されるリスト１の動きベクトルの水平又は垂直の成分の間の絶対差分がクォーター輝度サンプルを単位として４以上である。
・サンプルｐ₀を含む輝度予測ブロックの予測において使用されるリスト０の動きベクトルとサンプルｑ₀を含む輝度予測ブロックの予測において使用されるリスト１の動きベクトルとの水平又は垂直の成分の間の絶対差分がクォーター輝度サンプルを単位として４以上であるか、又は、サンプルｐ₀を含む輝度予測ブロックの予測において使用されるリスト１の動きベクトルとサンプルｑ₀を含む輝度予測ブロックの予測において使用されるリスト０の動きベクトルとの水平又は垂直の成分の間の絶対差分がクォーター輝度サンプルを単位として４以上である。
−さもなければ、変数ｂＳ［ｘＤ_i］［ｙＤ_j］は０に等しく設定される。

Claims (2)

1. 映像データのサンプルのブロックのエッジをデブロックする方法であって、
   映像データのブロックの各々がプライマリカラーチャネルと少なくとも１つのセカンダリカラーチャネルとを含む映像データの、隣接する２つのブロックの第１のブロックに対して第１の予測モードを復号する工程と、
   前記映像データの隣接する２つのブロックの第２のブロックに対して第２の予測モードを復号する工程と、
   前記第１の予測モードと前記第２の予測モードが両方ともイントラブロックコピーである場合であってかつ前記隣接する２つのブロックと関連付けられた整数の画素精度であるブロックベクトルの絶対差分が等しくない場合に、 前記第１のブロックと前記第２のブロックとの間の境界に対応するエッジに沿ったサンプルに対して、前記プライマリカラーチャネルについてはデブロッキングフィルタを適用し、前記セカンダリカラーチャネルについてはデブロッキングフィルタを適用しないように処理する工程と、
   を有することを特徴とする方法。
2. 前記ブロックベクトルは、現在のフレームにおける以前復号されたサンプルから、サンプルのブロックを参照するために用いられるベクトルであることを特徴とする請求項１に記載の方法。

Images