JP6133330B2 - ビデオ・コーディングのための色データのデブロッキング - Google Patents

Description

本出願は、２０１２年１月１９日に出願された米国仮特許第６１／５８８，５５４号および２０１２年９月２５日に出願された米国仮特許第６１／７０５，５２５号の利益を主張するものであり、それぞれの内容全体は参照により本明細書に組み込まれる。

本開示は、ビデオ・コーディングに関し、さらに詳しくは、ビデオ・データを再構築するための技術に関する。

デジタル・ビデオ機能は、デジタル・テレビ、デジタル・ダイレクト・ブロードキャスト・システム、無線ブロードキャスト・システム、携帯情報端末（ＰＤＡ）、ラップトップ・コンピュータまたはデスクトップ・コンピュータ、タブレット・コンピュータ、イーブック・リーダー、デジタル・カメラ、デジタル記録デバイス、デジタル・メディア・プレーヤ、ビデオ・ゲーム・デバイス、ビデオ・ゲーム・コンソール、セル電話または衛星無線電話、いわゆる「スマート・フォン」、ビデオ・テレビ会議デバイス、ビデオ・ストリーミング・デバイス等を含む広範囲のデバイスに組み込まれうる。デジタル・ビデオ・デバイスは、例えば、ＭＰＥＧ−２、ＭＰＥＧ−４、ＩＴＵ−Ｔ Ｈ．２６３、ＩＴＵ−Ｔ Ｈ．２６４／ＭＰＥＧ−４、パート１０、アドバンスト・ビデオ・コーディング（ＡＶＣ）、現在開発中の高効率ビデオ・コーディング（ＨＥＶＣ）規格、およびこのような規格の拡張のようなビデオ圧縮技術を実施する。Ｈ．２６４規格は、２００５年３月付の、ＩＴＵ−Ｔスタディ・グループによる、一般的なオーディオビジュアル・サービスのためのＩＴＵ−ＴリコメンデーションＨ．２６４、アドバンスト・ビデオ・コーディングに記載されている。これは、本明細書では、Ｈ．２６４規格またはＨ．２６４仕様、またはＨ．２６４／ＡＣＤ規格または仕様と称されうる。ジョイント・ビデオ・チーム（ＪＶＴ）は、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣに対する拡張に取り組み続けている。ビデオ・デバイスは、そのようなビデオ圧縮技術を実施することで、デジタル・ビデオ情報をより効率的に送信、受信、エンコード、デコード、および／または格納できる。

高効率ビデオ・コーディング（ＨＥＶＣ）テスト・モデル（ＨＭ）では、コーディング・ユニット（ＣＵ）と呼ばれるビデオ・データのブロックを処理する。最大コーディング・ユニット（ＬＣＵ）は４つのサブＣＵに分割でき、このそれぞれはさらに４つのサブＣＵに分割できる。そのため、ＬＣＵとサブＣＵは通常、単にＣＵと呼ばれる。したがって、ＬＣＵとサブＣＵの分割は四分木データ構造（quadtree data structure）で信号が送られる。こうして、ＬＣＵの分割されていないＣＵは、四分木データ構造のリーフ・ノードに対応する。

一般に、本開示は、ビデオ・データをデブロッキング（deblocking）するための技術を記載する。特に、本開示は、４：２：２または４：４：４色フォーマット（chroma format）にしたがってフォーマットされたビデオ・データをフィルタリングするために有用な技術を記載する。

一例では、再構築されたビデオ・データをフィルタリングする方法は、サンプル値のアレイを取得すること、ここにおいて、このアレイが４：２：２色フォーマットにしたがってフォーマットされる、と、第１のフィルタをアレイ内の定義された水平エッジに関連付けられた色サンプル値の行に適用するかどうかを決定すること、ここにおいて、定義された水平エッジは１６の色サンプル値に分けられている、と、および、第２のフィルタをアレイ内の定義された垂直エッジに関連付けられた色サンプル値の列に適用するかどうかを決定すること、ここにおいて、定義された垂直エッジは８の色サンプル値に分けられている、とを備える。

一例では、再構築されたビデオ・データをフィルタリングするための装置は、サンプル値のアレイを取得し、ここにおいて、このアレイが４：２：２色フォーマットにしたがってフォーマットされる、と、第１のフィルタをアレイ内の定義された水平エッジに関連付けられた色サンプル値の行に適用するかどうかを決定し、ここにおいて、定義された水平エッジが１６の色サンプル値に分けられる、および、第２のフィルタをアレイ内の定義された垂直エッジに関連付けられた色サンプル値の列に適用するかどうかを決定する、ここにおいて、定義された垂直エッジが８つの色サンプル値に分けられる、ように構成されたビデオ・コーディング・デバイスを備える。

一例では、コンピュータ・プログラム製品は、実行されるときに、再構築されたビデオ・データをフィルタリングするためのデバイスの１つまたは複数のプロセッサに、サンプル値のアレイを取得させ、ここにおいて、このアレイが４：２：２色フォーマットにしたがってフォーマットされ、第１のフィルタをアレイ内の定義された水平エッジに関連付けられた色サンプル値の行に適用するかどうかを決定させ、ここにおいて、定義された水平エッジが１６の色サンプル値に分けられ、および、第２のフィルタをアレイ内の定義された垂直エッジに関連付けられた色サンプル値の列に適用するかどうかを決定させる、ここにおいて、定義された垂直エッジが８つの色サンプル値に分けられる、当該箇所に保存された命令を有するコンピュータ読取可能な記憶媒体を備える。

一例では、再構築されたビデオ・データをフィルタリングするための装置は、サンプル値のアレイを取得するための手段、ここにおいて、このアレイが４：２：２色フォーマットにしたがってフォーマットされる、と、第１のフィルタをアレイ内の定義された水平エッジに関連付けられた色サンプル値の行に適用するかどうかを決定するための手段、ここにおいて、定義された水平エッジが１６の色サンプル値に分けられる、と、および、第２のフィルタをアレイ内の定義された垂直エッジに関連付けられた色サンプル値の列に適用するかどうかを決定するための手段、ここにおいて、定義された垂直エッジが８つの色サンプル値に分けられる、とを備える。

一例では、再構築されたビデオ・データをフィルタリングするための方法は、ビデオ・ブロックが４：２：０、４：２：２、または４：４：４色フォーマットの１つにしたがってフォーマットされるかどうかを決定することと、および決定された色フォーマットに基づいて色エッジをデブロッキングすること、ここにおいて、デブロッキングは、ビデオ・ブロックが４：２：０色フォーマットにしたがってフォーマットされる場合には８×８デブロッキング格子に基づき、ビデオ・ブロックが４：２：２色フォーマットにしたがってフォーマットされる場合には８×１６デブロッキング格子に基づき、ビデオ・ブロックが４：４：４色フォーマットにしたがってフォーマットされる場合には１６×１６デブロッキング格子に基づく、とを備える。

一例では、再構築されたビデオ・データをフィルタリングするための装置は、ビデオ・ブロックが４：２：０、４：２：２、または４：４：４色フォーマットの１つにしたがってフォーマットされるかどうかを決定し、および、決定された色フォーマットに基づいて色エッジをデブロッキングする、ここにおいて、デブロッキングは、ビデオ・ブロックが４：２：０色フォーマットにしたがってフォーマットされる場合には８×８デブロッキング格子に基づき、ビデオ・ブロックが４：２：２色フォーマットにしたがってフォーマットされる場合には８×１６デブロッキング格子に基づき、ビデオ・ブロックが４：４：４色フォーマットにしたがってフォーマットされる場合には１６×１６デブロッキング格子に基づく、ように構成されたビデオ・コーディング・デバイスを備える。

一例では、コンピュータ・プログラム製品は、実行されるとき、再構築されたビデオ・データをフィルタリングするためのデバイスの１または複数のプロセッサに、ビデオ・ブロックが４：２：０、４：２：２、または４：４：４色フォーマットの１つにしたがってフォーマットされるかどうかを決定させ、および、決定された色フォーマットに基づいて色エッジをデブロッキングさせる、ここにおいて、デブロッキングは、ビデオ・ブロックが４：２：０色フォーマットにしたがってフォーマットされる場合には８×８デブロッキング格子に基づき、ビデオ・ブロックが４：２：２色フォーマットにしたがってフォーマットされる場合には８×１６デブロッキング格子に基づき、ビデオ・ブロックが４：４：４色フォーマットにしたがってフォーマットされる場合には１６×１６デブロッキング格子に基づく、当該箇所に保存された命令を有するコンピュータ読取可能な記憶媒体を備える。

一例では、再構築されたビデオ・データをフィルタリングするための装置は、ビデオ・ブロックが４：２：０、４：２：２、または４：４：４色フォーマットの１つにしたがってフォーマットされるかどうかを決定するための手段と、および、決定された色フォーマットに基づいて色エッジをデブロッキングする手段、ここにおいて、デブロッキングは、ビデオ・ブロックが４：２：０色フォーマットにしたがってフォーマットされる場合には８×８デブロッキング格子に基づき、ビデオ・ブロックが４：２：２色フォーマットにしたがってフォーマットされる場合には８×１６デブロッキング格子に基づき、ビデオ・ブロックが４：４：４色フォーマットにしたがってフォーマットされる場合には１６×１６デブロッキング格子に基づく、とを備える。

１または複数の例の詳細が、添付図面および以下の説明において述べられる。他の特徴、目的、および利点が、説明と図面から、および特許請求の範囲から明らかになる。

図１Ａは、ビデオ・データのさまざまなサンプルフォーマットを例示する概念図である。 図１Ｂは、ビデオ・データのさまざまなサンプルフォーマットを例示する概念図である。 図１Ｃは、ビデオ・データのさまざまなサンプルフォーマットを例示する概念図である。 図２は、４：２：０のサンプルフォーマットにしたがってフォーマットされた１６×１６コーディング・ユニットを例示する概念図である。 図３は、４：２：２のサンプルフォーマットにしたがってフォーマットされた１６×１６コーディング・ユニットを例示する概念図である。 図４は、デブロッキング格子を例示する概念図である。 図５は、Ｈ．２６４規格リコメンデーションに含まれる図の再現図である。 図６は、隣接する２つのビデオ・ブロックの境界を例示する概念図である。 図７は、本明細書に記載の、ビデオ・データの再構築されたブロックをフィルタリングするための技術を利用しうるビデオ・エンコードおよびデコード・システムの例を例示するブロック図である。 図８は、本明細書に記載の、ビデオ・データの再構築されたブロックをフィルタリングするための技術を利用しうるビデオ・エンコーダの例を例示するブロック図である。 図９は、本明細書に記載の、ビデオ・データの再構築されたブロックをフィルタリングするための技術を利用しうるビデオ・デコーダの例を例示するブロック図である。 図１０は、デブロッカの一例の構成部品を例示するブロック図である。 図１１は、本明細書に記載の技術にしたがって、ビデオ・データの再構築されたブロックのフィルタリングを例示する概念図である。 図１２は、本明細書に記載の、ビデオ・データの再構築されたブロックをフィルタリングするための技術を例示する流れ図である。

一般にＨＥＶＣは、４：２：０の色フォーマットにしたがってフォーマットされたビデオ・データのデブロッキングフィルタを定義する。しかし、ＨＥＶＣは、４：２：２または４：４：４の色フォーマットのいずれかにしたがってフォーマットされたビデオ・データのためのデブロッキングフィルタを定義しない。ＨＥＶＣで定義されたデブロッキングフィルタは、４：２：２または４：４：４の色フォーマットのいずれかにしたがってフォーマットされた再構築ビデオ・データに対して、主観的に十分な品質は提供しない。さらに、以前のビデオ・コーディング規格で定義されたデブロッキングフィルタとＨＥＶＣ用に提案されたデブロッキングフィルタは、ＨＥＶＣにしたがって再構築されたビデオ・データのデブロック・フィルタリングには非効率な場合がある。本明細書に記載の技術は、例えば、４：２：２および／または４：４：４の色フォーマットの再構築されたビデオ・データのデブロック・フィルタリングに使用されうる。

現在、高効率ビデオ・コーディング（ＨＥＶＣ）と称される、新しいビデオ・コーディング規格を開発する作業が現在進行中である。来たるべき規格はＨ．２６５とも呼ばれる。ＨＥＶＣ規格はさらに、ＩＳＯ／ＩＥＣ２３００８−ＨＥＶＣとも称され、提供されているＨＥＶＣのバージョンの規格番号となるよう意図されている。ＨＥＶＣ規格化作業は、ＨＥＶＣテスト・モデル（ＨＭ）と称されたビデオ・コーディング・デバイスのモデルに基づく。ＨＭでは、以前のビデオ・コーディング企画の開発中に使用可能なビデオ・コーディング・デバイスに対して、ビデオ・コーディング・デバイスの機能が向上していることを想定している。例えば、Ｈ．２６４は、９つのイントラ予測エンコード・モードを提供するが、ＨＥＶＣは、３５ものイントラ予測エンコード・モードを提供する。

「ＨＥＶＣワーキング・ドラフト５」または「ＷＤ５」と称されるＨＥＶＣの最近のワーキング・ドラフト（ＷＤ）は、ＩＴＵ−Ｔ ＳＧ１６ ＷＰ３およびＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１のビデオ・コーディング（ＪＣＴ−ＶＣ）におけるジョイント・コラボレーティブ・チーム、第７回ミーティング、ジュネーブ、スイスにおける「高効率ビデオ・コーディング（ＨＥＶＣ）テキスト仕様ドラフト５」（High-Efficiency Video Coding (HEVC) text specification draft 5）と題されたＢｒｏｓｓらによるドキュメントＪＣＴ−ＶＣ Ｇ１１０３＿ｄ３に記載されている。「ＨＥＶＣワーキング・ドラフト８」または「ＷＤ８」と称される、最近の別のＨＥＶＣのワーキング・ドラフトは、ＩＴＵ−Ｔ ＳＧ１６ ＷＰ３およびＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１のビデオ・コーディング（ＪＣＴ−ＶＣ）におけるジョイント・コラボレーティブ・チーム、第１０回ミーティング、ストックホルム、スウェーデン、２０１２年７月における「高効率ビデオ・コーディング（ＨＥＶＣ）テキスト仕様ドラフト８」（High efficiency video coding (HEVC) text specification draft 8）と題されたＢｒｏｓｓらによるドキュメントＨＣＴＶＣ−Ｊ１００３＿ｄ７、に記載されている。ＨＥＶＣテスト・モデルは、特定のＨＥＶＣワーキング・ドラフトに対応しうることに留意されたい。この場合、テスト・モデルは番号によって識別される。例えば、ＨＭ５はＨＥＶＣ ＷＤ５に対応する。

来たるべきＨＥＶＣ規格など、ビデオ・コーディング規格にしたがって動作する典型的なビデオ・エンコーダは、オリジナルのビデオ・シーケンスの各フレーム（すなわち、ピクチャ）を「ブロック」または「コーディング・ユニット」と呼ばれる連続した長方形の領域に分割する。これらのブロックは、ビデオ・シーケンスにおける特有の冗長性を削減または除去するために、空間（イントラ・フレーム）予測および／または時間（インタ・フレーム）予測を適用することによってエンコードされうる。空間予測は「イントラ・モード」（Ｉ−モード）と称され、時間予測は「インタ・モード」（Ｐ−モードまたはＢ−モード）と称されうる。予測技術でビデオ・データの予測ブロックが生成され、これは基準サンプルのブロックとも称されうる。コード化されるべきオリジナルのビデオ・データのブロックは予測ブロックと比較される。ビデオ・データのオリジナルのブロックと予測ブロック間の差異は、残差データと称されうる。残差データは通常、予測ブロックとビデオ・データのオリジナルのブロックでのピクセル値間の差異のアレイである。

変換、例えば、離散コサイン変換（ＤＣＴ）、整数変換、ウェーブレット変換、または概念的に同様の変換が、変換係数の対応するセットを生成するためにコーディング・プロセスの間に残差データへ適用される。こうして、ビデオのオリジナルのブロックは、変換係数で逆変換を行い、残差データを予測ブロックに追加することで再構築されうる。変換係数はさらに、量子化されうる。つまり、変換係数の値は、定義されたビット深度（bit-depth）にしたがってビット列（bit string）として表しうる。一部の場合、量子化によって小さい値の変換係数がゼロとして表現される結果になりうる。量子化された変換係数は、変換係数レベルと称されうる。さらなる圧縮の場合、量子化された変換係数は、可逆のエントロピ・エンコーディング方法にしたがってエントロピ・エンコードされうる。

ＨＥＶＣにしたがうビデオ・コーディングの場合、ビデオ・フレームはコーディング・ユニットに分割しうる。コーディング・ユニット（ＣＵ）は、一般に、さまざまなコーディング・ツールがビデオ圧縮のために適用される基本ユニットとして作用する長方形の画像領域を称する。ＣＵは一般に正方形であり、例えば、ＩＴＵ−Ｔ Ｈ．２６４のようなその他のビデオ・コーディング規格で記載される、いわゆる「マクロブロック」に類似していると考えられうる。しかし、マクロブロックとは異なり、ＣＵは１６×１６サイズに限定されない。ＣＵは、ビデオ・サンプル値のアレイと見なされうる。ビデオ・サンプル値はさらに、ピクチャ・エレメント、ピクセル、またはｐｅｌと称されうる。ＣＵのサイズは、水平および垂直のサンプルの数にしたがって定義されうる。こうして、ＣＵは、Ｎ×ＮまたはＮ×Ｍ ＣＵと記載されうる。

本開示では、「Ｎ×Ｎ」と「ＮバイＮ」は、例えば１６×１６ピクセルまたは１６バイ１６ピクセルのような垂直方向の次元および水平方向の次元の観点から、ビデオ・ブロックのピクセル次元を称するために相互交換可能に使用されうる。一般に、１６×１６ブロックは、垂直方向に１６ピクセル（ｙ＝１６）と、水平方向に１６ピクセル（ｘ＝１６）を有するだろう。同様に、Ｎ×Ｎブロックは、一般に、垂直方向にＮ個のピクセルと、水平方向にＮ個のピクセルとを有する。ここで、Ｎは、負ではない整数値を表す。ブロックにおけるピクセルは、行と列とで構成されうる。さらに、ブロックは、必ずしも、垂直方向と同じ数のピクセルを、水平方向に有する必要はない。例えば、ブロックは、Ｎ×Ｍピクセルを備えうる。ここで、Ｍは、必ずしもＮに等しくはない。

より良好なコーディング効率を達成するために、ＣＵは、ビデオ・コンテンツに依存する可変サイズを有しうる。ＣＵは通常、Ｙと表記される、輝度成分、およびＵおよびＶと表記される色成分（chroma compornent）を有する。２つの色成分は赤色の色相および青色の色相に対応し、さらにＣ_ｂとＣ_ｒと表記されうる。ＨＥＶＣにより、ビットストリーム内のシンタックス・データは、最大コーディング・ユニット（ＬＣＵ）を定義し得、これは、サンプル数に関してフレームまたはピクチャで最大のＣＵである。ＣＵのサイズは通常、水平および垂直の輝度サンプルの数にしたがって定義されうる。通常、ＬＣＵには６４×６４または３２×３２の輝度サンプルが含まれる。他の次元のＣＵは、ＬＣＵをサブＣＵに帰納的に分割することによって生成されうる。ビットストリームのシンタックス・データは、ＣＵデプスと称される、ＬＣＵが分割されうる最大回数を定義しうる。したがって、ビットストリームはまた、最小コーディング・ユニット（ＳＣＵ）を定義しうる。通常、ＳＣＵには８×８の輝度サンプルが含まれる。こうして、一例では、４つの３２×３２ＣＵが、６４×６４ＬＣＵを４つのサブＣＵに分割することで生成され、３２×３２ＣＵのそれぞれはさらに１６の８×８ＣＵに分割されうる。一般的に、コーディング・ユニット（ＣＵ）という用語は、ＬＣＵあるいは当該サブＣＵ（例えば、ＬＣＵのサブＣＵまたは別のサブＣＵのサブＣＵ）を称しうる。

ＬＣＵは、１または複数のノードを含む四分木データ構造に対応しうるもので、四分木のルート・ノードはＬＣＵ自体に対応し、他のノードはＬＣＵのサブＣＵに対応する。こうして、ＬＣＵはコーディング・ツリー・ユニット（ＣＴＵ）とも称されうる。四分木データ構造は残差四分木（ＲＱＴ）と称されうる。分割されていないＣＵは一般的に、四分木のリーフ・ノードに対応する（つまり、子ノードを全く有していない四分木のノード）。

リーフ・ノードＣＵには一般的に、ＣＵのデータの予測方法を記載する１または複数の予測ユニット（ＰＵ）、および１または複数の変換ユニット（ＴＵ）が含まれる。ＰＵは、対応するＣＵのすべてまたは一部を表し、ＰＵの基準サンプルを検索するためのデータを含みうる。ＰＵは、正方形または長方形の形状を有している。例えば、ＣＵがインタ予測を使用してコード化される場合、４つの長方形のＰＵが含まれうるようになり、それぞれのＰＵには時間的に隣接するフレームのセット基準サンプルを識別する情報が含まれる。基準サンプルのセットは、予測ビデオ・ブロックを形成するために組み合わされうる。上述のとおり、予測ビデオ・ブロックは、残差データを形成するためにＣＵから減算されうる。ＨＥＶＣ ＷＤ５は定義された次のＰＵタイプを含んでいる。２Ｎ×２Ｎ、Ｎ×Ｎ、２Ｎ×Ｎ、Ｎ×２Ｎ、２Ｎ×ｎＵ、２Ｎ×ｎＤ、ｎＲ×２Ｎ、およびｎＬ×２Ｎ。さらに、ＩＴＵ−Ｔ Ｈ．２６４規格は、例えば、輝度成分のための１６バイ１６、８バイ８、または４バイ４と、色成分のための８バイ８のようなさまざまなブロック・サイズにおけるイントラ予測のみならず、例えば、輝度成分のための１６×１６、１６×８、８×１６、８×８、８×４、４×８、および４×４と、色成分のためにスケールされた対応するサイズとのようなさまざまなブロック・サイズにおけるインタ予測をサポートすることに留意されたい。

上述のとおり、変換はピクセル領域から変換領域に残差データを変換するために残差データに適用しうる。ＴＵまたは変換ブロックは変換が適用される残差データのセットに対応しうる。ＴＵは、変換を行い、対応する変換係数のセットを生成する目的のピクセルの異なる値のセットのサイズを表す。ＴＵのサイズはＣＵのサイズと同じになりうるか、あるいはＣＵが複数のＴＵに分割されうる。例えば、１つの変換が輝度サンプルの１６×１６アレイに関連付けられた残差値で行い得たり、輝度サンプルの４つの８×８アレイのそれぞれで変換が行い得たりする。より大きなＴＵは一般的に、再構築された画像で知覚可能な「ブロック歪み」が多い大きな圧縮を提供し、これに対して、より小さなＴＵは一般的に、知覚可能な「ブロック歪み」の少ない小さな圧縮を提供する。ＴＵサイズの選択は歪み率最適化分析（rate-distortion optimization analysis）に基づくものとしうる。歪み率最適化分析によって一般的に、再構築されたブロックとオリジナル（すなわち、エンコードされていないブロック）間の歪みの量のほか、ブロックのエンコードに使用されるビットレート（つまり、ビット数）も決まる。

ＬＣＵと同様に、ＴＵもより小さなＴＵに帰納的に分割されうる。より小さなＴＵにＴＵを分割する結果のＴＵは、変換ブロック構造と称されうる。変換ブロック構造の一例は、いわゆるツリー構造である。ツリー構造は変換ブロックをＴＵ全体、またはいくつかのより小さいＴＵに分割したもののいずれかとしてコード化しうる。このプロセスは、それぞれ異なる分割レベルの各ブロックに対して帰納的に行いうる。

こうして、ＨＥＶＣによれば、ＣＵは、１または複数の予測ユニット（ＰＵ）および／または１または複数の変換ユニット（ＴＵ）を含みうる。本開示はまた、ＣＵ、ＰＵ、またはＴＵのうちのいずれかを称するために、「ブロック」、「パーティション」、または「部分」という用語を使用する。一般に、「部分」は、ビデオ・フレームの任意のサブ・セットを称しうる。さらに、本開示は通常、ＣＵのコーディング・ノードを称するために「ビデオ・ブロック」という用語を使用する。特定の一部の場合、本開示は、コーディング・ノードならびにＰＵおよびＴＵを含む、ツリーブロック、すなわち、ＬＣＵまたはＣＵを称するために「ビデオ・ブロック」という用語も使用しうる。こうして、ビデオ・ブロックはＣＵ内のコーディング・ノードに対応しうるもので、ビデオ・ブロックは固定または変動サイズを有し得、指定されたコーディング規格によってサイズが異なりうる。

色フォーマットとも称しうる、ビデオ・サンプリングフォーマットは、ＣＵに含まれる輝度サンプルの数に対するＣＵに含まれる色サンプルの数を定義しうる。色成分のビデオ・サンプリングフォーマットに応じて、ＵおよびＶ成分のサイズのサイズは、サンプルの数の点から、Ｙ成分のサイズと同じまたは異なるものとしうる。Ｈ．２６４／ＡＶＣおよびＨＥＶＣ ＷＤ５ビデオ・コーディング規格では、chroma_format_idcと称する値が、輝度成分に対して、色成分の異なるサンプリングフォーマットを示すために定義される。ＨＥＶＣ ＷＤ８では、chroma_format_idcはシーケンス・パラメータ・セット（ＳＰＳ）を使用して信号が送られる。表１は、chroma_format_idcと関連する色フォーマットの値の間の関係を例示する。

表１では、変数ＳｕｂＷｉｄｔｈＣおよびＳｕｂＨｅｉｇｈｔＣは、輝度成分のサンプル数と各色成分のサンプル数の間の水平および垂直サンプリング・レート比を示すために使用されうる。表１に記載の色フォーマットでは、２つの色成分が同じサンプリング・レートを有する。

表１の例では、４：２：０形式の場合、輝度成分のサンプリング・レートは、水平方向と垂直方向の両方で色成分の２倍である。その結果、４：２：０形式にしたがってフォーマットされたコーディング・ユニットの場合、輝度成分のサンプルのアレイの幅と高さが色成分のサンプルの各アレイの２倍である。同様に、４：２：２形式にしたがってフォーマットされたコーディング・ユニットの場合、輝度成分のサンプルのアレイの幅は各色成分のサンプルのアレイの幅の２倍であるが、輝度成分のサンプルのアレイの高さは各色成分のサンプルのアレイの高さに等しい。４：４：４形式にしたがってフォーマットされたコーディング・ユニットの場合、輝度成分のサンプルのアレイは各色成分のサンプルと幅と高さが同じである。ＹＵＶ色空間に加えて、ビデオ・データはＲＧＢ色空間にしたがって定義しうる。このように、本明細書に記載の色フォーマットはＹＵＶまたはＲＧＢ色空間のいずれかに適用しうる。ＲＧＢ色フォーマットは通常、赤色サンプルの数、緑色サンプルの数、および青色サンプルの数が等しくなるようにサンプリングされる。したがって、本明細書で使用される「４：４：４色フォーマット」はＹＵＶ色空間またはＲＧＢ色空間のいずれかを指しうるもので、サンプルの数はすべての色成分で等しい。

図１Ａ〜図１Ｃは、ビデオ・データのさまざまなサンプルフォーマットを例示する概念図である。図１Ａは、４：２：０のサンプルフォーマットを例示する概念図である。図１Ａで例示のように、４：２：０のサンプルフォーマットの場合、色成分は輝度成分のサイズの４分の１である。したがって、４：２：０のサンプルフォーマットにしたがってフォーマットされたＣＵの場合、色成分の各サンプルに対して４つの輝度サンプルがある。図１Ｂは、４：２：２のサンプルフォーマットを例示する概念図である。図１Ｂで例示のように、４：２：２のサンプルフォーマットの場合、色成分は輝度成分のサイズの２分の１である。したがって、４：２：２のサンプルフォーマットにしたがってフォーマットされたＣＵの場合、色成分の各サンプルに対して２つの輝度サンプルがある。図１Ｃは、４：４：４のサンプルフォーマットを例示する概念図である。図１Ｃで例示のように、４：４：４のサンプルフォーマットの場合、色成分は輝度成分のサイズと同じである。したがって、４：４：４のサンプルフォーマットにしたがってフォーマットされたＣＵの場合、色成分の各サンプルに対して１つの輝度サンプルがある。

図２は、４：２：０のサンプルフォーマットにしたがってフォーマットされた１６×１６コーディング・ユニットの一例を例示する概念図である。図２は、ＣＵ内の輝度サンプルに対する色サンプルの相対位置を例示する。上述のとおり、ＣＵは通常、水平および垂直の輝度サンプルの数にしたがって定義される。したがって、図２で例示のように、４：２：０のサンプルフォーマットにしたがってフォーマットされた１６×１６ＣＵは、輝度成分の１６×１６サンプルと各色成分に対して８×８サンプルを含む。さらに、上述のとおり、ＣＵはより小さなＣＵに分割されうる。例えば、図２で例示のＣＵは４つの８×８ＣＵに分割しうるもので、各８×８ＣＵは輝度成分の８×８サンプルと各色成分に対して４×４サンプルを含んでいる。

図３は、４：２：２のサンプルフォーマットにしたがってフォーマットされた１６×１６コーディング・ユニットの一例を例示する概念図である。図３は、ＣＵ内の輝度サンプルに対する色サンプルの相対位置を例示する。上述のとおり、ＣＵは通常、水平および垂直の輝度サンプルの数にしたがって定義される。したがって、図３で例示のように、４：２：２のサンプルフォーマットにしたがってフォーマットされた１６×１６ＣＵは、輝度成分の１６×１６サンプルと各色成分に対して８×１６サンプルを含む。さらに、上述のとおり、ＣＵはより小さなＣＵに分割されうる。例えば、図３で例示のＣＵは４つの８×８ＣＵに分割しうるもので、各ＣＵは輝度成分の８×８サンプルと各色成分に対して４×８サンプルを含んでいる。

ＨＥＶＣは、「ブロック歪み（blokiness）」アーティファクト（artifact）を除去するためにデブロッキングフィルタを使用するデブロッキングを備える。ブロック（ＬＣＵおよび当該サブＣＵ）へのフレームの分割、ブロックのコーディング、次いでブロックのデコードの後、ブロックの境界で識別できるアーティファクトが起こりうる。ブロックのアーティファクトは通常、ＴＵまたはＰＵ境界で起こる。デブロッキングまたはデブロック・フィルタリングは、フレームのブロック歪みアーティファクトの出現を除去するために、再構築されたビデオ・ブロックの境界のサンプルの値を変更するプロセスを指す。例えば、ＣＵの境界のサンプルおよび隣接したＣＵの境界のサンプルは、１つのＣＵから別のＣＵへの移行が閲覧者により明らかにならないように「滑らか」にされうる。

さらに、ビデオ・エンコーダはフレームのビデオ・データをエンコードし得、そして、エンコードされたビデオ・データをデコードし、次に、デブロッキングフィルタを基準ビデオ・データとして使用するデコードされたビデオ・データに適用する。基準データは、例えば、後続のコード化されたビデオ・データのインタ予測のために、ビデオ・エンコーダが使用しうる１つまたは複数のフレームからのデータでありうる。ビデオ・エンコーダはインタ予測のために参照ピクチャ・ストア内に１つまたは複数のフレームを格納しうる。基準データとしての使用のためにデコードされたビデオ・データを格納する前にビデオ・エンコーダまたはビデオ・デコーダなどのビデオ・コーディング・デバイスによって行われるデブロッキング・フィルタリングは、通常「ループ内（in-loop）」フィルタリングと称される。「ループ内」フィルタリングでは、ビデオ・エンコーダまたはデコーダはビデオ・ループ内でデブロッキングを行いうる。ビデオ・エンコーダは生のビデオ・データの受信、ビデオ・データのエンコード、データのデブロッキング、および参照ピクチャ・ストアへのデブロッキングされたフレームの格納から始めうる。

ビデオ・デコーダは、受信したビデオ・データをデコードし、次いで、後続のデコードされるビデオ・データの基準としての使用に関してデコードされたビデオ・データに同じデブロッキングフィルタを適用するように構成されうる。同じデブロッキング技術を適用するようエンコーダとデコーダの両方を構成することによって、エンコーダとデコーダは、デブロッキングが、基準のためのデブロッキングされたビデオ・データを使用する後続のコード化されたビデオ・データに関してエラーを取り込まないように同期されうる。さらに、ビデオ・デコーダは、ビデオ・データを表示する目的で再構築されたビデオ・データをデブロッキングするように構成されうる。この場合、ビデオ・デコーダは、再構築されたビデオ・データの主観的な品質を向上させるようにデブロッキングを実行しうる。この場合、ビデオ・デコーダは、デブロッキングを実行する方法を決定するために、エンコードされたビデオ・データに含まれる情報を頼りにすることができる。さらに、ビデオ・デコーダは、再構築されたビデオ・データを分析して、後処理のオペレーションにしたがってデブロッキングを実行しうる。このタイプのデブロッキングは、ポスト・ループ（post loop）デブロッキングと称されうる。

デブロッキングは、垂直境界、水平境界、または垂直と水平の両方の境界で行いうる。ＨＥＶＣでは、境界へのフィルタリングを行うどうかの決定は、いわゆる境界フィルタリング強度変数（boundary filtering strength variable）ｂＳに基づいている。ｂＳは、主にＣＵの再構築に使用される予測モードに基づいて決定される。例えば、１つの境界に隣接するブロックの輝度成分がイントラ・コードの場合、ｂＳの値は少なくとも２である。ＨＥＶＣは４：２：０のサンプルフォーマットにしたがってフォーマットされるＣＵに関するデブロッキングのみを記載し、４：２：２または４：４：４のサンプルフォーマットのいずれかにしたがってフォーマットされるＣＵに関するデブロッキングを記載しないことに留意されたい。

デブロッキング格子はデブロッキングされうるエッジを定義しうる。図４は、サンプル値のアレイおよびデブロッキングが可能なエッジを例示する概念図である。図４で例示するアレイは、上述のとおり、ＣＵの組み合わせに対応する。例えば、次の色フォーマット、４：２：０、４：２：２、または４：４：４のいずれかにしたがってフォーマットされた次のサイズ、４×４、８×８、１６×１６、３２×３２、または６４×６４のいずれか１つのＣＵの組み合わせがＮ×Ｎのサンプル値のアレイを形成しうる。図４に例示されるように、５つの垂直エッジ（すなわち、Ｖ_０−Ｖ_４）および５つの水平エッジ（すなわち、Ｈ_０−Ｈ_４）がアレイに関して定義される。デブロッキング格子は、境界Ｖ_０−Ｖ_４およびＨ_０−Ｈ_４のどれがデブロッキングされるかを示しうる。

図５は、Ｈ．２６４規格リコメンデーションに含まれる図８〜１０の再現図であり（「リコメンデーションＩＴＵ−Ｔ Ｈ．２６４：一般的なオーディオビジュアル・サービスのためのアドバンスト・ビデオ・コーディング」ＩＴＵ−Ｔ、２０１０年３月）、この内容全体を参照により本明細書に組み込まれる。図８〜１０はＨ．２６４規格リコメンデーションで使用され、マクロブロックの境界がいつデブロッキングされるかを示す。上述のとおり、Ｈ．２６４のマクロブロックは１６×１６ピクセルである。したがって、図８〜１０で例示の各ブロックは、４×４の輝度サンプルを含んでいる。各ブロックの色サンプルの数は、マクロブロックがそれぞれ、４：２：０、４：２：２、または４：４：４にしたがってフォーマットされるかどうかに基づき、２×２、２×４、または４×４のいずれかである。Ｈ．２６４規格リコメンデーションは、ループ内デブロッキングフィルタが色フォーマットと変換サイズに応じて境界に適用されうることを指定する。Ｈ．２６４では、使用可能な変換サイズに４×４および８×８が含まれる。以下は、Ｈ．２６４規格リコメンデーションからの抜粋である。

［図５］のエッジを輝度エッジとして解釈する場合、transform_size_8x8_flagに応じて、次が適用される。

−transform_size_8x8_flagがゼロに等しい場合、両方のタイプ、実線太字と破線太字の輝度エッジがフィルタリングされる。

−そうではない場合（transform_size_8x8_flag is equal to 1が１に等しい場合）、実線太字の輝度エッジのみがフィルタリングされる。

［図５］のエッジを色エッジとして解釈する場合、ＣｈｒｏｍａＡｒｒａｙＴｙｐｅに応じて、次が適用される。

−ＣｈｒｏｍａＡｒｒａｙＴｙｐｅが１に等しい場合（４：２：０形式）、実線太字の色エッジのみがフィルタリングされる。

−そうではなく、ＣｈｒｏｍａＡｒｒａｙＴｙｐｅが２に等しい場合（４：２：２形式）、実線太字の垂直色エッジがフィルタリングされ、両方のタイプ、実線太字と破線太字の水平色エッジがフィルタリングされる。

−そうではなく、ＣｈｒｏｍａＡｒｒａｙＴｙｐｅが３に等しい場合（４：４：４形式）、次が適用される。

−transform_size_8x8_flagがゼロに等しい場合、両方のタイプ、実線太字と破線太字の色エッジがフィルタリングされる。

−そうではない場合（transform_size_8x8_flagが１に等しい場合）、実線太字の色エッジのみがフィルタリングされる。

−そうではない場合（ＣｈｒｏｍａＡｒｒａｙＴｙｐｅがゼロに等しい場合）、色エッジはフィルタリングされない。

表２ではＨ．２６４で使用されるデブロッキング格子のサイズの概要を提供する。表２に例示のように、Ｈ．２６４／ＡＶＣデブロッキングフィルタは、４：２：０および４：２：２色フォーマットの色エッジの処理時に、色サンプルの４×４格子を使用する。

反対に、ＨＥＶＣ ＷＤ５で提案されたＨＭ５ループ内デブロッキングフィルタは、輝度サンプル処理時には輝度サンプルの８×８格子を使用し、４：２：０色フォーマットの色エッジ処理時には色サンプルの８×８格子を使用する。ＨＭ５ループ内デブロッキングフィルタは、ｂＳの値が２に等しい場合に、輝度および色エッジを処理することに留意されたい。上述のとおり、４：２：２および４：４：４色フォーマットのデブロッキングは、ＪＣＴ−ＶＣによるＨＥＶＣには採用されていない。

Ａ．Ｎｏｒｋｉｎ、Ｋ．Ａｎｄｅｒｓｓｏｎ、Ｒ．Ｓｊｏｂｅｒｇ、Ｑ．Ｈｕａｎｇ、Ｊ．Ａｎ、Ｘ．Ｇｕｏ、Ｓ．Ｌｅｉ、「ＣＥ１２：エリクソンおよびメディアテックのデブロッキングフィルタ（Ericsson’s and Mediatek’s deblocking filter）」第６回ＪＣＴ−ＶＣミーティング、トリノ、イタリア、２０１１年７月Ｄｏｃ．ＪＣＴＶＣ−Ｆ１１８（以下「Ｎｏｒｋｉｎ」）は、内容全体が参照として引用されており、４：２：２および４：４：４色フォーマットへのＨＭ５デブロッキングフィルタの拡張が提案されている。Ｎｏｒｋｉｎは、輝度成分には８×８デブロッキング格子を、ならびにＣＵがそれぞれ、４：２：０、４：２：２、および４：４：４色フォーマットにしたがってフォーマットされているかどうかに基づき、色サンプルにはそれぞれ、４×４、４×８、および８×８デブロッキング格子を使用することを提案した。実際のところ、Ｎｏｒｋｉｎの提案は、色成分が輝度解像度にアップサンプルされる場合に、等価の８×８輝度格子で彩度デブロッキングを適用することに留意されたい。表３は、彩度フィルタリング格子に関するＮｏｒｋｉｎの提案の概要である。

表３に関して記載した技術は、ＨＭ５に比べ、デブロッキング・フィルタリングされる色エッジの数が増大しうることに留意されたい。つまり、ＨＭ５は、４：２：０形式の場合に８×８格子を使用する色エッジを処理するよう構成されるが、一方、Ｎｏｒｋｉｎは４×４格子を使用する色エッジの処理を提案している。したがって、表３に関して記載した技術は、ＨＭ５に比べ、デブロック・フィルタリングされる色エッジの数が増大しうる。さらに、４：２：２色フォーマットの場合、Ｎｏｒｋｉｎは輝度成分には８×８デブロッキング格子、および色成分には４×８デブロッキング格子を提案している。一部の場合、Ｎｏｒｋｉｎで記載されたようなフィルタリング技術は非効率になりうる。つまり、デブロッキングを適用することによって達成される知覚されるビデオ品質の何らかの改善は、フィルタリング・オペレーションの数を適用するために使用される計算労力により正当化され得ない。

ＨＥＶＣでは、フィルタリングされる境界が決定された後、各境界にどのタイプのデブロッキングフィルタが適用されるかについての決定が行われる。ＨＥＶＣ ＷＤ８は、２つのタイプのデブロッキングフィルタ、ノーマル・フィルタ（弱いフィルタとの称される）、およびストロング・フィルタを含んでいる。ノーマルおよびストロング・フィルタが異なる１つの方法は、境界の各側で変更しうるサンプル数にある。ノーマル・フィルタは境界の各側で１つから２つのサンプルを変更し、一方、ストロング・フィルタは境界の各側で３つまでのサンプルを変更する。ＨＥＶＣ ＷＤ８では、境界にノーマルまたはストロング・フィルタのどちらを適用するかの決定は一般的に、ｂＳに基づいているが、決定には他の変数に基づくいくつかの論理演算も関係する。簡潔さのために、本明細書では、ＨＥＶＣ ＷＤ８でノーマルまたはストロング・フィルタのどちらを適用するかの決定プロセスの完全な説明は説明していない。しかし、ＨＥＶＣ ＷＤ８の関連部分に参照が行われる。

図６は、隣接する２つのビデオ・ブロックの境界を例示する概念図である。図６で例示する例では、隣り合っているブロックが示されているが、デブロッキング技術は上下の隣接するブロックに関して適用されることを理解されたい。図６は、エッジ６０６を有するブロック６０２、６０４を図示している。図６に例示の例では、ブロック６０２および６０４は両方とも正方形で、それぞれサンプル値ｐおよびｑの８×８アレイを含んでいる。サンプル値ｐおよびｑは輝度サンプル値に対応しうるもので、この場合、ブロック６０２および６０４は８×８ＣＵに対応しうる。さらに、サンプル値ｐおよびｑは色サンプル値に対応しうるもので、この場合、ブロック６０２および６０４は色サンプルの８×８アレイとなる特定の色フォーマットにしたがってフォーマットされた種々のサイズのＣＵの組み合わせに対応しうる。表４では、ＨＥＶＣ ＷＤ８で開示されたストロングおよびノーマル・フィルタの簡素化バージョンを提供している。つまり、簡潔さと明確さのために、ＨＥＶＣ ＷＤ８で記載された量子化パラメータに基づく各種クリッピング機能は、表４のフィルタから除去されている。ＨＥＶＣ ＷＤ８の各種クリッピング機能は、変更される表４に含まれるフィルタによって変更されるサンプル値のすべてより少ないことを考慮に入れる。

表４は、ブロック６０２および６０４のそれぞれのサンプル値がストロング・フィルタまたはノーマル・フィルタのいずれかによりどのように変更されるかを例示する。表４のストロング・フィルタは輝度成分に適用されるＨＥＶＣ ＷＤ８で定義されたストロング・フィルタに対応する。表４のノーマル・フィルタ１は輝度成分に適用されるＨＥＶＣ ＷＤ８で定義されたノーマル・フィルタに対応する。表４のノーマル・フィルタ２は色成分に適用されるＨＥＶＣ ＷＤ８で定義されたノーマル・フィルタに対応する。表４で例示のとおり、ストロング・フィルタは境界の各側で３つのピクセル値を変更し、ノーマル・フィルタ１は境界の各側で２つのサンプル値を変更し、ノーマル・フィルタ２は境界の各側で１つのサンプル値を変更する。

現在、ＨＥＶＣ ＷＤ８メイン・プロファイルは４：２：０色フォーマットに制限されている。さらに、ＨＥＶＣ ＷＤ８の色デブロッキングフィルタはＨ．２６４／ＡＶＣデブロッキングフィルタより少ない複雑さ有しており、その理由は、イントラ・コード化されたエッジおよびサブサンプリングされた色成分に関する８×８サンプル格子に制限されているからである。ＨＥＶＣ ＷＤ８で定義されたデブロッキングフィルタは、４：２：０ビデオ・データへの適用時に、適切な主観的品質を提供しうるもので、ＨＥＶＣ ＷＤ８で定義された簡素化彩度デブロッキングフィルタは、４：２：２または４：４：４色フォーマットを含む今後のＨＥＶＣプロファイルに十分な品質を提供し得ない。

本開示の技術は、４：２：２または４：４：４の色フォーマットのいずれかにしたがってフォーマットされた再構築ビデオ・データの改善されたデブロッキングを提供しうる。上述のとおり、Ｎｏｒｋｉｎは、輝度成分には８×８デブロッキング格子および４：２：２色フォーマットにしたがってフォーマットされたビデオ・データに関する色成分には４×８デブロッキング格子を使用することを提案している。したがって、４：２：２色フォーマットにしたがってフォーマットされた４つの隣接する８×８ブロックの場合、Ｎｏｒｋｉｎは各色成分の３つの垂直エッジおよび３つの水平エッジのデブロック・フィルタリングを提案しており、合計１８のフィルタリング・オペレーションがもたらされる。一部の場合、そのようなフィルタリングは非効率になりうる。つまり、デブロッキングを適用することによって達成される知覚されるビデオ品質の何らかの改善は、フィルタリング・オペレーションの数を適用するために使用される当該計算労力により正当化され得ない。さらに、Ｎｏｒｋｉｎは、適用されるデブロッキングフィルタのタイプの決定の際に、水平と垂直の境界を区別していない。ビデオ・ブロックの水平エッジにノーマルまたはストロング・フィルタのいずれかを適用することによってブロック歪みの出現を大幅に削減し、垂直エッジに同じフィルタまたはいずれかのデブロッキングフィルタを適用するようなことは、非効率でありうる。本開示は、Ｎｏｒｋｉｎに比べフィルタ・オペレーションの数を削減することと、および水平デブロッキングに基づき垂直デブロッキングを実行するかどうかを決定することとによってビデオ・データに関してより効率的なフィルタリングを提供しうる技術を記載している。

図７は、再構築されたビデオ・データのアレイをデブロッキングするように構成しうる一例のビデオ・エンコードおよびデコード・システム１０を例示するブロック図であり、ビデオ・データは４：２：０、４：２：２、または４：４：４色フォーマットにしたがってフォーマットされている。図７に例示のように、システム１０は、エンコードされたビデオを、通信チャネル１６を介して宛先デバイス１４へ送信するソース・デバイス１２を含んでいる。ソース・デバイス１２および宛先デバイス１４は、広範なデバイスのうちのいずれかも備えうる。いくつかの場合には、ソース・デバイス１２および宛先デバイス１４は、いわゆるセルラ無線電話または衛星無線電話といった無線ハンドセットのような無線通信デバイス、または、この場合無線である通信チャネル１６を介してビデオ情報を通信しうる任意の無線デバイスを備えうる。しかしながら、本開示の技術は、無線アプリケーションまたは設定に必ずしも限定されない。例えば、これらの技術は、オーバ・ザ・エア・テレビジョン・ブロードキャスト、ケーブル・テレビジョン送信、衛星テレビジョン送信、インターネット・ビデオ送信、記憶媒体にエンコードされたエンコード済みのデジタル・ビデオ、またはその他のシナリオに適合しうる。したがって、通信チャネル１６は、エンコードされたビデオ・データの送信または記憶のために適切な無線媒体、有線媒体、または記憶媒体の任意の組み合わせを備えうる。

図７の例では、ソース・デバイス１２は、ビデオ・ソース１８、ビデオ・エンコーダ２０、変調器／復調器（モデム）２２、および送信機２４を含んでいる。宛先デバイス１４は、受信機２６、モデム２８、ビデオ・デコーダ３０、およびディスプレイ・デバイス３２を含んでいる。本開示によると、ソース・デバイス１２のビデオ・エンコーダ２０は再構築されたビデオ・データのアレイをデブロッキングするための技術を適用するように構成しうるものであり、ビデオ・データは４：２：０、４：２：２、または４：４：４色フォーマットにしたがってフォーマットされている。別の例では、ソース・デバイスおよび宛先デバイスは、その他の構成要素または構成を含みうる。例えば、ソース・デバイス１２は、例えば外部カメラのような外部ビデオ・ソース１８からビデオ・データを受信しうる。同様に、宛先デバイス１４は、統合されたディスプレイ・デバイスを含んでいるのではなく、外部のディスプレイ・デバイスとインタフェースしうる。

図７の例示されたシステム１０は単なる一例である。再構築されたビデオ・データのアレイをデブロッキングするための技術で、ビデオ・データは４：２：０、４：２：２、または４：４：４色フォーマットのいずれかにしたがってフォーマットされており、任意のデジタル・ビデオエンコードおよび／またはデコード・デバイスによって実行されうる。一般に、本開示の技術は、ビデオ・エンコード・デバイスおよび／またはビデオ・デコード・デバイスによって実行されるが、これら技術はまた、「コーデック」と一般に称されるビデオ・エンコーダ／デコーダによっても実行されうる。さらに、本開示の技術はまた、ビデオ・プリプロセッサまたはポスト・プロセッサによっても実行されうる。ソース・デバイス１２および宛先デバイス１４は、単に、ソース・デバイス１２が、宛先デバイス１４への送信のために、コード化されたビデオ・データを生成するこのようなコーディング・デバイスの例である。いくつかの例において、デバイス１２，１４は、デバイス１２，１４の各々がビデオ・エンコードおよびデコード構成要素を含むように、実質的に対称的に動作しうる。したがって、システム１０は、例えば、ビデオ・ストリーミング、ビデオ・プレイバック、ビデオ・ブロードキャスト、またはビデオ・テレフォニのために、ビデオ・デバイス１２，１４間の一方向または二方向のビデオ送信をサポートしうる。

ソース・デバイス１２のビデオ・ソース１８は、例えば、ビデオ・カメラ、以前にキャプチャされたビデオを含んでいるビデオ・アーカイブ、および／または、ビデオ・コンテンツ・プロバイダからのビデオ・フィードのようなビデオ・キャプチャ・デバイスを含みうる。さらなる代案として、ビデオ・ソース１８は、コンピュータ・グラフィック・ベースのデータを、ソース・ビデオとして、または、ライブ・ビデオと、アーカイブされたビデオと、コンピュータによって生成されたビデオとの組み合わせとして生成しうる。いくつかのケースにおいて、ビデオ・ソース１８がビデオ・カメラであれば、ソース・デバイス１２および宛先デバイス１４は、いわゆるカメラ電話またはテレビ電話を形成しうる。キャプチャされたビデオ、プリキャプチャされたビデオ、またはコンピュータによって生成されたビデオは、上述のサンプルフォーマット（例えば、４：２：０、４：２：２、または４：４：４）のいずれかにしたがってフォーマットされうる。しかしながら、前述したように、本開示において記載されているこれら技術は、一般に、ビデオ・コーディングに適用可能でありうる。そして、無線または有線のアプリケーションに適用されうる。各ケースでは、キャプチャされたビデオ、プリキャプチャされたビデオ、または、コンピュータによって生成されたビデオが、ビデオ・エンコーダ２０によってエンコードされうる。エンコードされたビデオ情報は、その後、通信規格にしたがってモデム２２によって変調され、送信機２４を介して宛先デバイス１４へ送信されうる。モデム２２は、さまざまなミキサ、フィルタ、増幅器、または信号変調のために設計されたその他の構成要素を含みうる。送信機２４は、増幅器、フィルタ、および１または複数のアンテナを含む、データの送信のために設計された回路を含みうる。

宛先デバイス１４の受信機２６は、チャネル１６によって情報を受信し、モデム２８は、この情報を復調する。チャネル１６によって通信される情報は、ビデオ・エンコーダ２０によって定義されたシンタックス情報を含みうる。これは、ビデオ・デコーダ３０によっても使用され、ブロック、および例えばＧＯＰのようなその他のコード化されたユニットの処理、および／または、特徴を記述するシンタックス要素を含んでいる。ディスプレイ・デバイス３２は、デコードされたビデオ・データをユーザへ表示しうる。そして、例えば、陰極線管（ＣＲＴ）、液晶ディスプレイ（ＬＣＤ）、プラズマ・ディスプレイ、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、または別のタイプのディスプレイ・デバイスのようなさまざまなディスプレイ・デバイスのうちの何かを備えうる。

図７の例では、通信チャネル１６は、例えば、無線周波数（ＲＦ）スペクトルまたは１または複数の物理送信ライン、または無線媒体と有線媒体との任意の組み合わせのような任意の無線媒体または有線媒体を備えうる。通信チャネル１６は、例えば、ローカル・エリア・ネットワーク、広域ネットワーク、またはインターネットのようなグローバル・ネットワークといったパケット・ベースのネットワークの一部を形成しうる。通信チャネル１６は、一般に、ソース・デバイス１２から宛先デバイス１４へビデオ・データを送信するために、有線媒体と無線媒体との任意の適切な組み合わせを含む、任意の適切な通信媒体、または別の通信媒体の集合を表す。通信チャネル１６は、ルータ、スイッチ、基地局、または、ソース・デバイス１２から宛先デバイス１４への通信を容易にするために有用なその他任意の機器を含みうる。別の例では、ソース・デバイス１２は、エンコードされたデータを、送信するのではなく、記憶媒体に格納しうる。同様に、宛先デバイス１４は、エンコードされたデータを、記憶媒体から取得するように構成されうる。

ビデオ・エンコーダ２０およびビデオ・デコーダ３０は一般的に、例えば、ＭＰＥＧ ４、パート１０、アドバンスト・ビデオ・コーディング（ＡＶＣ）とも称されるＩＴＵ−Ｔ Ｈ．２６４規格のようなビデオ圧縮規格にしたがって動作しうる。さらに、ビデオ・エンコーダ２０およびビデオ・デコーダ３０は一般的に、来たるべきＨＥＶＣ規格にしたがって動作しうる。しかしながら、本開示の技術は、どんなの特定のコーディング規格にも限定されない。図７に図示されていないが、いくつかの態様では、ビデオ・エンコーダ２０およびビデオ・デコーダ３０は各々、オーディオ・エンコーダおよびデコーダと統合されうる。そして、共通のデータ・ストリームまたは個別のデータ・ストリームでオーディオとビデオとの両方のエンコードを取り扱うために、適切なＭＵＸ−ＤＥＭＵＸユニット、またはその他のハードウェアおよびソフトウェアを含みうる。適用可能であれば、ＭＵＸ−ＤＥＭＵＸユニットは、ＩＴＵ Ｈ．２２３マルチプレクサ・プロトコル、または、例えばユーザ・データグラム・プロトコル（ＵＤＰ）のようなその他のプロトコルに準拠しうる。いくつかの態様では、本開示に記載された技術は、一般に、Ｈ．２６４規格またはＨＥＶＣ規格に準拠するデバイスに適用されうる。

ビデオ・エンコーダ２０およびビデオ・デコーダ３０は各々、適用可能であれば、例えば、１または複数のマイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向けＩＣ（ＡＳＩＣ）、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）、ディスクリート論理回路、ソフトウェア、ハードウェア、ファームウェア、またはこれら任意の組み合わせのように、さまざまな適切なエンコーダまたはデコーダ回路のいずれかとして実現されうる。ビデオ・エンコーダ２０およびビデオ・デコーダ３０の各々は、１または複数のエンコーダまたはデコーダに含まれうる。これらのいずれかは、結合されたビデオ・エンコーダ／デコーダ（コーデック）の一部として統合されうる。ビデオ・エンコーダ２０および／またはビデオ・デコーダ３０を含む装置は、集積回路、マイクロプロセッサ、および／または、無線通信デバイスを備えうる。ビデオ・エンコーダ２０および／またはビデオ・デコーダ３０を含む装置は、携帯電話、カメラ、コンピュータ、移動機、宅内装置、放送装置、セットトップ・ボックス、サーバなどを含みうる。

ビデオ・シーケンスは一般に、ビデオ・フレームのシリーズを含んでいる。ピクチャのグループ（ＧＯＰ）は一般に、１または複数のビデオ・フレームのシリーズを備えている。ＧＯＰは、ＧＯＰに含まれるフレームの数を記述するシンタックス・データを、ＧＯＰのヘッダ、ＧＯＰの１または複数のフレームのヘッダ、あるいはその他の場所に含みうる。各フレームは、それぞれのフレームのためのエンコード・モードを記述するフレーム・シンタックス・データを含みうる。各ビデオ・フレームは、複数のスライスを含みうる。各スライスは、複数のビデオ・ブロックを含みうる。これらは、サブ・ブロックとも称されるパーティションに構成されうる。ビデオ・ブロックは、固定サイズまたは可変サイズを有しうる。そして、指定されたコーディング規格によってサイズが異なりうる。上述のとおり、ビデオ・ブロックはＨＥＶＣ ＷＤ５に記載の可変サイズのＣＵを含みうる。さらに、ビデオ・ブロックは、マクロブロック、または、マクロブロックのパーティションに対応しうる。ビデオ・エンコーダ２０は、一般に、ビデオ・データをエンコードするために、個々のビデオ・フレーム内のビデオ・ブロックで動作する。

上述のとおり、ビデオ・ブロックはピクセル領域にピクセル・データのアレイを備えうる。ビデオ・ブロックはさらに、例えば、離散コサイン変換（ＤＣＴ）、整数変換、ウェーブレット変換、または、コード化されたビデオ・ブロックと予測ビデオ・ブロックとの間のピクセル差分を表す残差ビデオ・ブロック・データへの概念的に同じ変換などの変換のアプリケーションにしたがって、変換領域に変換係数のアレイを備えうる。いくつかのケースでは、ビデオ・ブロックは、変換領域に、量子化された変換係数のブロックを備えうる。

上述のとおり、予測データおよび残差データを生成するための、イントラ予測コーディングまたはインタ予測コーディングの後、さらには、変換係数を生成するための、任意の変換（例えば、Ｈ．２６４／ＡＶＣまたは離散コサイン変換ＤＣＴにおいて使用される４×４または８×８の整数変換）の後に、変換係数の量子化が実行されうる。量子化は、一般に、恐らくは、変換係数を表すために使用されるデータの量を削減するために、変換係数が量子化される処理を称する。この量子化処理は、これら係数のうちのいくつかまたはすべてに関連付けられたビット深度を削減しうる。例えば、ｎビット値は量子化の際に端数を切り捨ててｍビット値にされうるもので、ｎはｍより大きい。一部の場合、量子化はゼロとして表現される小さい値の変換係数となりうる。ＴＵサイズの選択に加えて、再構築された画像の知覚可能なブロック歪みはさらに、変換係数で実行される量子化プロセスにも基づきうる。一般に、ｍの値がより小さければ、知覚可能なブロック歪みは多くなる結果になる。

量子化の後、量子化されたデータのエントロピ・コーディングが、例えば、コンテンツ適応可変長コーディング（content adaptive variable length coding）（ＣＡＶＬＣ）、コンテキスト適応バイナリ計算コーディング（context adaptive binary arithmetic coding）（ＣＡＢＡＣ）、またはその他のエントロピ・コーディング方法にしたがって実行されうる。エントロピ・コーディングのために構成された処理ユニット、または、その他の処理ユニットは、例えば、コード化ブロック・パターン（ＣＢＰ）値、マクロブロック・タイプ、コーディング・モード、コード化されたユニット（例えば、フレーム、スライス、マクロブロック、またはシーケンス）のための最大マクロブロック・サイズ等のようなシンタックス情報の生成、および／または、量子化された係数のゼロ・ラン・レングス・コーディング（zero run length coding）のようなその他の処理機能を実行しうる。

ビデオ・エンコーダ２０はさらに、例えば、ブロック・ベースのシンタックス・データ、フレーム・ベースのシンタックス・データ、およびＧＯＰベースのシンタックス・データのようなシンタックス・データを、例えば、フレーム・ヘッダ、ブロック・ヘッダ、スライス・ヘッダ、またはＧＯＰヘッダで、ビデオ・デコーダ３０へ送信しうる。ＧＯＰシンタックス・データは、それぞれのＧＯＰにおけるフレームの数を記述しうる。そして、フレーム・シンタックス・データは、対応するフレームをエンコードするために使用されるエンコード／予測モードを示しうる。

図８は、再構築されたビデオ・データをフィルタリングするための技術を実施しうるビデオ・エンコーダ２０の例を例示するブロック図である。ビデオ・エンコーダ２０は、ブロック、または、ブロックのパーティションまたはサブ・パーティションを含む、ビデオ・フレーム内のブロックのイントラ・コーディングおよびインタ・コーディングを実行しうる。上述のとおり、イントラ・コーディングは所定のビデオ・フレーム内のビデオの空間冗長性を削減または除去するために空間予測を当てにし、インタ・コーディングはビデオ・シーケンスの隣接するフレーム内でビデオの時間上調整を削減または除去するために時間予測を当てにする。イントラ・モード（Ｉ−モード）は、いくつかの空間ベースの圧縮モードのいずれかを称し、例えば、単一方向予測（Ｐ−モード）または双方向予測（Ｂ−モード）のようなインタ・モードは、いくつかの時間ベースの圧縮モードのいずれかを称しうる。

図８に図示されるように、ビデオ・エンコーダ２０は、エンコードされるべきビデオ・フレーム内の現在のビデオ・ブロックを受け取る。現在のビデオ・ブロックは、いずれかの４：２：０、４：２：２、または４：４：４色フォーマットにしたがってフォーマットされうる。図８の例では、ビデオ・エンコーダ２０は、モード選択ユニット４０、動き推定ユニット４２、動き補償ユニット４４、イントラ予測モジュール４６、参照ピクチャ・メモリ６４、加算器５０、変換ユニット５２、量子化ユニット５４、およびエントロピ・エンコーディング・ユニット５６を含んでいる。ビデオ・ブロック再構築のために、ビデオ・エンコーダ２０はまた、逆量子化ユニット５８、逆変換ユニット６０、および加算器６２、参照ピクチャ・メモリ６４、ならびにデブロッカ６６も含んでいる。本開示の技術にしたがって、ビデオ・エンコーダ２０は加算器６２の出力を選択的にフィルタリングするデブロッカ６６を含んでいる。デブロッカ６６は、本明細書に記載の技術にしたがって、デブロッキングを実行しうる。

エンコード処理中、ビデオ・エンコーダ２０は、コード化されるべきビデオ・フレームまたはスライスを受け取る。フレームまたはスライスは、複数のビデオ・ブロックに分割されうる。動き推定ユニット４２および動き補償ユニット４４は、１または複数の参照フレームにおける１または複数のブロックに関連する、受信されたビデオ・ブロックのインタ予測コーディングを実行しうる。イントラ予測ユニット４６は、代替として、空間予測を提供するためにコード化されるべきブロックとして、同じフレームまたはスライスにおける１または複数の近隣ブロックに関連する、受信されたビデオ・ブロックのイントラ予測コーディングを実行しうる。ビデオ・エンコーダ２０は、例えば、ビデオ・データの各ブロックに対して適切なコーディング・モードを選択するために、複数のコーディング・パスを実行しうる。モード選択ユニット４０は、例えば、誤り結果または事前に定義されたコーディング構造に基づいて、イントラまたはインタのコーディング・モードのうちの１つを選択しうる。そして、結果として得られたイントラ・コード化されたブロックまたはインタ・コード化されたブロックを加算器５０に提供し、残差ブロック・データを生成する。また、加算器６２に提供し、エンコードされたブロックを、参照フレームとして使用するために再構築する。

動き推定ユニット４２および動き補償ユニット４４は、高度に統合され、上述のビデオ・コーディング規格のいずれかにしたがって動作しうる。動き推定ユニット４２および動き補償ユニット４４は、概念の目的のために、個別に例示されている。動き推定は、ビデオ・ブロックの動きを推定する動きベクトルを生成する処理である。動きベクトルは、例えば、現在のフレーム内でコード化されている現在のブロック（または、その他のコード化されたユニット）に関連する予測参照フレーム（または、その他のコード化されたユニット）内の予測ブロックの変位を示しうる。予測ブロックは、絶対差分（ＳＡＤ）の合計、平方差分（ＳＳＤ）の合計、または、その他の別のメトリックによって決定されうるピクセル差分の観点においてコード化されるべきブロックに緊密にマッチするものとして発見されるブロックである。動き補償は、動き推定によって決定された動きベクトルに基づいて予測ブロックをフェッチまたは生成することを含みうる。繰り返すが、動き推定ユニット４２と動き補償ユニット４４とは、いくつかの例では、機能的に統合されうる。

動き推定ユニット４２は、インタ・コード化されたフレームのビデオ・ブロックを、参照ピクチャ・メモリ６４内の参照フレームのビデオ・ブロックと比較することによって、インタ・コード化されたフレームのビデオ・ブロックの動きベクトルを計算する。参照ピクチャ・メモリ６４に格納された参照フレームは、ビデオ・コーディング規格にしたがって定義されたリストにしたがって組織化されうる。動き補償ユニット４４は参照フレームのサブ整数ピクセルも補間しうる。動き推定ユニット４２は、参照ピクチャ・メモリ６４からの１または複数の参照フレームのブロックを、現在のフレームのエンコードされるべきブロックと比較する。参照ピクチャ・メモリ６４における参照フレームが、サブ整数ピクセルのための値を含んでいる場合、動き推定ユニット４２によって計算された動きベクトルは、参照フレームのサブ整数ピクセル位置を示しうる。サブ整数ピクセル位置の値が、参照ピクチャ・メモリ６４に格納されていないのであれば、動き推定ユニット４２および／または動き補償ユニット４４は、参照ピクチャ・メモリ６４に格納された参照フレームのサブ整数ピクセル位置の値を計算するようにも構成されうる。動き推定ユニット４２は、計算された動きベクトルを、エントロピ・エンコーディング・ユニット５６および動き補償ユニット４４に送る。動きベクトルによって識別されたリファレンス・フレーム・ブロックは、予測ブロックと称されうる。動き補償ユニット４４は、予測ブロックに基づいて予測データを計算しうる。

イントラ予測ユニット４６は、動き推定ユニット４２および動き補償ユニット４４によって実行されるインタ予測に対する代替として、現在のブロックをイントラ予測しうる。特に、イントラ予測ユニット４６は、現在のブロックのエンコードに使用するイントラ予測モードを決定しうる。一部の例では、イントラ予測ユニット４６は、例えば、別々のエンコード・パスの間に、種々のイントラ予測モードを使用して現在のブロックをエンコードしうるもので、イントラ予測ユニット４６（または一部の例では、モード選択ユニット４０）は、例えば、歪み率最適化分析に基づき、テストされたモードから使用する適切なイントラ予測モードを選択しうる。ＨＥＶＣ ＷＤ５にしたがって、可能なイントラ予測モードには、平面予測モード、ＤＣ予測、および角度予測モードを含みうる。

さらに、一例では、動き推定ユニット４２および／またはイントラ予測ユニット４６は、種々のテストされた予測モードの歪み率最適化分析を使用して歪み率最適化値を計算し、テストされたモードの中から最良の歪み率最適化特性を有する予測モードを選択しうる。ビデオ・エンコーダ２０は、コード化されているオリジナルのビデオ・ブロックから、予測ビデオ・ブロックを引くことにより、残差ビデオ・ブロックを形成する。加算器５０は、この減算演算を実行する構成要素を表す。

変換ユニット５２は、例えば離散コサイン変換（ＤＣＴ）または概念的に類似した変換のような変換を、残差ブロックに適用し、残差変換係数値を備えるビデオ・ブロックが生成される。変換ユニット５２は、例えばＨ．２６４規格によって定義されているもののように、概念的にＤＣＴに類似したその他の変換を実行しうる。ウェーブレット変換、整数変換、サブ帯域変換、またはその他のタイプの変換もまた使用されうる。いずれの場合も、変換ユニット５２は、この変換を残差ブロックに適用し、残差変換係数のブロックが生成される。この変換は、残差情報を、ピクセル値領域から、例えば周波数領域のような変換領域に変換しうる。量子化ユニット５４は、残差変換係数を量子化して、さらにビット・レートを削減する。この量子化処理は、これら係数のうちのいくつかまたはすべてに関連付けられたビット深度を削減しうる。量子化の程度は、量子化パラメータを調節することにより修正されうる。したがって、知覚された「ブロック歪み」または再構築されたビデオ・データは量子化パラメータに基づきうる。

量子化後、量子化された変換係数を、エントロピ・エンコード・ユニット５６が、エントロピ・コード化する。例えば、エントロピ・エンコード・ユニット５６は、コンテンツ適応可変長コーディング（ＣＡＶＬＣ）、コンテキスト適応バイナリ計算コーディング（ＣＡＢＡＣ）、またはその他のエントロピ・コーディング技術を実行しうる。コンテキスト適応バイナリ計算コーディングのケースでは、コンテキストは、近隣のビデオ・ブロックに基づきうる。エンコードされたビデオは、エントロピ・エンコード・ユニット５６によるエントロピ・コーディング後、別のデバイスへ送信されうるか、または、後の送信または取得のためにアーカイブされうる。

いくつかのケースでは、エントロピ・エンコーディング・ユニット５６またはビデオ・エンコーダ２０のその他のユニットは、エントロピ・コーディングに加えて、その他のコーディング機能を実行するように構成されうる。例えば、エントロピ・エンコード・ユニット５６は、ブロックおよびパーティションのためのＣＢＰ値を決定するように構成されうる。さらに、いくつかのケースでは、エントロピ・エンコード・ユニット５６は、ビデオ・ブロックにおける係数のラン・レングス・コーディングを実行しうる。さらに、エントロピ・エンコード・ユニット５６は、ビデオ・ブロックの変換係数をスキャンするために、ジグザグ・スキャンまたは他のスキャン・パターンを適用しうる。エントロピ・エンコード・ユニット５６はまた、エンコードされたビデオ・ビットストリームにおける送信のために、適切なシンタックス要素を用いて、ヘッダ情報を構築しうる。

逆量子化ユニット５８および逆変換ユニット６０は、例えば、参照ブロックとして後に使用するために、逆量子化または逆変換をそれぞれ適用し、ピクセル領域内の残差ブロックを再構築しうる。例えば、動き補償ユニット４４は、再構築された残差ブロックを、参照ピクチャ・メモリ６４のフレームのうちの１つの予測ブロックへ加えることによって、参照ブロックを計算しうる。動き補償ユニット４４はまた、動き推定において使用するためのサブ整数ピクセル値を計算するために、１または複数の補間フィルタを、再構築された残差ブロックに適用しうる。加算器６２は、参照ブロックに、再構築された残差ブロックを加え、参照ピクチャ・メモリ６４に格納するために、再構築されたビデオ・ブロックが生成される。格納された再構築ビデオ・ブロックは、その後のビデオ・フレームにおけるブロックをインタ・コード化するために、動き推定ユニット４２および動き補償ユニット４４によって、参照ブロックとして使用されうる。上述のとおり、ループ内デブロッキングは、ビデオ・エンコーダ２０などの、ビデオ・エンコーダによって実行しうる。デブロッカ６６は、本明細書に記載のデブロッキング技術のいずれかにしたがって輝度および色エッジをデブロッキングしうる。デブロッカ６６により実行しうるデブロッキング技術の例は、図１０に関連して詳細に記載される。

図９は、再構築されたビデオ・データをフィルタリングするための技術を実施しうるビデオ・デコーダ３０の例を例示するブロック図である。図９の例では、ビデオ・デコーダ３０は、エントロピ・デコード・ユニット７０、動き補償ユニット７２、イントラ予測ユニット７４、逆量子化ユニット７６、逆変換ユニット７８、加算器８０、参照ピクチャ・メモリ８２、およびデブロッカ８４を含む。ビデオ・デコーダ３０は、いくつかの例において、ビデオ・エンコーダ２０（図８）に関して記載されたエンコード・パスに一般に逆であるデコード・パスを実行しうる。

動き補償ユニット７２は、エントロピ・デコード・ユニット７０から受け取られた動きベクトルに基づいて、予測データを生成しうる。動き補償ユニット７２は、参照ピクチャ・メモリ８２内の参照フレームにおける予測ブロックを識別するために、ビットストリームで受け取られた動きベクトルを使用しうる。イントラ予測ユニット７４は、空間的に隣接したブロックから予測ブロックを生成するために、ビットストリームで受け取られたイントラ予測モードを使用しうる。逆量子化ユニット７６は、ビットストリームで提供され、エントロピ・デコード・ユニット７０によってデコードされた、量子化されたブロック係数を逆量子化（すなわち、デクワンタイズ）する。逆量子化処理は、例えば、ＨＥＶＣ ＷＤ５のＨ．２６４デコード規格によって定義されたような従来の処理を含みうる。

逆変換ユニット７８は、ピクセル領域における残差ブロックを生成するために、例えば、逆ＤＣＴ、逆整数変換、または概念的に同様な逆変換処理を変換係数に適用する。動き補償ユニット７２は、動き補償ブロックを生成し、恐らくは、補間フィルタに基づいて、補間を実行する。サブ・ピクセルの精度を持つ動き推定のために使用される補間フィルタのための識別名が、シンタックス要素に含まれうる。動き補償ユニット７２は、参照ブロックのサブ整数ピクセルについて、補間された値を計算するために、ビデオ・ブロックのエンコード中、ビデオ・エンコーダ２０によって使用されるような補間フィルタを使用しうる。動き補償ユニット７２は、受信したシンタックス情報にしたがって、ビデオ・エンコーダ２０によって使用される補間フィルタを決定しうる。そして、予測ブロックを生成するために、この補間フィルタを使用しうる。

動き補償ユニット７２は、エンコードされたビデオ・シーケンスをデコードするために、エンコードされたビデオ・シーケンスのフレームをエンコードするために使用されるマクロブロックのサイズを決定するシンタックス情報のいくつかと、エンコードされたビデオ・シーケンスのフレームの各ビデオ・ブロックがどのようにパーティションされているのかを記述するパーティション情報と、各パーティションがどのようにしてエンコードされるのかを示すモードと、インタ・エンコードされたビデオ・ブロックまたはパーティションの１または複数の参照フレーム（および参照フレーム・リスト）と、その他の情報とを使用する。

加算器８０は、再構築されたビデオ・ブロックを生成するために、残差ブロックを、動き補償ユニット７２またはイントラ予測ユニットによって生成された対応する予測ブロックと加算する。再構築されたビデオ・ブロックはその後、参照ピクチャ・メモリ８２に格納される。これは、その後の動き補償のため参照ブロックを提供し、さらに、（例えば、図７のディスプレイ・デバイス３２のような）ディスプレイ・デバイス上で表示するために、デコードされたビデオを生成する。上述のとおり、ループ内またはポスト・ループ・デブロッキングは、ビデオ・デコーダ３０などの、ビデオ・デコーダによって実行しうる。デブロッカ８４は、本明細書に記載のデブロッキング技術のいずれかにしたがって輝度および色エッジをデブロッキングしうる。デブロッカ８４は、ループ内・デブロッキングプロセスの一部としてデブロッカ６６によって実行されるデブロッキング技術のいずれかにしたがってエッジをデブロッキングしうる。あるいは、デブロッカ８４は、デブロッキング技術がデブロッカ６６によって実行されない場合でも、ポスト・ループデブロッキングプロセスの一部としてエッジをデブロッキングしうる。さらに、一部の場合、ビデオ・デコーダ３０は４：２：０色フォーマットにしたがってフォーマットされたビデオ・データを再構築し、４：２：２または４：４：４色フォーマットにしたがってフォーマットされるビデオ・データを生成するために、ビデオ・データでアップコンバージョン動作を実行することに留意されたい。

図１０は、デブロッカ９０の一例の構成部品を例示するブロック図である。一般に、デブロッカ６６（図８）およびデブロッカ８４（図９）のいずれかまたは両方はデブロッカ９０と実質的に同様の構成部品を含みうる。ビデオ・エンコーダ、ビデオ・デコーダ、ビデオ・エンコーダ／デコーダ（ＣＯＤＥＣ）などの他のビデオ・コーディング・デバイス、ビデオ・ポストプロセッサなどにも、デブロッカ９０と実質的に同様の構成部品を含みうる。デブロッカ９０はハードウェア、ソフトウェア、またはファームウェアに実装しうる。ソフトウェアまたはファームウェアに実装する場合、対応するハードウェア（１または複数のプロセッサまたは処理ユニットおよびソフトウェアまたはファームウェアの命令を格納するためのメモリ）も備えられうる。

図１０の例では、デブロッカ９０には、サポート定義９２を格納するメモリ、エッジ位置決めユニット９３、デブロッキング決定ユニット９４、エッジ位置データ構造にしたがってデータを格納するメモリ９５、デブロッキング・フィルタリングユニット９６、およびデブロッキング・フィルタ定義９８を格納するメモリを含んでいる。デブロッカ９０の構成部品のいずれかまたはすべては機能的に統合しうる。デブロッカ９０の構成部品は、例示的目的のために別々に例示される。一般に、デブロッカ９０は、例えば、ブロックの予測データと残差データを組み合わせる加算構成部品から、再構築されたビデオ・ブロックのサンプル値を受け取る。例えば、デブロッカ９０は、４：２：０、４：２：２、または４：４：４色フォーマットのいずれかにしたがってフォーマットされたビデオ・ブロックを受け取りうる。この場合、デブロッカ９０は輝度サンプル値のアレイおよび対応する色サンプル値のアレイを受け取る。デブロッカ９０はさらに、ブロックの予測方法、すなわち、イントラ・モードまたはインタ・モードを示すデータも受け取りうる。以下に記載の例では、デブロッカ９０は、ＬＣＵの再構築されたサンプル値、ＬＣＵの四分木で、ＣＵ四分木はＣＵへのＬＣＵの分割方法を記載するＣＵ四分木、リーフ・ノードＣＵの予測モードを示す情報、およびＣＵのＴＵ構造を示す情報を含むデータを受け取るように構成される。

デブロッカ９０は、デブロッカ９０のメモリ、または対応するビデオ・コーディング・デバイスによって提供される外部メモリにエッジ位置データ構造９５を保持しうる。上述のとおり、デブロッキングは、定義されたデブロッキング格子にしたがって実行しうる。エッジ位置データ構造９５には、ビデオ・データのデブロッキングに使用されうる１または複数のデブロッキング格子が含まれうる。例えば、エッジ位置データ構造９５は、上述の表２および３に対応するデブロッキング格子を格納しうる。一例では、エッジ位置データ構造９５は、以下の表５に対応するデブロッキング格子を含みうるもので、デブロッカ９０は表５に例示されたデブロッキング格子にしたがってビデオ・データのデブロッキングするように構成されうる。

上述のとおり、Ｎｏｒｋｉｎは輝度成分には８×８デブロッキング格子および４：２：２色フォーマットにしたがってフォーマットされたビデオ・データの色成分には４×８デブロッキング格子を使用することを提案している。Ｎｏｒｋｉｎとは対照的に、表５に例示のとおり、４：２：２のサンプルフォーマットにしたがってフォーマットされたビデオ・データの場合、８×８デブロッキング格子が輝度成分に使用され、８×１６デブロッキング格子が色成分に使用されうる。したがって、Ｎｏｒｋｉｎに比べ、表５のデブロッキング格子はデブロッカ９０によって実行されるフィルタリング動作の合計数を削減する。一部の場合、実行されるデブロッキング動作の合計数は少なくとも２５％削減されうる。このような削減で１９２０×１０８０の解像度のビデオ・データをデブロッキングするための計算数が大幅に削減され、適切な主観的品質を十分に提供する。輝度解像度で１６×１６等価格子を保持する彩度デブロッキング格子を提供することに加えて、表５のデブロッキング格子はさらに、パートごとの輝度境界強度と彩度境界強度の間のＨＭ５からの直接マッピング関係（彩度ごとに４つのパート）も保持することに留意されたい。

上述のデブロッキング格子のいずれかおよびすべての組み合わせを適用することに加えて、デブロッカ９０は、ビデオ・ブロックが４：４：４色フォーマットを使用してフォーマットされる場合、デブロッキング格子の解像度が成分のいずれかの４×４、８×８、１６×１６サンプルのいずれかおよびすべての組み合わせであるうるように構成されうる。一例では、デブロッカ９０は、ＨＥＶＣ ＷＤ８のメイン・プロファイルに記載された輝度成分デブロッキングフィルタ方法を４：４：４色成分に適用するように構成されうる。さらに、デブロッカ９０は、ビデオ・データが４：２：２形式にしたがってフフォーマットされる場合、色成分のサンプルの４×４、４×８、８×８、８×１６、または１６×１６のデブロッキング格子を使用するように構成されうる。

上述のとおり、シンタックス要素のchroma_format_idcは色フォーマットを示しうる。デブロッカ９０は、chroma_format_idc、または現在のビデオ・データの色フォーマットを表すデータを受け取り、chroma_format_idcの値に基づいてデブロッキング格子サイズを決定するように構成されうる。このように、デブロッカ９０は、ビデオ・ブロックが４：２：０、４：２：２、または４：４：４色フォーマットの１つにしたがってフォーマットされたかどうかを決定して、ビデオ・ブロックが４：２：０色フォーマットにしたがってフォーマットされている場合には、８×８デブロッキング格子を使用して色エッジをデブロッキングし、ビデオ・ブロックが４：２：２色フォーマットにしたがってフォーマットされている場合には、８×１６デブロッキング格子を使用して色エッジをデブロッキングし、ビデオ・ブロックが４：４：４色フォーマットにしたがってフォーマットされている場合には、１６×１６デブロッキング格子を使用して色エッジをデブロッキングするよう構成されうる。

上述のとおり、ＬＣＵは可変サイズのＣＵに分割されうるもので、ＣＵはＰＵとＣＵを含めうる。したがって、デブロッキング格子にしたがって定義されたエッジは、実際のパーティション境界に対応する場合も対応しない場合もある。エッジ位置決めユニット９３は、デブロッキング格子にしたがって定義されたエッジがＣＵ、ＰＵ、またはＴＵ境界に対応するかどうかを決定し得る。一部の例では、エッジ位置決めユニット９３は、ＣＵへのＬＣＵの分割方法を示すＬＣＵに対応するＣＵ四分木を受け取りうる。エッジ位置決めユニット９３は、ＣＵク四分木を分析して、定義されたデブロッキング格子に基づくデブロッキングの候補である、ＬＣＵのＣＵ間の境界を決定しうる。

一般に、デブロッキング決定ユニット９４は１または複数のデブロッキング決定機能で構成されうる。上述のとおり、ＨＥＶＣはいわゆる境界フィルタリング強度変数ｂＳを含んでいる。一例では、デブロッキング決定ユニット９４は、再構築されたサンプルの値および再構築されたビデオ・データに関連付けられたデータに基づきｂＳを決定する機能で構成されうる。サポート定義９２には、ｂＳなどの変数（すなわち、サポート）を決定するための定義を含みうる。デブロッキング決定ユニット９４は、ビデオ・データの２つのブロック間の特定のエッジをデブロッキングすべきかどうかを決定するために、１または複数のデブロッキング決定機能をサポートの１または複数のセットに適用するよう構成されうる。しかし、一部の例では、デブロッキング決定ユニット９４は、特定のエッジへのデブロッキング決定機能の適用をスキップするよう構成される。デブロッキング決定ユニット９４からの破線は、フィルタリングされることなく出力するブロックのデータを表す。デブロッキング決定ユニット９４が２つのブロック間の境界がフィルタリングされるべきではないことを決定する場合、デブロッカ９０はデータを変更することなくブロックのデータを出力しうる。つまり、データは、デブロッキング・フィルタリングされないように、デブロッキング・フィルタリングユニット９６をバイパスしうる。他方、デブロッキング決定ユニット９４がエッジはデブロッキングされるべきであると決定する場合、デブロッキング決定ユニット９４は、エッジをデブロッキングするために、デブロッキング・フィルタリングユニット９６がエッジ付近のピクセルに関する値をフィルタリングするようにしうる。

上述のとおり、表４に関して、ＨＥＶＣはノーマルおよびストロング・フィルタを含んでいる。デブロッキング・フィルタ定義９８は、ＨＥＶＣ ＷＤ８にしたがって定義される、ノーマルおよびストロング・フィルタなどのデブロッキング・フィルタの定義を格納しうる。デブロッキング・フィルタリングユニット９６は、デブロッキング決定ユニット９４により示されているデブロッキングするエッジについて、デブロッキング・フィルタ定義９８からデブロッキング・フィルタの定義を取得する。さらに上述のとおり、ビデオ・ブロックの水平エッジにノーマルまたはストロング・フィルタのいずれかを適用することによってブロック歪みの出現が大幅に削減され、垂直エッジへの同じフィルタの適用は非効率になりえる。デブロッカ９０は、ノーマルまたはストロング・フィルタが水平エッジに適用される場合、垂直エッジに対して、削減された幅のフィルタを適用するか、フィルタを適用しないように構成されうる。さらに一部の場合、色成分に適用されるフィルタは、輝度成分に適用されるフィルタに基づくものとなりうる。

４：４：４色フォーマットの場合、色成分はサブサンプル化されないので、一部の例では、色成分のフィルタリングは輝度成分のフィルタリングに基づきうる。一例では、デブロッカは、デブロッキング条件（例えば、オン／オフ、ノーマル／ストロングなど）は、例えば輝度など単一の色成分に基づいて計算され、ビデオ・データが４：４：４色フォーマットにしたがってフォーマットされる場合には、他の成分と共有されうるように構成されうる。一例では、デブロッカ９０は、ノーマル輝度デブロッキングフィルタと関連デブロッキング条件のみが４：４：４色成分に適用されうるように構成されうる。別の例では、ストロング輝度デブロッキングフィルタと関連デブロッキング条件のみが４：４：４色成分に適用されうる。代替として、デブロッカ９０は、ビデオ・データが４：４：４色フォーマットにしたがってフォーマットされる場合、デブロッキング条件が各成分とは無関係に計算されうるように構成されうる。

４：２：２色フォーマットの場合、デブロッカ９０は、垂直境界にノーマルまたはストロング・フィルタのいずれかが適用される場合に、どちらかを変更するよう構成されうる。一例では、垂直エッジのフィルタリング時に、フィルタ幅を削減されうる。一例では、ノーマル・フィルタ幅が削減され、垂直エッジの各側で１つのサンプルまで変更しうる。別の例では、ストロング・フィルタ幅が削減され、垂直エッジの各側で２つまたは１つのサンプルまで変更しうる。別の例では、ストロングまたはノーマル・フィルタが垂直エッジで無効にされうる。デブロッカ９０は、色成分の水平エッジに適用されるフィルタに基づき、垂直境界の各側で変更されるサンプル数を削減するように構成されうる。例えば、ストロング・フィルタが色成分の水平エッジに適用される場合、フィルタリングは垂直エッジでは無効にされうる。別の例では、変更されるサンプルの列の数は、水平エッジがフィルタリングされる場合、１または２つの列によって削減されうる。

図１１は、本明細書に記載の技術にしたがって、ビデオ・データの再構築されたブロックのフィルタリングを例示する概念図である。図１１では、４：２：２色フォーマットにしたがってフォーマットされた、対応する色サンプルを含む輝度サンプルの１６×１６アレイを例示している。図１１のアレイは、上述の異なるサイズのＣＵのいずれかの組み合わせを組み合わせることによって形成されうる。図１１に例示のとおり、２つの水平色エッジが定義され、ここで、エッジは１６の色サンプル値によって区別される。さらに、２つの垂直エッジが定義される。この場合、垂直エッジは８つの色サンプル値によって区別される。図１１は、ストロング・フィルタが水平エッジに対応する色サンプルの行に適用される場所を例示する。図１１に例示のとおり、上部および下部水平エッジに関連付けられた隣接するアレイの当該サンプル値もフィルタリングされうる。ストロング・フィルタはＨＥＶＣ ＷＤ８にしたがって定義されたストロング・フィルタでありうる。さらに、図１１は、削減された幅のフィルタが垂直エッジに対応する色サンプルの列に適用される場所を例示する。垂直エッジに関連付けられた隣接するアレイ（図示せず）のサンプル値もフィルタリングされることに留意されたい。図１１に例示の例では、削減された幅のフィルタは２つの列（すなわち、ｐ_０およびｑ_０）にのみ適用されるストロング・フィルタとされうる。デブロッカ９０は、図１１に例示された概念図によるサンプル値のアレイをフィルタリングするように構成されうる。

図１２は、ビデオ・データの再構築されたブロックをフィルタリングするための技術を例示する流れ図である。図１２で例示された技術はデブロッカ９０によって実行されるように記述されるが、ビデオ・エンコーダ２０、ビデオ・デコーダ３０、デブロッカ６６、またはデブロッカ８４のいずれかによって実行されうる。デブロッカ９０は再構築されたサンプル値のアレイを取得する（１２０２）。再構築されたサンプル値のアレイは、４：２：０、４：２：２、４：４：４色フォーマットのいずれかにしたがってフォーマットされうる。アレイは、例えばＣＵのデコードの後など、複数の各種サイズのＣＵを組み合わせることによって取得されうる。デブロッカ９０は水平色エッジに第１のフィルタを適用するかどうかを決定する（１２０４）。第１のフィルタは本明細書に記載のフィルタのいずれかでありうる（例えば、ストロング、ノーマル、ＨＥＶＣ彩度フィルタ、または削減された幅の当該バージョン）。水平色エッジは、色サンプル値（例えば、４、８、または１６）のいずれかの数によって区別されうる。デブロッカ９０は垂直色エッジに第２のフィルタを適用するかどうかを決定する（１２０４）。第２のフィルタは本明細書に記載のフィルタのいずれかでありうる（例えば、ストロング、ノーマル、または削減された幅の当該バージョン）。垂直色エッジは、色サンプル値（例えば、４、８、または１６）のいずれかの数によって区別されうる。垂直色エッジに第２のフィルタを適用するかどうかの決定は、第１のフィルタを適用するかどうかの決定に基づきうる。例えば、第１のフィルタを適用する決定後、デブロッカ９０は第２のフィルタを適用しないことを決定しうる。デブロッカ９０は再構築されたサンプル値をフィルタリングする（１２０８）。フィルタリングされた再構築された値は、基準値（参照ピクチャ・メモリ６４または参照ピクチャ・メモリ８２など、参照ピクチャ・メモリに格納される）および／またはディスプレイへの出力として使用されうる。

このように、デブロッカ９０、ビデオ・エンコーダ２０、およびビデオ・デコーダ３０は、サンプル値のアレイで、このアレイが４：２：２色フォーマットにしたがってフォーマットされたアレイの取得、第１のフィルタをアレイ内の定義済み水平エッジで、この定義済み水平エッジが１６の色サンプル値に分けられている水平エッジに関連付けられた色サンプル値の行に適用するかどうかの決定、および第２のフィルタをアレイ内の定義済み垂直エッジで、この定義済み垂直エッジが８つの色サンプル値に分けられている垂直エッジに関連付けられた色サンプル値の列に適用するかどうかの決定を行うように構成されたビデオ・コーディング・デバイスの例を表す。

一般に、本開示の技術は、ビデオ・エンコーダおよびビデオ・デコーダによって実行されうる。１または複数の例では、記述された機能は、ハードウェア、ソフトウェア、ファームウェア、またはこれらの任意の組み合わせで実現されうる。ソフトウェアで実現されるのであれば、これら機能は、コンピュータ読取可能な媒体におけるコードまたは１または複数の命令群で送信されるか格納され、ハードウェア・ベースの処理ユニットによって実行されうる。ハードウェア・ベースの処理ユニットには、携帯電話、スマート・フィフォン、ラップトップ・コンピュータ、タブレット・コンピュータ、携帯情報端末（ＰＤＡ）、モバイル・ビデオ表示デバイスなどの移動機、または他のそのような移動機を含めうる。コンピュータ読取可能な媒体は、コンピュータ読取可能な記憶媒体を含みうる。これは、例えばデータ記憶媒体のような有形な媒体に対応するか、または、例えば通信プロトコルにしたがって、１つの場所から別の場所へのコンピュータ・プログラムの転送を容易にする任意の媒体を含む通信媒体に対応する。このように、コンピュータ読取可能な媒体は、一般に、（１）非一時的である有形のコンピュータ読取可能な記憶媒体、または、（２）例えば信号または搬送波のような通信媒体に対応しうる。データ記憶媒体は、本開示において記述された技術を実施するための命令群、コード、および／または、データ構造を取得するために１または複数のコンピュータまたは１または複数のプロセッサによってアクセスされうる任意の利用可能な媒体でありうる。コンピュータ・プログラム製品は、コンピュータ読取可能な媒体を含みうる。

限定するわけではなく、例として、このようなコンピュータ読取可能な記憶媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、ＣＤ−ＲＯＭ、またはその他の光ディスク記憶装置、磁気ディスク記憶装置、またはその他の磁気記憶デバイス、フラッシュ・メモリ、または、命令群またはデータ構造の形式でかつコンピュータによってアクセスされうる所望のプログラム・コードを格納するために使用されうるその他任意の媒体を備えうる。さらに、いかなる接続も、コンピュータ読取可能な媒体として適切に称される。例えば、同軸ケーブル、光ファイバ・ケーブル、対より線・ペア、デジタル加入者線（ＤＳＬ）、または、例えば赤外線や無線やマイクロ波のような無線技術を用いて、ウェブサイト、サーバ、またはその他の遠隔ソースから命令群が送信されるのであれば、同軸ケーブル、光ファイバ・ケーブル、対より線、ＤＳＬ、あるいは、赤外線や無線やマイクロ波のような無線技術が、媒体の定義に含まれる。しかしながら、コンピュータ読取可能な記憶媒体およびデータ記憶媒体は、コネクション、搬送波、信号、またはその他の過渡的な媒体を含まず、代わりに、非過渡的な、有形の記憶媒体に向けられていることが理解されるべきである。本明細書で使用されるディスク（ｄｉｓｋおよびｄｉｓｃ）は、コンパクト・ディスク（ｄｉｓｃ）（ＣＤ）、レーザ・ディスク（ｄｉｓｃ）、光ディスク（ｄｉｓｃ）、デジタル多用途ディスク（ｄｉｓｃ）（ＤＶＤ）、フロッピー（登録商標）ディスク（ｄｉｓｋ）、およびブルー・レイ・ディスク（ｄｉｓｃ）を含む。これらｄｉｓｃは、レーザを用いてデータを光学的に再生する。それに対して、ｄｉｓｋは、通常、データを磁気的に再生する。上記の組み合わせもまた、コンピュータ読取可能な媒体の範囲内に含まれるべきである。

命令群は、例えば１または複数のデジタル信号プロセッサ（ＤＳＰ）、汎用マイクロプロセッサ、特定用途向けＩＣ（ＡＳＩＣ）、フィールド・プログラマブル・ロジック・アレイ（ＦＰＧＡ）、またはその他等価な集積またはディスクリート論理回路のような１または複数のプロセッサによって実行されうる。したがって、本明細書で使用されているように、用語「プロセッサ」は、前述した構成、または、本明細書に記載された技術の実施のために適切なその他任意の構成のうちのいずれかを称しうる。さらに、いくつかの態様では、本明細書に記載された機能は、エンコードおよびデコードのために構成された専用のハードウェアおよび／またはソフトウェア・モジュール内に適用されうるか、または、結合されたコーデック内に組み込まれうる。さらに、これら技術は、１または複数の回路または論理要素で完全に実現されうる。

本開示の技術は、無線ハンドセット、集積回路（ＩＣ）、またはＩＣのセット（例えば、チップセット）を含む種々さまざまなデバイスまたは装置において実現されうる。さまざまな構成要素、モジュール、またはユニットは、本開示では、開示された技術を実行するように構成されたデバイスの機能態様を強調するように記載されているが、異なるハードウェア・ユニットによる実現を必ずしも必要とするわけではない。むしろ、前述されたように、さまざまなユニットは、適切なソフトウェアおよび／またはハードウェアと連携する、前述されたような１または複数のプロセッサを含む共通のハードウェア・ユニットの集合によって提供されうるか、コーデック・ハードウェア・ユニットに結合されうる。

実装形態に応じて、本明細書に記載の方法のいずれかの特定の行為またはイベントは異なるシーケンスで実行されうるもので、全体的に追加、一体化、または省略されうる（例えば、方法を実施するのに、必ずしも記載のすべての行為またはイベントが必要なわけではない）。さらに、特定の例では、行為またはイベントは、例えば、逐次的よりはむしろ、マルチ・スレッド処理、割り込み処理、または複数のプロセッサにより同時に実行しうる。
以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
［Ｃ１］
再構築されたビデオ・データをフィルタリングするための方法であって、
サンプル値のアレイを取得すること、ここにおいて、前記アレイが４：２：２色フォーマットにしたがってフォーマットされる、と、
第１のフィルタを前記アレイ内の定義された水平エッジに関連付けられた色サンプル値の行に適用するかどうかを決定すること、ここにおいて前記定義された水平エッジが１６の色サンプル値に分けられる、と、
第２のフィルタをアレイ内の定義された垂直エッジに関連付けられた色サンプル値の列に適用するかどうかを決定すること、ここにおいて前記定義された垂直エッジが８つの色サンプル値に分けられている、と、
を備える方法。
［Ｃ２］
前記第２のフィルタを適用するかどうかを決定することが前記第１のフィルタを適用するかどうかの決定の少なくとも一部に基づく、Ｃ１に記載の方法。
［Ｃ３］
前記第１のフィルタは定義された水平エッジに関連付けられた色サンプル値の６つまでの行を変更し、前記第２のフィルタは、前記第１のフィルタが適用される場合には、適用されない、Ｃ２に記載の方法。
［Ｃ４］
前記第１のフィルタは定義された水平エッジに関連付けられた色サンプル値の６つまでの行を変更し、前記第２のフィルタは定義された垂直エッジに関連付けられた色サンプル値の４つまでの列を変更する、Ｃ１に記載の方法。
［Ｃ５］
前記第１のフィルタは定義された水平エッジに関連付けられた色サンプル値の６つまでの行を変更し、前記第２のフィルタは定義された垂直エッジに関連付けられた色サンプル値の２つまでの列を変更する、Ｃ１に記載の方法。
［Ｃ６］
前記第１のフィルタは定義された水平エッジに関連付けられた色サンプル値の４つまでの行を変更し、前記第２のフィルタは定義された垂直エッジに関連付けられた色サンプル値の２つまでの列を変更する、Ｃ１に記載の方法。
［Ｃ７］
サンプル値のアレイを取得することがビデオ・データの残差ブロックとビデオ・データの対応する予測ブロックを加算することを含む、Ｃ１に記載の方法。
［Ｃ８］
再構築されたビデオ・データをフィルタリングするための装置であって、
サンプル値のアレイを取得すること、ここにおいて、前記アレイが４：２：２色フォーマットにしたがってフォーマットされる、と、
第１のフィルタを前記アレイ内の定義された水平エッジに関連付けられた色サンプル値の行に適用するかどうかを決定すること、ここにおいて、前記定義された水平エッジが１６の色サンプル値に分けられている、と、
第２のフィルタをアレイ内の定義された垂直エッジに関連付けられた色サンプル値の列に適用するかどうかを決定すること、ここにおいて、前記定義された垂直エッジが８つの色サンプル値に分けられている、と、
を行うように構成されたビデオ・コーディング・デバイスを備える装置。
［Ｃ９］
前記第２のフィルタを適用するかどうかを決定することが、前記第１のフィルタを適用するかどうかの決定の少なくとも一部に基づく、Ｃ８に記載の装置。
［Ｃ１０］
前記第１のフィルタは定義された水平エッジに関連付けられた色サンプル値の６つまでの行を変更し、前記第２のフィルタは、前記第１のフィルタが適用される場合には、適用されない、Ｃ９に記載の装置。
［Ｃ１１］
前記第１のフィルタは定義された水平エッジに関連付けられた色サンプル値の６つまでの行を変更し、前記第２のフィルタは定義された垂直エッジに関連付けられた色サンプル値の４つまでの列を変更する、Ｃ８に記載の装置。
［Ｃ１２］
前記第１のフィルタは定義された水平エッジに関連付けられた色サンプル値の６つまでの行を変更し、前記第２のフィルタは定義された垂直エッジに関連付けられた色サンプル値の２つまでの列を変更する、Ｃ８に記載の装置。
［Ｃ１３］
前記第１のフィルタは定義された水平エッジに関連付けられた色サンプル値の４つまでの行を変更し、前記第２のフィルタは定義された垂直エッジに関連付けられた色サンプル値の２つまでの列を変更する、Ｃ８に記載の装置。
［Ｃ１４］
サンプル値のアレイを取得することがビデオ・データの残差ブロックとビデオ・データの対応する予測ブロックを加算することを含む、Ｃ８に記載の装置。
［Ｃ１５］
前記ビデオ・コーディング・デバイスはビデオ・デコード・デバイスであり、
集積回路と、
マイクロプロセッサと、
の少なくとも１つをさらに備える、Ｃ８に記載の装置。
［Ｃ１６］
前記ビデオ・コーディング・デバイスはビデオ・エンコード・デバイスであり、
集積回路と、
マイクロプロセッサと、
の少なくとも１つをさらに備える、Ｃ８に記載の装置。
［Ｃ１７］
コンピュータ・プログラム製品であって、
実行されるときに、再構築されたビデオ・データをフィルタリングするためのデバイスの１または複数のプロセッサに、
サンプル値のアレイを取得させること、ここにおいて、前記アレイが４：２：２色フォーマットにしたがってフォーマットされたアレイを取得する、と、
第１のフィルタをアレイ内の定義された水平エッジに関連付けられた色サンプル値の行に適用するかどうかを決定すること、ここにおいて、前記定義された水平エッジが１６の色サンプル値に分けられる、と、
第２のフィルタをアレイ内の定義された垂直エッジに関連付けられた色サンプル値の列に適用するかどうかを決定すること、ここにおいて、前記定義された垂直エッジが８つの色サンプル値に分けられる、と、
を行わせる保存された命令を有するコンピュータ読取可能な記憶媒体を備えるコンピュータ・プログラム製品。
［Ｃ１８］
前記第２のフィルタを適用するかどうかを決定することが前記第１のフィルタを適用するかどうかの決定の少なくとも一部に基づく、Ｃ１７に記載のコンピュータ・プログラム製品。
［Ｃ１９］
前記第１のフィルタは定義された水平エッジに関連付けられた色サンプル値の６つまでの行を変更し、前記第２のフィルタは、前記第１のフィルタが適用される場合には、適用されない、Ｃ１８に記載のコンピュータ・プログラム製品。
［Ｃ２０］
前記第１のフィルタは定義された水平エッジに関連付けられた色サンプル値の６つまでの行を変更し、前記第２のフィルタは定義された垂直エッジに関連付けられた色サンプル値の４つまでの列を変更する、Ｃ１７に記載のコンピュータ・プログラム製品。
［Ｃ２１］
前記第１のフィルタは定義された水平エッジに関連付けられた色サンプル値の６つまでの行を変更し、前記第２のフィルタは定義された垂直エッジに関連付けられた色サンプル値の２つまでの列を変更する、Ｃ１７に記載のコンピュータ・プログラム製品。
［Ｃ２２］
前記第１のフィルタは定義された水平エッジに関連付けられた色サンプル値の４つまでの行を変更し、前記第２のフィルタは定義された垂直エッジに関連付けられた色サンプル値の２つまでの列を変更する、Ｃ１７に記載のコンピュータ・プログラム製品。
［Ｃ２３］
再構築されたサンプル値の複数の隣接するアレイを取得する前記命令は、ビデオ・データの残差ブロックとビデオ・データの対応する予測ブロックを加算する命令を含む、Ｃ１７に記載のコンピュータ・プログラム製品。
［Ｃ２４］
再構築されたビデオ・データをフィルタリングするための装置であって、
サンプル値のアレイを取得する手段、ここにおいて、前記アレイが４：２：２色フォーマットにしたがってフォーマットされる、と、
第１のフィルタをアレイ内の定義された水平エッジに関連付けられた色サンプル値の行に適用するかどうかを決定するための手段、ここにおいて、前記定義された水平エッジが１６の色サンプル値に分けられている、と、
第２のフィルタをアレイ内の定義された垂直エッジに関連付けられた色サンプル値の列に適用するかどうかを決定するための手段、ここにおいて、前記定義された垂直エッジが８つの色サンプル値に分けられている、と、
を備える装置。
［Ｃ２５］
前記第２のフィルタを適用するかどうかを決定することが前記第１のフィルタを適用するかどうかの決定の少なくとも一部に基づく、Ｃ２４に記載の装置。
［Ｃ２６］
前記第１のフィルタは定義された水平エッジに関連付けられた色サンプル値の６つまでの行を変更し、前記第２のフィルタは、前記第１のフィルタが適用される場合には、適用されない、Ｃ２５に記載の装置。
［Ｃ２７］
前記第１のフィルタは定義された水平エッジに関連付けられた色サンプル値の６つまでの行を変更し、前記第２のフィルタは定義された垂直エッジに関連付けられた色サンプル値の４つまでの列を変更する、Ｃ２４に記載の装置。
［Ｃ２８］
前記第１のフィルタは定義された水平エッジに関連付けられた色サンプル値の６つまでの行を変更し、前記第２のフィルタは定義された垂直エッジに関連付けられた色サンプル値の２つまでの列を変更する、Ｃ２４に記載の装置。
［Ｃ２９］
前記第１のフィルタは定義された水平エッジに関連付けられた色サンプル値の４つまでの行を変更し、前記第２のフィルタは定義された垂直エッジに関連付けられた色サンプル値の２つまでの列を変更する、Ｃ２４に記載の装置。
［Ｃ３０］
サンプル値のアレイを取得するための手段が、ビデオ・データの残差ブロックとビデオ・データの対応する予測ブロックを加算するための手段を含む、Ｃ２４に記載の装置。
［Ｃ３１］
再構築されたビデオ・データをフィルタリングするための方法であって、
ビデオ・ブロックが４：２：０、４：２：２、または４：４：４色フォーマットの１つにしたがってフォーマットされたかどうかを決定することと、
前記決定した色フォーマットに基づいて色エッジをデブロッキングすること、ここにおいて、前記ビデオ・ブロックが４：２：０色フォーマットにしたがってフォーマットされている場合には、デブロッキングは８×８デブロッキング格子に基づき、前記ビデオ・ブロックが４：２：２色フォーマットにしたがってフォーマットされている場合には、デブロッキングは８×１６デブロッキング格子に基づき、前記ビデオ・ブロックが４：４：４色フォーマットにしたがってフォーマットされている場合には、デブロッキングは１６×１６デブロッキング格子に基づく、と、
を備える方法。
［Ｃ３２］
ビデオ・ブロックが４：２：０、４：２：２、または４：４：４色フォーマットの１つにしたがってフォーマットされたかどうかの決定をすることが、シーケンス・パラメータ・セット（ＳＰＳ）に含まれる色フォーマットインデックス値の値を決定することを含む、Ｃ３１に記載の方法。
［Ｃ３３］
再構築されたビデオ・データをフィルタリングするための装置であって、
ビデオ・ブロックが４：２：０、４：２：２、または４：４：４色フォーマットの１つにしたがってフォーマットされたかどうかを決定することと、
前記決定された色フォーマットに基づいて色エッジをデブロッキングすること、ここにおいて、前記ビデオ・ブロックが４：２：０色フォーマットにしたがってフォーマットされている場合には、デブロッキングは８×８デブロッキング格子に基づき、前記ビデオ・ブロックが４：２：２色フォーマットにしたがってフォーマットされている場合には、デブロッキングは８×１６デブロッキング格子に基づき、前記ビデオ・ブロックが４：４：４色フォーマットにしたがってフォーマットされている場合には、デブロッキングは１６×１６デブロッキング格子に基づく、と、
を行うように構成されたビデオ・コーディング・デバイスを備える装置。
［Ｃ３４］
ビデオ・ブロックが４：２：０、４：２：２、または４：４：４色フォーマットの１つにしたがってフォーマットされたかどうかを決定することが、シーケンス・パラメータ・セット（ＳＰＳ）に含まれる色フォーマットインデックス値の値を決定することを含む、Ｃ３３に記載の装置。
［Ｃ３５］
コンピュータ・プログラム製品であって、実行される時に、再構築されたビデオ・データをフィルタリングするためのデバイスの１または複数のプロセッサに、
ビデオ・ブロックが４：２：０、４：２：２、または４：４：４色フォーマットの１つにしたがってフォーマットされたかどうかを決定することと、
前記決定した色フォーマットに基づいて色エッジをデブロッキングすること、ここにおいて、前記ビデオ・ブロックが４：２：０色フォーマットにしたがってフォーマットされている場合には、デブロッキングは８×８デブロッキング格子に基づき、前記ビデオ・ブロックが４：２：２色フォーマットにしたがってフォーマットされている場合には、デブロッキングは８×１６デブロッキング格子に基づき、前記ビデオ・ブロックが４：４：４色フォーマットにしたがってフォーマットされている場合には、デブロッキングは１６×１６デブロッキング格子に基づく、と、
を行わせる保存された命令を有するコンピュータ読取可能な記憶媒体を備えるコンピュータ・プログラム製品。
［Ｃ３６］
ビデオ・ブロックが４：２：０、４：２：２、または４：４：４色フォーマットの１つにしたがってフォーマットされたかどうかの決定が、シーケンス・パラメータ・セット（ＳＰＳ）に含まれる色フォーマットインデックス値の値を決定することを含む、Ｃ３５に記載のコンピュータ・プログラム製品。
［Ｃ３７］
再構築されたビデオ・データをフィルタリングするための装置であって、
ビデオ・ブロックが４：２：０、４：２：２、または４：４：４色フォーマットの１つにしたがってフォーマットされたかどうかを決定するための手段と、
前記決定した色フォーマットに基づいて色エッジをデブロッキングする手段、ここにおいて、前記ビデオ・ブロックが４：２：０色フォーマットにしたがってフォーマットされている場合には、デブロッキングは８×８デブロッキング格子に基づき、前記ビデオ・ブロックが４：２：２色フォーマットにしたがってフォーマットされている場合には、デブロッキングは８×１６デブロッキング格子に基づき、前記ビデオ・ブロックが４：４：４色フォーマットにしたがってフォーマットされている場合には、デブロッキングは１６×１６デブロッキング格子に基づく、と、
を備える装置。
［Ｃ３８］
ビデオ・ブロックが４：２：０、４：２：２、または４：４：４色フォーマットの１つにしたがってフォーマットされたかどうかを決定するための手段が、シーケンス・パラメータ・セット（ＳＰＳ）に含まれる色フォーマットインデックス値の値を決定するための手段を含む、Ｃ３７に記載の装置。

Claims (13)

1. 再構築されたビデオ・データをデブロッキング・フィルタリングするための方法であって、
   サンプル値のアレイを取得すること、ここにおいて、前記アレイが４：２：２色フォーマットにしたがってフォーマットされる、と、
   第１のフィルタを前記アレイ内の複数の定義された水平エッジに関連付けられた色サンプル値の１つまたは複数の行に適用するかどうかを決定することと、
   第２のフィルタを前記アレイ内の複数の定義された垂直エッジに関連付けられた色サンプル値の１つまたは複数の列に適用するかどうかを決定することと、
   を備え、ここにおいて、定義された各エッジは色サンプル値を８ｘ１６のアレイに分け、各フィルタを適用するかどうかの前記決定は、境界フィルタリング強度変数に基づき、前記第１のフィルタを適用すると決定することに少なくとも部分的に基づいて、前記色サンプル値の１つまたは複数の列のうち前記第２のフィルタを適用する列を削減する、または前記第２のフィルタを適用しないと決定する、方法。
2. 前記第１のフィルタは定義された水平エッジに関連付けられた色サンプル値の６つまでの行を変更し、前記第２のフィルタは、前記第１のフィルタが適用される場合には、適用されない、請求項１に記載の方法。
3. 前記第１のフィルタは定義された水平エッジに関連付けられた色サンプル値の６つまでの行を変更し、前記第２のフィルタは定義された垂直エッジに関連付けられた色サンプル値の４つまでの列を変更する、請求項１に記載の方法。
4. 前記第１のフィルタは定義された水平エッジに関連付けられた色サンプル値の６つまでの行を変更し、前記第２のフィルタは定義された垂直エッジに関連付けられた色サンプル値の２つまでの列を変更する、請求項１に記載の方法。
5. 前記第１のフィルタは定義された水平エッジに関連付けられた色サンプル値の４つまでの行を変更し、前記第２のフィルタは定義された垂直エッジに関連付けられた色サンプル値の２つまでの列を変更する、請求項１に記載の方法。
6. サンプル値のアレイを取得することがビデオ・データの残差ブロックとビデオ・データの対応する予測ブロックを加算することを含む、請求項１に記載の方法。
7. コンピュータ・プログラム製品であって、
   実行されるときに、再構築されたビデオ・データをデブロッキング・フィルタリングするためのデバイスの１つまたは複数のプロセッサに、
   サンプル値のアレイを取得すること、ここにおいて、前記アレイが４：２：２色フォーマットにしたがってフォーマットされる、と、
   第１のフィルタを前記アレイ内の複数の定義された水平エッジに関連付けられた色サンプル値の１つまたは複数の行に適用するかどうかを決定することと、
   第２のフィルタを前記アレイ内の複数の定義された垂直エッジに関連付けられた色サンプル値の１つまたは複数の列に適用するかどうかを決定することと、
   ここにおいて、定義された各エッジは色サンプル値を８ｘ１６のアレイに分け、各フィルタを適用するかどうかの前記決定は、境界フィルタリング強度変数に基づき、前記第１のフィルタを適用すると決定することに少なくとも部分的に基づいて、前記色サンプル値の１つまたは複数の列のうち前記第２のフィルタを適用する列を削減する、または前記第２のフィルタを適用しないと決定する、
   を行わせる保存された命令を有するコンピュータ読取可能な記憶媒体を備える、コンピュータ・プログラム製品。
8. 再構築されたビデオ・データをデブロッキング・フィルタリングするための装置であって、
   サンプル値のアレイを取得するための手段、ここにおいて、前記アレイが４：２：２色フォーマットにしたがってフォーマットされる、と、
   第１のフィルタを前記アレイ内の複数の定義された水平エッジに関連付けられた色サンプル値の１つまたは複数の行に適用するかどうかを決定するための手段と、
   第２のフィルタを前記アレイ内の複数の定義された垂直エッジに関連付けられた色サンプル値の１つまたは複数の列に適用するかどうかを決定するための手段と、
   ここにおいて、定義された各エッジは色サンプル値を８ｘ１６のアレイに分け、各フィルタを適用するかどうかの前記決定は、境界フィルタリング強度変数に基づき、前記第１のフィルタを適用すると決定することに少なくとも部分的に基づいて、前記色サンプル値の１つまたは複数の列のうち前記第２のフィルタを適用する列を削減する、または前記第２のフィルタを適用しないと決定する、
   を備える、装置。
9. 前記第１のフィルタは定義された水平エッジに関連付けられた色サンプル値の６つまでの行を変更し、前記第２のフィルタは、前記第１のフィルタが適用される場合には、適用されない、請求項８に記載の装置。
10. 前記第１のフィルタは定義された水平エッジに関連付けられた色サンプル値の６つまでの行を変更し、前記第２のフィルタは定義された垂直エッジに関連付けられた色サンプル値の４つまでの列を変更する、請求項８に記載の装置。
11. 前記第１のフィルタは定義された水平エッジに関連付けられた色サンプル値の６つまでの行を変更し、前記第２のフィルタは定義された垂直エッジに関連付けられた色サンプル値の２つまでの列を変更する、請求項８に記載の装置。
12. 前記第１のフィルタは定義された水平エッジに関連付けられた色サンプル値の４つまでの行を変更し、前記第２のフィルタは定義された垂直エッジに関連付けられた色サンプル値の２つまでの列を変更する、請求項８に記載の装置。
13. サンプル値のアレイを取得するための手段が、ビデオ・データの残差ブロックとビデオ・データの対応する予測ブロックを加算するための手段を含む、請求項８に記載の装置。

Images