JP5307253B2 - ビデオ符号化における補間フィルタリング、ループ内フィルタリング、およびループ後フィルタリングのための複合スキーム - Google Patents

Description

関連出願

本願は、
２００８年１２月２２日に提出された米国特許仮出願６１／１４００２６号と、
２００８年１２月２３日に提出された米国特許仮出願６１／１４０５８５号と、
２００９年１月８日に提出された米国特許仮出願６１／１４３３２４号と、
２００９年６月２６日に提出された米国特許仮出願６１／２２０９４７号と
による利益を主張する。
上記出願の全内容は、参照によって本明細書に組み込まれる。

本開示は、ビデオ・データを圧縮するために使用されるブロック・ベースのビデオ符号化に関し、特に、ブロック・ベースのビデオ符号化中のフィルタリング技術に関する。

デジタル・ビデオの性能は、例えば、デジタル・テレビ、デジタル・ダイレクト・ブロードキャスト・システム、ラジオ電話ハンドセットのような無線通信デバイス、無線ブロードキャスト・システム、携帯情報端末（ＰＤＡ）、ラップトップあるいはデスクトップ・コンピュータ、デジタル・カメラ、デジタル・レコーディング・デバイス、ビデオ・ゲーム・デバイス、ビデオ・ゲーム・コンソールなどを含む、広範囲のデバイスに組み込まれうる。デジタル・ビデオ・デバイスは、ビデオ・データを圧縮するために、ＭＰＥＧ−２、ＭＰＥＧ−４、あるいはＩＴＵ−Ｔ．２６４／ＭＰＥＧ−４、Ｐａｒｔ１０、Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＡＶＣ）のようなビデオ圧縮技術を実施する。ビデオ圧縮技術は、空間および時間予測を実行して、ビデオ・シーケンスに内在する冗長性を低減するか取り除くかする。

ブロック・ベースのビデオ圧縮技術は一般に、空間予測および／または時間予測を実行する。イントラ符号化は、ビデオ・フレーム、ビデオ・フレームのスライスなどを含む所与の符号化ユニット内のビデオ・ブロック間の空間冗長性を低減するか取り除くかするために空間予測に依存する。一方、インター符号化は、ビデオ・シーケンスの連続する符号化ユニットのビデオ・ブロック間で時間冗長性を低減するか取り除くかするために時間予測に依存する。イントラ符号化では、ビデオ・エンコーダが空間予測を実行して、同じ符号化ユニット内の他のデータに基づいてデータを圧縮する。インター符号化では、ビデオ・エンコーダが動き推定および動き補償を実行して、隣接する２つ以上の符号化ユニットの対応するビデオ・ブロックの動き（movement）をトラッキングする。

符号化ビデオ・ブロックは、予測ブロック、および符号化されるブロックと予測ブロックとの差を示すデータの残差ブロック、を生成あるいは識別するために使用されうる予測情報によって表されうる。インター符号化の場合、予測ブロックのデータを識別するために、１又は複数の動きベクトルが使用されうる。一方で、イントラ符号化の場合は、予測ブロックを生成するために予測モードが使用されうる。イントラ符号化およびインター符号化は、いくつかの異なる予測モードを定義する。これらは、異なるブロック・サイズと、符号化において使用される予測技術を定義しうる。符号化処理において使用される符号化技術あるいはパラメータを制御あるいは定義するために、シンタックス要素の追加のタイプが符号化ビデオ・データの一部として更に含まれうる。

ブロック・ベースの予測符号化の後、ビデオ・エンコーダは、残差ブロックの通信に関連付けられたビット・レートを更に低減するために、変換、量子化、およびエントロピー符号化処理を適用しうる。変換技術は、離散コサイン変換（ＤＣＴ）あるいは、それに概念的に類似する処理、例えば、ウェーブレット変換や、整数変換や、その他のタイプの変換などを備えうる。ＤＣＴ処理において、実例として、変換処理はピクセル値のセットを、周波数領域におけるピクセル値のエネルギーを表しうる変換係数に変換する。量子化は、変換係数に適用され、一般的に、任意の所定の変換係数に関連付けられるビットの数を制限する処理を含む。エントロピー符号化は、量子化された変換係数のシーケンスを集合的に圧縮する１又は複数の処理を備える。

本開示は、ビデオ・ユニットのビデオ・ブロックをフィルタリングするためのフィルタリング技術を説明する。ビデオ・ユニットは、例として、ビデオ・フレームか、ビデオ・フレームのスライスあるいはその他の部分を備えうる。このフィルタリング技術は、ビデオ・ブロックがインター符号化されているのかあるいはイントラ符号化されているのか、および、ビデオ・ブロックの符号化中、動き補償処理中に適応補間が実行されたかどうかといったような、様々な要因に基づいて、ビデオ・ユニットの各ビデオ・ブロックのために１又は複数の異なるタイプのフィルタリングを選択しうる。適応補間が実行された場合、適応補間は追加のフィルタリングをいくつかの場合において不必要あるいは望ましくないものにするレベルのフィルタリングを提供しうる。

いくつかの場合においては、１タイプのフィルタリングのみが、ビデオ・ユニットの任意の所定のビデオ・ブロックに適用される。例えば、適応補間フィルタリングと、ループ後（post-loop）フィルタリングと、ループ内(in-loop)フィルタリングとのうちの１つのみが、任意の所定のビデオ・ブロックに適用されうる。この場合において、適応補間フィルタが動き補償中に適用されると、ループ後フィルタリングあるいはループ内フィルタリングが回避されるが、適応補間フィルタが動き補償中に適用されないと、ループ後フィルタリングと、ループ内フィルタリングとのうちの１つが適用されうる。しかし、その他の場合においては、適応補間の後であっても、ループ後フィルタが、ゼロ値の残差値に関連付けられたビデオ・ブロックのピクセルに適用され、ループ内フィルタが、非ゼロの残差値に関連付けられたビデオ・ブロックのピクセルに適用されうる。

１つの実例において、本開示は、ビデオ符号化処理中にビデオ・ユニットの１又は複数のビデオ・ブロックをフィルタリングする方法を説明する。この方法は、ビデオ・ブロックがインター符号化されているのか、イントラ符号化されているのかを判定し、ビデオ・ブロックがイントラ符号化されている場合は、このビデオ・ブロックにループ後フィルタあるいはループ内フィルタを適用することを備える。ビデオ・ブロックがインター符号化されている場合、この方法は、ビデオ・ブロックについて、動き補償処理中に適応補間フィルタが適用されたかどうかを判定し、ビデオ・ブロックがインター符号化されている場合、この方法は更に、適応補間フィルタが適用されたかどうかに少なくとも部分的に基づいて、ビデオ・ブロックにループ後フィルタとループ内フィルタのどちらを適用するかを決定することを含む。

別の実例において、本開示は、ビデオ符号化処理中にビデオ・ユニットのビデオ・ブロックをフィルタリングするビデオ・コーダ装置を説明する。このビデオ・コーダ装置は、適応補間フィルタと、ループ後フィルタと、ループ内フィルタとを備える。この装置は、ビデオ・ブロックがインター符号化されているのか、イントラ符号化されているのかを判定し、ビデオ・ブロックがイントラ符号化されている場合は、このビデオ・ブロックにループ後フィルタあるいはループ内フィルタを適用し、ビデオ・ブロックがインター符号化されている場合は、ビデオ・ブロックについて、動き補償処理中に適応補間フィルタが適用されたかどうかを判定し、ビデオ・ブロックがインター符号化されている場合は、適応補間フィルタが適用されたかどうかに少なくとも部分的に基づいて、このビデオ・ブロックにループ後フィルタとループ内フィルタのどちらを適用するかを決定する。

別の実例において、本開示はビデオ符号化処理中にビデオ・ユニットのビデオ・ブロックをフィルタリングするデバイスを説明する。このデバイスは、ビデオ・ブロックがインター符号化されているのか、イントラ符号化されているのかを判定する手段と、ビデオ・ブロックがイントラ符号化されている場合、このビデオ・ブロックにループ後フィルタあるいはループ内フィルタを適用する手段と、ビデオ・ブロックがインター符号化されている場合、ビデオ・ブロックについて動き補償処理中に適応補間フィルタが適用されたかどうかを判定する手段と、ビデオ・ブロックがインター符号化されている場合、適応補間フィルタが適用されたかどうかに少なくとも部分的に基づいて、このビデオ・ブロックにループ後フィルタとループ内フィルタのどちらを適用するかを決定する手段とを備える。

本開示に説明される技術は、ハードウェア、ソフトウェア、ファームウェア、あるいはそれら任意の組合せにおいて実施されうる。ハードウェアにおいて実施される場合、装置は集積回路、プロセッサ、離散ロジック、あるいはそれら任意の組合せとして実現されうる。ソフトウェアにおいて実施される場合、このソフトウェアは、マイクロプロセッサ、アプリケーション特有集積回路（ＡＳＩＣ）、フィールド・プログラム可能ゲート・アレイ（ＦＰＧＡ）、デジタル信号プロセッサ（ＤＳＰ）のような、１又は複数のプロセッサにおいて実行される。この技術を実行するソフトウェアは、コンピュータ読取可能媒体に最初から格納されており、プロセッサにおいてロードあるいは実行されうる。

従って、本開示は更に、プロセッサにおいて実行されると、このプロセッサにビデオ・符号化処理中にビデオ・ユニットのビデオ・ブロックをフィルタリングさせる命令群を備えるコンピュータ読取可能記憶媒体を意図している。この命令群は、プロセッサに、ビデオ・ブロックがインター符号化されているのか、イントラ符号化されているのかを判定させ、ビデオ・ブロックがイントラ符号化されている場合は、このビデオ・ブロックにループ後フィルタあるいはループ内フィルタを適用させ、ビデオ・ブロックがインター符号化されている場合はビデオ・ブロックについて、動き補償処理中に適応補間フィルタが適用されたかどうかを判定させ、ビデオ・ブロックがインター符号化されている場合は適応補間フィルタが適用されたかどうかに少なくとも部分的に基づいて、このビデオ・ブロックにループ後フィルタとループ内フィルタのどちらを適用するかを決定させる。

本開示の１又は複数の態様の詳細が、添付図面および以下の説明において説明される。本開示において説明される技術のその他の特徴、目的、および利点が、説明と図面から、および、請求項の範囲から明らかとなるだろう。

図１は、本開示の１又は複数の技術を実施しうるビデオ・エンコードおよびデコード・システムを例示するブロック図である。 図２は、本開示の１又は複数の実例に従って、典型的なビデオ・エンコーダを例示するブロック図である。 図３は、本開示の１又は複数の実例に従って、典型的なビデオ・デコーダを例示するブロック図である。 図４は、本開示の実例に従って、適応ループ内フィルタリングと適応ループ後フィルタリングのどちらかを選択するための技術を例示するフロー図である。 図５は、本開示の実例に従って、少なくとも１つの非ゼロの残差値を含むインター符号化ビデオ・ブロックの再構成のための１つの技術を例示するための技術を例示するフロー図である。 図６は、本開示の実例に従って、少なくとも１つの非ゼロの残差値を含むインター符号化ビデオ・ブロックの再構成のための１つの技術のための技術を例示するブロック図である。 図７は、本開示の１又は複数の実例に従って、フィルタ情報を伝達するためのビデオ・ユニットのデータ構成を例示する概念図である。 図８は、本開示の様々な実例に従う技術を例示するフロー図である。 図９は、本開示の様々な実例に従う技術を例示する別のフロー図である。 図１０は、本開示の様々な実例に従う技術を例示する別のフロー図である。 図１１は、本開示の様々な実例に従う技術を例示する別のフロー図である。

本開示は、ビデオ・ユニットのビデオ・ブロックのフィルタリングのためのフィルタリング技術を説明する。ビデオ・ユニットは、実例として、ビデオ・フレームか、ビデオ・フレームのスライスあるいはその他の部分かを備えうる。このフィルタリング技術は、ビデオ・ブロックがインター符号化されているのかあるいはイントラ符号化されているのか、および、ビデオ・ブロックのエンコード中、動き補償処理中に適応補間が実行されたかどうかといったような、様々な要因に基づいて、ビデオ・ユニットの各ビデオ・ブロックのために１又は複数の異なるタイプのフィルタリングを選択しうる。動き補償中に適応補間が実行された場合、例えば、適応補間は、再構成されたデータに対する追加のフィルタリングをいくつかの場合において不必要あるいは望ましくないものにするレベルのフィルタリングを提供しうる。適応補間は、（エンコードあるいはデコード処理の一部として）望ましい予測データを発生させるために補間フィルタ係数が適応的に決定される補間を称する。本開示の技術は、例えば、固定の補間フィルタ係数によって定義される固定補間とは対照的に、適応補間が実行されたかどうかを判定しうる。

本開示の技術は、異なるタイプの複数のフィルタリングが支援されているビデオ・エンコードあるいはビデオ・デコードのシナリオにおいて、フィルタリングを向上させるのに役立つ。この技術は、適応補間フィルタリングと、ループ内フィルタリングと、ループ後フィルタリングとの中から選択することによって、望ましいレベルのフィルタリングを達成しうる。補間フィルタリングは、一般的に、ループ内フィルタリングおよびループ後フィルタリングとは無関係であるが、適応補間フィルタリングは、ループ内フィルタリングおよびループ後フィルタリングと同じフィルタリング効果のうちの少なくともいくつかを達成しうると本開示は認識している。それと同時に、本開示はフィルタリングが過剰に適用される場合に生じる望ましくない効果を認識している。

補間フィルタリングは一般に、補間された（すなわち、非整数の）予測データを生成するために、動き補償中に生じるタイプのフィルタリングを称する。この場合、ビデオ・ブロックを予測的にエンコードするために使用される予測データは、ビデオ・シーケンスにおける、前のあるいは後続のビデオ・ユニットの整数ピクセル・データに基づいて、１／２ピクセル精度あるいは１／４ピクセル精度（あるいはその他の少数ピクセル精度）に対して補間されうる。いくつかの実例において、本開示の補間フィルタリングは適応補間フィルタリングを備えうる。ここにおいて、補間フィルタ係数は、望ましい予測データを発生させるために選択的に決定されうる。適応補間は、固定補間と対比されうる。適応補間では、フィルタ係数が符号化処理の一部として適応的に定義されるのに対して、固定補間では、フィルタ係数がビデオ符号化基準などによって予め定義されている。

ループ内フィルタリングとループ後フィルタリングとはいくつかの点で互いに類似しているが、フィルタリングされるデータの観点からいうと、補間フィルタリングとは一般的に異なる。特に、補間フィルタリングが１又は複数のビデオ・ブロックを予測的にエンコードするために使用される予測データに適用されるのに対して、ループ内フィルタリングおよびループ後フィルタリングは、ピクセル・バリエーションを平滑化するためか、ブロッキネス（blockiness）を取り除くためか、さもなければ最終出力ビデオ・データを向上させるために、エンコードあるいはデコード処理の後に、再構成されたビデオ・ブロックに適用される。

ループ内フィルタリングでは、再構成されたビデオ・データのフィルタリングが符号化ループ内において生じる。これは、フィルタリングされたデータが、後続のイメージ・データの予測における後続の使用のためにエンコーダあるいはデコーダによって格納されることを意味する。対照的に、ループ後フィルタリングでは、再構成されたビデオ・データのフィルタリングが符号化ループの外で生じる。これは、データのフィルタリングされていないバージョンが、後続の画像データの予測における後続の使用のために、エンコーダあるいはデコーダによって格納されることを意味する。このように、ループ後フィルタリングでは、再構成されたビデオ・データを生成するためにフィルタリングが適用されるが、このようなフィルタリングは、その他の予測エンコードにおける使用のためにデータを格納することを目的としてデータに適用されるわけではない。本開示のループ内フィルタリングおよびループ後フィルタリングは、フィルタリング処理において適用されるフィルタリング係数が処理中に適応的に定義されるという点で適応的である。

かさねて、本開示の技術は、ビデオ・ブロックがインター符号化されているのかあるいはイントラ符号化されているのか、および、ビデオ・ブロックのエンコード中、動き補償処理中に適応補間が実行されたかどうかといったような、様々な要因に基づいて、ビデオ・ユニットの各ビデオ・ブロックのために１又は複数の異なるタイプのフィルタリングを選択しうる。いくつかの場合において、１タイプのフィルタリングのみが、任意の所定のビデオ・ユニットのビデオ・ブロックに適用される。例えば、いくつかの場合において、適応補間フィルタリングと、ループ後フィルタリングと、ループ内フィルタリングとのうちの１つのみが、任意の所定のビデオ・ブロックに適用されうる。このような場合において、適応補間フィルタが動き補償中に適用されていると、ループ後フィルタリングあるいはループ内フィルタリングが回避されるが、適応補間フィルタが動き補償中に適用されていないと、ループ後フィルタリングと、ループ内フィルタリングとのうちの１つが適用されうる。

しかし、その他の場合においては、適応補間の後であっても、ループ後フィルタがゼロ値の残差値に関連付けられたビデオ・ブロックのピクセルに適用され、ループ内フィルタが非ゼロの残差値に関連付けられたビデオ・ブロックのピクセルに適用されうる。この場合において、ビデオ・ブロックがインター符号化されているのかあるいはイントラ符号化されているのか、および、ビデオ・ブロックのエンコード中、動き補償処理中に適応補間が実行されたかどうかといったような要因が、適用されるべきフィルタリングのタイプを定義するのに依然として役立つ。いくつかの実例において、ループ内フィルタおよびループ後フィルタは、任意の所定のピクセルについて、あるいは代替的に任意の所定のビデオ・ブロックについて、相互排他的である。

本開示において、用語「符号化」は、エンコードおよびデコードを意味する。同様に、用語「コーダ」は一般に、任意のビデオ・エンコーダ、ビデオ・デコーダ、あるいは複合エンコーダ／デコーダ（コーデック）を示す。従って、用語「コーダ」は本明細書において、ビデオ・エンコードあるいはビデオ・デコードを実行する特殊コンピュータ・デバイスあるいは装置を示す。本開示のフィルタリング技術は、エンコーダあるいはデコーダに適用可能である。いくつかの場合において、フィルタのシンタックス要素は、適用されるべきフィルタリングのタイプをデコーダに通知するために、ビットストリームにエンコードされうる。本開示は更に、ビデオ・ユニットのためのビデオ・データに先行するヘッダ要素内よりも、エンコードされたビデオ・データ（例えば、エンコードされた係数）の後に続くフッター要素内フィルタシンタックス情報をエンコードすることによって、フィルタ情報をエンコードする能力を向上させうるエンコードされた情報を伝達するためのフォーマットあるいはデータ構成を定義する。

図１は、本開示の技術を実施しうる典型的なビデオ・エンコードおよびデコード・システム１０を例示するブロック図である。図１に図示されるように、システム１０は通信チャネル１５によって、エンコードされたビデオを宛先デバイス１６に送信するソース・デバイス１２を含む。ソース・デバイス１２および宛先デバイス１６は、広範囲のデバイスのうち任意のものを備えうる。いくつかの場合において、ソース・デバイス１２および宛先デバイス１６は、いわゆるセルラあるいは衛星無線電話のような、無線通信デバイスのハンドセットを備えうる。しかし、より一般的に、ビデオ符号化中にビデオ・ブロックおよび／あるいはピクセルのフィルタリングに適用される本開示の技術は、必ずしも無線のアプリケーションあるいは設定に限定される必要はなく、ビデオ・エンコードおよび／あるいはデコード性能を含む非無線デバイスにも適用されうる。

図１の実例において、ソース・デバイス１２は、ビデオ・ソース２０と、ビデオ・デコーダ２２と、変調器／復調器（モデム）２３と、送信機２４とを含みうる。宛先デバイス１６は、受信機２６と、モデム２７と、ビデオ・デコーダ２８と、表示デバイス３０とを含みうる。本開示によると、ソース・デバイス１２のビデオ・エンコーダ２２は、ビデオ・ブロックがインター符号化されているのか、イントラ符号化されているのかを判定し、ビデオ・ブロックがイントラ符号化されている場合は、このビデオ・ブロックにループ後フィルタあるいはループ内フィルタを適用し、ビデオ・ブロックがインター符号化されている場合は、ビデオ・ブロックについて、動き補償処理中に適応補間フィルタが適用されたかを判定し、ビデオ・ブロックがインター符号化されている場合は、適応補間フィルタが適用されたかどうかに少なくとも部分的に基づいて、このビデオ・ブロックにループ後フィルタとループ内フィルタのどちらを適用するかを決定するように構成されうる。ビデオ・エンコーダ２２によって実行されうるフィルタリング処理の更なる詳細が、より詳細にわたって以下に説明される。

類似のフィルタリング技術が、宛先デバイス１６のビデオ・デコーダ２８によっても実行されうる。ビデオ・デコーダ２８は、ビデオ・ブロックがインター符号化されているのか、イントラ符号化されているのかを判定し、ビデオ・ブロックがイントラ符号化されている場合は、このビデオ・ブロックにループ後フィルタあるいはループ内フィルタを適用し、ビデオ・ブロックがインター符号化されている場合は、このビデオ・ブロックについて、動き補償処理中に適応補間フィルタが適用されたかを判定し、ビデオ・ブロックがインター符号化されている場合は、適応補間フィルタが適用されたかどうかに少なくとも部分的に基づいて、このビデオ・ブロックにループ後フィルタとループ内フィルタのどちらを適用するかを決定するように構成されうる。いくつかの場合において、フィルタリングのシンタックス情報はビデオ・エンコーダ２２において定義され、ソース・デバイス１２から宛先デバイス１６に送られる、エンコードされたビットストリームの一部としてビデオ・デコーダ２８に伝達される。実際、本開示は、エンコードされたビデオ・ユニット内の、このようなフィルタリングのシンタックス情報のためのフォーマットを意図している。例えば、本開示は、ヘッダ要素においてフィルタリングのシンタックス情報を提供するよりも、フッター要素を使用することを意図している。この場合において、フィルタリングのシンタックス情報は、ビデオ・ユニットのエンコードされたビデオ係数を先行するのではなく、それらの後に続く。フッター要素は、個別のフッター・ファイルであるか、あるいはビデオ・ユニットのためのエンコードされたデータを定義するファイルの要素である。

図１に例示されたシステム１０は、典型に過ぎない。本開示のフィルタリング技術は、任意のエンコードあるいはデコード・デバイスによって実行されうる。ソース・デバイス１２および宛先デバイス１６は、このような技術を支援しうる符号化デバイスの実例に過ぎない。

ソース・デバイス１２のビデオ・エンコーダ２２は、本開示の技術を使用して、ビデオ・ソース２０から受信されたビデオ・データをエンコードしうる。ビデオ・ソース２０は、ビデオ・カメラのようなビデオ・キャプチャ・デバイスや、以前キャプチャされたビデオを含むビデオ・アーカイブや、ビデオ・コンテント・プロバイダから送られたビデオを備える。更なる代替例として、ビデオ・ソース２０は、ソース・ビデオとしてのコンピュータ・グラフィック・ベースのデータか、あるいは、ライブ・ビデオと、アーカイブ・ビデオと、コンピュータによって生成されたビデオとの組合せかを生成しうる。いくつかの場合において、ビデオ・ソース２０がビデオ・カメラであると、ソース・デバイス１２および宛先デバイス１６は、いわゆるカメラ電話あるいはビデオ電話を形成しうる。各々の場合において、キャプチャされたビデオか、予めキャプチャされたビデオか、コンピュータによって生成されたビデオが、ビデオ・デコーダ２２によってエンコードされうる。

ビデオ・データがビデオ・エンコーダ２２によってエンコードされると、エンコードされたビデオ情報は、例えば、符号分割多元接続（ＣＤＭＡ）あるいは別の通信規格又は技術のような通信規格に従うモデム２３によって変調され、送信機２４によって宛先デバイス１６に送信される。モデム２３は、様々なミキサ、フィルタ、増幅器、あるいは信号変調のために設計されたその他の構成要素を含みうる。送信機２４は、増幅器と、フィルタと、１又は複数のアンテナとを含む、データを送信するように設計された回路を含みうる。宛先デバイス１６の受信機２６は、チャネル１５によって情報を受信し、モデム２７はこの情報を復調する。ビデオ・デコーダ２８によって実行されるビデオ・デコード処理も、ビデオ・エンコーダ２２のものに類似したフィルタリング技術を含みうる。

通信チャネル１５は、ラジオ周波数（ＲＦ）スペクトルあるいは１又は複数の物理伝送回線のような任意の無線媒体あるいは有線媒体か、無線媒体と有線媒体との任意の組合せかを備えうる。通信チャネル１５は、ローカル・エリア・ネットワークや、ワイドエリア・ネットワークや、インターネットのようなグローバル・ネットワークといった、パケット・ベース・ネットワークの一部を形成しうる。通信チャネル１５は一般に、ソース・デバイス１２から宛先デバイス１６にビデオ・データを送信するための、任意の適切な通信媒体あるいは異なる通信媒体の集合を意味する。

ビデオ・エンコーダ２２およびビデオ・デコーダ２８は、代替的にＭＰＥＧ−４、Ｐａｒｔ１０、Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＡＶＣ）と称されるＩＴＵ−Ｔ Ｈ．２６４規格のような、ビデオ圧縮規格に実質的に従って動作しうる。しかし、本開示の技術は、その他の様々なビデオ符号化規格のコンテキストに容易に適用されうる。特に、エンコーダあるいはデコーダにおけるフィルタリングに対しての任意の規格が、本開示の教示から利益を得うる。

図１には図示されていないが、いくつかの態様において、ビデオ・エンコーダ２２およびビデオ・デコーダ２８は各々、オーディオ・エンコーダおよびデコーダに統合され、共通データ・ストリームあるいは別個のデータ・ストリームにおけるオーディオおよびビデオの両方のエンコードに対処するために、適切なＭＵＸ−ＤＥＭＵＸユニットあるいは、その他のハードウェアおよびソフトウェアを含みうる。適用可能であれば、ＭＵＸ−ＤＥＭＵＸユニットは、ＩＴＵ Ｈ．２２３マルチプレクサ・プロトコルか、ユーザ・データグラム・プロトコル（ＵＤＰ）のようなその他のプロトコルに適合しうる。

ビデオ・エンコーダ２２およびビデオ・デコーダ２８は各々、１又は複数のマイクロプロセッサか、デジタル信号プロセッサ（ＤＳＰ）か、アプリケーション特有集積回路（ＡＳＩＣ）か、フィールド・プログラム可能ゲート・アレイ（ＦＰＧＡ）か、離散ロジックか、ソフトウェアか、ハードウェアか、ファームウェアか、あるいはそれら任意の組合せとして実現されうる。ビデオ・エンコーダ２２およびビデオ・デコーダ２８の各々は、１又は複数のエンコーダあるいはデコーダに含まれ、これらの各々は、それぞれのモバイル・デバイスや、加入者デバイスや、ブロードキャスト・デバイスや、サーバなどにおける複合エンコーダ／デコーダ（コーデック）の一部として統合されうる。

いくつかの場合において、デバイス１２、１６は、実質的に左右対称な方式で動作しうる。例えば、デバイス１２、１６の各々は、ビデオ・エンコードあるいはビデオ・デコード構成要素を含む。従って、システム１０は、例えば、ビデオ・ストリーミング、ビデオ再生、ビデオ・ブロードキャスティング、あるいはビデオ電話通信のような、ビデオ・デバイス１２とビデオ・デバイス１６との間の一方向あるいは二方向のビデオ伝送を支援しうる。

エンコード処理の間、ビデオ・エンコーダ２２は、多数の符号化技術あるいは動作を実行しうる。一般に、ビデオ・エンコーダ２２は、ビデオ・ブロックをエンコードするために、個別のビデオ・フレーム（あるいは、スライスのような、独立して符号化される他のユニット）内のビデオ・ブロックに作用する。フレームか、スライスか、フレームの一部か、ピクチャのグループか、あるいはその他のデータ構成が、複数のビデオ・ブロックを含む、独立してデコード可能なユニットとして定義されうる。符号化ユニット内のビデオ・ブロックは、固定の、あるいは変化するサイズを有し、指定された符号化規格に従ってサイズが異なる。いくつかの場合において、各ビデオ・フレームは、独立してデコード可能な一連のスライスを含み、各スライスは、一連のマクロブロックを含み、これらは、より小さなブロックにも配置されうる。

マクロブロックは通常、１６×１６のデータのブロックをいう。ＩＴＵ−Ｔ Ｈ．２６４規格は、輝度（luma）コンポーネントについての１６×１６、８×８、または４×４、および彩度（chroma）コンポーネントについての８×８など、様々なブロック・サイズのイントラ予測をサポートするとともに、輝度（luna）コンポーネントについての１６×１６、１６×８、８×１６、８×８、８×４、４×８および４×４、および彩度（chroma）コンポーネントについての対応するスケーリングされたサイズなど、様々なブロック・サイズのインター予測をサポートする。本開示において、フレーズ「ビデオ・ブロック（video blocks)」は、任意のサイズのビデオ・ブロックを称する。更に、ビデオ・ブロックは、ピクセル領域（domain）におけるビデオ・データのブロックか、あるいは、離散コサイン変換（ＤＣＴ）領域（domain）や、ＤＣＴに類似した領域（domain）や、ウェーブレット領域（domain）などのような変換領域（transform domain）におけるデータのブロックを称しうる。しかし、ほとんどの場合において、本開示のフィルタリングは、ピクセル領域において生じうる。

ビデオ・エンコーダ２２は、予測符号化を実行しうる。予測符号化では、符号化されるビデオ・ブロックが、予測ブロックを識別するために、予測フレーム（あるいはその他の符号化ユニット）と比較される。予測符号化のこの処理は、動き推定および動き補償を示す。動き推定は、１又は複数の予測フレーム（あるいはその他の符号化ユニット）の１又は複数の予測ビデオ・ブロックに関連して、ビデオ・ブロックの動きを推定する。動き補償は、１又は複数の予測フレームあるいはその他の符号化ユニットから、望ましい予測ビデオ・ブロックを生成する。動き補償は、少数精度で予測データを生成するために補間フィルタリングが実行される補間処理を含みうる。本開示の技術は、このような補間フィルタリングを利用して、再構成されたビデオ・データ上で、補間フィルタリングと、その後のループ内あるいはループ後フィルタリングとのバランスを取りうる。特に、（固定フィルタ係数を使用するのでも、補間フィルタリングが実行されないのでもなく）補間フィルタ係数が符号化処理において適応的に定義される場合、このような適応的な補間フィルタリングは、ループ内あるいはループ後フィルタリングと類似したフィルタリング効果を達成し、その結果、そのようなループ内あるいはループ後フィルタリングを、いくつかの場合において、不必要あるいは望ましくないものにする。

予測ブロックを生成した後、符号化される現在のビデオ・ブロックと、予測ブロックとの間の差は、残差ブロックとして符号化され、（動きベクトルのような）予測シンタックスが、予測ブロックを識別するために使用される。残差ブロックは変換され、量子化されうる。変換技術は、ＤＣＴ処理もしくは概念的にそれに類似した処理か、整数変換か、ウェーブレット変換か、あるいはその他のタイプの変換を備えうる。ＤＣＴ処理において、実例として、変換処理は、ピクセル値（例えば、残差値）のセットを変換係数に変換する。これは、周波数領域におけるピクセル値のエネルギーを表しうる。量子化は、通常変換係数に適用され、一般的に、任意の所定の変換係数に関連付けられたビットの数を制限する処理を含む。

変換および量子化の後に続いて、エントロピー符号化が、量子および変換された残差ビデオ・ブロックに実行されうる。フィルタシンタックス情報およびエンコード中に定義された予測ベクトルのようなシンタックス要素が、エントロピー符号化されたビットストリームに更に含まれうる。一般に、エントロピー符号化は、量子化された変換係数および／あるいはその他のシンタックス情報のシーケンスを集合的に圧縮する１又は複数の処理を備える。二次元ビデオ・ブロックから、１又は複数のシリアル化された１次元ベクトルの係数を定義するために、ジグザグ・スキャニング技術のようなスキャニング技術が、量子化された変換係数に実行される。スキャンされた係数は、その後、例えば、コンテント適応可変長符号化（ＣＡＶＬＣ）や、コンテキスト適応２進演算符号化（ＣＡＢＡＣ）や、別のエントロピー符号化処理などによって、任意のシンタックス情報と共にエントロピー符号化される。

エンコード処理の一部として、エンコードされたビデオ・ブロックはデコードされ、後続のビデオ・ブロックの後続予測ベース符号化のために使用されるビデオ・データが生成されうる。この段階において、ビデオ品質を向上させることと、例えば、デコードされたビデオからブロッキネス（blockiness）あるいはその他のアーティファクトを取り除くこととのために、フィルタリングが用いられうる。このフィルタリングは、ループ内あるいはループ後フィルタリングである。更に、ループ内フィルタリングでは、再構成されたビデオ・データのフィルタリングが符号化ループ内で生じる。これは、後続の画像データの予測における後続の使用のために、フィルタリングされたデータが、エンコーダあるいはデコーダによって格納されるということを意味している。対照的に、ループ後フィルタリングでは、再構成されたビデオ・データのフィルタリングは符号化ループの外で生じる。これは、後続の画像データの予測における後続の使用のために、データのフィルタリングされていないバージョンが、エンコーダあるいはデコーダによって格納されるということを意味している。

エンコーダ２２は、ビデオ品質を促進させる形で、補間フィルタリングか、ループ内フィルタリングか、ループ後フィルタリングかのうちの任意のものあるいは全てのためにフィルタ係数を選択しうる。補間フィルタ係数は、実例として、係数の予め定義されたセットから選択されるか、あるいはビデオ品質を促進するように適応的に定義されうる。実例として、ビデオ・エンコーダ２２は、所定の符号化ユニットの全てのビデオ・ブロックに同じフィルタ係数が使用されるように、この符号化ユニットのためのフィルタ係数のセットを選択あるいは定義しうる。いくつかの場合において、ビデオ・エンコーダ２２は、フィルタ係数のいくつかのセットを適用し、所定の符号化レートについて、最良品質のビデオか、最高レベルの圧縮か、あるいは最高のビデオ品質かを発生させるセットを選択しうる。

図２は、本開示に従って、ビデオ・エンコーダ５０を例示するブロック図である。ビデオ・エンコーダ５０は、デバイス２０のビデオ・エンコーダ２２か、別のデバイスのビデオ・エンコーダに対応しうる。図２に図示されるように、ビデオ・エンコーダ５０は、予測ユニット３２と、加算器４８、５１と、メモリ３４とを含む。ビデオ・エンコーダ５０は更に、変換ユニット３８および量子化ユニット４０に加えて、逆量子化ユニット４２および逆変換ユニット４４を含む。ビデオ・エンコーダ５０は更に、エントロピー・エンコード・ユニット４６およびフィルタ・ユニット４７を含む。フィルタ・ユニット４７および予測ユニット３２は、本開示に従って、集合的にフィルタリングを実行する。特に、予測ユニット３２は、サブ・ピクセル解像度までビデオ・ブロックの動き補償される補間に必要な任意の補間フィルタリングを実行しうる。フィルタ・ユニット４７は、本明細書に説明されるように、ビデオ・ブロック・ベースで、あるいは個別ピクセル・ベースで、ループ内あるいはループ後フィルタリングを実行しうる。本開示の技術は、補間フィルタリングと、ループ後あるいはループ内フィルタリングとの集合的効果を考慮することによって、エンコード処理において適用されるフィルタリングのレベルを定義しうる。

より一般的に、エンコード処理中、ビデオ・エンコーダ５０は、符号化されるべきビデオ・ブロックを受信し、予測ユニット３２は、予測符号化技術を実行する。インター符号化では、予測ユニット３２は、予測ブロックを定義するために、１又は複数のビデオ参照フレームあるいはスライスにおける様々なブロックと、エンコードされるべきビデオ・ブロックを比較する。イントラ符号化では、予測ユニット３２が、コーディングされた同じユニット内の近隣データに基づいて、予測ブロックを生成する。予測ユニット３２は予測ブロックを出力し、加算器４８は、残差ブロックを生成するために、コーディングされるビデオ・ブロックから予測ブロックを減じる。

インター符号化では、予測ユニット３２は、予測ブロックを指し示す動きベクトルを定義し、該動きベクトルに基づき該予測ブロックを生成する動き推定および動き補償ユニットを備える。通常、動き推定は、動きを推定する動きベクトルを生成する処理と見なされる。例えば、動きベクトルは、現在のフレーム内で符号化される現在のブロックに関連する、予測フレーム内の予測ブロックの変位を示す。動き補償は通常、動き推定によって決定された動きベクトルに基づいて、予測ブロックをフェッチあるいは生成する処理と見なされる。イントラ符号化では、予測ユニット３２は、同じ符号化ユニット内の近隣データに基づいて、予測ブロックを生成する。１又は複数のイントラ予測モードは、イントラ予測ブロックがどのように定義されうるかを定義しうる。

インター符号化のための動き補償は、サブ・ピクセル解像度まで補間を含みうる。補間フィルタ４９は、本開示に従って適応的に定義されたフィルタを示す。しかし、補間フィルタ４９は更に、補間された予測データを生成するために、適応的に定義されたフィルタ、予め定義されたフィルタ、あるいは場合によっては予測データをフィルタリングするフィルタのセット、からなる組み合わせを表す。補間された予測データは、例えば、１／２ピクセル解像度か、１／４ピクセル解像度か、あるいはより細かい解像度まで補間されうる。これによって、動き推定は、このようなサブ・ピクセル解像度までビデオ・ブロックの動きを推定することができる。

予測ユニット３２が（補間フィルタ４９による補間フィルタリングを含みうる）予測ブロックを出力した後、および、加算器４８が、残差ブロックを生成するために、符号化されるビデオ・ブロックから予測ブロックを減じた後、変換ユニット３８は残差ブロックに変換を適用する。この変換は、離散コサイン変換（ＤＣＴ）か、概念的にそれに類似した、Ｈ．２６４に規定されるような変換を備えうる。ウェーブレット変換、整数変換、サブバンド変換、あるいはその他のタイプの変換も使用されうる。何れの場合においても、変換ユニット３８は、残差ブロックに変換を適用し、残差変換係数のブロックを発生させる。この変換は、残差情報をピクセル領域から周波数領域へと変換しうる。

量子化ユニット４０は、その後、残差変換係数を量子化して、ビット・レートを更に低減する。量子化ユニット４０は、例えば、係数の各々を符号化するために使用されるビットの数を制限しうる。量子化の後、エントロピー・エンコード・ユニット４６は、データをスキャンおよびエントロピー・エンコードしうる。例えば、エントロピー・エンコード・ユニット４６は、２次元的表現から１又は複数のシリアル化された１次元ベクトルへ、量子化された係数ブロックをスキャンしうる。このスキャンの順序は、（ジグザグスキャニング、または別の予め定められた順序のような）定義された順序で生じるように予めプログラムされるか、あるいはことによると、以前の符号化統計に基づいて、適応的に定義されうる。このスキャニング処理の後、エントロピー・エンコード・ユニット４６が、コンテキスト適応可変長コーディング（ＣＡＶＬＣ）あるいはコンテキスト適応２進演算コーディング（ＣＡＢＡＣ）のような、エントロピー符号化の方法に従って、量子化された変換係数を（シンタックス要素と共に）エンコードして、データを更に圧縮する。エントロピー符号化されたビットストリームに含まれるシンタックス要素は、インター符号化のための動きベクトル、あるいはイントラ符号化のための予測モードのような、予測ユニット３２からの予測シンタックスを含みうる。エントロピー符号化されたビットストリームに含まれるシンタックス要素は更に、フィルタ・ユニット４７および予測ユニット３２からのフィルタ情報を含みうる。これらは、本明細書に説明される方式でエンコードされうる。

ＣＡＶＬＣは、ＩＴＵ Ｈ．２６４／ＭＰＥＧ４、ＡＶＣ規格によってサポートされるエントロピー符号化技術の１つのタイプである。これは、エントロピー・エンコード・ユニット４６によって、ベクトル化ベースで適用されうる。ＣＡＶＬＣは、変換係数および／あるいはシンタックス要素のシリアル化された「ラン」を効果的に圧縮する方式で、可変長符号化（ＶＬＣ）表を使用する。ＣＡＢＡＣは、ＩＴＵ Ｈ．２６４／ＭＰＥＧ４、ＡＶＣ規格によってサポートされるエントロピー符号化技術の別のタイプである。これは、エントロピー・エンコード・ユニット４６によって、ベクトル化ベースで適用されうる。ＣＡＢＡＣは、２値化と、コンテキスト・モデル選択と、２進演算符号化とを含む、いくつかの段階を含みうる。この場合において、エントロピー・エンコード・ユニット４６は、ＣＡＢＡＣに従って、変換係数およびシンタックス要素をコーディングする。その他多くのタイプのエントロピー符号化技術が更に存在し、新たなエントロピー符号化技術が今後現れるだろう。本開示は、何れの特定のエントロピー符号化技術にも限定されない。

エントロピー・エンコード・ユニット４６によるエントロピー符号化の後、エンコードされたビデオは、別のデバイスに送信されるか、後の伝送あるいは検索のためにアーカイブに保管されうる。更に、エンコードされたビデオは、エントロピー符号化されたベクトルと、様々なシンタックスとを備え、これらは、デコード処理を適切に設定するために、デコーダによって使用されうる。逆量子化ユニット４２および逆変換ユニット４４は、逆量子化および逆変換をそれぞれ適用し、ピクセル領域における残差ブロックを再構成しうる。サマー（summer）５１は、再構成された残差ブロックを予測ユニット３２によって発生した予測ブロックに加えて、メモリ３４に格納するための再構成されたビデオ・ブロックを発生させる。しかし、このような格納の前に、フィルタ・ユニット４７は、ビデオ・ブロックにフィルタリングを適用して、ビデオ品質を向上させうる。フィルタ・ユニット４７によるこのようなフィルタリングは、ブロッキネス（blockiness）あるいはその他のアーティファクトを低減しうる。更に、フィルタリングは、符号化されるビデオ・ブロックにとてもよく似たものを備える予測ビデオ・ブロックを生成することによって、圧縮を向上させうる。

更に、フィルタ・ユニット４７は、少なくとも２つの異なるタイプのフィルタリングをサポートしうる。フィルタ・ユニット４７は、ループ内フィルタ３７およびループ後フィルタ３９を含み、これらは実質的に、同じあるいは類似のフィルタである。フィルタ・ユニット４７がループ内フィルタリングを実行する場合、このようなフィルタリングの後、再構成されたビデオ・ブロックは、後続のビデオ・フレームあるいはその他の符号化ユニット内のブロックをインター符号化するため、動き推定のための参照ブロックとして、予測ユニット３２によって使用されうる。フィルタ・ユニット４７がループ後フィルタリングを実行する場合、メモリ３４は、再構成されたビデオ・ブロックのフィルタリングされていないバージョンを格納し、この再構成されたビデオ・ブロックのフィルタリングされていないバージョンは、後続のビデオ・フレームあるいはその他の符号化ユニット内のブロックをインター符号化するための参照ブロックとして、予測ユニット３２によって使用されうる。

フィルタ・ユニット４７によるフィルタリングは、ビデオ品質を促進させる形のフィルタ係数選択を含みうる。例えば、フィルタ・ユニット４７は、係数の予め定義されたセットからフィルタ係数を選択するか、あるいは、ビデオ品質あるいは向上された圧縮を促進させるために適応的にフィルタ係数を定義しうる。フィルタ・ユニット４７は、所定の符号化ユニットの全てのビデオ・ブロックのために同じフィルタ係数が使用されるように、この符号化ユニットのためのフィルタ係数のセットを選択あるいは定義するか、あるいはいくつかの場合において、所定のビデオ・ブロックの異なるピクセルに、異なるフィルタを適用する。いくつかの場合において、フィルタ・ユニット４７は、フィルタ係数のいくつかのセットを適用し、最良品質のビデオを発生させるセットを選択しうる。

本開示によると、フィルタ・ユニット４７および予測ユニット５４は、集合的なやり方でフィルタリングを実行する。特に、フィルタ・ユニット４７を用いてフィルタリングを実行するのかどうかという決定と、そのようなフィルタリングのために、ループ内フィルタ３７とループ後フィルタ３９のどちらを適用するかという決定は、補間フィルタ４９が、動き補償中に適応補間フィルタを適応したかどうかに少なくとも部分的に依存しうる。このように、本開示の技術は、ビデオ品質を低下させるかもしれない、データのオーバ・フィルタリングを回避するのに役立ちうる。更に、この技術は、いくつかの場合において、ループ内フィルタリングによって引き起こされうるフィルタリング・アーティファクトの伝播を回避するのに役立ちうる。ビデオ・エンコーダ５０によって実行されうるフィルタリング決定の追加的な詳細が、更に詳細にわたって以下に説明される。

図３は、本明細書において説明される方式でエンコードされるビデオ・シーケンスをデコードする、ビデオ・デコーダ６０の実例を示すブロック図である。本開示のフィルタリング技術は、いくつかの実例において、ビデオ・デコーダ６０によって実行されうる。受信されたビデオ・シーケンスは、エンコードされた画像フレームのセット、フレーム・スライスのセット、普通に符号化されたピクチャのグループ（ＧＯＰ）、あるいは、エンコードされたビデオ・ブロックおよびこのようなビデオ・ブロックをどのようにデコードするかを定義するためのシンタックス情報を含む広範囲にわたるコーディングされたビデオ・ユニットを備えうる。

ビデオ・デコーダ６０は、エントロピー・デコード・ユニット５２を含み、エントロピー・デコード・ユニット５２は、図２のエントロピー・エンコード・ユニット４６によって実行されるエンコードの逆のデコード機能を実行する。特に、エントロピー・デコード・ユニット５２は、ＣＡＶＬＣもしくはＣＡＢＡＣデコード、あるいはビデオ・エンコーダ５０によって使用される任意のその他のタイプのエントロピー・デコードを実行しうる。１次元シリアル化フォーマットの、エントロピー・デコードされたビデオ・ブロックが、１又は複数の１次元ベクトル係数から、元の２次元ブロック・フォーマットに変換されうる。ベクトルの数およびサイズに加えて、ビデオ・ブロックのために定義されたスキャン順序もまた、２次元ブロックがどのように再構成されるかを定義しうる。エントロピー・デコードされた予測シンタックスは、エントロピー・デコード・ユニット５２から予測ユニット５４へ送られ、エントロピー・デコードされたフィルタ情報は、エントロピー・デコード・ユニット５２からフィルタ・ユニット５７へ送られうる。

ビデオ・デコーダ６０は更に、予測ユニット５４と、逆量子化ユニット５６と、逆変換ユニット５８と、メモリ６２と、サマー６４とを含みうる。更に、ビデオ・デコーダ６０は、サマー６４の出力をフィルタリングするフィルタ・ユニット５７も含む。本開示によると、フィルタ・ユニット５７は、エントロピー・デコードされたフィルタ情報を受信し、本開示に従ってループ内あるいはループ後フィルタリングを適用しうる。ビデオ・エンコーダ５０のように、ビデオ・デコーダ６０は、予測ユニット５４およびフィルタ・ユニット５７を含む。ビデオ・デコーダの予測ユニット５４は、補間フィルタ６９を含む動き補償要素を含み、これは、適応的に定義されたフィルタと、ことによると１又はいくつかの追加のフィルタとを示す。フィルタ・ユニット５７は、ループ後およびループ内フィルタリングの両方ともをサポートしうる。フィルタ・ユニット５７は、ループ後フィルタ６６およびループ内フィルタ６７を含むように図示されるが、これらの構成要素は、広い範囲にまでコンバインされることがある。

ビデオ・エンコーダ５０のように、ビデオ・デコーダ６０では、フィルタ５７および予測ユニット５４は、集合的なやり方でフィルタリングを実行する。特に、フィルタ・ユニット５７を用いてフィルタリングを実行するのかどうかという決定と、そのようなフィルタリングのために、ループ内フィルタ６７とループ後フィルタ６６のどちらを適用するかという決定は、補間フィルタ６９が、デコード処理の動き補償中に適応補間フィルタを適用したかどうかに少なくとも部分的に依存しうる。このように、本開示の技術は、ビデオ品質を向上させうる。

様々なビデオ圧縮技術および規格が、空間および時間予測を実行して、入力ビデオ信号のもつ冗長性を低減または取り除く。上記で説明されたように、入力ビデオ・ブロックは、空間予測（すなわち、イントラ予測）および／あるいは時間予測（すなわち、インター予測あるいは動き推定）を使用して予測される。本明細書において説明される予測ユニットは、所定の入力ビデオ・ブロックにとって望ましい予測モードを選択するために、モード決定モジュール（図示せず）を含みうる。モード選択は、ブロックがイントラ符号化されているのかインター符号化されているのか、イントラ符号化が使用されている場合は予測ブロックのサイズおよび予測モード、インター符号化が使用されている場合は動き分割サイズおよび使用される動きベクトル、といったような様々な要因を考慮しうる。予測ブロックが入力ビデオから減じられ、その後、上記で説明されたように変換および量子化が残差ビデオ・ブロックに適用される。量子化された係数は、モード情報と共にエントロピー符号化され、ビデオ・ビットストリームを形成する。量子化された係数は更に、逆量子化および逆変換を経て、再構成された残差ブロックを形成し、残差ブロックは、元の予測ビデオ・ブロック（選択されたコーディング・モードに依存して、イントラ予測されたブロックあるいは動き補償されたブロック）に加えられて、再構成されたビデオ・ブロックを形成する。ループ内あるいはループ後フィルタは、再構成されたビデオ信号における視覚的なアーティファクトを低減するために適用されうる。再構成されたビデオ・ブロックは最終的に、今後のビデオ・ブロックのコーディングの使用のために参照フレーム・バッファ（すなわち、メモリ）に格納される。

Ｈ．２６４／ＡＶＣでは、空間予測において指向性イントラ予測が使用されうる。４×４および８×８の輝度ビデオ・ブロックでは、９つの異なる予測モードが使用されうるが、１６×１６の輝度ブロックおよびクロミナンス・ブロックでは、４つの予測モードが使用されうる。時間予測では、ビデオ・オブジェクトの動き（movement）をトラッキングするために、動き推定が実行される。動き推定は、例えば、１６×１６、１６×８、８×１６、８×８あるいは、より小さなブロック・サイズのような、様々なサイズのブロックにおいてなされうる。動き推定の結果としてのオブジェクトの変位は、１／２または１／４ピクセル精度（あるいは任意のより高い精度）を有しうる。これによって、ビデオ・コーダは、整数ピクセル位置よりも高い精度で動きフィールドをトラッキングし、しばしば、より優れた予測ブロックを取得できるようになる。少数ピクセル値を有する動きベクトルが使用されると、本明細書において説明されたような補間動作が実行される。Ｈ．２６４／ＡＶＣ規格に従うこのような補間では、タップ係数［１ −５ ２０ ２０ −５ １］を有する６タップのウィーナー（Wiener）・フィルタと、双１次フィルタとが、動き補償補間のために使用されうる。

ＩＴＵ−Ｔ ＳＧ１６／Ｑ．６／ＶＣＥＧ（ビデオ符号化・エキスパート・グループ）委員会が、Ｈ．２６４／ＡＶＣよりも優れたコーディング効果を提供する符号化技術を現在調査している。このような調査は、ＫＴＡ（Key Technology Area）フォーラムおよびその他の場所においてなされる。ＫＴＡに採用されている符号化ツールの１つは、適応補間フィルタ（ＡＩＦ：adaptive interpolation filter）と呼ばれている。ＡＩＦは、現在のＨ．２６４／ＡＶＣフィルタリング技術に、特に高解像度（例えば、１０８０プログレッシブスキャン）のシーケンスに、符号化利得を提供する。いくつかのＡＩＦスキームにおいて、二次元（２Ｄ）不可分（non-separable）補間フィルタが、予測誤差エネルギーを実質的に最小限に抑えることによって、各ビデオ・フレームについて、解析的に計算されうる。これはエイリアシング効果、量子化および動き推定誤差、カメラ・ノイズ、あるいはオリジナルおよび参照ビデオ信号に含まれるその他の要因に対処するのに役立ちうる。いくつかの場合において、各フレームについて解析的に導出された適応フィルタ係数のセットはそれら自身、予測され、量子化され、符号化され、ビデオ・ビットストリームにおいて送られうる。

２次元（２Ｄ）不可分ＡＩＦ（ＮＳ−ＡＩＦ）に加えて、その他のＡＩＦスキームも、補間フィルタ係数または、ループ内あるいはループ後フィルタ係数を定義するために使用されうる。その他のタイプのＡＩＦスキームは、可分（separable）ＡＩＦ（Ｓ−ＡＩＦ）と、指向性（directional）ＡＩＦ（ＤＡＩＦ）と、強化（enhanced）ＡＩＦ（Ｅ−ＡＩＦ）とを含みうる。これらのＡＩＦスキームの全てが、同じ一般的な解析処理の後に続き、予測誤差エネルギーあるいは結果として生じる残差ビデオ・ブロックを実質的に最小限に抑えることによって、各フレームについてのフィルタ係数を適応的に導出しうる。これらの適応的に導出されたフィルタ係数は、予測され、量子化され、ビットストリームにおいて送られうる。

異なるＡＩＦスキーム間の違いは、異なるフィルタ構造の用途、例えば、フィルタが可分であるか不可分であるか、フルピクセル・フィルタが使用されるかどうか、任意のフィルタ・オフセットがサポートされるかどうか、あるいはその他の要因にある。更に、水平フィルタサポート、垂直フィルタサポート、対角フィルタサポート、放射フィルタサポートのような、異なるフィルタサポートも使用されうる。フィルタ係数を伝達するために必要とされるデータ量を低減するために、対称性も利用されうる。対称性があると、例えば、係数のセット［−Ｘ、−Ｙ、−Ｚ、Ｚ、Ｙ、Ｘ］が、対称性に基づいて、係数Ｘ、Ｙ、Ｚを送り、−Ｘ、−Ｙ、−Ｚを導出することによって伝達される。フィルタ係数は更に、例えば、既知のフィルタあるいは前にエンコードされたフィルタに基づいて、予測的にエンコードされうる。

使用されうる別のコーディング・ツールはブロックベース適応ループフィルタ（ＢＡＬＦ）である。再構成されたビデオ・ブロックを参照フレーム・ストアに格納する前に、ＢＡＬＦは（デブロッキング・フィルタの後に）適応ループ内フィルタを計算して適用する。ＢＡＬＦでは、ループ・フィルタ係数は、各フレーム（あるいは、その他の符号化ユニット）について適応的に計算され、ビットストリームにおいて送られうる。適応ループ・フィルタ（ＡＬＦ）が所定のビデオ・ブロックに適用されるか否かも、ビットストリームにおいてシグナルされる。本開示において説明されたフィルタ・ユニットは、ＢＡＬＦスタイル・フィルタリングを実行しうるが、ループ内とループ後のどちらかを選択しうる。デブロック・フィルタリングは更に、本明細書において説明されたフィルタ・ユニットの一部でありうる、あるいは、ＢＡＬＦスタイル・フィルタリングからは分離されている可能性がある。例えば、デブロッキング・フィルタは、ＢＡＬＦスタイルのループ内あるいはループ後フィルタリングの前に実行されうる。

本開示は、いくつかの場合において、ＡＩＦおよびＢＡＬＦの両方ともを実行するビデオ符号化に関する。ＡＩＦが使用される場合、動き補償ブロックが、固定補間フィルタよりも、適応補間フィルタを適用する。適応フィルタ係数は、この場合、ビットストリームに指定されている。上述されたように、ビデオが格納および／あるいは表示される前の、ビデオ・エンコーダあるいはビデオ・デコーダのデコード処理の最後のステップとしてのデブロッキング・フィルタの後に、ＢＡＬＦスタイルのフィルタが置かれる。このように、図２および図３に関して、フィルタ・ユニット３７、５７がＢＡＬＦスタイルのフィルタリングを実行する場合、フィルタ・ユニット３７、５７内に位置するデブロック・フィルタ（図示せず）が存在しうる。ＢＡＬＦは、より一般的な適応ループ・フィルタリングの例の１つであり、ここでは、ビットストリームにおけるビデオ・ブロックの一部あるいは全てに適応ループ・フィルタを適用するかどうかを示すために信号が送られる、適応ループ・フィルタは、本開示に従って、ループ内あるいはループの外に置かれうる。適応的ポストフィルタリング（ＡＰＦ：adaptive post filtering）は、フィルタ係数が適応的に定義されるループ後フィルタリングを示しうる。適応フィルタが符号化ループの外に置かれていると、フィルタされたフレームは表示のために使用されるのみであり、今後のビデオ・フレームのコーディングのための参照フレームとしては使用されない。いくつかの場合において、デコーダは、特に、所定のビデオ・シーケンスのデコードにおいて適応フィルタを適用するための計算サイクルを使い果たしている場合、適応フィルタを適用しないことを選択しうる。このように、本明細書において説明される偶然性に加えて、エンコーダあるいはデコーダは、所定の期間内にループ後フィルタリングを実行するのに十分な計算サイクルが存在しない場合、常にループ後フィルタリングを一時停止する。

ＡＩＦにおいて使用される適応フィルタは、ＡＬＦあるいはＡＰＦのために使用される適応フィルタに関連して、符号化の異なる段階に置かれる。特に、インター予測精度を向上させるために、ＡＩＦが動き補償の段階で適用されるが、再構成されたビデオ・ブロック内の量子化ノイズおよびコーディング・アーティファクトを低減するために、ＡＬＦあるいはＡＰＦは符号化処理の終わり近くに置かれる。適応フィルタリングでは、本開示は符号化効率の向上を達成するために、ＡＩＦと、ＡＬＦあるいはＡＰＦとについて、フィルタの組合せの決定を意図している。しかし、ＡＩＦとＡＬＦ／ＡＰＦとのシンプルな組合せは、ビデオ・フレームにおける多くのピクセルが、最初はＡＩＦによって、次にＡＬＦ／ＡＰＦによって、併せて２度フィルタリングされうることを意味している。この場合、このようなシステムの複雑性は、特にＡＬＦ／ＡＰＦが大きなフィルタを使用する場合、非常に高い。いくつかのＢＡＬＦスキームは、例えば、比較的大きな、不可分９×９フィルタを使用しうる。

いくつかの実例において、動き補償によってサポートされている、可能性のある各フル・ピクセルあるいはサブ・ピクセル位置では、適応フィルタがこの位置のために使用されるかどうかを示すために、フィルタ・フラグがビットストリームにおいて送られうる。１／２ピクセルおよび１／４ピクセル補間をサポートするシステムでは、例えば、１つの整数ピクセル位置、３つの１／２ピクセル位置、１２個の１／４ピクセル位置からなる、各整数ピクセルに関連付けられた、可能性のある１６のピクセル位置が存在しうる。所定のフル・ピクセルあるいはサブ・ピクセルｐ

の場合、ＡＩＦｆｌａｇ（ｐ）は、適応補間フィルタが位置ｐのために使用されるべきかを指定しうる。この場合において、ＡＩＦｆｌａｇ（ｐ）＝１の場合、適応フィルタは、ビットストリームにおいて送られ、位置ｐに対応する動きベクトルを有する予測ブロックを補間するために使用されうる。そうではなく、ＡＩＦｆｌａｇ（ｐ）＝０の場合、固定補間フィルタ（例えば、Ｈ．２６４において使用される６タップ・フィルタ）が代わりに使用されうる。

フル・ピクセル位置では、ＡＩＦｆｌａｇ（ＦＰ）が０である場合、動きベクトルがフル・ピクセル精度を有しているのであれば、フィルタリングは適用されない。代わりに、参照フレームから、動きベクトルによって識別された対応するロケーションで直接コピーすることよって、予測ブロックが取得されうる。いくつかのＡＩＦスキームにおいて、フル・ピクセル適応フィルタは使用されず、これらＡＩＦスキームについてＡＩＦｆｌａｇ（ＦＰ）の値は効率的に常に０に設定されうる。

特定のＡＩＦｆｌａｇ（ｐ）

が１に設定されている場合、位置ｐに対応する動きベクトルのために適応補間フィルタが使用されうる。これは、予測誤差エネルギーが、位置ｐに対応する動きベクトルを有するビデオ・ブロックのための動き補償段階の間、実質的に最小限に抑えられるということを意味する。これらのビデオ・ブロックでは、符号化フローの後の段階におけるＡＬＦあるいはＡＰＦの適用の重要性が低減する。しかし、ＡＩＦｆｌａｇ（ｐ）＝０の位置ｐに対応する動きベクトルを有する残りのインター符号化ビデオ・ブロックでは、符号化フローの後の段階におけるＡＬＦあるいはＡＰＦの適用は、符号化アーティファクトおよび／あるいは符号化ノイズを低減するのに役立ちうる。さらに、ＡＦＩはインター符号化ビデオ・ブロックにのみ適用可能であり、イントラ符号化ビデオ・ブロックには影響をほとんど、あるいは一切与えない。

イントラ符号化ビデオ・ブロックは、速いおよび／あるいは不規則な動きを含むビデオ・シーケンスにおけるビデオ・フレームの重要な部分を作り出しうる。更に、いわゆる階層的Ｂ予測構造が使用される場合のように、現在のフレームと参照フレームとの間の一時的距離が大きい場合、イントラ符号化ビデオ・ブロックは、ビデオ・シーケンスにおけるビデオ・フレームの重要な部分を作り出しうる（ここで、Ｂは２又それより多い参照フレームあるいはスライスに基づいて予測される「双方向」フレームあるいはスライスを示す）。イントラ符号化ビデオ・ブロックについて、ＡＬＦあるいはＡＰＦの適用が、符号化アーティファクトおよび符号化ノイズを低減するために望ましい。

本開示のいくつかの態様において、ＡＩＦとＡＬＦ／ＡＰＦとからなる比較的複雑性の低い組合せが提案される。いくつかの実例において、本開示は、ＡＩＦが適用されていないビデオ・ブロックにのみＡＬＦ／ＡＰＦが適用されうること提供する。この場合において、例えば、ＡＩＦが適用されていないビデオ・ブロックは、ＡＩＦｆｌａｇ（ｐ）が０である位置ｐに対応する動きベクトルを有するインター符号化ビデオ・ブロックを含み、更に、全てのイントラ符号化ビデオ・ブロックを含みうる。このような組合せは、フレームにおける各ピクセルが最大でも１回しかフィルタリングされないので、システムの複雑性を著しく低減しうるが、ＡＩＦとＡＬＦ／ＡＰＦとからなるより単純な組合せは、フレームにおける各ピクセルを最大２回までフィルタリングしうる。

図４は、本開示の実例に従って、適応ループ内フィルタリングと適応ループ後フィルタリングのどちらかを選択するための１つの技術を例示するフロー図である。この技術は、図１に図示されるビデオ・エンコーダ２２あるいはビデオ・デコーダ２８のような、ビデオ・コーダによって実行されうる。この場合において、スライスあるいはその他の符号化ユニットの各ビデオ・ブロックｎ（４０１）では、ビデオ・コーダが、ブロックｎがインター符号化されているかどうかを判定する（４０２）。インター符号化されているのではない場合（「いいえ」４０２）、ＡＬＦｆｌａｇ（ｎ）＝１が適用される。これは、そのブロックにＡＬＦ／ＡＰＦが適用されるだろうということを意味している（４０３）。インター符号化されている場合（「はい」４０２）、ビデオ・コーダは、ｐを、ブロックｎの動きに対応するピクセル位置（例えば、１６個の可能性のある整数あるいはサブ整数位置のうちの１つ）に設定する（４０４）。ビデオ・コーダはその後、ｐの設定位置について、ＡＩＦｆｌａｇ（ｐ）の値をチェックしうる（４０５）。ｐの設定位置について、ＡＩＦｆｌａｇ（ｐ）＝１の場合（「はい」４０５）、ＡＬＦｆｌａｇ（ｎ）＝０が適用される（４０６）。これは、そのブロックにＡＬＦ／ＡＰＦが適用されないということを意味する。しかし、設定位置ｐについて、ＡＩＦｆｌａｇ（ｐ）＝０の場合（「いいえ」４０５）、ＡＬＦｆｌａｇ（ｎ）＝１が適用される（４０７）。これは、そのブロックにＡＬＦ／ＡＰＦが適用されるということを意味する。

図５は、本開示の実例に従って、少なくとも１つの非ゼロの残差値を含むインター符号化ビデオ・ブロックの再構成のための１つの技術を例示するための技術を例示するフロー図である。この技術は、図１に図示されるビデオ・エンコーダ２２あるいはビデオ・デコーダ２８のような、ビデオ・コーダによって実行されうる。図５に図示されるように、スライスあるいはその他の符号化ユニットの各ビデオ・ブロックｎについて（５０１）、ブロックｎがインター符号化されているかどうかをビデオ・コーダが判定する（５０２）。インター符号化されているのではない場合（「いいえ」５０２）、ＡＬＦｆｌａｇ（ｎ）＝１が適用される。これは、そのブロックにＡＬＦ／ＡＰＦが適用されるということを意味する（５０３）。インター符号化されている場合（「はい」５０２）、ビデオ・コーダは、ｐを、ブロックｎの動きに対応する（例えば、１６個の可能性のある整数あるいはサブ整数位置のうちの１つのような）ピクセル位置に設定しうる（５０４）。ビデオ・コーダはその後、設定位置ｐについて、ＡＩＦｆｌａｇ（ｐ）の値をチェックしうる（５０５)。ｐの設定位置について、ＡＩＦｆｌａｇ（ｐ）＝０の場合（「いいえ」５０５）、ＡＬＦｆｌａｇ（ｎ）＝１が適用される（５０６）。これは、そのブロックにＡＬＦ／ＡＰＦが適用されるということを意味する。

図５の実例において、設定位置ｐについて、ＡＩＦｆｌａｇ（ｐ）＝１の場合（「はい」５０５）、ビデオ・コーダはビデオ・ブロックのピクセル・レベルへと進み、ブロックが任意の非ゼロの残差値を含んでいるかどうかを判定する（５０７）。この場合において、ブロックが非ゼロの残差値を含んでいる場合（「はい」５０７）、ＡＬＦｆｌａｇ（ｎ）＝１が適用される（５０８）。これは、そのブロックにＡＬＦ／ＡＰＦが適用されるということを意味する。しかし、ブロックが非ゼロの残差値を含んでいない場合（「いいえ」５０７）、ＡＬＦｆｌａｇ（ｎ）＝０が適用される（５０９）。これは、そのブロックにＡＬＦ／ＡＰＦが適用されないということを意味する。図５の決定処理は、図４の処理に関連して、ＡｐｐｌｙＡＬＦｆｌａｇ＝１を有する、より大きな数のビデオ・ブロックを結果として生じうる。更に平均で１より多い回数フィルタリングされる各ピクセルを結果として生じうるが、図５の処理を使用するピクセル毎のフィルタリング動作の平均数は、ＡＩＦとＡＬＦ／ＡＰＦとからなる、より単純な組合せが適用される場合に要求されるフィルタ動作の数よりも依然として少ないだろう。

図６は、本開示の実例に従って、少なくとも１つの非ゼロの残差値を含むインター符号化ビデオ・ブロックの再構成のための１つの技術のための技術を例示するブロック図である。図５の決定処理を使用することによる１つの利益は、逆量子化ユニット６０１と、逆変換ユニット６０２と、動き補償ユニット６０３と、加算器６０４とを含む、図６に図示されブロック・ベースのビデオ・デコード要素から認識されうる。これらの構成要素は、図２および図３に図示されたビデオ・エンコーダ５０あるいはビデオ・デコーダ６０の構成要素にそれぞれ対応しうる。図６に図示されたように、ＡＩＦフィルタの使用による動き補償中に動き予測誤差エネルギーが最小限に抑えられていたとしても、非ゼロの残差を加えた後、再構成されたブロックは特定のレベルの符号化ノイズを依然として含みうる。この場合、ＡＩＦが適用されていたとしても、依然として、後の符号化段階においてＡＬＦあるいはＡＰＦを適用することが有益でありうる。

ＢＡＬＦを用いると、ビデオ・フレームあるいはスライスは、様々なサイズのブロックに分割され、これは、ＢＡＬＦブロックと称される。このようなＢＡＬＦブロックは、８×８、１６×１６、３２×３２、６４×６４、あるいはその他のサイズのような様々なサイズを有しうる。ＢＡＬＦブロックのサイズは、エンコードされたＢＡＬＦパラメータのセットの一部として、ビットストリームにおいてシグナルされ、これは、フィルタリングのシンタックス情報の一部である。各ＢＡＬＦブロックでは、ＡＬＦが適用されるかどうかを示すために、１ビット・フラグａｌｆ＿ｂｌｋ＿ｆｌａｇが送られうる。ａｌｆ＿ｂｌｋ＿ｆｌａｇが１の場合、ＢＡＬＦブロックにおける全てのピクセルは、適応ループ・フィルタを使用してフィルタリングされうる。さもなければ、ａｌｆ＿ｂｌｋ＿ｆｌａｇ＝０の場合、ＢＡＬＦブロックにおけるピクセルはフィルタリングされない。いくつかの実例において、ＢＡＬＦパラメータは、適応フィルタ係数、符号化ユニット内の全てのＢＡＬＦブロックについてのＢＡＬＦブロック・サイズおよびａｌｆ＿ｂｌｋ＿ｆｌａｇを含みうる。更に、図７に図示されたように、このようなＢＡＬＦパラメータは、符号化ユニットのためのヘッダ要素７０１よりも、フッター要素７０５に位置しうる。

ＢＡＬＦパラメータをヘッダ要素に位置付けることによって、以下の問題が生じうる。

１．ＢＡＬＦパラメータをヘッダ要素に位置付けることによって、ＢＡＬＦパラメータの導出がより困難になりうる。この場合、ビデオ・スライス全体の符号化が済むまで、ＢＡＬＦパラメータは導出されない。従って、ＢＡＬＦパラメータが導出された後、（エントロピー・エンコーダの一部である）ビットストリーム・ハンドラ（handler）は、スライス・ヘッダとスライス・データとの間のスライス・ビットストリームに、ＢＡＬＦパラメータを挿入する必要がある。これは、スライス全体のコーディングおよび処理が終了した後、エンコーダはスライス・ビットストリームを送ることしかできないということを意味する。これは、エンコーダにおけるバッファリング要件および追加遅延を発生させうる。

２．ＢＡＬＦパラメータがヘッダ要素に位置する場合、これは、デコーダに、スライス・データを受信する前に、ＢＡＬＦパラメータを受信することを要求する。しかし、ビデオ・スライス全体がデコードされるまで、ＢＡＬＦパラメータはデコーダによって使用されないだろう。したがって、これはデコーダにおける追加のバッファリング要件を発生させうる。

ヘッダ要素よりもフッター要素にＢＡＬＦパラメータを位置付けることによって、いくつかの場合において、これらの問題は回避されうる。

図７は、本開示の１又は複数の実例にしたがって、フィルタ情報を伝達するためのビデオ・ユニットのデータ構成７００を例示する概念図である。図７のデータ構成７００において、変形されたスライス・ビットストリーム構造が図示される。ここにおいて、ＢＡＬＦパラメータは、例えば、スライスの末端部（end)のような、フッター要素７０５内に置かれる。言い換えると、（ＢＡＬＦ係数７０３と、ＢＡＬＦブロック・サイズと、フラグ７０４とのような）ＢＡＬＦパラメータは、スライス・ヘッダ７０１とエンコードされた係数を含むスライス・データ７０２との後ろに位置しうる。このようなパラメータは、ビデオ・ブロックのスライス全体がエンコードあるいはデコードされるまで使用されないので、これはＢＡＬＦパラメータ（あるいは、任意のＡＬＦ又はＡＰＦのパラメータ）にとって、より便利なロケーションである。図７において、スライス・ヘッダ７０１は、ＢＡＬＦパラメータが現在のスライス内に存在するかどうかを示す１ビット・フラグを含みうる。このフラグが０の場合、ＢＡＬＦパラメータはビットストリームに含まれておらず、そのスライスについてのＡＬＦ処理は回避されうる。

図７に図示されるように、データ構成７００を使用することに対する追加の利益が更に存在しうる。ＡＩＦとＡＬＦ／ＡＰＦとから成る複雑性の低い組合せが使用される場合、上記に説明された決定処理に従って、ＢＡＬＦブロックのうちのいくつかが、ＡｐｐｌｙＡＬＦｆｌａｇが０に設定されたビデオ・ブロックのみを含みうる。これらのビデオ・ブロックについては、（ＡＬＦはこのようなブロックには適用されないので）ａｌｆ＿ｂｌｋ＿ｆｌａｇを送る必要はない。スライス・ヘッダにではなく、スライスの末端部にＢＡＬＦパラメータを置くことによって、デコーダは、スライス・データをデコードすると共に、例えば、図４および図５の決定処理を使用して、全てのビデオ・ブロックのためのＡｐｐｌｙＡＬＦｆｌａｇの値を決定しうる。このようにして、デコーダは、所定のＢＡＬＦブロックについて、ａｌｆ＿ｂｌｋ＿ｆｌａｇをデコードする必要があるかどうかを知ることができ、これによって、ａｌｆ＿ｂｌｋ＿ｆｌａｇを送ることに関連付けられたビット・オーバヘッドが低減されうるので、向上されたエントロピー符号化がもたらされうる。

上記で要点が述べられたように、本開示の技術はＡＩＦとＡＬＦ／ＡＰＦとから成る複雑性の低い組合せを提供しうる。いくつかの場合において、ビデオ・コーダにおける２つの適用フィルタの存在を用いて、各ピクセルが最大でも１回しかフィルタリングされないが、いくつかの実例においては、特定の場合に、追加のフィルタリングが可能になりうる。各ビデオ・ブロックについて、ＡＩＦが適用されると、ＡＬＦ／ＡＰＦは回避されうる。この場合、各ピクセルを最大２回までフィルタリングしうる２つのコーディング・ツール（ＡＩＦおよびＡＬＦ／ＡＰＦ）からなる単純な組合せと比較して、提案された複雑性の低い組合せは、任意の所定のビデオ・ブロックに適用されたフィルタリングの量を制限することによって、システムの複雑性を著しく低減しうる。

いくつかの実例において、ＡＬＦ／ＡＰＦをブロックに適用するかどうかを決定すると、ビデオ・コーダは、所定のビデオ・ブロックについての非ゼロの残差情報が存在するかを検討しうる。特に、非ゼロの残差情報が存在する場合、ＡＩＦがブロックに既に適用されていたとしても、ＡＬＦが適用されうる。この場合では、ビデオ・コーダが、非ゼロの残差ブロックを加えることに起因する追加の符号化ノイズを最小限に抑えることが可能になり、もって、ビデオ品質が向上されうる。しかし、この代替例は、スライス内のピクセルが平均で１回より多い回数フィルタリングされるにつれて、計算複雑性の増大をいくらか招きうるが、ＡＩＦが適用されたかどうか、および、データがゼロ残差情報を備えるか非ゼロ残差情報を備えているかに関わらず単純に全てのブロックに対してＡＬＦ／ＡＰＦを適用するＡＩＦとＡＬＦ／ＡＰＦとからなる組合せよりも、フィルタリング動作の平均数は依然として少ない。

図７のデータ構成７０は、ＢＡＬＦを伴ったＡＩＦを伝達するやり方を提供しうる。説明されたように、図７のデータ構成７０は、ＢＡＬＦパラメータを、スライス・ヘッダとスライス・データとの間に挿入するよりも、符号化ユニットのためのビットストリームの末端部に置く。これは、追加のバッファリング要件を低減し、ＢＡＬＦにおけるシンタックス要素（例えば、ａｌｆ＿ｂｌｋ＿ｆｌａｇシンタックス要素）の、より効果的なエントロピー符号化を可能にする。ビデオ・スライスのエンコード／デコード中に、このスライスにおける全てのビデオ・ブロックについての要素「ＡｐｐｌｙＡＬＦｆｌａｇ」の値が決定されうる。図７の実例によると、ＢＡＬＦパラメータがエンコードあるいはデコードされる場合、ＡｐｐｌｙＡＬＦｆｌａｇ＝０を有するビデオ・ブロックのみを含むこれらのＢＡＬＦブロックについてのａｌｆ＿ｂｌｋ＿ｆｌａｇシンタックス要素は送られる必要がない。代わりに、このようなＢＡＬＦブロックについてのａｌｆ＿ｂｌｋ＿ｆｌａｇの値は、０になると推定される。このように、ａｌｆ＿ｂｌｋ＿ｆｌａｇに関連付けられたビット・オーバヘッドは低減されうる。

図８は、本開示の１又は複数の実例に従って、ビデオ符号化処理の間、ビデオ・ユニットの１又は複数のビデオ・ブロックをフィルタリングするための技術を例示するフロー図である。図８は、ビデオ・デコーダ６０の観点から説明されるが、類似の技術もビデオ・エンコーダ５０によって適用されうる。図８に図示されたように、ビデオ・データ６０のフィルタ・ユニット５７は、ビデオ・ブロックがインター符号化されているのか、イントラ符号化されているのかを判定する（８０１）。例えば、予測ユニット５４は、フィルタ・ユニット５７がこの判定を行えるように、情報をフィルタ・ユニット５７に伝達する。フィルタ・ユニット５７はその後、ビデオ・ブロックがイントラ符号化されている場合は、このビデオ・ブロックにループ後フィルタあるいはループ内フィルタを適用する（８０２）。ビデオ・ブロックがインター符号化されている場合は、フィルタ・ユニット５７は、ビデオ・ブロックに関して、適応補間フィルタが動き補償処理の間に適用されたかどうかを判定する（８０３）。デコーダ６０が判定（８０３）を行えるようにするために、本明細書において説明されたような適応補間フィルタ・フラグがビットストリームに含まれうる。

フィルタ・ユニット５７はその後、適応補間フィルタが適用されたかどうかに少なくとも部分的に基づいて、ビデオ・ブロックにループ後フィルタとループ内フィルタのどちらを適用するかを決定しうる。例えば、図８に図示されたように、ビデオ・ブロックがインター符号化されているが、適応補間フィルタは動き補償処理中に適用されなかった場合（８０３の「いいえ」）、フィルタ・ユニット５７は、ループ後フィルタあるいはループ内フィルタを、ビデオ・ブロックに適用する（８０２）。しかし、ビデオ・ブロックがインター符号化されており、適応補間フィルタが動き補償処理中に適用された場合（８０３の「はい」）、フィルタ・ユニット５７は、ビデオ・ブロックに対するループ後およびループ内フィルタリングを回避する（８０４）。いくつかの場合において、図８の実例では、適応補間フィルタリングと、ループ後フィルタリングと、ループ内フィルタリングとのセットのうち、１タイプのフィルタリングのみが任意の所定のビデオ・ブロックに関して適用される。

図９は、本開示の１又は複数の実例に従って、ビデオ符号化処理中にビデオ・ユニットの１又は複数のビデオ・ブロックをフィルタリングするための技術を例示する別のフロー図である。図９は、ビデオ・エンコーダ６０の観点から説明されるが、類似の技術もビデオ・エンコーダ５０によって適用されうる。図９に図示されたように、ビデオ・デコーダ６０のフィルタ・ユニット５７は、ビデオ・ブロックがインター符号化されているのか、イントラ符号化されているのかを判定する（９０１)。例えば、予測ユニット５４は、フィルタ・ユニット５７がこの判定を行えるように、情報をフィルタ・ユニット５７に伝達しうる。ビデオ・ブロックが、イントラ符号化されている場合（「イントラ」９０１）、フィルタ・ユニット５７は、ゼロ値の残差値を有するピクセル値にループ後フィルタ６６を適用し（９０２）、非ゼロの残差値を有するピクセル値にループ内フィルタ６８を適用する（９０３)。このようにして、フィルタ・ユニット５７は、このようなピクセルが非ゼロの残差値によって定義されているかどうかに基づいて、ループ後フィルタ６６とループ内フィルタ６８のどちらを適用するかについて、ピクセル・レベルの決定を行う。

図９の処理において、ビデオ・ブロックがインター符号化されている場合（「ＩＮＴＥＲ」９０１）、フィルタ・ユニット５７は、ビデオ・ブロックに関して、動き補償処理中に適応補間フィルタが適用されたかどうかを判定する（９０３）。フィルタ・ユニット５７は、その後、適応補間フィルタが適用されたかどうかに少なくとも部分的に基づいて、ビデオ・ブロックにループ後フィルタとループ内フィルタのどちらを適用するかを決定する。例えば、図９に図示されたように、フィルタ・ユニット５７が、適応補間フィルタが動き補償処理中に適用されなかったと判定した場合（９０３の「いいえ」）、フィルタ・ユニット５７は、ゼロ値の残差値を有するピクセル値にループ後フィルタ６６を適用し（９０２)、非ゼロの残差値を有するピクセル値にループ内フィルタ６８を適用する（９０３）。その一方で、ビデオ・ブロックがインター符号化されていて、適応補間フィルタが動き補償処理中に適用された場合（９０４の「はい」）、フィルタ・ユニット５７はビデオ・ブロックに対するループ後およびループ内フィルタリングを回避する（９０５）。

図１０は、本開示の１又は複数の実例に従って、ビデオ符号化処理中にビデオ・ユニットの１又は複数のビデオ・ブロックをフィルタリングする技術を例示する別のフロー図である。図１０は、ビデオ・デコーダ６０の観点からも説明されるが、類似の技術もビデオ・エンコーダ５０によって適用されうる。図１０に図示されるように、ビデオ・デコーダ６０のフィルタ・ユニット５７は、ビデオ・ブロックがインター符号化されているのか、イントラ符号化されているのかを判定する（１００１）。更に、予測ユニット５４は、フィルタ・ユニット５７がこの判定を行えるように、情報をフィルタ・ユニット５７に伝達しうる。ビデオ・ブロックがイントラ符号化されている場合（「イントラ」１００１）、フィルタ・ユニット５７はループ後フィルタかループ内フィルタをビデオ・ブロックに適用する（１００２)。ビデオ・ブロックがインター符号化されている場合（１００１）、フィルタ・ユニット５７はビデオ・ブロックに関して、動き補償処理中に適応補間フィルタが適用されたかどうかを判定する（１００３）。フィルタ・ユニット５７はその後、適応補間フィルタが適用されたかどうかに少なくとも部分的に基づいて、ビデオ・ブロックにループ後フィルタとループ内フィルタのどちらを適用するかを決定しうる。例えば、図１０に図示されたように、ビデオ・ブロックがインター符号化されているが、適応補間フィルタが動き補償処理中に適用されなかった場合（１００３の「いいえ」）、フィルタ・ユニット５７はビデオ・ブロックにループ後フィルタあるいはループ内フィルタを適用する（１００２）。

図１０の技術において、動き補償処理中に、適応補間フィルタがインター符号化されたビデオ・ブロックに適用された場合（１００３の「はい」）、フィルタ・ユニット５７は更に別の判定を行いうる。具体的には、フィルタ・ユニット５７は残差ブロックが非ゼロの残差値を有しているかどうかを判定する（１００４）。もうし有していれば（「はい」１００４）、フィルタ・ユニット５７は依然としてビデオ・ブロックにループ後フィルタあるいはループ内フィルタを適用し（１００２)、おそらくは非ゼロの残差値のみをフィルタリングするか、あるいは、おそらくはループ後フィルタ６６で非ゼロの残差値をフィルタリングしてループ内フィルタ６７でゼロ値の残差値をフィルタリングする。しかし、実例において、フィルタ・ユニット５７が、残差ブロックがいかなる非ゼロの残差値も有していないと判定すると（「いいえ」１００４）、フィルタ・ユニット５７はループ後フィルタリングおよびループ内フィルタリングを回避しうる（１００５）。

図１１はビットストリームにおけるデータに基づいて、ループ後フィルタ６６とループ内フィルタ６７のどちらかを選択するために、ビデオ・デコーダ６０によって実行されうる技術を例示するフロー図である。言い換えると、図１１の技術は、ループ後フィルタ６６とループ内フィルタ６７のどちらかを決めるような選択を容易にするために、ビットストリームにおけるシンタックス情報をフィルタリングすることを必要としない。

図１１に図示されるように、ビデオ・デコーダ６０は、予測ビデオ・デコード技術を用いて、ビデオ・デコーダによって再構成される残差ビデオ・ブロックを含むビデオ・データを受信する（１１０１）。この場合において、本明細書において説明されるようなビデオ・ブロックの再構成の後に続いて、フィルタ・ユニット５７が、残差ビデオ・ブロックにおける残差値ゼロによって定義される再構成されたビデオ・ブロックのピクセルに、ループ後フィルタ６６を適用する（１１０２）。フィルタ・ユニット６７は、残差ビデオ・ブロックのゼロ値の残差値によって定義される再構成されたビデオ・ブロックのピクセルに、ループ内フィルタリングを適用する（１１０３)。更に、図１１の技術は、ループ後フィルタ６６とループ内フィルタ６７のどちらかを決めるような選択を容易にするために、ビットストリームにおけるシンタックス情報をフィルタリングすることを必要としない。

説明されたように、本開示の様々な技術が、ビデオ・エンコーダによって、あるいはビデオ・デコーダによって実行されうる。この技術は、ビデオ・エンコード処理中に実行された場合、ループ後フィルタとループ内フィルタのどちらが符号化ユニットのビデオ・ブロックの各々に適用されるべきかどうかを示すために、シンタックス要素をビデオ・ユニットのためのエンコードされたビットストリームにエンコードすることを更に備える。上記で要点が述べられたように、この場合において、シンタックス要素を、ビデオ・ユニットのためのエンコードされたビットストリームにエンコードすることは、シンタックス要素を、ビデオ・ユニットのための係数の後に続くフッター要素にエンコードすることを備えうる。

いくつかの実例において、ループ後フィルタあるいはループ内フィルタを適用することは、ループ後フィルタとループ内フィルタのどちらかを選択することを含みうる。しかし、その他の実例において、ループ後フィルタあるいはループ内フィルタを適用することは、ブロック、あるいは、そのブロックの特定のピクセルが非ゼロの残差値によって定義されているかどうかといったような、その他の要因に依存しうる。いくつかの場合において、ループ後フィルタはゼロ値の残差値に関連付けられたビデオ・ブロックのピクセルに適用され、ループ内フィルタは非ゼロの残差値に関連付けられたビデオ・ブロックのピクセルに適用される。（図１１に図示されたような）この概念は、それ自体のみで利点を提供することが可能であり、本明細書において説明されたその他の技術のものとは無関係に使用されうる。

本技術は、ビデオ・デコード処理中に実行される場合に、ビデオ・ユニットのために受信されたビットストリームからのシンタックス要素をデコードすることも備え、シンタックス要素は、ループ後フィルタとループ内フィルタのどちらが、符号化ユニットのビデオ・ブロックの少なくともいくつかに適用されるべきかを示す。しかし、上記で説明されたように、図１１の実例では、このようなシンタックス要素は、ビットストリームから取り除かれうる。シンタックス要素がビットストリームに含まれている場合、シンタックス要素は、本明細書において説明されたようなビデオ・ユニットのための係数の後に続くフッター要素に位置しうる。

本開示の技術は、無線ハンドセットと、集積回路（ＩＣ）あるいはＩＣのセット（すなわち、チップ・セット）を含む広範囲のデバイスあるいは装置において実現されうる。任意の構成要素、モジュール、あるいはユニットは、機能面を重要視するように説明され、異なるハードウェア・ユニットによる実現を必ずしも必要としない。

従って、本明細書において説明された技術は、ハードウェア、ソフトウェア、ファームウェア、あるいはそれら任意の組合せにおいて実施されうる。モジュールあるいは構成要素として説明された任意の特徴は、集積ロジック・デバイス内で共に実施されるか、あるいは離散的だが相互運用可能なロジック・デバイスとして個別に実施されうる。ソフトウェアにおいて実施される場合、この技術は、実行されると上記で説明された方法の１又は複数を実行する命令群を備えるコンピュータ読取可能媒体によって少なくとも部分的に実現されうる。コンピュータ読取可能データ記憶媒体は、パッケージ・マテリアルを含みうるコンピュータ・プログラム製品の一部を形成しうる。

コンピュータ読取可能媒体は、同期型ダイナミック・ランダム・アクセス・メモリ（ＳＤＲＡＭ）のようなランダム・アクセス・メモリ（ＲＡＭ）と、読取専用メモリ（ＲＯＭ）と、非揮発性ランダム・アクセス・メモリ（ＮＶＲＡＭ）と、電子的消去可能プログラム可能読取専用メモリ（ＥＥＰＲＯＭ）と、フラッシュ・メモリと、磁気あるいは光学データ記憶媒体などを備えうる。更に、あるいは代替的に、この技術は、少なくとも部分的に、命令群あるいはデータ構成の形態でコードを搬送あるいは伝達し、コンピュータによってアクセス、読み取り、および／あるいは実行されうるコンピュータ読取可能通信媒体によって実現される。

この命令群は、１又は複数のデジタル信号プロセッサ（ＤＳＰ）、汎用マイクロプロセッサ、アプリケーション特有集積回路（ＡＳＩＣ）、フィールド・プログラム可能ロジック・アレイ（ＦＰＧＡ）、あるいはそれらに相当するその他の集積あるいは離散ロジック回路のような１又は複数のプロセッサによって実行されうる。従って、本明細書において使用されるような用語「プロセッサ」は、前述された構造の任意のもの、あるいは本明細書において説明された技術の実施に適したその他任意の構造を称しうる。更に、いくつかの態様において、本明細書において説明された機能は、エンコードおよびデコードするように構成された、あるいは複合ビデオ・エンコーダ・デコーダ（ＣＯＤＥＣ）に組み込まれた、専用ソフトウェア・モジュールあるいはハードウェア・モジュール内において提供されうる。更に、この技術は、１又は複数の回路あるいはロジック要素において完全に実現されうる。

本開示の様々な態様が説明された。これらの態様とその他の態様とは、以下の請求項の範囲内に含まれる。
以下に、本願出願当初の特許請求の範囲に記載された発明を付記する。
［１］ ビデオ符号化処理中にビデオ・ユニットの１又は複数のビデオ・ブロックをフィルタリングする方法であって、
ビデオ・ブロックはインター符号化されているか、イントラ符号化されているかを判定することと、
前記ビデオ・ブロックがイントラ符号化されている場合は、前記ビデオ・ブロックにループ後フィルタあるいはループ内フィルタを適用することと、
前記ビデオ・ブロックがインター符号化されている場合は、前記ビデオ・ブロックに関して、動き補償処理中に適応補間フィルタが適用されたかどうかを判定することと、
前記ビデオ・ブロックがインター符号化されている場合は、前記適応補間フィルタが適用されたかどうかに少なくとも部分的に基づいて、前記ビデオ・ブロックに前記ポスト後フィルタあるいは前記ポスト内フィルタが適用されるかどうかを決定することと、
を備える方法。
［２］ 前記ビデオ・ユニットのビデオ・ブロックの各々に、前記適応補間フィルタと、前記ループ後フィルタと、前記ループ内フィルタとのうちの１つだけを適用することを更に備える上記［１］記載の方法。
［３］ 前記ビデオ・ブロックに関して、前記適応補間フィルタが前記動き補償処理中に適用されなかった場合にのみ、前記ビデオ・ブロックに前記ループ後フィルタあるいは前記ループ内フィルタを適用することを更に備える上記［１］記載の方法。
［４］ 前記ビデオ・ブロックがインター符号化されている場合、前記ビデオ・ブロックが、少なくともいくつかの非ゼロの残差値を含む残差ブロックと予測ブロックとから形成されているとき、前記ビデオ・ブロックに前記ループ後フィルタあるいは前記ループ内フィルタを適用することと、
前記ビデオ・ブロックがインター符号化されている場合、前記ビデオ・ブロックが、非ゼロの残差値を含まない残差ブロックと予測ブロックとから形成されているとき、前記ビデオ・ブロックに対する前記ループ後フィルタあるいは前記ループ内フィルタの適用をスキップすることと、
を更に備える上記［１］記載の方法。
［５］ 前記方法はビデオ・エンコード処理中に実行され、
前記方法は、さらに、
前記ループ後フィルタと前記ループ内フィルタのどちらが前記符号化ユニットのビデオ・ブロックの各々に適用されるべきかを示すために、シンタックス要素を、前記ビデオ・ユニットのためのエンコードされたビットストリームにエンコードすることを備える上記［１］記載の方法。
［６］ 前記シンタックス要素をビデオ・ユニットのためのエンコードされたビットストリームにエンコードすることは、前記シンタックス要素を前記ビデオ・ユニットのための係数の後に続くフッター要素にエンコードすることを備える上記［５］記載の方法。
［７］ 前記ループ後フィルタあるいは前記ループ内フィルタを適用することは、前記ループ後フィルタと前記ループ内フィルタのどちらかを選択することを含む上記［１］記載の方法。
［８］ ゼロ値の残差値に関連付けられた前記ビデオ・ブロックのピクセルに前記ループ後フィルタを適用することと、
非ゼロの残差値に関連付けられた前記ビデオ・ブロックのピクセルに前記ループ内フィルタを適用することと、
を更に備える上記［７］記載の方法。
［９］ 前記方法はビデオ・デコード処理中に実行され、
前記方法は、さらに、
前記ビデオ・ユニットのために受信されたビットストリームからシンタックス要素をデコードすることを備え、前記シンタックス要素は、前記ループ後フィルタと前記ループ内フィルタのどちらが前記符号化ユニットのビデオ・ブロックの少なくともいくつかに適用されるべきかを示す、
上記［１］記載の方法。
［１０］ 前記シンタックス要素は、前記ビデオ・ユニットについての係数の後に続くフッター要素に位置する上記［９］記載の方法。
［１１］ ビデオ符号化処理中にビデオ・ユニットの１又は複数のビデオ・ブロックをフィルタリングするビデオ・コーダ装置であって、
適応補間フィルタと、
ループ後フィルタと、
ループ内フィルタと、
を備え、前記装置は、
ビデオ・ブロックがインター符号化されているか、イントラ符号化されているかを判定し、
前記ビデオ・ブロックがイントラ符号化されている場合、前記ビデオ・ブロックに前記ループ後フィルタあるいは前記ループ内フィルタを適用し、
前記ビデオ・ブロックがインター符号化されている場合、前記ビデオ・ブロックに関して、動き補償処理中に前記適応補間フィルタが適用されたかどうかを判定し、
前記ビデオ・ブロックがインター符号化されている場合、前記適応補間フィルタが適用されたかどうかに少なくとも部分的に基づいて、前記ビデオ・ブロックに前記ループ後フィルタと前記ループ内フィルタのどちらを適用するかを決定する、
ビデオ・コーダ装置。
［１２］ 前記ビデオ・コーダ装置は、前記ビデオ・ユニットのビデオ・ブロックの各々に、前記適応補間フィルタと、前記ループ後フィルタと、前記ループ内フィルタのうちの１つだけを適用する、上記［１１］記載のビデオ・コーダ装置。
［１３］ 前記ビデオ・コーダ装置は、前記ビデオ・ブロックに関して、動き補償処理中に前記適応補間フィルタが適用されなかった場合にのみ、前記ビデオ・ブロックに前記ループ後フィルタあるいは前記ループ内フィルタを適用する［１１］記載のビデオ・コーダ装置。
［１４］ 前記ビデオ・ブロックがインター符号化されている場合、前記ビデオ・ブロックが少なくともいくつかの非ゼロの残差値を含む残差ブロックと予測ブロックとから形成されているとき、前記ビデオ・ブロックに前記ループ後フィルタあるいは前記ループ内フィルタを適用し、
前記ビデオ・ブロックがインター符号化されている場合、前記ビデオ・ブロックが非ゼロの残差値を含まない残差ブロックと予測ブロックとから形成されているとき、前記ビデオ・ブロックに対する前記ループ後フィルタあるいは前記ループ内フィルタの適用をスキップする、
上記［１１］記載のビデオ・コーダ装置。
［１５］ 前記ビデオ・コーダ装置は、ビデオ・エンコーダを備え、
前記ビデオ・コーダ装置は、前記ループ後フィルタと前記ループ内フィルタのどちらが、前記符号化ユニットのビデオ・ブロックの各々に適用されるべきかを示すために、シンタックス要素を前記ビデオ・ユニットのためのエンコードされたビットストリームにエンコードする、
上記［１１］記載のビデオ・コーダ装置。
［１６］ 前記ビデオ・コーダ装置は、前記シンタックス要素を、前記ビデオ・ユニットについての係数の後に続くフッター要素にエンコードする上記［１５］記載のビデオ・コーダ装置。
［１７］ 前記ループ後フィルタあるいは前記ループ内フィルタを適用する際に、前記ビデオ・コーダ装置は、前記ループ後フィルタと前記ループ内フィルタのどちらかを選択する上記［１１］記載のビデオ・コーダ装置。
［１８］ ゼロ値の残差値に関連付けられた前記ビデオ・ブロックのピクセルにループ後フィルタを適用し、
非ゼロの残差値に関連付けられた前記ビデオ・ブロックのピクセルに前記ループ内フィルタを適用する、
上記［１７］記載のビデオ・コーダ装置。
［１９］ 前記ビデオ・コーダ装置は、ビデオ・デコーダを備え、
前記ビデオ・コーダ装置は、
前記ビデオ・ユニットのために受信されたビットストリームからシンタックス要素をデコードし、前記シンタックス要素は、前記ループ後フィルタと前記ループ内フィルタのどちらが前記符号化ユニットのビデオ・ユニットの少なくともいくつかに適用されるべきかを示す、
上記［１１］記載のビデオ・コーダ装置。
［２０］ 前記シンタックス要素は、前記ビデオ・ユニットのための係数の後に続くフッター要素に位置する上記［１９］記載のビデオ・コーダ装置。
［２１］ 前記装置は、
集積回路と、
マイクロプロセッサと、
ビデオ・エンコーダを含む無線通信デバイスと、
ビデオ・デコーダを含む無線通信デバイスと
のうちの少なくとも１つを備える、上記［１１］記載のビデオ・コーダ装置。
［２２］ ビデオ符号化処理中にビデオ・ユニットの１又は複数のビデオ・ブロックをフィルタリングするデバイスであって、
ビデオ・ブロックがインター符号化されているのか、イントラ符号化されているのかを判定する手段と、
前記ビデオ・ブロックがイントラ符号化されている場合は、前記ビデオ・ブロックにループ後フィルタあるいはループ内フィルタを適用する手段と、
前記ブロックがインター符号化されている場合は、前記ビデオ・ブロックに関して、動き補償処理中に適応補間フィルタが適用されたかどうかを判定する手段と、
前記ビデオ・ブロックがインター符号化されている場合、前記適応補間フィルタが適応されたどうかに少なくとも部分的に基づいて、前記ビデオ・ブロックに前記ループ後フィルタと前記ループ内フィルタのどちらを適用するかを決定する手段と、
を備えるデバイス。
［２３］ 前記適応補間フィルタと、前記ループ後フィルタと、前記ループ内フィルタとのうちの１つのだけを、前記ビデオ・ユニットのビデオ・ブロックの各々に適用する手段を更に備える上記［２２］記載のデバイス。
［２４］ 前記ビデオ・ブロックに関して、前記動き補償処理中に前記適応補間フィルタが適用されなかった場合にのみ、前記ループ後フィルタあるは前記ループ内フィルタを前記ビデオ・ブロックに適用する手段を更に備える上記［２２］記載のデバイス。
［２５］ 前記ビデオ・ブロックがインター符号化されている場合、前記ビデオ・ブロックが、少なくともいくつかの非ゼロの残差値を含む残差ブロックと予測ブロックとから形成されているとき、前記ループ後フィルタあるいは前記ループ内フィルタを前記ビデオ・ブロックに適用する手段と、
前記ビデオ・ブロックがインター符号化されている場合、前記ビデオ・ブロックが、非ゼロの残差値を含まない残差ブロックと予測ブロックとから形成されているとき、前記ビデオ・ブロックに対する前記ループ後フィルタあるいは前記ループ内フィルタの適用をスキップする手段と、
を更に備える上記［２２］記載のデバイス。
［２６］ 前記デバイスは、ビデオ・エンコード・デバイスを備え、
前記デバイスは、さらに、
前記ループ後フィルタと前記ループ内フィルタのどちらが前記符号化ユニットのビデオ・ブロックの各々に適用されるべきかを示すために、シンタックス要素を前記ビデオ・ユニットのためのエンコードされたビットストリームにエンコードする手段を更に備える、
上記［２２］記載のデバイス。
［２７］ 前記シンタックス要素をビデオ・ユニットのためのエンコードされたビットストリームにエンコードする手段は、前記シンタックス要素を、前記ビデオ・ユニットについての係数の後に続くフッター要素にエンコードする手段を備える上記［２６］記載のデバイス。
［２８］ 前記ループ後フィルタあるいはループ内フィルタを適用する手段は、前記ループ後フィルタと前記ループ内フィルタのどちらかを選択する手段を含む上記［２２］記載のデバイス。
［２９］ ゼロ値の残差値に関連付けられた前記ビデオ・ブロックのピクセルに、前記ループ後フィルタを適用する手段と、
非ゼロの残差値に関連付けられた前記ビデオ・ブロックのピクセルに、前記ループ内フィルタを適用する手段と、
を更に備える上記［２８］記載のデバイス。
［３０］ 前記デバイスはビデオ・デコード・デバイスを備え、
前記デバイスは、
前記ビデオ・ユニットのために受信されたビットストリームからシンタックス要素をデコードする手段を更に備え、前記シンタックス要素は、前記ループ後フィルタと前記ループ内フィルタのどちらが前記符号化ユニットのビデオ・ブロックの少なくともいくつかに適用されるべきかを示す、
上記［２２］記載のデバイス。
［３１］ 前記シンタックス要素は、前記ビデオ・ユニットについての係数の後に続くフッター要素に位置する上記［３０］記載のデバイス。
［３２］ プロセッサにおいて実行されると、前記プロセッサに、ビデオ・ユニットの１又は複数のビデオ・ブロックをビデオ符号化処理中にフィルタリングさせる命令群を備えるコンピュータ読取可能記憶媒体であって、前記命令群は前記プロセッサに、
ビデオ・ブロックがインター符号化されているか、イントラ符号化されているかを判定させ、
前記ビデオ・ブロックがイントラ符号化されている場合、前記ビデオ・ブロックにループ後フィルタあるいはループ内フィルタを適用させ、
前記ビデオ・ブロックがインター符号化されている場合、前記ビデオ・ブロックに関して、動き補償処理中に適応補間フィルタが適用されたかどうかを判定させ、
前記ビデオ・ブロックがインター符号化されている場合、前記適応補間フィルタが適用されたかどうかに少なくとも部分的に基づいて、前記ビデオ・ブロックに前記ループ後フィルタと前記ループ内フィルタのどちらを適用するかを決定させる、
コンピュータ読取可能記憶媒体。
［３３］ 前記命令群は、前記プロセッサに、前記適応補間フィルタと、前記ループ後フィルタと、前記ループ内フィルタとのうちの１つだけを、前記ビデオ・ユニットのビデオ・ブロックの各々に適用させる上記［３２］記載のコンピュータ読取可能記憶媒体。
［３４］ 前記命令群は、前記プロセッサに、前記ビデオ・ブロックに関して、動き補償処理中に前記適応補間フィルタが適用されなかったときにのみ、前記ビデオ・ブロックに前記ループ後フィルタあるいは前記ループ内フィルタを適用させる上記［３２］記載のコンピュータ読取可能媒体。
［３５］ 前記命令群は、前記プロセッサに、
前記ビデオ・ブロックがインター符号化されている場合、前記ビデオ・ブロックが少なくともいくつかの非ゼロの残差値を含む残差ブロックと予測ブロックとから形成されているとき、前記ループ後フィルタあるいは前記ループ内フィルタを前記ビデオ・ブロックに適用させ、
前記ビデオ・ブロックがインター符号化されている場合、前記ビデオ・ブロックが非ゼロの残差値を含まない残差ブロックと予測ブロックとから形成されているとき、前記ビデオ・ブロックに対する前記ループ後フィルタあるいは前記ループ内フィルタの適用をスキップさせる上記［３２］記載のコンピュータ読取可能記憶媒体。
［３６］ 前記命令群は前記プロセッサに、ビデオ・エンコード処理を実行させ、
前記命令群は前記プロセッサに、
前記ループ後フィルタと前記ループ内フィルタのどちらが前記符号化ユニットのビデオ・ブロックの各々に適用されるべきかを示すために、シンタックス要素を前記ビデオ・ユニットのためのエンコードされたビットストリームにエンコードさせる、
上記［３２］記載のコンピュータ読取可能記憶媒体。
［３７］ 前記シンタックス要素をビデオ・ユニットのためのエンコードされたビットストリームにエンコードする際に、前記命令群は前記プロセッサに、前記シンタックス要素を、前記ビデオ・ユニットのための係数の後に続くフッター要素にエンコードさせる、上記［３６］記載のコンピュータ読取可能記憶媒体。
［３８］ 前記ループ後フィルタあるいは前記ループ内フィルタを適用する際に、前記命令群は前記プロセッサに、前記ループ後フィルタと前記ループ内フィルタのどちらかを選択させる上記［３２］記載のコンピュータ読取可能記憶媒体。
［３９］ 前記命令群は前記プロセッサに、
ゼロ値の残差値に関連付けられた前記ビデオ・ブロックのピクセルに前記ループ後フィルタを適用させ、
非ゼロの残差値に関連付けられた前記ビデオ・ブロックのピクセルに前記ループ内フィルタを適用させる上記［３８］記載のコンピュータ読取可能記憶媒体。
［４０］ 前記命令群は前記プロセッサに、ビデオ・デコード処理を実行させ、
前記命令群は前記プロセッサに、前記ビデオ・ユニットのために受信されたビットストリームからシンタックス要素をデコードさせる、ここで、前記シンタックス要素は、前記ループ後フィルタと前記ループ内フィルタのどちらが前記符号化ユニットのビデオ・ブロックの少なくともいくつかに適用されるべきかを示す、
上記［３２］記載のコンピュータ読取可能記憶媒体。
［４１］ 前記シンタックス要素は、前記ビデオ・ユニットについての係数の後に続くフッター要素に位置する上記［４０］記載のコンピュータ読取可能記憶媒体。
［４２］ ビデオ・デコーダにおいて、残差ビデオ・ブロックを含むビデオ・データを受信することと、
前記残差ビデオ・ブロックの非ゼロの残差値によって定義される再構成されたビデオ・ブロックのピクセルにループ後フィルタリングを適用することと、
前記残差ビデオ・ブロックのゼロ値の残差値によって定義される前記再構成されたビデオのピクセルにループ内フィルタリングを適用することと、
を備える方法。

Claims (41)

1. ビデオ符号化処理中にビデオ・ユニットの１又は複数のビデオ・ブロックをフィルタリングする方法であって、
   ビデオ・ブロックはインター符号化されているか、イントラ符号化されているかを判定することと、
   前記ビデオ・ブロックがイントラ符号化されている場合は、前記ビデオ・ブロックにループ後フィルタあるいはループ内フィルタを適用することと、ここにおいて、前記ループ後フィルタあるいは前記ループ内フィルタを適用するかを決定することは、前記ビデオ・ブロックが非ゼロの残差値を含むかどうかに基づく、
   前記ビデオ・ブロックがインター符号化されている場合は、前記ビデオ・ブロックに関して、動き補償処理中に適応補間フィルタが適用されたかどうかを判定することと、
   前記ビデオ・ブロックがインター符号化されている場合は、前記適応補間フィルタが適用されたかどうかと、前記ビデオ・ブロックが非ゼロの残差値を含むかどうかとに基づいて、前記ビデオ・ブロックに前記ループ後フィルタあるいは前記ループ内フィルタが適用されるかどうかを決定することと、
   を備える方法。
2. 前記ビデオ・ユニットのビデオ・ブロックの各々に、前記適応補間フィルタと、前記ループ後フィルタと、前記ループ内フィルタとのうちの１つだけを適用することを更に備える請求項１に記載の方法。
3. 前記ビデオ・ブロックに関して、前記適応補間フィルタが前記動き補償処理中に適用されなかった場合にのみ、前記ビデオ・ブロックに前記ループ後フィルタあるいは前記ループ内フィルタを適用することを更に備える請求項１に記載の方法。
4. 前記ビデオ・ブロックがインター符号化されている場合、前記ビデオ・ブロックが、少なくともいくつかの非ゼロの残差値を含む残差ブロックと予測ブロックとから形成されているとき、前記ビデオ・ブロックに前記ループ後フィルタあるいは前記ループ内フィルタを適用することと、
   前記ビデオ・ブロックがインター符号化されている場合、前記ビデオ・ブロックが、非ゼロの残差値を含まない残差ブロックと予測ブロックとから形成されているとき、前記ビデオ・ブロックに対する前記ループ後フィルタあるいは前記ループ内フィルタの適用をスキップすることと、
   を更に備える請求項１に記載の方法。
5. 前記方法はビデオ・エンコード処理中に実行され、
   前記方法は、さらに、
   前記ループ後フィルタと前記ループ内フィルタのどちらが前記符号化ユニットのビデオ・ブロックの各々に適用されるべきかを示すために、シンタックス要素を、前記ビデオ・ユニットのためのエンコードされたビットストリームにエンコードすることを備える請求項１に記載の方法。
6. 前記シンタックス要素をビデオ・ユニットのためのエンコードされたビットストリームにエンコードすることは、前記シンタックス要素を前記ビデオ・ユニットのための係数の後に続くフッター要素にエンコードすることを備える請求項５に記載の方法。
7. 前記ループ後フィルタあるいは前記ループ内フィルタを適用することは、前記ループ後フィルタと前記ループ内フィルタのどちらかを選択することを含む請求項１に記載の方法。
8. ゼロ値の残差値に関連付けられた前記ビデオ・ブロックのピクセルに前記ループ後フィルタを適用することと、
   非ゼロの残差値に関連付けられた前記ビデオ・ブロックのピクセルに前記ループ内フィルタを適用することと、
   を更に備える請求項７に記載の方法。
9. 前記方法はビデオ・デコード処理中に実行され、
   前記方法は、さらに、
   前記ビデオ・ユニットのために受信されたビットストリームからシンタックス要素をデコードすることを備え、前記シンタックス要素は、前記ループ後フィルタと前記ループ内フィルタのどちらが前記符号化ユニットのビデオ・ブロックの少なくともいくつかに適用されるべきかを示す、
   請求項１に記載の方法。
10. 前記シンタックス要素は、前記ビデオ・ユニットについての係数の後に続くフッター要素に位置する請求項９に記載の方法。
11. ビデオ符号化処理中にビデオ・ユニットの１又は複数のビデオ・ブロックをフィルタリングするビデオ・コーダ装置であって、
    適応補間フィルタと、
    ループ後フィルタと、
    ループ内フィルタと、
    を備え、前記装置は、
    ビデオ・ブロックがインター符号化されているか、イントラ符号化されているかを判定し、
    前記ビデオ・ブロックがイントラ符号化されている場合、前記ビデオ・ブロックが非ゼロの残差値を含むかどうかに基づき、前記ビデオ・ブロックに前記ループ後フィルタあるいは前記ループ内フィルタを適用し、
    前記ビデオ・ブロックがインター符号化されている場合、前記ビデオ・ブロックに関して、動き補償処理中に前記適応補間フィルタが適用されたかどうかを判定し、
    前記ビデオ・ブロックがインター符号化されている場合、前記適応補間フィルタが適用されたかどうかと、前記ビデオ・ブロックが非ゼロの残差値を含むかどうかとに基づいて、前記ビデオ・ブロックに前記ループ後フィルタと前記ループ内フィルタのどちらを適用するかを決定する、
    ビデオ・コーダ装置。
12. 前記ビデオ・コーダ装置は、前記ビデオ・ユニットのビデオ・ブロックの各々に、前記適応補間フィルタと、前記ループ後フィルタと、前記ループ内フィルタのうちの１つだけを適用する、請求項１１に記載のビデオ・コーダ装置。
13. 前記ビデオ・コーダ装置は、前記ビデオ・ブロックに関して、動き補償処理中に前記適応補間フィルタが適用されなかった場合にのみ、前記ビデオ・ブロックに前記ループ後フィルタあるいは前記ループ内フィルタを適用する請求項１１に記載のビデオ・コーダ装置。
14. 前記ビデオ・ブロックがインター符号化されている場合、前記ビデオ・ブロックが少なくともいくつかの非ゼロの残差値を含む残差ブロックと予測ブロックとから形成されているとき、前記ビデオ・ブロックに前記ループ後フィルタあるいは前記ループ内フィルタを適用し、
    前記ビデオ・ブロックがインター符号化されている場合、前記ビデオ・ブロックが非ゼロの残差値を含まない残差ブロックと予測ブロックとから形成されているとき、前記ビデオ・ブロックに対する前記ループ後フィルタあるいは前記ループ内フィルタの適用をスキップする、
    請求項１１に記載のビデオ・コーダ装置。
15. 前記ビデオ・コーダ装置は、ビデオ・エンコーダを備え、
    前記ビデオ・コーダ装置は、前記ループ後フィルタと前記ループ内フィルタのどちらが、前記符号化ユニットのビデオ・ブロックの各々に適用されるべきかを示すために、シンタックス要素を前記ビデオ・ユニットのためのエンコードされたビットストリームにエンコードする、
    請求項１１に記載のビデオ・コーダ装置。
16. 前記ビデオ・コーダ装置は、前記シンタックス要素を、前記ビデオ・ユニットについての係数の後に続くフッター要素にエンコードする請求項１５に記載のビデオ・コーダ装置。
17. 前記ループ後フィルタあるいは前記ループ内フィルタを適用する際に、前記ビデオ・コーダ装置は、前記ループ後フィルタと前記ループ内フィルタのどちらかを選択する請求項１１に記載のビデオ・コーダ装置。
18. ゼロ値の残差値に関連付けられた前記ビデオ・ブロックのピクセルにループ後フィルタを適用し、
    非ゼロの残差値に関連付けられた前記ビデオ・ブロックのピクセルに前記ループ内フィルタを適用する、
    請求項１７に記載のビデオ・コーダ装置。
19. 前記ビデオ・コーダ装置は、ビデオ・デコーダを備え、
    前記ビデオ・コーダ装置は、
    前記ビデオ・ユニットのために受信されたビットストリームからシンタックス要素をデコードし、前記シンタックス要素は、前記ループ後フィルタと前記ループ内フィルタのどちらが前記符号化ユニットのビデオ・ユニットの少なくともいくつかに適用されるべきかを示す、
    請求項１１に記載のビデオ・コーダ装置。
20. 前記シンタックス要素は、前記ビデオ・ユニットのための係数の後に続くフッター要素に位置する請求項１９に記載のビデオ・コーダ装置。
21. 前記装置は、
    集積回路と、
    マイクロプロセッサと、
    ビデオ・エンコーダを含む無線通信デバイスと、
    ビデオ・デコーダを含む無線通信デバイスと
    のうちの少なくとも１つを備える、請求項１１に記載のビデオ・コーダ装置。
22. ビデオ符号化処理中にビデオ・ユニットの１又は複数のビデオ・ブロックをフィルタリングするデバイスであって、
    ビデオ・ブロックがインター符号化されているのか、イントラ符号化されているのかを判定する手段と、
    前記ビデオ・ブロックがイントラ符号化されている場合は、前記ビデオ・ブロックが非ゼロの残差値を含むかどうかに基づき、前記ビデオ・ブロックにループ後フィルタあるいはループ内フィルタを適用する手段と、
    前記ブロックがインター符号化されている場合は、前記ビデオ・ブロックに関して、動き補償処理中に適応補間フィルタが適用されたかどうかを判定する手段と、
    前記ビデオ・ブロックがインター符号化されている場合、前記適応補間フィルタが適応されたどうかと、前記ビデオ・ブロックが非ゼロの残差値を含むかどうかとに基づいて、前記ビデオ・ブロックに前記ループ後フィルタと前記ループ内フィルタのどちらを適用するかを決定する手段と、
    を備えるデバイス。
23. 前記適応補間フィルタと、前記ループ後フィルタと、前記ループ内フィルタとのうちの１つのだけを、前記ビデオ・ユニットのビデオ・ブロックの各々に適用する手段を更に備える請求項２２に記載のデバイス。
24. 前記ビデオ・ブロックに関して、前記動き補償処理中に前記適応補間フィルタが適用されなかった場合にのみ、前記ループ後フィルタあるは前記ループ内フィルタを前記ビデオ・ブロックに適用する手段を更に備える請求項２２に記載のデバイス。
25. 前記ビデオ・ブロックがインター符号化されている場合、前記ビデオ・ブロックが、少なくともいくつかの非ゼロの残差値を含む残差ブロックと予測ブロックとから形成されているとき、前記ループ後フィルタあるいは前記ループ内フィルタを前記ビデオ・ブロックに適用する手段と、
    前記ビデオ・ブロックがインター符号化されている場合、前記ビデオ・ブロックが、非ゼロの残差値を含まない残差ブロックと予測ブロックとから形成されているとき、前記ビデオ・ブロックに対する前記ループ後フィルタあるいは前記ループ内フィルタの適用をスキップする手段と、
    を更に備える請求項２２に記載のデバイス。
26. 前記デバイスは、ビデオ・エンコード・デバイスを備え、
    前記デバイスは、さらに、
    前記ループ後フィルタと前記ループ内フィルタのどちらが前記符号化ユニットのビデオ・ブロックの各々に適用されるべきかを示すために、シンタックス要素を前記ビデオ・ユニットのためのエンコードされたビットストリームにエンコードする手段を更に備える、
    請求項２２に記載のデバイス。
27. 前記シンタックス要素をビデオ・ユニットのためのエンコードされたビットストリームにエンコードする手段は、前記シンタックス要素を、前記ビデオ・ユニットについての係数の後に続くフッター要素にエンコードする手段を備える請求項２６に記載のデバイス。
28. 前記ループ後フィルタあるいはループ内フィルタを適用する手段は、前記ループ後フィルタと前記ループ内フィルタのどちらかを選択する手段を含む請求項２２に記載のデバイス。
29. ゼロ値の残差値に関連付けられた前記ビデオ・ブロックのピクセルに、前記ループ後フィルタを適用する手段と、
    非ゼロの残差値に関連付けられた前記ビデオ・ブロックのピクセルに、前記ループ内フィルタを適用する手段と、
    を更に備える請求項２８に記載のデバイス。
30. 前記デバイスはビデオ・デコード・デバイスを備え、
    前記デバイスは、
    前記ビデオ・ユニットのために受信されたビットストリームからシンタックス要素をデコードする手段を更に備え、前記シンタックス要素は、前記ループ後フィルタと前記ループ内フィルタのどちらが前記符号化ユニットのビデオ・ブロックの少なくともいくつかに適用されるべきかを示す、
    請求項２２に記載のデバイス。
31. 前記シンタックス要素は、前記ビデオ・ユニットについての係数の後に続くフッター要素に位置する請求項３０に記載のデバイス。
32. プロセッサにおいて実行されると、前記プロセッサに、ビデオ・ユニットの１又は複数のビデオ・ブロックをビデオ符号化処理中にフィルタリングさせる命令群を備えるコンピュータ読取可能記憶媒体であって、前記命令群は前記プロセッサに、
    ビデオ・ブロックがインター符号化されているか、イントラ符号化されているかを判定させ、
    前記ビデオ・ブロックがイントラ符号化されている場合、前記ビデオ・ブロックが非ゼロの残差値を含むかどうかに基づき、前記ビデオ・ブロックにループ後フィルタあるいはループ内フィルタを適用させ、
    前記ビデオ・ブロックがインター符号化されている場合、前記ビデオ・ブロックに関して、動き補償処理中に適応補間フィルタが適用されたかどうかを判定させ、
    前記ビデオ・ブロックがインター符号化されている場合、前記適応補間フィルタが適用されたかどうかと、前記ビデオ・ブロックが非ゼロの残差値を含むかどうかとに基づいて、前記ビデオ・ブロックに前記ループ後フィルタと前記ループ内フィルタのどちらを適用するかを決定させる、
    コンピュータ読取可能記憶媒体。
33. 前記命令群は、前記プロセッサに、前記適応補間フィルタと、前記ループ後フィルタと、前記ループ内フィルタとのうちの１つだけを、前記ビデオ・ユニットのビデオ・ブロックの各々に適用させる請求項３２に記載のコンピュータ読取可能記憶媒体。
34. 前記命令群は、前記プロセッサに、前記ビデオ・ブロックに関して、動き補償処理中に前記適応補間フィルタが適用されなかったときにのみ、前記ビデオ・ブロックに前記ループ後フィルタあるいは前記ループ内フィルタを適用させる請求項３２に記載のコンピュータ読取可能媒体。
35. 前記命令群は、前記プロセッサに、
    前記ビデオ・ブロックがインター符号化されている場合、前記ビデオ・ブロックが少なくともいくつかの非ゼロの残差値を含む残差ブロックと予測ブロックとから形成されているとき、前記ループ後フィルタあるいは前記ループ内フィルタを前記ビデオ・ブロックに適用させ、
    前記ビデオ・ブロックがインター符号化されている場合、前記ビデオ・ブロックが非ゼロの残差値を含まない残差ブロックと予測ブロックとから形成されているとき、前記ビデオ・ブロックに対する前記ループ後フィルタあるいは前記ループ内フィルタの適用をスキップさせる請求項３２に記載のコンピュータ読取可能記憶媒体。
36. 前記命令群は前記プロセッサに、ビデオ・エンコード処理を実行させ、
    前記命令群は前記プロセッサに、
    前記ループ後フィルタと前記ループ内フィルタのどちらが前記符号化ユニットのビデオ・ブロックの各々に適用されるべきかを示すために、シンタックス要素を前記ビデオ・ユニットのためのエンコードされたビットストリームにエンコードさせる、
    請求項３２に記載のコンピュータ読取可能記憶媒体。
37. 前記シンタックス要素をビデオ・ユニットのためのエンコードされたビットストリームにエンコードする際に、前記命令群は前記プロセッサに、前記シンタックス要素を、前記ビデオ・ユニットのための係数の後に続くフッター要素にエンコードさせる、請求項３６に記載のコンピュータ読取可能記憶媒体。
38. 前記ループ後フィルタあるいは前記ループ内フィルタを適用する際に、前記命令群は前記プロセッサに、前記ループ後フィルタと前記ループ内フィルタのどちらかを選択させる請求項３２に記載のコンピュータ読取可能記憶媒体。
39. 前記命令群は前記プロセッサに、
    ゼロ値の残差値に関連付けられた前記ビデオ・ブロックのピクセルに前記ループ後フィルタを適用させ、
    非ゼロの残差値に関連付けられた前記ビデオ・ブロックのピクセルに前記ループ内フィルタを適用させる請求項３８に記載のコンピュータ読取可能記憶媒体。
40. 前記命令群は前記プロセッサに、ビデオ・デコード処理を実行させ、
    前記命令群は前記プロセッサに、前記ビデオ・ユニットのために受信されたビットストリームからシンタックス要素をデコードさせる、ここで、前記シンタックス要素は、前記ループ後フィルタと前記ループ内フィルタのどちらが前記符号化ユニットのビデオ・ブロックの少なくともいくつかに適用されるべきかを示す、
    請求項３２に記載のコンピュータ読取可能記憶媒体。
41. 前記シンタックス要素は、前記ビデオ・ユニットについての係数の後に続くフッター要素に位置する請求項４０に記載のコンピュータ読取可能記憶媒体。

Images