JP5882450B2 - 制約付きフィルタ係数を有する適応ループフィルタの方法及び装置 - Google Patents

Description

本発明はビデオ符号化システムに関する。詳細には、本発明は、適応ループフィルタ（Adaptive Loop Filter；ＡＬＦ）の複雑性を、制約付きデータ範囲を有するＡＬＦ係数を用いることによって削減する方法及び装置に関する。

動き推定は、ビデオシーケンスにおいて時間冗長性を有効に使うにあたり、効果的なフレーム間符号化技術である。動き補償フレーム間符号化は、種々の国際的なビデオ符号化標準において広く利用されてきている。種々の符号化標準に採用されている動き推定は多くの場合、ブロックに基づいた技術であり、そこでは、符号化モード及び動きベクトルなどの動き情報を、各マクロブロック又は類似の各ブロック構造について特定する。加えて、イントラ符号化を適応的にさらに用い、そこでは画像を、いかなる他の画像も参照せずに処理する。新たに登場しつつある高効率ビデオ符号化（High Efficiency Video Coding；ＨＥＶＣ）標準において、圧縮用の基本単位は、符号化単位（Coding Unit；ＣＵ）と呼ばれる２Ｎ×２Ｎの正方形ブロックであり、各ＣＵを、所定の最小サイズに到達するまで、より小さな４つのＣＵに再帰的に分割することができる。通常、インター予測（inter-predicted）又はイントラ予測（intra-predicted）の残差を、変換、量子化及びエントロピー符号化によってさらに処理して、圧縮されたビデオ・ビットストリームを生成する。エンコード処理中、符号化アーチファクトを、とりわけ量子化処理において取り込んでしまう。符号化アーチファクトを軽減するため、再構成されたビデオに追加の処理を適用していて、より新しい符号化システムでは画像品質を強化している。多くの場合、その追加の処理をループ内動作の中に構成し、したがって、エンコーダ及びデコーダが同じ参照画像を得ることができて、システムパフォーマンスの改善を達成する。

図１は、ＨＥＶＣに採用されたループ内処理を組み込んでいる、例示的な適応的なインター／イントラビデオ符号化システムを示す。インター予測に関して、動き推定（Motion Estimation；ＭＥ）／動き補償（Motion Compensation；ＭＣ）１１２を使用して、他の画像又は画像群からのビデオデータに基づいた予測データを与える。スイッチ１１４はイントラ予測（Intra Prediction）１１０のデータ又はインター予測のデータを選択し、その選択した予測データを加算器１１６に与えて、残差とも呼ばれる予測誤りを構成する。その後、その予測誤りを変換（Transformation；Ｔ）１１８が処理し、量子化（Quantization；Ｑ）１２０が後に続く。それから、変換及び量子化された残差をエントロピーエンコーダ（Entropy Encoder）１２２が符号化して、圧縮されたビデオデータに対応するビデオ・ビットストリームを構成する。その後、変換の係数に関連するビットストリームを、そのイメージ領域に関連する動き、モード及び他の情報などの付帯的な情報とともに圧縮（pack）する。必要とされる帯域幅を削減するため、その付帯的な情報もまた、エントロピー符号化にかけてもよい。したがって、その付帯的な情報に関連するデータを、エントロピーエンコーダ１２２に与える。インター予測モードを使用する場合、参照画像（群）を、エンコーダの終わりで同様に再構成しなければならない。よって、変換及び量子化された残差を、逆量子化（Inverse Quantization；ＩＱ）１２４及び逆変換（Inverse Transformation；ＩＴ）１２６が処理して、残差を復元する。それから、その残差を再構成（Reconstruction；ＲＥＣ）１２８において予測データ１３６に戻し入れて、ビデオデータを再構成する。再構成されたビデオデータを、参照画像バッファ１３４に格納し、他のフレームの予測に使用することができる。

図１に示すように、入力のビデオデータはエンコードシステムで一連の処理を受ける。ＲＥＣ１２８で再構成されたビデオデータは、一連の処理に起因する種々の欠損をうけやすい可能性がある。したがって、ビデオ品質を改善するため、再構成されたビデオデータを参照画像バッファ１３４に格納する前に、再構成されたビデオデータに種々のループ内処理を適用する。開発されつつある高効率ビデオ符号化（ＨＥＶＣ）標準では、デブロッキングフィルタ（Deblocking Filter；ＤＦ）１３０、サンプル適応オフセット（Sample Adaptive Offset；ＳＡＯ）１３１及び適応ループフィルタ（ＡＬＦ）１３２を開発していて、画像品質を強化している。必要とされる情報をデコーダが適切に復元できるように、ループ内フィルタ情報をビットストリームに組み込まなければならない場合がある。それゆえに、ＳＡＯ及びＡＬＦからのループ内フィルタ情報を、ビットストリームへの組み込みのため、エントロピーエンコーダ１２２に与える。図１において、最初に、再構成されたビデオにＤＦ１３０を適用し、続いて、ＤＦで処理されたビデオにＳＡＯ１３１を適用し、そして、ＳＡＯで処理されたビデオにＡＬＦ１３２を適用する。しかしながら、ＤＦ、ＳＡＯ及びＡＬＦにおける処理順序は組み替えてもよい。

ＨＭ−４．０において、ＡＬＦは２つのフィルタ形状オプション、すなわち、図２Ａ及び図２Ｂのそれぞれに示すような、クロス１１×５（cross-11x5）及びスノーフレーク５×５（snowflake-5x5）を有する。双方のＡＬＦフィルタ形状を、輝度（luma）成分及び色差（chroma）成分に適用することができる。各画像において、輝度成分と色差成分とは独立してＡＬＦフィルタ形状を選ぶことができる。ＡＬＦでは、オフセット項を用いてフィルタリングする有限インパルス応答（Finite Impulse Response；ＦＩＲ）を使用する。ＡＬＦのパラメータには係数とオフセット項とを含む。そのオフセット項又はいずれの係数もが、パラメータの一要素である。ＡＬＦの出力画素、Ｙを、Ｃ^ＴＸ＋Ｏで表すことができる。ここで、Ｃは係数ベクトル、ＸはＡＬＦ前の画素（pre-ALF pixel）のベクトル、Ｏはオフセット項である。画素Ｘの位置を選択済みのフィルタ形状（又はフットプリント）に従って決定する。ＡＬＦ出力画素と元の画素との間の平均二乗誤差を最小化するように、オフセット項を含む最適なフィルタ係数を、ビットストリームにおいて導出及び符号化することができる。さらに、種々の係数及びオフセットを種々の領域に適用できるように、ローカライゼーション（localization）を各画像に組み込んでもよい。クロス１１×５フィルタに関して、図２Ａに示すようにフィルタ係数をＣ_０〜Ｃ_７でラベル付けしており、ここではＣ_７がフィルタの中心に位置している。したがって、クロス１１×５ＡＬＦフィルタについて、Ｃ_７を中心係数（center coefficient）と呼び、Ｃ_０〜Ｃ_６を非中心係数（non-center coefficient）と呼ぶ。スノーフレーク５×５フィルタに関しては、図２Ｂに示すようにフィルタ係数をＣ_０〜Ｃ_８でラベル付けしており、ここではＣ_８がフィルタの中心に位置している。したがって、スノーフレーク５×５フィルタについて、Ｃ_８を中心係数と呼び、Ｃ_０〜Ｃ_７を非中心係数と呼ぶ。

ソフトウェアベース又はハードウェアベースの実装において、その係数が固定値ではなく適応値であることから、汎用目的の乗算器をＡＬＦ用に必要とすることになる。係数の値の範囲が無限である、又は非常に広い場合、ハードウェアで実装すると、乗算器は非常に高額になる可能性がある。さらに、広い動的な範囲を有するフィルタ係数は、ノイズに対してより過敏になる傾向がある。したがって、ハードウェアベースの実装コストを削減する方法及び装置を開発することが望まれる。

符号化されたビデオを、ＡＬＦ（適応ループフィルタ）を使用して処理する方法及び装置を開示する。ＡＬＦのパラメータにはＡＬＦ係数とオフセット項とを含み、ＡＬＦ係数には中心係数と１つ又は複数の非中心係数とを含む。本発明の一実施形態によると、その方法には、符号化されたビデオデータに対応する、再構成されたビデオデータを受信することと、ＡＬＦを、再構成されたビデオデータに、パラメータを使用して適用することとを含む。ここで、パラメータのうちの少なくとも１つの要素は制約付きデータ範囲を有する。その制約付きデータ範囲は、ＡＬＦ係数の位置によって決まる。ひいては、中心係数に対する制約付きデータ範囲を、[0.0，2.0)と[0.5，1.5)とから選択してよい。前記１つ又は複数の非中心係数に対する制約付きデータ範囲を、[-1.0，1.0)と[-0.5，0.5)とから選択してよい。オフセット項に対する制約付きデータ範囲は[-2^D/N，(2^D-1)/N)としてよく、ここで、Dは画素ビット深度を意味し、Nは２のべき乗の整数とする。あるいは、オフセット項に対する制約付きデータ範囲を[-2^M，2^M)としてもよく、ここでMは整数とする。

ビデオエンコーダに関する本発明の別の実施形態において、その方法には、符号化されたビデオデータに対応する、再構成されたビデオデータを受信することと、ＡＬＦのパラメータを決定することと、そのパラメータの１つ又は複数の要素に制約付きデータ範囲を適用することと、適応的なループフィルタリングを、再構成されたビデオデータに、制約付きパラメータを用いて適用することとを含む。ここで、制約付きパラメータとは、前記の１つ又は複数の要素に制約付きデータ範囲を適用することを経た後のパラメータに対応する。制約付きデータ範囲は、ＡＬＦ係数の位置によって決まる。また、上述したように、中心係数、非中心係数及びオフセット項に対する制約付きデータ範囲を適用してもよい。

ＤＦ、ＳＡＯ及びＡＬＦのループ内処理を有する、例示的な適応的なインター／イントラビデオエンコードシステムを示す。 クロス１１×５フィルタに対応するＡＬＦの例を示す。 スノーフレーク５×５フィルタに対応するＡＬＦの例を示す。 本発明による、制約付きデータ範囲を有するＡＬＦを組み込んでいる符号化システムの、例示的なフローチャートを示す。 本発明による、制約付きデータ範囲を有するＡＬＦを組み込んでいるエンコードシステムの、例示的なフローチャートを示す。

ハードウェアベースのＡＬＦの実装に関連して乗算器のコストを削減するために、本発明による実施形態は、ＡＬＦ係数のデータ範囲を限定する。係数の値のデータ範囲の分析に基づいて、中心係数は正であって1.0に近い傾向にあり、非中心係数は0に近い傾向にあるということが見出されている。したがって、本発明の一実施形態において、中心係数を[0.0，2.0)に制限（clip）し、非中心係数を[-1.0，1.0)に制限する。ここで、角括弧記号は端点のデータを範囲に含むことを示し、丸括弧記号は端点のデータを範囲に含まないことを示す。現在のＨＭ−４．０では、係数を表すために８桁の小数ビットを使用する。８桁の小数ビットを用いたデータ表現の場合、中心係数と非中心係数とについての対応する制約付きデータ範囲は、それぞれ、[0，1.99609375]及び[-1，0.99609375]となる。他の小数ビットを用いたデータ表現の場合、それに基づいて、中心係数と非中心係数とについての対応する制約付きデータ範囲は変化することになる。本発明は、データ表現のための小数ビットについて、いかなる具体的な桁数にも限定されない。

上述した８桁の小数ビットと制約付きデータ範囲との例において、中心係数と非中心係数とを１０ビットで表すことができる。それゆえに、ＨＥＶＣの高効率（high efficiency；ＨＥ）での共通テスト条件において、画素データは１０ビットで表され、２つの乗算器入力は１０ビット（係数用）及び１０ビット（画素用）となる。乗算器出力は２０ビットで表される。ＨＥＶＣの低複雑性での共通テスト条件において、画素データは８ビットで表され、２つの乗算器入力は１０ビット（係数用）及び８ビット（画素用）となる。乗算器出力は１８ビットで表される。また、本発明を実施するために、他の制約付きデータ範囲を使用してもよい。例えば、中心係数と非中心係数とのそれぞれについて、[-1.0，1.0)及び[-0.5，0.5)という制約付きデータ範囲を使用してもよい。

コスト削減は小さいかもしれないが、オフセット項を限定することも可能である。一例はそのオフセットを[-(2^D)/N，(2^D-1)/N)に制限することであり、ここで、Dは画素ビット深度を意味し、Nは２のべき乗の整数、例えば1、2、4、8、16などとすることができる。別の例は、そのオフセットを[-2^M，2^M)に制限することであり、ここでMは整数とする。一例として、Mに対する整数として画素の深度Dを選んでもよい。

図３は本発明による、制約付きデータ範囲を有するＡＬＦを組み込んでいる符号化システムの、例示的なフローチャートを示す。ステップ３１０に示すように、符号化されたビデオデータに対応する再構成されたビデオデータを受信する。ステップ３２０に示すように、制約付きデータ範囲を有するＡＬＦを、再構成されたビデオデータに適用する。ここで、ＡＬＦパラメータの少なくとも１つの要素が制約付きデータ範囲を有する。図３の例示的なフローチャートをエンコードシステム又はデコードシステムにおいて実装することができる。デコードシステムの一実施形態において、そのデコーダは、受信したビットストリームから画像の少なくとも一部分に対するＡＬＦパラメータを決定し、そのＡＬＦパラメータに応じて前記少なくとも一部分に関連する再構成されたビデオデータをフィルタにかける。図４は、エンコードシステムの一実施形態をより詳細な説明にて示す。

図４は、本発明による、制約付きデータ範囲を有するＡＬＦを組み込んでいるエンコードシステムの、例示的なフローチャートを示す。ステップ４１０に示すように、符号化されたビデオデータに対応する、再構成されたビデオデータを受信する。ステップ４２０においてＡＬＦのパラメータを決定する。ここではそのパラメータを、エンコーダが導出してもよく、ストレージから取得してもよく、あるいは他の処理モジュールから受信してもよい。それからステップ４３０に示すように、データ範囲の制約をＡＬＦパラメータの１つ又は複数の要素に適用する。ステップ４４０に示すように、制約付きデータ範囲を有するＡＬＦを、再構成されたビデオデータに適用する。ＡＬＦパラメータの少なくとも一要素を制約又は制限することによって、ＡＬＦ処理が必要とする乗算器の数をエンコーダ及びデコーダの双方において限定することができる。ＡＬＦ処理のために必要とされる乗算器のビット幅を、ＡＬＦのデータ範囲の制約に応じて扱うことができる。

上記説明を提示することにより、当業者は、特定の用途とその必要条件とに照らして定めた通りに本発明を実施することが可能となる。説明した実施形態に対する種々の変更が当業者に明らかになるであろうし、本書で定義する全体的な原則を他の実施形態に適用してもよい。したがって本発明は、図示及び説明している特定の実施形態に限定することを意図するものではなく、本書で開示する原則及び新規の特徴に一致する最も広い範囲を認められるべきものである。上記の詳細説明において、本発明への十分な理解を与えるために、種々の具体的な詳細を例示している。それでもなお、本発明を実施できることを当業者は理解するだろう。

上述したような本発明の実施形態を、種々のハードウェア、ソフトウェア・コード又は双方の組み合わせで実装することができる。例えば本発明の一実施形態は、本書で説明した処理を行うために、ビデオ圧縮チップに組み込まれた回路であってよく、又は、ビデオ圧縮ソフトウェアに組み込まれたプログラムコードであってよい。本発明の一実施形態はさらに、本書で説明した処理を行うために、デジタル・シグナル・プロセッサ（Digital Signal Processor；ＤＳＰ）上で実行されるプログラムコードであってもよい。発明にはさらに、コンピュータ・プロセッサ、デジタル・シグナル・プロセッサ、マイクロプロセッサ又はフィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）が実行する複数の機能を含んでもよい。本発明で具現化される特定の方法を定義している機械読取可能ソフトウェア・コード又はファームウェア・コードを実行することによって、発明にしたがって具体的なタスクを行うように、これらのプロセッサを構成することができる。そのソフトウェア・コード又はファームウェア・コードを、種々のプログラミング言語と、種々のフォーマット又はスタイルとで開発してよい。そのソフトウェア・コードをさらに、種々の対象プラットフォーム向けにコンパイルしてもよい。しかしながら、本発明にしたがってタスクを実行するための、種々のコード・フォーマット、スタイル及び言語のソフトウェア・コードと他の手段の設計コードとは、本発明の精神及び範囲を逸脱するものではない。

本発明を、その精神又は本質的な特徴から逸脱することなく、他の特定の態様において具現化することができる。説明した例はすべての点において、単に例示的と見なされるべきであって、限定的と見なされるべきではない。本発明の範囲はしたがって、上述の説明によってではなく、別記の請求項によって明示される。請求項の均等物の意味及び範囲に含まれる全ての変更は、請求項の範囲に包含されるべきものである。

本発明は、米国特許仮出願番号第６１／５４８９９５号（２０１１年１０月１９日申請、表題“Constrained ALF Coefficients”）及び米国特許仮出願番号第６１／５２９４０９号（２０１１年８月３１日申請、表題“Filters Shapes For Adaptive Loop Filter”）についての優先権を主張するものである。これら米国特許仮出願の全体を本書において参照し援用する。

Claims (18)

1. ビデオデコーダにおいて、符号化されたビデオを、ＡＬＦ（適応ループフィルタ）を用いて処理する方法であって、前記ＡＬＦのパラメータは中心係数と１つ又は複数の非中心係数とを含み、当該方法は、
   符号化されたビデオデータに対応する、再構成されたビデオデータを受信するステップと、
   前記ＡＬＦを、前記再構成されたビデオデータに、前記パラメータを用いて適用するステップと、
   を含み、
   前記中心係数と前記１つ又は複数の非中心係数とは、制約付きデータ範囲を有し、前記中心係数に対する制約付きデータ範囲は、前記１つ又は複数の非中心係数に対する制約付きデータ範囲とは異なる、
   方法。
2. 前記中心係数に対する制約付きデータ範囲は[0.0，2.0)である、請求項１に記載の方法。
3. 前記１つ又は複数の非中心係数に対する制約付きデータ範囲は[-1.0，1.0)である、請求項１に記載の方法。
4. 前記中心係数に対する制約付きデータ範囲は[0.5，1.5)である、請求項１に記載の方法。
5. 前記１つ又は複数の非中心係数に対する制約付きデータ範囲は[-0.5，0.5)である、請求項１に記載の方法。
6. 前記ＡＬＦのパラメータはさらにオフセット項を含み、前記オフセット項に対する制約付きデータ範囲は[-2^D/N，(2^D-1)/N)であって、ここでDは画素ビット深度を意味し、Nは２のべき乗の整数である、請求項１に記載の方法。
7. 前記ＡＬＦのパラメータはさらにオフセット項を含み、前記オフセット項に対する制約付きデータ範囲は[-2^M，2^M)であって、ここでMは整数である、請求項１に記載の方法。
8. ビデオエンコーダにおいて、符号化されたビデオを、ＡＬＦ（適応ループフィルタ）を用いて処理する方法であって、前記ＡＬＦのパラメータは中心係数と１つ又は複数の非中心係数とを含み、当該方法は、
   符号化されたビデオデータに対応する、再構成されたビデオデータを受信するステップと、
   前記ＡＬＦのパラメータを決定するステップと、
   前記中心係数に第１の制約付きデータ範囲を、及び前記１つ又は複数の非中心係数に第２の制約付きデータ範囲を適用するステップであって、前記第１の制約付きデータ範囲は、前記第２の制約付きデータ範囲とは異なる、ステップと、
   適応的なループフィルタリングを、前記再構成されたビデオデータに、制約付きパラメータを用いて適用するステップであって、前記制約付きパラメータは、前記の制約付きデータ範囲を適用するステップの後のパラメータに対応する、ステップと、
   を含む、方法。
9. 前記中心係数に対する前記第１の制約付きデータ範囲は[0.0，2.0)と[0.5，1.5)とから選択される、請求項８に記載の方法。
10. 前記１つ又は複数の非中心係数に対する前記第２の制約付きデータ範囲は[-1.0，1.0)と[-0.5，0.5)とから選択される、請求項８に記載の方法。
11. 前記ＡＬＦのパラメータはさらにオフセット項を含み、前記オフセット項に対する制約付きデータ範囲は[-2^D/N，(2^D-1)/N)であって、ここでDは画素ビット深度を意味し、Nは２のべき乗の整数である、請求項８に記載の方法。
12. 前記ＡＬＦのパラメータはさらにオフセット項を含み、前記オフセット項に対する制約付きデータ範囲は[-2^M，2^M)であって、ここでMは整数である、請求項８に記載の方法。
13. ビデオデコーダにおいて、符号化されたビデオを、ＡＬＦ（適応ループフィルタ）を用いて処理する装置であって、前記ＡＬＦのパラメータは中心係数と１つ又は複数の非中心係数とを含み、当該装置は、
    符号化されたビデオデータに対応する、再構成されたビデオデータを受信する手段と、
    前記ＡＬＦを、前記再構成されたビデオデータに、前記パラメータを用いて適用する手段と、
    を含み、
    前記中心係数と前記１つ又は複数の非中心係数とは、制約付きデータ範囲を有し、前記中心係数に対する制約付きデータ範囲は、前記１つ又は複数の非中心係数に対する制約付きデータ範囲とは異なる、
    装置。
14. 前記中心係数に対する制約付きデータ範囲は[0.0，2.0)と[0.5，1.5)とから選択される、請求項１３に記載の装置。
15. 前記１つ又は複数の非中心係数に対する制約付きデータ範囲は[-1.0，1.0)と[-0.5，0.5)とから選択される、請求項１３に記載の装置。
16. ビデオエンコーダにおいて、符号化されたビデオを、ＡＬＦ（適応ループフィルタ）を用いて処理する装置であって、前記ＡＬＦのパラメータは中心係数と１つ又は複数の非中心係数とを含み、当該装置は、
    符号化されたビデオデータに対応する、再構成されたビデオデータを受信する手段と、
    前記ＡＬＦのパラメータを決定する手段と、
    前記中心係数に第１の制約付きデータ範囲を、及び前記１つ又は複数の非中心係数に第２の制約付きデータ範囲を適用する手段であって、前記第１の制約付きデータ範囲は、前記第２の制約付きデータ範囲とは異なる、手段と、
    適応的なループフィルタリングを、前記再構成されたビデオデータに、制約付きパラメータを用いて適用する手段であって、前記制約付きパラメータは、前記の制約付きデータ範囲を適用することの後のパラメータに対応する、手段と、
    を含む、装置。
17. ビデオデコーダにおいて、符号化されたビデオを、ＡＬＦ（適応ループフィルタ）を用いて処理するためのコンピュータプログラムであって、前記ＡＬＦのパラメータは中心係数と１つ又は複数の非中心係数とを含み、当該コンピュータプログラムは、プロセッサに、
    符号化されたビデオデータに対応する、再構成されたビデオデータを受信するステップと、
    前記ＡＬＦを、前記再構成されたビデオデータに、前記パラメータを用いて適用するステップと、
    を実行させ、
    前記中心係数と前記１つ又は複数の非中心係数とは、制約付きデータ範囲を有し、前記中心係数に対する制約付きデータ範囲は、前記１つ又は複数の非中心係数に対する制約付きデータ範囲とは異なる、
    コンピュータプログラム。
18. ビデオエンコーダにおいて、符号化されたビデオを、ＡＬＦ（適応ループフィルタ）を用いて処理するためのコンピュータプログラムであって、前記ＡＬＦのパラメータは中心係数と１つ又は複数の非中心係数とを含み、当該コンピュータプログラムは、プロセッサに、
    符号化されたビデオデータに対応する、再構成されたビデオデータを受信するステップと、
    前記ＡＬＦのパラメータを決定するステップと、
    前記中心係数に第１の制約付きデータ範囲を、及び前記１つ又は複数の非中心係数に第２の制約付きデータ範囲を適用するステップであって、前記第１の制約付きデータ範囲は、前記第２の制約付きデータ範囲とは異なる、ステップと、
    適応的なループフィルタリングを、前記再構成されたビデオデータに、制約付きパラメータを用いて適用するステップであって、前記制約付きパラメータは、前記の制約付きデータ範囲を適用するステップの後のパラメータに対応する、ステップと、
    を実行させる、コンピュータプログラム。

Images