JP7152444B2 - ビデオ符号化のためのサンプルの適応フィルタリングの方法および装置 - Google Patents

Description

本発明は、ビデオ符号化装置およびビデオ符号化のためのフィルタのシーケンスを構成設定するための方法に関する。

本発明は、プログラム・コードを記憶しているコンピュータ可読記憶媒体にも関する。前記プログラム・コードは、ビデオ符号化のためのフィルタのシーケンスを構成設定するための方法を実行するための命令を含む。

デジタル・ビデオ通信および記憶アプリケーションは幅広い範囲のデジタル装置、たとえばデジタル・カメラ、セルラー無線電話、ラップトップ、放送システム、ビデオ会議システムなどによって実装される。これらのアプリケーションの最も重要であり困難なタスクの一つはビデオ圧縮である。ビデオ圧縮のタスクは複雑であり、圧縮効率および計算複雑度という二つの相反するパラメータによって制約される。ITU-T H.264/AVCまたはITU-T H.265/HEVCのようなビデオ符号化規格はこれらのパラメータの間の良好なトレードオフを提供する。

現状技術のビデオ符号化規格はたいてい、源ピクチャーをブロックに分割することに基づく。これらのブロックの処理はそのサイズ、空間位置およびエンコーダによって指定される符号化モードに依存する。符号化モードは予測の型に応じて二つの群に分類できる：イントラ予測モードとインター予測モードである。イントラ予測モードは、再構成されるブロックのピクセルについての予測値を計算するために、同じピクチャーのピクセルを使って参照サンプルを生成する。イントラ予測は空間的予測と称することもできる。インター予測モードは時間的予測のために設計され、現在ピクチャーのブロックのピクセルを予測するために以前のまたは次のピクチャーの参照サンプルを使う。

冗長性の型が異なるため、イントラ符号化とインター符号化についての予測プロセスは異なる。イントラ予測は典型的には参照サンプルの一次元バッファを構築する。インター予測は典型的には、二次元の参照ピクセル・マトリクスのサブピクセル補間を使う。イントラ符号化およびインター符号化どちらについても、予測結果を改善するために、追加的な処理が使用されることができる（たとえば、イントラ予測のための参照サンプルの平滑化、インター予測のための参照サンプルの鮮鋭化）。

最近採択されたITU-T H.265/HEVC規格（ISO/IEC23008-2:2013、“Information technology - High efficiency coding and media delivery in heterogeneous environments Part 2: High efficiency video coding”, November 2013）は、符号化効率と計算複雑度との間の合理的なトレードオフを提供する一組の現状技術のビデオ符号化ツールを宣言している。

ITU-T H.264/AVCビデオ符号化規格と同様に、ITU-T H.265/HEVCビデオ符号化規格は源ピクチャーのブロック、たとえば符号化単位（CU: coding unit）への分割を提供する。各CUはさらに、より小さなCUまたは予測単位（PU: prediction unit）に分割されることができる。PUは、PUのピクセルについて適用される処理の型に応じてイントラ予測またはインター予測されることができる。インター予測の場合、PUは、PUについて指定された動きベクトルを使う動き補償によって処理されるピクセルの領域を表わす。イントラ予測については、PUは一組の変換単位（TU: transform unit）についての予測モードを指定する。TUは異なるサイズをもつことができ（たとえば4×4、8×8、16×16および32×32ピクセル）、異なる仕方で処理されることができる。TUについて、変換符号化が実行されている、すなわち、予測誤差が離散コサイン変換（DCT: discrete cosine transform）を用いて変換されて量子化されている。よって、再構成されたピクセルは、量子化ノイズおよびブロッキング・アーチファクトを含み、これが予測精度に影響しうる。

イントラ予測に対するこの影響を低減するために、参照ピクセル・フィルタリングがHEVC/H.265について採用されている。インター予測については、参照ピクセルはサブピクセル補間を使って計算される。動き補償の場合における参照ピクセル平滑化は、サブピクセル補間プロセスのアンチエイリアシング・フィルタリングと組み合わされることができる。

モード適応的なイントラ予測平滑化技法が提起されている。平滑化フィルタリングは選択されたイントラ予測モードと、ビデオ・ビットストリームにエンコードされているフラグとに依存する。あるブロックについて定義されているイントラ予測モードに依存して、参照サンプルは、フィルタによって平滑化されるか、あるいは修正なしで使用されることができる。参照サンプルが平滑化される場合、平滑化フィルタの選択も、イントラ予測モードに基づくことができる。さらに、この選択は、ビットストリームから再構成されたフラグの値に従って実行されることができる。

現在のHEVC/H.265規格はこの技法を部分的に使う。具体的には、イントラ・モードおよびブロック・サイズのいくつかの組み合わせについては、フィルタ平滑化がオフにされる。

HEVC/H.265規格について採用された参照サンプル・フィルタの拡張として、参照サンプル適応フィルタ（RSAF: reference sample adaptive filter）が提案されている。この適応フィルタは平滑化前に諸参照サンプルをセグメント分けする。異なるセグメントには異なるフィルタを適用するためである。さらに、平滑化フラグを信号伝達するために、データ隠し手順が使われてきた。参照サンプルについての適応フィルタの単純化されたバージョンが、ジョイント・エクスプロレーション・モデル１（JEM1: Joint Exploration Model 1）のために採用された。JEM1は次のものを含め、平滑化を使ういくつかの他のツールを含んでいる：
・四タップのイントラ補間フィルタ、
・境界予測フィルタおよび／または
・マルチパラメータ・イントラ予測（MPI: Multi-parameter Intra prediction）、これは位置依存イントラ予測組み合わせ（PDPC: Position Dependent Intra Prediction Combination）によって置換されることができる。

上記の方法の問題は、エンコードまたはデコードの際の、高い信号伝達努力およびビデオの過剰平滑化を含む。

本発明の目的は、ビデオ符号化装置およびビデオ符号化のためのフィルタ・シーケンスを構成設定する方法を提供することである。本ビデオ符号化装置およびフィルタ・シーケンスを構成設定する本方法は、上述した問題の一つまたは複数を克服する。

本発明の第一の側面は、ビデオ符号化装置であって：
・一つまたは複数の一次パラメータおよび一つまたは複数の二次パラメータによって構成設定可能なフィルタのシーケンスと、
・前記一つまたは複数の一次パラメータに基づき、かつフィルタの前記シーケンスの強度基準に基づき、前記一つまたは複数の二次パラメータを調整するよう構成されたフィルタ・コントローラとを有する、
装置を提供する。

第一の側面のビデオ符号化装置は、フィルタの前記シーケンスの強度基準が充足されるように、前記一つまたは複数の二次パラメータを調整することができる。たとえば、下記で概説されるように、強度基準は、全体的な平滑さに関係することができ、フィルタ・コントローラは、フィルタリング段階の前記シーケンスの全体的な平滑さが高すぎず、低すぎないよう、前記二次パラメータを設定することができる。換言すれば、フィルタ・コントローラは、フィルタの前記シーケンスの強度基準が所定の範囲内であることを保証するよう構成されることができる。

第一の側面のビデオ符号化装置は、ビデオ・エンコードおよび／またはデコードのために構成されることができる。

フィルタ・コントローラは、前記二次パラメータの一つまたは複数を部分的にのみ設定するよう構成されることができる。たとえば、二次パラメータはビットストリームもしくはユーザー設定から読まれることができ、フィルタ・コントローラによってたとえばある範囲内で、調整されることができる。他の実施形態では、フィルタ・コントローラは、他の仕方で、たとえばビットストリームもしくはユーザー設定から導出された二次パラメータの値をオーバーライドするよう構成されることもできる。

従来技術では、RSAFを含む諸ビデオ符号化ツールの調和しない動作が過剰平滑化につながることがあった。過剰平滑化は、
・次のフィルタが前の諸フィルタによって引き起こされた効果を考慮に入れないので、全体的な符号化性能を低下させる、および／または
・上述したフィルタすべてが常時オンにされるので、全体的な計算複雑度を増す。

これは、第一の側面のビデオ符号化装置を用いて回避できる。さらに、二次パラメータがビットストリームに格納される必要がないので、ある種の実施形態では、信号伝達努力が低減されることができる。

ある好ましい実施形態では、第一の側面のビデオ符号化装置は、平滑化を使うフィルタ・シーケンスのフィルタのパラメータを調整することによって、過剰平滑化の上述した問題を解決できる。この調整は、たとえば、平滑化を使うフィルタのためのフラグまたはいくつかの条件を導入することによって到達できる。フラグおよび／または条件は、
・ツールの平滑化機構をオンおよびオフするためおよび／または
・フィルタの平滑化強度を変える（たとえば強いフィルタから弱いフィルタに切り換える）ため
に使用されることができる。

第一の側面のビデオ符号化装置の第一のコントローラは、単に単一のフィルタではなく複数のフィルタを制御するよう構成されることができる。これは、たとえば平滑化によってイントラ予測の結果に影響する種々のフィルタを調和させるための機構と考えられることができる。特に、フィルタ・コントローラは、以下の調整をするよう構成されることができる：
・フラグ値および／またはいくつかの条件を満たすことに応じていくつかのフィルタ・モジュールがスイッチ・オフされることができるので、サンプル処理機構が変更されることができる；
・平滑化することによってイントラ予測の結果に影響しうるすべてのフィルタに対する制御を提供する新たなフィルタ・モジュールが導入されることができる。

第一の側面に基づくビデオ符号化装置の第一の実装では、強度基準は：
・平滑性基準、
・高周波数領域についての増幅率と低周波数領域についての増幅率の比、および／または
・フィルタリング前のコントラスト値とフィルタリング後のコントラスト値の比
を含む。

これは、上記の基準の一つまたは複数についてフィルタのシーケンスを最適化することを許容する。上記で概説したように、好ましくは、フィルタ・コントローラによる調整は、フィルタのシーケンスの強度基準がある範囲内、たとえばあらかじめ決定された範囲内になるように実行されることができる。

第一の側面に基づくビデオ符号化装置の第二の実装では、前記一つまたは複数の一次パラメータはあらかじめ決定されたパラメータ、特にエンコードされたビットストリーム、ユーザー設定および／またはエンコード装置におけるパラメータ探索ループからあらかじめ決定されているパラメータである。

一次パラメータから二次パラメータを決定し、たとえば一次パラメータのみがあらかじめ決定されていることは、信号伝達努力が低減できるという利点をもつ。たとえば、二次パラメータがビットストリームに格納されず、ビットストリーム中の一次パラメータから導出できるとすると、ビットレートを低減できる。

第一の側面に基づくビデオ符号化装置の第三の実装では、フィルタのシーケンスは、一つまたは複数の一次パラメータによって構成設定可能である一つまたは複数の一次フィルタと、一つまたは複数の二次パラメータによって構成設定可能である一つまたは複数の二次フィルタとを有する。ここで、前記一つまたは複数の一次フィルタはフィルタのシーケンスにおいて前記一つまたは複数の二次フィルタより前に位置される。

より遅い段階でフィルタのパラメータを調整することは、より早い段階のフィルタの効果が可能性としては取り消されたり、あるいは少なくともさらに強められないことができる利点をもつ。たとえば、早い段階のフィルタがある平滑化強度を与えた場合、より後のフィルタ段階がこの平滑化効果を増大させないことを保証できる。たとえば、より後のフィルタ段階の平滑化フラグがスイッチ・オフされることができる。

本発明の他の実施形態では、一次パラメータがより後のフィルタ段階に、二次パラメータがより早いフィルタ段階に関係していてもよい。

第一の側面に基づくビデオ符号化装置の第四の実装では、フィルタのシーケンスは：
・現在のビデオ・ブロックの一つまたは複数の近隣サンプルを適応的にフィルタリングして一つまたは複数の参照サンプルを得るよう構成された参照サンプル・フィルタと、
・前記一つまたは複数の参照サンプルの補間を使って現在のビデオ・ブロックの一つまたは複数のサンプルを予測するよう構成された補間フィルタとを有し、
前記一つまたは複数の一次パラメータは前記参照サンプル・フィルタの参照パラメータを含み、前記一つまたは複数の二次パラメータは前記補間フィルタの選択パラメータを含み、前記補間フィルタは前記選択パラメータに応じた補間方法を使うよう構成される。

第四の実装のビデオ符号化装置のフィルタのシーケンスは、たとえばイントラ予測のためのフィルタのシーケンスであることができる。

好ましくは、フィルタ・コントローラは、前記参照パラメータに基づいて前記選択パラメータを決定するよう構成される。これは、全体的なフィルタ強度基準を改善する有効な方法であると示されている。

第一の側面に基づくビデオ符号化装置の第五の実装では、前記一つまたは複数の一次パラメータは、参照サンプル・フィルタの参照サンプル・フィルタ・フラグを含み、前記一つまたは複数の二次パラメータはイントラ予測補間フィルタのフィルタ強度パラメータを含む。

好ましくは、フィルタ・コントローラは、前記参照サンプル・フィルタ・フラグに基づいて前記フィルタ強度パラメータを決定するよう構成される。これは、全体的なフィルタ強度基準を改善する有効な方法であると示されている。

第一の側面に基づくビデオ符号化装置の第六の実装では、フィルタのシーケンスは、サイズ制約条件を満たす一つまたは複数の予測単位に属する一つまたは複数の変換単位について、境界平滑化を実行するよう構成されている境界平滑化フィルタを有する。

これは、境界平滑化フィルタが再構成されたブロックのブロッキング・アーチファクトを見えにくくするという利点をもつ。予測単位は典型的には、エッジ、テクスチャー、平滑領域など、ある種のピクチャー領域を含む。しかしながら、より大きなPUについては、平滑領域の確率がより高くなる。平滑領域については、ブロッキング・アーチファクトはより枢要であり、よって大きなPUについての境界平滑化のほうが、より小さなPUについてよりも好ましい。結果的に、PUサイズで（たとえば32×32ピクセルのサイズによって）境界平滑化を制約することが提案される。この制約条件を使うことによって、一方では、より小さなPUの非平滑領域についての望まれないぼけを回避し、他方では、より大きなPUについてブロッキング・アーチファクトを低減する。これは、境界平滑化がイントラ予測についてあらかじめ定義されている場合に比べ、客観的および主観的な品質両方を改善することを許容する。

第一の側面に基づくビデオ符号化装置の第七の実装では、前記一つまたは複数の一次パラメータは、予測ブロック・フィルタの方向パラメータを含み、前記一つまたは複数の二次パラメータは境界平滑化フィルタのオン‐オフ・パラメータを含む。

好ましくは、フィルタ・コントローラは、前記予測ブロック・フィルタの方向パラメータに基づいて、境界平滑化フィルタのオン・オフ・パラメータを決定するよう構成される。これは、全体的なフィルタ強度基準を改善する有効な方法であると示されている。

第一の側面に基づくビデオ符号化装置の第八の実装では、フィルタのシーケンスは：
・参照ブロックのフィルタ・サンプルを適応的にフィルタリングして、補間された参照ブロックを得るよう構成されたサブピクセル補間フィルタと、
・補間された参照ブロックを平滑化および／または鮮鋭化して、フィルタリングされた参照ブロックを得るよう構成された低域通過および／または高域通過フィルタとを有し、
前記一つまたは複数の一次パラメータは前記補間フィルタの補間パラメータを含み、前記一つまたは複数の二次パラメータは前記鮮鋭化および／または平滑化フィルタの選択パラメータを含み、前記二次パラメータの導出は、前記補間フィルタの前記パラメータによって決定される。

第八の実装のビデオ符号化装置のフィルタのシーケンスは、たとえば、インター予測のためのフィルタのシーケンスであることができる。

好ましくは、フィルタ・コントローラは、前記補間パラメータに基づいて前記鮮鋭化および／または平滑化フィルタの選択パラメータを決定するよう構成される。これは、全体的な平滑性基準を改善する有効な方法であると示されている。

フィルタのシーケンスの平滑性基準は位置依存であることもできることを注意しておく。たとえば、フィルタはある領域で強い平滑性を導入し、別の領域では強いシャープさを導入してもよい。このように、フィルタ・コントローラは、ビデオの一つまたは複数の画像フレームの異なる領域について異なる二次パラメータを設定するよう構成されてもよい。

第一の側面に基づくビデオ符号化装置のビデオ符号化の第九の実装では、フィルタのシーケンスは、ビットストリーム中の一つまたは複数のフィルタ係数を指示するために、選択されたコードブックを使うよう構成された適応ループ・フィルタを有する。ここで、フィルタ・コントローラは、前記一つまたは複数の一次パラメータに基づいて、複数のコードブックからコードブックを選択するよう構成される。

複数のコードブックによってエンコードされる適応ループ・フィルタ係数は、適応ループ・フィルタの入力信号に適用された処理についての事前情報を活用する。適応ループ・フィルタによって処理される信号に対してすでに平滑化が適用されているのであれば、適応ループ・フィルタは高域通過フィルタリングを導入するだけでよいことがわかる。したがって、適応ループ・フィルタの係数の組み合わせのいくつかは利用不能になる。この特性は、すでに平滑化された入力信号に適応ループ・フィルタが適用されるときと、適応ループ・フィルタの入力に平滑化が適用されなかったときという少なくとも二つの場合について、このように二つ以上のコードブックを保持するために使われる。

たとえば、前記複数のコードブックは第一および第二のコードブックを含むことができる。ここで、前記第一のコードブックのみが高域通過および低域通過フィルタリングの両方のための係数を含み、第二のコードブックは低域通過フィルタリングのための係数を含むだけである。

ある好ましい実施形態では、前記複数のコードブックは三つ以上のコードブックを含み、好ましくは、前記複数のコードブックの異なるコードブックは、ALFの前に適用されるフィルタの異なるフィルタリング強度に対応する。

第一の側面の第九の実装に基づくビデオ符号化装置の第十の実装では、フィルタのシーケンスはさらに：
・垂直フィルタ強度パラメータに基づいて垂直エッジを、および／または水平フィルタ強度パラメータに基づいて水平エッジを処理するよう構成されたブロッキング解除フィルタと、
・ピクセルを分類し、SAOクラス・パラメータに応じてピクセルにオフセット値を加えるよう構成されたサンプル適応オフセット（SAO: sample adaptive offset）フィルタとを有し、
前記一つまたは複数の一次パラメータは前記SAOクラス・パラメータと、前記SAOフィルタのSAO型パラメータとを含み、前記一つまたは複数の二次パラメータは前記水平フィルタ強度パラメータおよび前記垂直強度パラメータを含み、前記フィルタ・コントローラは、前記SAOクラス・パラメータおよび／または前記SAOフィルタのSAO型パラメータに基づいて前記二次パラメータを導出するよう構成される、および／または前記フィルタ・コントローラは、前記SAO型パラメータに基づいて前記複数のコードブックから前記コードブックを選択するよう構成される。

第十の実装のビデオ符号化装置のフィルタのシーケンスは、たとえば、ループ内フィルタのシーケンスであることができる。

第一の側面のビデオ符号化装置のさらなる実装は、第一の側面の上記の諸実装の一つの実装のビデオ符号化装置に関係し、垂直および水平エッジ・ブロッキング解除フィルタ強度の二次パラメータが異なり、垂直ブロッキング解除フィルタ強度と水平ブロッキング解除フィルタ強度の比が前記SAOクラスに基づいて調整される。

第一の側面のビデオ符号化装置のさらなる実装は、第一の側面の上記の諸実装の一つの実装のビデオ符号化装置に関係し、フィルタのシーケンスは適応ループ・フィルタを含まない、あるいはフィルタ・コントローラはループ内フィルタのパラメータを調整しない。

第一の側面のビデオ符号化装置のさらなる実装は、第一の側面の上記の諸実装の一つの実装のビデオ符号化装置に関係し、フィルタのシーケンスはブロッキング解除フィルタを含まない、あるいはフィルタ・コントローラはブロッキング解除フィルタのパラメータを調整しない。

本発明の第二の側面は、ビデオ符号化のためのフィルタのシーケンスを構成設定するための方法であって：
・一つまたは複数の一次パラメータに基づき、かつフィルタの前記シーケンスの強度基準に基づき、一つまたは複数の二次パラメータを調整し、
・前記一次パラメータおよび二次パラメータを用いてフィルタの前記シーケンスを構成設定する、
ことを含む方法に関する。

第二の側面の方法の第一の実装では、本方法はさらに、ビットストリームから前記一つまたは複数の一次パラメータを決定する初期段階を含む。

本発明の第二の側面に基づく諸方法は、本発明の第一の側面に基づくビデオ符号化装置によって実行されることができる。さらに、本発明の第二の側面に基づく方法の実装のさらなる特徴が、本発明の第一の側面に基づくビデオ符号化装置およびその種々の実装形態の機能を実行することができる。

本発明の第三の側面は、プログラム・コードを記憶するコンピュータ可読記憶媒体に関する。前記プログラム・コードは、第三の側面の方法または第三の側面の諸実装のうちの一つの実装を実行するための命令を含む。

本発明の実施形態の技術的特徴をより明瞭に示すために、実施形態を記述するために与えられる付属の図面を下記で手短かに紹介しておく。下記の記述の付属の図面は単に本発明のいくつかの実施形態を示す。請求項において定義される本発明の範囲から外れることなく、これらの実施形態の修正が可能である。
本発明のある実施形態に基づくビデオ符号化装置を示すブロック図である。 本発明のさらなる実施形態に基づくビデオ符号化装置のためのフィルタのシーケンスを構成設定する方法のフローチャートである。 本発明のさらなる実施形態に基づくイントラ予測のためのフィルタのシーケンスの構造スキームである。 本発明のさらなる実施形態に基づく、制御された参照サンプル適応フィルタリングのためのフィルタのシーケンスを構成設定するための方法のフローチャートである。 本発明のさらなる実施形態に基づく、イントラ予測のためのフィルタのシーケンスを構成設定するための方法のフローチャートのフローチャートである。 本発明のさらなる実施形態に基づく、境界平滑化のためのフィルタのシーケンスを構成設定するための方法のフローチャートである。 本発明のさらなる実施形態に基づく、イントラ予測のためのフィルタ・シーケンスの構造スキームである。 本発明のさらなる実施形態に基づく、イントラ予測のためのフィルタ・シーケンスを構成設定するための方法のフローチャートである。 本発明のさらなる実施形態に基づく、デコーダ側でのフィルタ制御モジュールを用いたイントラ予測のための方法のフローチャートである。 本発明のさらなる実施形態に基づく、フィルタ制御モジュールを用いたインター予測の直列‐並列実施形態の構造スキームである。 本発明のさらなる実施形態に基づく、デコーダ側でのフィルタ制御モジュールを用いたインター予測のためのフィルタのシーケンスを構成設定するための方法のフローチャートである。 本発明のさらなる実施形態に基づく、ループ内フィルタ・チェーンの構造スキームである。 本発明のさらなる実施形態に基づく、ブロッキング解除フィルタリングが一つまたは複数のSAOパラメータに依存するフィルタのシーケンスを構成設定するための方法のフローチャートである。 本発明のさらなる実施形態に基づく、ブロッキング解除フィルタリングがSAOパラメータに依存し、該フィルタリングがデコーダ側で行なわれるフィルタのシーケンスを構成設定するためのさらなる方法のフローチャートである。 本発明のさらなる実施形態に基づく、フィルタのシーケンスを構成設定するための方法であって、該方法はデコーダ側で一つまたは複数のSAOパラメータに従って一つまたは複数のALFパラメータを調整する、方法のフローチャートである。 本発明のさらなる実施形態に基づく、フィルタのシーケンスの構成設定であって、該方法はデコーダ側で一つまたは複数のSAOパラメータに従って一つまたは複数のALFパラメータを調整する、方法のフローチャートである。

図１は、フィルタのシーケンス１１０およびフィルタ・コントローラ１２０を有するビデオ符号化装置１００を示している。

フィルタのシーケンス１１０は、一つまたは複数の一次パラメータおよび一つまたは複数の二次パラメータによって構成設定可能である。たとえば、フィルタのシーケンスの第一の組のフィルタは一次パラメータによって構成設定可能であり、フィルタのシーケンスの第二の組のフィルタは第二の組のフィルタによって構成設定可能である。第一の組のフィルタおよび第二の組のフィルタには重なりがあってもよい。

フィルタ・コントローラ１２０は、前記一つまたは複数の一次パラメータに基づき、かつフィルタ１１０の前記シーケンスの強度基準に基づき、前記一つまたは複数の二次パラメータを調整するよう構成される。特に、フィルタ・コントローラ１２０は、前記一つまたは複数の一次パラメータに基づいて前記一つまたは複数の二次パラメータを調整するよう構成されることができる。たとえば、二次パラメータの値が、部分的にはたとえばビットストリームからの所定の値に基づき、かつ部分的には一次パラメータに基づく前記調整に基づくことができる。

図２は、ビデオ符号化のためのフィルタのシーケンスを構成設定するための方法２００を示している。方法２００は、一つまたは複数の一次パラメータに基づき、かつフィルタの前記シーケンスの強度基準に基づき、一つまたは複数の二次パラメータを調整する第一の段階２１０を含む。本方法はさらに、前記一次パラメータおよび二次パラメータを用いてフィルタの前記シーケンスを構成設定する第二の段階２２０を含む。

イントラ予測手順が、エンコーダ側および／またはデコーダ側でのハイブリッド・ビデオ符号化ツール・チェーンの一部であることができる。同様に、インター予測手順がフィルタ（たとえば補間フィルタおよびいわゆる予測フィルタ）のシーケンスを含むことができる。これらのフィルタは、実はインター予測のためのイントラ予測されたブロックの類似物である参照として使われるブロックの過剰平滑化または過剰鮮鋭化を引き起こす可能性がある。

フィルタのシーケンスは、たとえば以下のフィルタの一つまたは複数を含むことができる：
・参照サンプル平滑化（たとえばRSAF）、
・イントラ予測のための補間フィルタリング、
・イントラ予測されたブロックのフィルタリング（たとえばMPIまたはPDPC）および／または
・境界平滑化。
これらのフィルタは、平滑化によりイントラ予測の結果に影響しうる。

図３は、イントラ予測のための種々の段階におけるフィルタリング・パラメータを調整するためのフィルタ制御モジュール３６０を有するフィルタ・シーケンス３００を示している。フィルタ・コントローラ・モジュール３６０はフィルタ・コントローラである。

イントラ予測のパラメータは、次のものを含むことができるがそれに限られない。
・予測単位のサイズ、
・予測されるブロックのサイズ、
・イントラ予測モード、
・マルチパラメータ・イントラ・モード・インデックスおよび／または
・参照サンプル・フィルタリング・フラグ。
上記のパラメータのうち一つまたは複数が一次または二次パラメータであることができる。

フィルタ制御モジュール３６０とは別に、フィルタのシーケンス３００は、参照サンプル平滑化ユニット３１０、イントラ予測ユニット３２０、予測ブロック・フィルタ・ユニット３３０および境界平滑化ユニット３４０を有する。参照サンプル平滑化ユニット３１０は、一つまたは複数の近傍サンプル３０２を入力として与えられるよう構成される。参照サンプル平滑化ユニット３１０はさらに、前記一つまたは複数の近傍サンプル３０２を平滑化し、および／またはさらに処理して、一つまたは複数の参照サンプル３１２を得るよう構成される。参照サンプル３１２はイントラ予測ユニット３２０に入力として与えられる。イントラ予測ユニット３２０は補間フィルタ３２２を有する。イントラ予測ユニット３２０はその出力３２４を予測ブロック・フィルタ３３０に入力として与える。

予測ブロック・フィルタ（predicted block filter）３３０は、一つまたは複数の予測されたブロック３３２を計算するよう構成される。予測されたブロック３３２は境界平滑化ユニット３４０に入力として与えられる。境界平滑化ユニット３４０は出力３４２として一つまたは複数のイントラ予測されたブロック３５０を生成する。

フィルタのシーケンス３００を有するビデオ符号化装置は、選択的に、すなわち特定の条件を満たすTUのみに、参照サンプル・フィルタの暗黙的または明示的な信号伝達を使うよう構成されることができる。

フィルタ制御モジュール３６０は、一次パラメータとしてイントラ予測パラメータ３６２を読むよう構成されることができる。フィルタ制御モジュール３６０は、これらの一次パラメータに基づいて二次パラメータを導出するよう構成されることができる。

四分木分割結果が、明示的または暗黙的な信号伝達を使った参照サンプル・フィルタ選択の指示として使用されることができる。具体的には、PUのサイズが閾値（たとえば32×32）より大きければ、参照サンプル・フィルタ・フラグは0に設定される。この割り当ては、従来技術の条件をオーバーライドする。PUサイズのある条件が真であれば、PUサイズおよび／またはイントラ・モード条件に従って選択できるのは「フィルタなし」および「弱いフィルタを適用」のみである。

図４は、制御された参照サンプル適応フィルタリングのためのフィルタのシーケンスを構成設定するための方法４００のフローチャートである。

方法４００は、予測単位のサイズに関係した条件を評価する第一の段階４０２を含む。該条件の評価が真であれば、方法は段階４０４に続き、参照サンプル・フィルタ・フラグが導出される。予測単位のサイズに関係した条件の評価が偽であれば、方法は段階４０６に続き、参照サンプル・フィルタ・フラグが偽に設定される。段階４０４または段階４０６には段階４０８が続き、イントラ・モードおよびブロック・サイズに関係した一つまたは複数の条件が評価される。

段階４０８の評価結果が偽であれば、本方法は段階４１０に続き、参照サンプル・フィルタ・フラグが評価される。フラグが偽であれば、本方法は段階４１４に続き、参照サンプル適応フィルタは、フィルタを適用しないよう設定される。段階４１０において、フラグが真であると評価される場合、段階４１６において弱いフィルタが適用される。あるいはまた、段階４０８における条件評価が真であると評価された場合、方法は段階４１２に続き、参照サンプル・フィルタ・フラグが評価される。評価が偽であれば、段階４１６において、弱いフィルタが適用される。参照サンプル・フィルタ・フラグが段階４１２において真であると評価される場合には、強いフィルタが段階４１８において適用される。

「弱いフィルタを適用」および「強いフィルタを適用」段階は、フィルタのあらかじめ定義された集合からフィルタを、前記集合からの特定のフィルタの選択がイントラ・モードおよび予測されるブロックのサイズにマッピングされてすぐに、選択できる。たった三つのフィルタをもつこの特定の実施形態は、フィルタ集合内のフィルタの量が任意の量（たとえば、「フィルタなし」「弱いフィルタ」「強いフィルタ」および二つの中間的なフィルタを含む五つの状態）まで拡張できないことを意味するものではない。

方向性のイントラ予測では、予測されるブロックのピクセルの値および左および上のブロック境界での投影が計算される。しかしながら、投影は半端な位置をもつことがある。すなわち、境界上の参照サンプルの実際の位置の間になることがある。隣り合う参照サンプルの値の重み付けされた和が計算されて、イントラ予測されるブロックのサンプルの値を決定する。このプロセスは、実のところ、二タップの補間フィルタであり、これは四タップの補間フィルタにさらに拡張されることができる。

四タップのイントラ予測フィルタは、方向性のイントラ予測精度を改善するために利用されることができる。HEVCでは、二タップの線形補間フィルタが、方向性予測モード（すなわち、平面式（Planar）およびDC予測器を除いたもの）においてイントラ予測ブロックを生成するために使われた。あるいはまた、二つの型の四タップ補間フィルタが使用されることができる：4×4および8×8ブロックのための三次補間フィルタおよび16×16およびより大きなブロックのためのガウシアン補間フィルタである。フィルタのパラメータはブロック・サイズに応じて固定されており、同じフィルタが、すべての方向性モードにおいて、すべての予測されるピクセルについて使われる。

HEVCでは、VERおよびHORイントラ・モードについてイントラ予測ブロックが生成された後、左端の列および上端の行の予測サンプルがそれぞれさらに調整される。これはさらに、いくつかの斜行（diagonal）イントラ・モードに拡張されることができ、四つまでの行または列の境界サンプルがさらに二タップ（イントラ・モード2＆34用）または三タップのフィルタ（イントラ・モード3‐6＆30‐33用）を使って調整される。

図４および図５は、参照サンプル・フィルタリング・プロセスを用いて補間フィルタ型の選択を同期するための二つの実施形態を示している。両方の実施形態は、弱強二つの補間フィルタ型が適用できることを考えている。たとえば16×16およびより大きな予測されるブロックについてはガウシアン・フィルタが使われ、他のブロック・サイズについては三次フィルタが選択される。どちらの実施形態についても、補間フィルタ選択は参照サンプル・フィルタリング・プロセスと調和されることができる。

図５は、イントラ予測のための補間フィルタを構成設定するための方法５００のフローチャートである。

方法５００は、参照サンプル・フィルタ・フラグを導出する第一の段階５０２を含む。段階５０４では、参照サンプル・フィルタ・フラグが評価される。真であると評価される場合、方法は段階５０６に続き、変換ブロックのサイズに関係した条件が評価される。条件が偽と評価される場合、方法は段階５０８に続き、弱いイントラ補間フィルタが適用される。同様に、参照サンプル・フィルタ・フラグが段階５０４において偽と評価される場合、方法はやはり段階５０８に続く。変換ブロックのサイズに関係した条件が段階５０６において真と評価される場合、方法は段階５１０に続き、強いイントラ補間フィルタが適用される。

図４および図５の実施形態は、参照サンプル・フィルタ・フラグ導出に関して差がある。図４の実施形態では、参照サンプル・フィルタ・フラグは、前記条件に基づく予測されるブロックが異なる参照サンプル・フィルタのオプションをもつ場合に真となる。このフィルタ選択は、明示的または暗黙的に（たとえば予測モードにマッピングすることによって、あるいは量子化された残差データにおけるデータ隠蔽を使うことによって）信号伝達されうる。図４の実施形態については、実際に選択された参照フィルタ値は参照サンプル・フィルタ・フラグ導出においては考慮されない。だが、予測されたブロックについて参照サンプル・フィルタ選択がエンコーダ側において実行され、選択がデコーダに明示的または暗黙的に伝達される場合、参照サンプル・フラグ値は真である。そうでなく、予測されたブロックがあらかじめ定義された参照フィルタをもつまたは参照サンプル・フィルタリングをもたない場合には、参照サンプル・フラグ値は偽である。

図５の実施形態は、参照フィルタ選択の値を、参照サンプル・フラグ値として使う。参照フィルタについて強いフィルタが選択される場合（たとえば{1 2 1}または五タップ・フィルタ）、参照サンプル・フラグ値は真に割り当てられる。そして第一の実施形態と同様に、参照フィルタリングなしまたは弱い参照サンプル・フィルタが選択された予測されたブロックについては、参照サンプル・フラグ値は偽となる。

上述した実施形態の有益な効果は、参照サンプル・フィルタリングおよびイントラ予測補間プロセスの調和によって達成される。これらの実施形態が、予測されたブロックがなめらかすぎることを防ぐことが観察できる。

図６は、境界平滑化のためのフィルタのシーケンスを構成設定するための方法６００のフローチャートである。

方法６００は、予測されたブロック・フィルタが方向性であるかどうかを判定する第一の段階６０２を含む。もしそうであれば、方法は段階６０４に続き、ブロック・サイズ条件が評価される。ブロック・サイズ条件が偽であると評価されるまたは予測されるブロック・フィルタ方向性が偽であると評価される場合、方法は段階６０６に続き、イントラ・モード条件が評価される。イントラ・モード条件が真であると評価される場合、方法は段階６０８に続き、境界平滑化が適用される。そうでない場合およびブロック・サイズ条件が段階６０４において真であると評価される場合には、境界平滑化は適用されない。

イントラ予測モードがDC、水平、垂直または斜行であると選択される場合に境界平滑化が適用されることができる。提案される発明は、境界平滑化を予測ブロックについてのフィルタの選択と同期する。特に、予測ブロック・フィルタの方向性が、境界平滑化を適用するか否かの決定をするために使用される。たとえば、二次元フィルタが垂直方向と水平方向両方において同じ強さをもつ場合、このフィルタは非方向性である。特に、非方向性フィルタについては、境界平滑化は適用されない。マルチパラメータ・イントラ予測が、予測ブロック・フィルタの例であることができる。この技法が予測ブロック・フィルタとして使われる場合、図６における第一の条件は「MPIインデックスが1より大きい」と定式化されることができる。

予測ブロック・フィルタが方向性であるという逆の場合、本発明は別の制約条件を考える。フィルタリングされるブロックのサイズが32ピクセルより小さい場合、予測ブロック・フィルタの方向性にもかかわらず、このブロックについては境界平滑化は、スキップされる。

図７は、イントラ予測についてのフィルタ・シーケンス７００の構造スキームである。フィルタ・シーケンス７００はビデオをエンコードまたはデコードするために使用できる。

フィルタ・シーケンス７００は、いくつかのフィルタのパラメータを調整するよう構成されているフィルタ制御モジュール７６０を有する。具体的には、フィルタ・シーケンス７００は入力として、一つまたは複数の近傍サンプル７０２を受領する。これらの近傍サンプル７０２は参照サンプル適応フィルタ（sample adaptive filter）SAF ７１０に入力として与えられる。フィルタ７１０はフィルタ・シーケンス７００の第一のフィルタを表わす。参照サンプル適応フィルタ７１０は一つまたは複数の参照サンプル７１２を生成し、それがイントラ予測ユニット７２０に入力として与えられる。イントラ予測ユニット７２０は、四タップの補間フィルタ７２２の集合を有し、これらのフィルタ７２２は一つまたは複数の補間フィルタ・パラメータによって構成設定可能である。

イントラ予測ユニットの出力７２４は、境界予測フィルタ７３０に入力として与えられる。境界予測フィルタの出力７３２は、マルチパラメータ・イントラ予測／位置依存イントラ予測組み合わせユニット７４０に入力として与えられる。ユニット７４０は、一つまたは複数のイントラ予測されたブロック７５０を出力７４２として生成する。

参照サンプル適応フィルタ７１０、イントラ予測ユニット７２０、境界予測フィルタ７３０およびマルチパラメータ・イントラ予測／位置依存イントラ予測組み合わせユニット７４０はそれぞれ、一つまたは複数のパラメータによって構成設定されることができ、それらのパラメータはフィルタ制御モジュール７６０によって設定されることができる。

マルチパラメータ・イントラ予測（MPI: multi-parameter intra prediction）は、デコードされた境界を用いて追加的な平滑化を呼び出すイントラ予測のための後処理である。これは、

として実装されることができる。ここで、当該ブロックの外では、P_MPI[i,j]は再構成された信号

に等しい。この後処理の強さ（パラメータα＋β＋γ＋δ＝8）は、CUレベルで制御され、高々2ビットを用いて信号伝達されることができる。

MPIの代わりとなりうる位置依存イントラ予測組み合わせ（PDPC: Position Dependent Intra Prediction Combination）は、上記のイントラ予測とフィルタリングされない境界との組み合わせを呼び出すイントラ予測のためのコンテンツ適応的な後処理である。これは次のように実装できる。

ここで、(i,j)は左上コーナーに対するサンプル位置を示し、temp(i,j)はi≧0、j≧0については上記のイントラ予測に等しく、i＝－1、j＝－1についてはフィルタリングされない参照に等しい。

この後処理の強さは、パラメータα＋β＋γ＝8によって制御されることができる。{α,β,γ}の異なる組が表１においてまとめられた辞書を構成する。後処理平滑化の強さは、2N×2NおよびN×Nとして符号化されたブロックについて異なる。同じ後処理が、CU内部のルミナンスおよびクロミナンス・ブロック両方について適用されることができる。

後処理を決定する組み合わされたイントラ・インデックスは、CUレベルで2ビットを用いて信号伝達される。このシンタックス要素は、CUの左または上の境界がピクチャー境界である場合には信号伝達されない。このインデックスの0の値は、後処理が使われないことを示す。

各ツールがそれをオンおよびオフするフラグをもち、RDO手順が各ツールについて別個に実行されるのではなく、平滑化を使うすべてのツールについて合同して実行される場合、過剰平滑化の問題が克服できる。しかしながら、この解決策は、冗長な信号伝達という欠点をもち、それは全体的な符号化性能を低下させることがある。

図８は、イントラ予測のためのフィルタ・シーケンスを構成設定するための方法８００のフローチャートである。

方法８００は、参照サンプル適応フィルタリング（RSAF: reference sample adaptive filtering）が使われているかどうかを判定する第一の段階８１０を含む。たとえば、これはRASFフラグを評価することによって判定できる。RSAFが使用されていると判定される場合、段階８１２において、参照サンプル適応フィルタリングが適用される。その後、段階８１４において、四タップの三次フィルタを使った補間が適用される。これは、イントラ予測のためのフィルタ・シーケンスの補間フィルタの補間モード・パラメータを四タップの三次フィルタに設定することによって達成できる。

段階８１０において、RSAFが使われていないと判定される場合、段階８１６において、一組の四タップ・フィルタを使う補間が適用される。特に、これは、四タップ・フィルタのあらかじめ決定された集合であることができる。補間フィルタを、四タップ・フィルタの前記集合を使うよう設定することは、たとえば、補間フィルタの補間パラメータを「四タップ・フィルタの集合」に設定することによって達成できる。

さらなる段階８２０において、MPIインデックス変数iが0に設定される。その後、段階８２２において、変数が1より大きいかどうかが判定される。そうであれば、段階８２４において、現在の予測単位PUサイズが32より大きいかどうかが判定される。もしそうであれば、段階８２６において、境界予測フィルタリングが適用される。境界予測フィルタリングは、段階８２２においてiが1より大きくないと判定される場合にも適用される。段階８２４において現在のPUサイズが32より大きくないと判定される場合、方法は、マルチパラメータ・イントラ予測／位置依存イントラ予測組み合わせをもつ段階８２８に続く。

その後、段階８３０では、現在の構成設定についてのレート歪みコスト、RDコストJ_iが計算される。特に、現在の構成設定はMPIインデックスiの現在の値に対応することができる。他の実施形態では、他のパラメータも変えられ、異なるパラメータ設定についてのRDコストが決定されることができる。

段階８３２では、MPIインデックスiが3より大きいかどうかが判定される。そうでなければ、MPIインデックスは段階８３４において1増加させられ、方法は段階８２２に続く。MPIインデックスが3以上であれば、方法は、最良のMPIインデックスを選択することによって段階８３６に続く。これは、最低のRDコストJ_iに対応するMPIインデックスを選ぶことによって達成できる。

図９は、デコーダ側でフィルタ制御モジュールを用いてイントラ予測のためのフィルタのシーケンスを構成設定するための方法９００のフローチャートである。

インター予測機構はたとえば以下のフィルタを含んでいてもよい：
・ラグランジュ補間に基づく正則フィルタ、
・DCTベースの補間を使った鮮鋭化フィルタ（たいていは比較的鮮鋭なエッジのまわり）、および／または
・平滑化非補間フィルタ。

好ましくは、これらのフィルタのうち一つだけが選択されることができる。四分の一画素補間については、鮮鋭化フィルタがデフォルトによって有効化されることができる。すなわち、そのパラメータがデコーダ側で、他の何らかのフラグやパラメータを導出することなく、ビットストリームをパースすることによって取得されるべきである。二分の一画素補間については、鮮鋭化はオフにされることができる。整数画素については、鮮鋭化および平滑化フィルタ両方が有効にされ、よって、必要とされる場合にスイッチ・オフされることができる。しかしながら、それらの一方がオンにされる場合、フィルタリングを実行する前に、そのパラメータがビットストリームから取得されるべきである。

方法９００は、参照サンプル適応フィルタリング（RSAF: reference sample adaptive filtering）が使われているかどうかを判定する第一の段階９１０を含む。たとえば、これはRASFフラグを評価することによって判定できる。RSAFが使用されていると判定される場合、段階９１２において、参照サンプル適応フィルタリングが適用される。その後、段階９１４において、四タップの三次フィルタを使った補間が適用される。これは、イントラ予測のためのフィルタ・シーケンスの補間フィルタの補間モード・パラメータを四タップの三次フィルタに設定することによって達成できる。

段階９１０において、RSAFが使われていないと判定される場合、段階９１６において、一組の四タップ・フィルタを使う補間が適用される。特に、これは、四タップ・フィルタのあらかじめ決定された集合であることができる。補間フィルタを、四タップ・フィルタの前記集合を使うよう設定することは、たとえば、補間フィルタの補間パラメータを「四タップ・フィルタの集合」に設定することによって達成できる。

段階９２０において、MPIインデックスが1より大きいかどうかが判定される。MPIインデックスは、たとえばビットストリームからMPIインデックス値をパースするまたは他の仕方で決定することによって、決定されたものであることができる。MPIインデックスが1より大きければ、方法は、現在のPUサイズが32より大きいかどうかを判定することによって段階９２４に進む。そうである場合およびMPIインデックスが1より大きくない場合、方法は、境界予測フィルタリングを適用することによって段階９２６に続く。しかしながら、現在のPUサイズが32より大きくない場合、方法は、マルチパラメータ・イントラ予測／位置依存イントラ予測組み合わせをもつ段階９２８に続く。

図１０は、フィルタのシーケンス１０００の構造スキームである。シーケンス１０００は直列／並列構造をもつ。

フィルタのシーケンス１０００は、サンプル１００２のブロックを処理して、参照（予測された）ブロック１０４０を得るよう構成される。シーケンス１０００は、ブロック・サンプル１００２間で補間するよう構成された一つまたは複数のサブピクセル補間フィルタ１０１０を有する。サブピクセル補間の結果１０１２は、入力として、平滑化フィルタ１０２０および／または鮮鋭化フィルタ１０３０に適用される。好ましくは、平滑化フィルタ１０２０または鮮鋭化フィルタ１０３０が使われる。

平滑化フィルタ１０２０および／または鮮鋭化フィルタ１０３０の出力は、参照（予測された）ブロック１０４０である。フィルタ・シーケンス１０００は、フィルタ制御モジュール１０５０によって制御される。フィルタ制御モジュール１０５０は、サブピクセル補間フィルタ１０１０、平滑化フィルタ１０２０および／または鮮鋭化フィルタ１０３０のパラメータを設定するよう構成される。

図１１は、デコーダ側でフィルタ制御モジュールを用いてインター予測のためのフィルタのシーケンスを構成設定する方法のフローチャートである。

方法１１００は、1/4 3/4画素補間が使われているかどうかを判定する第一の段階を含む。そうでない場合、方法は、1/2画素補間が使われているかどうかを判定することによって段階１１０４に進む。そうであれば、方法は、ビットストリームをパースして、制御フラグの一つまたは複数の値を取得することによって、段階１１０６に続く。その後、段階１１１２において、鮮鋭化フィルタが有効にされているかどうかが判定される。特に、これは、段階１１０６において決定された制御フラグの前記一つまたは複数の値から決定されることができる。あるいはまた、段階１１０４において、1/2画素補間が使われていないと判定された場合、方法は、ビットストリームをパースして一つまたは複数の制御フラグの一つまたは複数の値を取得する段階１１０８に続く。その後、段階１１１０において、平滑化フィルタが有効にされているかどうかが判定される。特に、これは、前記一つまたは複数の制御フラグの前記一つまたは複数の値から決定されることができる。

平滑化フィルタが有効にされる場合、方法は段階１１１６に続き、ビットストリームがパースされて、平滑化フィルタ強さパラメータの一つまたは複数の値を取得し、しかるべくフィルタリングが実行される。あるいはまた、段階１１１０において、平滑化フィルタが有効にされていないことがたとえばビットストリームから判定される場合、方法は段階１１１２に続き、鮮鋭化フィルタが有効にされるかどうかが判定される。鮮鋭化フィルタが有効にされる場合、方法は段階１１１４に続き、ビットストリームがパースされて、鮮鋭化フィルタ強度パラメータの一つまたは複数の値を取得し、しかるべくフィルタリングが実行される。

現状技術のビデオ符号化は、エンコーダおよびデコーダの最終段階におけるフィルタリング段階をも提供する。この処理の出力データが動き補償ループに渡されるとすぐ、このフィルタリングはループ内フィルタリングと称される。

フィルタのいくつかのシーケンスは、エンコーダおよびデコーダ両方において使用できる。好ましくは、フィルタのシーケンスの第一段は、ブロッキング除去フィルタを使うことによってブロッキング・アーチファクトを除去するよう構成される。低域通過フィルタは、あらかじめ定義された規則の集合に従って、TUのエッジに適用される。これらの規則は、シーケンス全体についてまたは各フレームについて別個に指定されることのできるブロッキング解除パラメータと称されるパラメータをもつ。

好ましくは、第二段は、サンプル適応オフセットの使用により量子化ノイズを除去するよう構成される。フレームはピクセル領域に細分されることができ、これらの領域のそれぞれにSAOパラメータが割り当てられる。SAOパラメータは次のものを含むことができる：
●分類器型を制御するSAO型：
○BO（band offset［バンド・オフセット］）：このSAO型は、SAOカテゴリーによって指定される範囲内の値をもつピクセルにオフセットを加えることを選択する
○EO（edge offset［エッジ・オフセット］）：このSAO型は、SAOカテゴリーに依存してピクセルに異なるオフセットを加えることを選択する
●SAOクラス：SAOカテゴリーを導出するために使われるべきピクセルのパターンを指定する
●SAOオフセット：各SAOカテゴリーにオフセットを割り当てるルックアップテーブル。ピクセル・カテゴリーに従って対応するオフセットが加えられるべきである。

好ましくは、これらのSAOパラメータの一つまたは複数が、エンコードされた側で導出され、ビットストリームにエンコードされる。それによりデコーダはそれらのパラメータをパースできる。

次の段は、ウィーナー・フィルタにかなり近い適応ループ・フィルタ（ALF: adaptive loop filter）を適用することである。エンコーダ側で、再構成されたピクセルをフィルタリングした後に最小の平均二乗誤差を与えるフィルタ係数が導出される。これらの係数はさらに量子化されて、ビットストリームにおいてデコーダに信号伝達される。

好ましくは、ループ内フィルタリング・チェーンの種々の段におけるフィルタ強さを適合させるためのフィルタ制御モジュールが、あるフィルタリング段における処理を、他の段（段数または複数）でのパラメータの値に応じて調整するよう構成される。

図１２は、フィルタのシーケンスであるループ内フィルタ・チェーン１２００の構造スキームである。

ループ内フィルタ・チェーン１２００は、再構成されたフレーム１２０２を処理して参照ピクチャー・バッファ１２４０を得るよう構成される。再構成されたフレーム１２０２は、ブロッキング除去フィルタ１２１０に入力として与えられる。ブロッキング除去フィルタの出力は、サンプル適応オフセット・フィルタ１２２０に入力１２１２として与えられる。サンプル適応オフセット・フィルタ１２２０の出力は、適応ループ・フィルタ１２３０に入力１２２２として与えられる。適応ループ・フィルタ１２３０の出力は、参照ピクチャー１２４０の入力１２３２として与えられる。

ブロッキング解除フィルタ１２１０、サンプル適応オフセット・フィルタ１２２０および適応ループ・フィルタ１２３０は、フィルタ制御モジュール１２５０によって設定されることのできるパラメータをもって構成設定可能である。フィルタ制御モジュール１２５０は、これらのパラメータを、一つまたは複数のブロッキング除去フィルタ・パラメータ１２５２、一つまたは複数のSAOパラメータ１２５４および一つまたは複数のALFパラメータ１２５６を含む入力パラメータに基づいて決定するよう構成される。たとえば、これらのパラメータは、ユーザー定義されるまたはビットストリームから得られる。

ブロッキング除去フィルタ１２１０は一つまたは複数のSAOパラメータに依存してもよい。好ましくは、エンコーダ側で、SAO型がEO（エッジ・オフセット）であると選択され、ピクセル・パターン（SAOクラス）が水平または垂直方向に割り当てられる場合、ブロッキング除去演算は、選択されたピクセル・パターン方向に垂直な方向をもつエッジについては無効にされる。

図１３は、ブロッキング除去フィルタリングが一つまたは複数のSAOパラメータに依存する場合のフィルタのシーケンスを構成設定するための方法１３００のフローチャートである。

方法１３００は、一つまたは複数のSAOパラメータを推定する第一の段階１３０２を含む。SAOパラメータは、エッジ・オフセット・パラメータおよびSAOクラスを含むことができる。

段階１３０４は、エッジ・オフセット・パラメータが真であると設定されるかどうかが判定される。もしそうであれば、段階１３０６において、SAOクラス・パラメータが評価される。SAOクラス・パラメータが垂直に設定されている場合、方法は段階１３０８において、水平方向のブロッキング除去を無効にする。SAOクラス・パラメータが水平に設定されている場合、段階１３１０において、垂直エッジのブロッキング除去が無効にされる。SAOクラスが別の値に設定されている場合、または段階１３０４においてエッジ・オフセット・パラメータが偽であると決定される場合、方法は、上記で決定された構成設定に従ってブロッキング除去フィルタを適用する段階１３１２に続く。その後、方法は、サンプル適応オフセット・フィルタリングの段階１３１４および可能性としてはさらなるフィルタリング段階に続く。

図１４は、ブロッキング除去フィルタリングがSAOパラメータに依存し、フィルタリングがデコーダ側で行なわれる場合の、フィルタのシーケンスを構成設定するさらなる方法１４００のフローチャートである。

第一の段階１４０２では、一つまたは複数のSAOパラメータがビットストリームから取り出される。

段階１４０４では、エッジ・オフセット・パラメータが真に設定されているかどうかが判定される。もしそうであれば、段階１４０６において、SAOクラス・パラメータが評価される。SAOクラス・パラメータが垂直に設定されている場合、方法は段階１４０８において、水平エッジのブロッキング除去を無効にする。SAOクラス・パラメータが水平に設定されている場合、段階１４１０において、垂直エッジのブロッキング除去が無効にされる。SAOクラスが別の値に設定されている場合、または段階１４０４においてエッジ・オフセット・パラメータが偽であると決定される場合、方法は、上記で決定された構成設定に従ってブロッキング除去フィルタを適用する段階１４１２に続く。その後、方法は、サンプル適応オフセット・フィルタリングの段階１４１４および可能性としてはさらなるフィルタリング段階に続く。

図１５は、フィルタのシーケンスを構成設定する方法１５００のフローチャートである。ここでは、方法１５００は、デコーダ側で一つまたは複数のSAOパラメータに基づいて一つまたは複数の適応ループ・フィルタ・パラメータを調整する。

特に、方法１５００は、SAOパラメータを推定する第一の段階１５０２を含む。第二の段階１５０４では、エッジ・オフセット・フラグがセットされているかどうかが判定される。セットされていれば、段階１５０６において、適応ループ・フィルタALFにおける平滑化フィルタが無効にされる。

その後、段階１５０８ないし１５１４において、ブロッキング除去、サンプル適応オフセット・フィルタリング、適応ループ・フィルタ・パラメータ推定および適応ループ・フィルタリングが適用される。

たとえば図１３および図１４に示した方法に比べて、ALFパラメータをエンコードおよびデコードするためのコードブック選択は、特に、エッジ・オフセットおよびバンド・オフセットのSAOの場合について異なる。

図１６は、エンコーダ側で一つまたは複数のSAOパラメータに応じて一つまたは複数のALFパラメータを調整するための方法１６００のフローチャートである。

第一の段階１６０２では、SAOパラメータがビットストリームから導出される。第二の段階１６０４では、エッジ・オフセット・フラグがセットされているかどうかが判定される。セットされていなければ、段階１６０６において、第一のALFパラメータ・コードブックが選択される。エッジ・オフセット・フラグがセットされていなければ、段階１６０８において、第二のALFパラメータ・コードブックが選択される。

その後、段階１６１０ないし１６１６において、ビットストリームからALFパラメータが取得され、ブロッキング除去フィルタが適用され、サンプル適応オフセット・フィルタリングが適用され、適応ループ・フィルタリングが適用される。

本発明の実施形態は以下のさらなる側面に関係することができる：
〔側面１〕
ａ．イントラ予測パラメータに応じて下記に与える段階のフィルタ・パラメータを構成設定すること
ｂ．予測されるブロックの近隣ブロックに適応的にフィルタを適用することによって参照サンプルを用意すること。
ｃ．参照サンプルの補間された値を使って、予測されるブロックの各サンプルについて予測された値を計算すること
ｄ．予測されたブロックにフィルタを適用すること
ｅ．境界平滑化を実行すること
からなるイントラ予測プロセスを含む、ビデオ・データをエンコードおよびデコードする方法。
〔側面２〕
四分木分割結果が、明示的または暗黙的信号伝達を使う参照サンプル・フィルタ選択の指示として使われる、側面１記載の方法。
〔側面３〕
予測されるブロックの各サンプルについての予測された値を計算することが、参照サンプル・フィルタリング・プロセスに従って選択される補間フィルタを使って実行される、側面１記載の方法。
〔側面４〕
参照サンプル・フィルタ選択の暗黙的または明示的信号伝達なしに計算された予測されるブロックについて、補間フィルタ選択が実行される、側面３記載の方法。
〔側面５〕
弱い参照サンプル・フィルタによってフィルタリングされた参照サンプルから得られた予測されるブロックについて、補間フィルタ選択が実行される、側面３記載の方法。
〔側面６〕
サイズ制約条件を満たすPUに属するTUについて境界平滑化が実行される、側面１記載の方法。
〔側面７〕
予測ブロック・フィルタの方向性が、境界平滑化を適用することの決定に影響する、側面６記載の方法。
〔側面８〕
ａ．イントラ予測パラメータに応じて下記に与える段階のフィルタ・パラメータを構成設定すること
ｂ．補間および予測フィルタによる処理後に参照として使われるブロックをさがすために使われる探索領域に対して適応的にフィルタを適用することによって参照サンプルを用意すること
ｃ．現在処理されているブロックに補間フィルタを適用すること
ｄ．現在処理されているブロックに予測フィルタを適用すること
からなるインター予測プロセスを含む、ビデオ・データをエンコードおよびデコードする方法。
〔側面９〕
段階ｄが段階ｃに先行する、側面８記載の方法。
〔側面１０〕
信号をフィルタリングする方法であって、
ａ．いくつかの逐次反復的フィルタリング段階であって、フィルタ強度が追加的な条件に依存する、段階と、
ｂ．前記フィルタリング段階のいくつかに関連する指示であって、関連する段階におけるフィルタリング強さを指定する指示と、
ｃ．先行する段階に関連する指示に依存してフィルタリング段階ａにおける追加的な条件をオーバーライドする制御ユニットとを有する、
方法。
〔側面１１〕
フィルタリング段階ｉにおける強いフィルタの指示は、弱いフィルタを選択する段階k＞iにおける追加的な条件チェックをオーバーライドする、側面１０記載の方法。

本発明の実施形態は、次の利点のうちの一つまたは複数を提供する。
・次世代ビデオ符号化規格のための基礎となるJEMと互換なハイブリッド・ビデオ符号化フレームワークにおける多くの潜在的な応用；
・JEM1と比べて、低下したBDレートおよび主観的な品質改善。
・統合されたRSAFをもつJEM1と比べてエンコーダおよびデコーダ両方の低下した計算上の複雑度。このため、本発明は、多くのモバイル用途のために潜在的に魅力的になる。
・冗長な信号伝達（シンタックス）を回避する。

以上の記述は単に本発明の実装様式であり、本発明の範囲はこれに限定されるものではない。当業者により任意の変更や置換が容易になされることができる。よって、本発明の保護範囲は付属の請求項の保護範囲に従うべきである。
いくつかの態様を記載しておく。
〔態様１〕
・一つまたは複数の一次パラメータおよび一つまたは複数の二次パラメータによって構成設定可能なフィルタのシーケンス（１１０；３００；７００；１０００；１２００）と、
・前記一つまたは複数の一次パラメータに基づき、かつフィルタの前記シーケンスの強度基準に基づき、前記一つまたは複数の二次パラメータを調整するよう構成されたフィルタ・コントローラ（１２０）とを有する、
ビデオ符号化装置（１００）。
〔態様２〕
前記強度基準は：
・平滑性基準、
・高周波数領域についての増幅率と低周波数領域についての増幅率の比、および／または
・フィルタリング前のコントラスト値とフィルタリング後のコントラスト値の比
を含む、態様１記載のビデオ符号化装置（１００）。
〔態様３〕
前記一つまたは複数の一次パラメータはあらかじめ決定されたパラメータ、具体的にはエンコードされたビットストリーム、ユーザー設定および／またはエンコード装置におけるパラメータ探索ループからあらかじめ決定されているパラメータである、態様１または２記載のビデオ符号化装置（１００）。
〔態様４〕
フィルタの前記シーケンス（１１０；３００；７００；１０００；１２００）は、一つまたは複数の一次パラメータによって構成設定可能である一つまたは複数の一次フィルタと、一つまたは複数の二次パラメータによって構成設定可能である一つまたは複数の二次フィルタとを含み、前記一つまたは複数の一次フィルタはフィルタの前記シーケンスにおいて前記一つまたは複数の二次フィルタより前に位置されている、態様１ないし３のうちいずれか一項記載のビデオ符号化装置（１００）。
〔態様５〕
フィルタの前記シーケンス（１１０；３００；７００；１０００；１２００）は：
・現在のビデオ・ブロックの一つまたは複数の近隣サンプルを適応的にフィルタリングして一つまたは複数の参照サンプルを得るよう構成された参照サンプル・フィルタ（３１０；７１０）と、
・前記一つまたは複数の参照サンプルの補間を使って前記現在のビデオ・ブロックの一つまたは複数のサンプルを予測するよう構成された補間フィルタ（３２０；７２０；１０１０）とを含み、
前記一つまたは複数の一次パラメータは前記参照サンプル・フィルタの参照パラメータを含み、前記一つまたは複数の二次パラメータは前記補間フィルタの選択パラメータを含み、前記補間フィルタは前記選択パラメータに応じた補間方法を使うよう構成されている、態様１ないし４のうちいずれか一項記載のビデオ符号化装置（１００）。
〔態様６〕
前記一つまたは複数の一次パラメータは、参照サンプル・フィルタの参照サンプル・フィルタ・フラグを含み、前記一つまたは複数の二次パラメータはイントラ予測補間フィルタのフィルタ強度パラメータを含む、態様１ないし５のうちいずれか一項記載のビデオ符号化装置（１００）。
〔態様７〕
フィルタの前記シーケンス（１１０；３００；７００；１０００；１２００）は、サイズ制約条件を満たす一つまたは複数の予測単位に属する一つまたは複数の変換単位について、境界平滑化を実行するよう構成されている境界平滑化フィルタ（３４０；７３０）を含む、態様１ないし６のうちいずれか一項記載のビデオ符号化装置（１００）。
〔態様８〕
前記一つまたは複数の一次パラメータは、予測ブロック・フィルタの方向パラメータを含み、前記一つまたは複数の二次パラメータは境界平滑化フィルタのオン‐オフ・パラメータを含む、態様１ないし７のうちいずれか一項記載のビデオ符号化装置（１００）。
〔態様９〕
フィルタの前記シーケンス（１１０；３００；７００；１０００；１２００）は：
・参照ブロックのフィルタ・サンプルを適応的にフィルタリングして、補間された参照ブロックを得るよう構成されたサブピクセル補間フィルタと、
・補間された参照ブロックを平滑化および／または鮮鋭化して、フィルタリングされた参照ブロックを得るよう構成された低域通過および／または高域通過フィルタとを含み、
前記一つまたは複数の一次パラメータは前記補間フィルタの補間パラメータを含み、前記一つまたは複数の二次パラメータは前記鮮鋭化および／または平滑化フィルタの選択パラメータを含み、前記フィルタ・コントローラ（１２０）は、前記二次パラメータを、前記補間フィルタの前記補間パラメータに基づいて導出するよう構成されている、
態様１ないし８のうちいずれか一項記載のビデオ符号化装置（１００）。
〔態様１０〕
フィルタの前記シーケンス（１１０；３００；７００；１０００；１２００）は、ビットストリーム中の一つまたは複数のフィルタ係数を指示するために、選択されたコードブックを使うよう構成された適応ループ・フィルタを含み、前記フィルタ・コントローラは、前記一つまたは複数の一次パラメータに基づいて、複数のコードブックからコードブックを選択するよう構成されている、態様１ないし９のうちいずれか一項記載のビデオ符号化装置（１００）。
〔態様１１〕
フィルタの前記シーケンス（１１０；３００；７００；１０００；１２００）はさらに：
・垂直フィルタ強度パラメータに基づいて垂直エッジを、水平フィルタ強度パラメータに基づいて水平エッジを処理するよう構成されたブロッキング解除フィルタ（１２１０）と、
・ピクセルを分類し、SAOクラス・パラメータに応じて前記ピクセルにオフセット値を加えるよう構成されたサンプル適応オフセット、SAO、フィルタ（１２２０）と、
・ビットストリーム中の一つまたは複数のフィルタ係数を指示するために二つ以上のコードブックを使うよう構成された適応ループ・フィルタ（１２３０）とを含み、
前記一つまたは複数の一次パラメータは前記SAOクラス・パラメータと、前記SAOフィルタのSAO型パラメータとを含み、前記一つまたは複数の二次パラメータは前記水平フィルタ強度パラメータおよび前記垂直強度パラメータを含み、前記フィルタ・コントローラ（１２０）は、前記SAOクラス・パラメータおよび／または前記SAOフィルタのSAO型パラメータに基づいて前記二次パラメータを導出するよう構成される、および／または前記フィルタ・コントローラ（１２０）は、前記SAO型パラメータに基づいて前記二つ以上のコードブックを選択するよう構成される、
態様１ないし１０のうちいずれか一項記載のビデオ符号化装置（１００）。
〔態様１２〕
ビデオ符号化のためのフィルタのシーケンス（１１０；３００；７００；１０００；１２００）を構成設定するための方法であって：
・一つまたは複数の一次パラメータに基づき、かつフィルタの前記シーケンスの強度基準に基づき、一つまたは複数の二次パラメータを調整し、
・前記一次パラメータおよび二次パラメータを用いてフィルタの前記シーケンスを構成設定する、
ことを含む、方法（２００；４００；５００；６００；８００；９００；１１００；１３００；１４００；１５００；１６００）。
〔態様１３〕
前記一つまたは複数の一次パラメータをビットストリームから決定する初期段階をさらに含む、態様１２記載の方法（２００；４００；５００；６００；８００；９００；１１００；１３００；１４００；１５００；１６００）。
〔態様１４〕
プログラム・コードを記憶しているコンピュータ可読記憶媒体であって、前記プログラム・コードは、態様１２または１３記載の方法を実行するための命令を含む、記憶媒体。

Claims (9)

1. ・一つまたは複数の一次パラメータおよび一つまたは複数の二次パラメータに基づいて構成設定可能であるフィルタのシーケンスを有するビデオ符号化装置であって
   フィルタの前記シーケンスは、前記一つまたは複数の一次パラメータに基づいて構成設定可能である一つまたは複数の一次フィルタと、前記一つまたは複数の二次パラメータに基づいて構成設定可能である一つまたは複数の二次フィルタとを含み、前記一つまたは複数の一次フィルタはフィルタの前記シーケンスにおいて前記一つまたは複数の二次フィルタより前に位置されており、
   フィルタの前記シーケンスは：
   ・現在のビデオ・ブロックの一つまたは複数の近隣サンプルを適応的にフィルタリングして一つまたは複数の参照サンプルを得るよう構成された、一次フィルタとしての参照サンプル・フィルタと、
   ・前記一つまたは複数の参照サンプルの補間を使って前記現在のビデオ・ブロックの一つまたは複数のサンプルを予測するよう構成された、二次フィルタとしての補間フィルタとを含み、
   前記一つまたは複数の一次パラメータは、前記参照サンプル・フィルタの参照サンプル・フィルタ・フラグを含み、前記一つまたは複数の二次パラメータは前記補間フィルタのフィルタ強度パラメータを含み、
   前記参照サンプル・フィルタ・フラグは前記参照サンプル・フィルタが適用されるかどうかを示し、前記フィルタ強度パラメータは弱い補間フィルタが適用されるか強い補間フィルタが適用されるかを示し、
   前記補間フィルタは、前記フィルタ強度パラメータに応じて前記補間を使用するように構成されており、
   当該ビデオ符号化装置はさらに、前記参照サンプル・フィルタ・フラグに基づいて前記フィルタ強度パラメータを決定するように構成されたフィルタ・コントローラを有する、
   ビデオ符号化装置。
2. 前記一つまたは複数の一次パラメータは、エンコードされたビットストリームにおいて伝達される、および／またはユーザー設定に基づくあらかじめ決定されたパラメータである、および／またはエンコード装置におけるパラメータ探索ループからあらかじめ決定されている、請求項１記載のビデオ符号化装置。
3. ビデオ符号化のためのフィルタのシーケンスを構成設定するための方法であって、当該方法は：
   ・一つまたは複数の一次パラメータおよび一つまたは複数の二次パラメータを用いてフィルタの前記シーケンスを構成設定することを含み、
   フィルタの前記シーケンスは、前記一つまたは複数の一次パラメータに基づいて構成設定可能である一つまたは複数の一次フィルタと、前記一つまたは複数の二次パラメータに基づいて構成設定可能である一つまたは複数の二次フィルタとを含み、前記一つまたは複数の一次フィルタはフィルタの前記シーケンスにおいて前記一つまたは複数の二次フィルタより前に位置されており、
   フィルタの前記シーケンスは：
   ・現在のビデオ・ブロックの一つまたは複数の近隣サンプルを適応的にフィルタリングして一つまたは複数の参照サンプルを得るよう構成された、一次フィルタとしての参照サンプル・フィルタと、
   ・前記一つまたは複数の参照サンプルの補間を使って前記現在のビデオ・ブロックの一つまたは複数のサンプルを予測するよう構成された、二次フィルタとしての補間フィルタとを含み、
   前記一つまたは複数の一次パラメータは、前記参照サンプル・フィルタの参照サンプル・フィルタ・フラグを含み、前記一つまたは複数の二次パラメータは前記補間フィルタのフィルタ強度パラメータを含み、前記参照サンプル・フィルタ・フラグは前記参照サンプル・フィルタが適用されるかどうかを示し、前記フィルタ強度パラメータは弱い補間フィルタが適用されるか強い補間フィルタが適用されるかを示し、
   当該方法はさらに：
   前記参照サンプル・フィルタ・フラグに基づいて前記フィルタ強度パラメータを決定する段階と；
   前記フィルタ強度パラメータに応じて前記補間を使用するように前記補間フィルタを構成設定する段階とを含む、
   方法。
4. 前記一つまたは複数の一次パラメータをビットストリームから決定する初期段階をさらに含む、請求項３記載の方法。
5. プログラム・コードを記憶している非一時的なコンピュータ可読記憶媒体であって、前記プログラム・コードは、コンピュータ上で実行されたときに請求項３記載の方法を実行するための命令を含む、記憶媒体。
6. プログラム・コードを記憶している非一時的なコンピュータ可読記憶媒体であって、前記プログラム・コードは、コンピュータ上で実行されたときに請求項４記載の方法を実行するための命令を含む、記憶媒体。
7. 前記フィルタ強度パラメータは、弱い補間フィルタが適用されるか強い補間フィルタが適用されるかを選択するためのフラグである、請求項１に記載のビデオ符号化装置。
8. 前記フィルタ強度パラメータは、前記補間フィルタとしてガウシアン・フィルが使用されるか三次フィルタが使用されるかを示す、請求項１に記載のビデオ符号化装置。
9. 前記フィルタ・コントローラは、前記フィルタ強度パラメータを、変換ブロック・サイズにさらに基づいて決定するように構成されている、請求項１に記載のビデオ符号化装置。

Images