JP7405865B2 - 非線形適応ループフィルタにおけるパラメータの時間的予測 - Google Patents

Description

関連出願の相互参照
本願は、２０２０年４月１５日出願の国際特許出願ＰＣＴ／ＣＮ２０２０／０８４８７６号の国内段階であり、２０１９年４月１５日出願の国際特許出願ＰＣＴ／ＣＮ２０１９／０８２６２６号の優先権および利益を主張する。全ての前述の特許出願は、参照によりその全体が本明細書に組み込まれる。

この特許明細書は、映像符号化・復号化の技術、デバイスおよびシステムに関する。

映像圧縮の進歩にもかかわらず、デジタル映像は、依然として、インターネット及び他のデジタル通信ネットワークにおいて最大の帯域幅の使用量を占めている。映像を受信及び表示することが可能である接続されたユーザ機器の数が増加するにつれ、デジタル映像の使用に対する帯域幅需要は増大し続けることが予測される。

デジタル映像符号化に関し、具体的には、非線形適応ループフィルタリングにおける時間的予測に関するデバイス、システム、および方法について記載する。記載された方法は、既存の映像符号化規格（例えば、高効率映像符号化（ＨＥＶＣ））および将来の映像符号化規格（例えば、汎用映像符号化（ＶＶＣ））、又はコーデックの両方に適用され得る。

１つの代表的な態様において、開示される技術は、視覚メディア処理の方法を提供するために使用してもよい。この方法は、現在の映像ブロックに対して、非線形フィルタリング動作の一部であるクリッピング演算の１つ以上のパラメータを構成することと、前記１つ以上のパラメータに基づいて、前記現在の映像ブロックと前記現在の映像ブロックのビットストリーム表現との間での変換を行うこととを含み、前記１つ以上のパラメータは、規則に従って符号化される。

別の代表的な態様において、開示される技術は、視覚メディア処理の方法を提供するために使用してもよい。この方法は、現在の映像ブロックの特性に基づいて、非線形フィルタリング動作の１つ以上のパラメータを判定することと、１つ以上のパラメータに基づいて、現在の映像ブロックと現在の映像ブロックのビットストリーム表現との間での変換を行うことと、を含む。

さらに別の代表的な態様において、開示される技術は、視覚メディア処理の方法を提供するために使用してもよい。この方法は、現在の映像ブロックに対して、非線形フィルタリング動作の一部であるクリッピング演算の１つ以上のパラメータを構成することと、前記１つ以上のパラメータに基づいて、前記現在の映像ブロックと前記現在の映像ブロックのビットストリーム表現との間での変換を行うこととを含み、前記１つ以上のパラメータは、前記非線形フィルタリング動作に関連付けられた少なくとも１つのフィルタ係数の値とは関係なく、前記ビットストリーム表現で提示される。

さらに別の代表的な態様において、開示される技術は、視覚メディア処理の方法を提供するために使用してもよい。この方法は、現在の映像ブロックに対して、非線形フィルタリング動作の一部であるクリッピング演算の１つ以上のパラメータを構成することと、前記１つ以上のパラメータに基づいて、前記現在の映像ブロックと前記現在の映像ブロックのビットストリーム表現との間での変換を行うこととを含み、前記現在の映像ブロックは、ｉ番目のフィルタからのフィルタ係数を継承し、前記クリッピング演算の前記１つ以上のパラメータの継承に関連付けられた第１の規則は、フィルタ係数の継承に関連付けられた第２の規則とは異なる。

さらに別の代表的な態様において、上記方法は、処理装置が実行可能なコードの形式で実施され、コンピュータ可読プログラム媒体に記憶される。

さらに別の代表的な態様において、映像エンコーダ装置は、本明細書で説明されるような方法を実装してもよい。

さらに別の代表的な態様において、映像デコーダ装置は、本明細書で説明されるような方法を実装してもよい。

開示される技術の上記および他の態様および特徴は、図面、説明および特許請求の範囲でより詳細に説明される。

映像符号化のためのエンコーダブロック図の例を示す。 形状変換に基づく適応ループフィルタ（ＧＡＬＦ）フィルタ形状の例を示す。 形状変換に基づく適応ループフィルタ（ＧＡＬＦ）フィルタ形状の例を示す。 形状変換に基づく適応ループフィルタ（ＧＡＬＦ）フィルタ形状の例を示す。 ＧＡＬＦエンコーダ決定のためのフローグラフの例を示す。 適応ループフィルタ（ＡＬＦ）分類のための例示的なサブサンプリングされたラプラシアン計算を示す。 適応ループフィルタ（ＡＬＦ）分類のための例示的なサブサンプリングされたラプラシアン計算を示す。 適応ループフィルタ（ＡＬＦ）分類のための例示的なサブサンプリングされたラプラシアン計算を示す。 適応ループフィルタ（ＡＬＦ）分類のための例示的なサブサンプリングされたラプラシアン計算を示す。 バイラテラルフィルタに利用される近傍のサンプルの例を示す。 重み計算に利用される２つのサンプルを含む窓の例を示す。 走査パターンの例を示す。 非線形適応ループフィルタリングにおけるパラメータの時間的予測のための例示的な方法のフロー図を示す。 非線形適応ループフィルタリングにおけるパラメータの時間的予測のための例示的な方法のフロー図を示す。 非線形適応ループフィルタリングにおけるパラメータの時間的予測のための例示的な方法のフロー図を示す。 本特許明細書に記載される映像の復号化又は映像の符号化技術を実現するためのハードウェアプラットフォームの一例を示すブロック図である。 開示された技術を実装することができる例示的な映像処理システムを示すブロック図である。 映像メディア処理方法の一例を示すフローチャートである。 映像メディア処理方法の一例を示すフローチャートである。 映像メディア処理方法の一例を示すフローチャートである。 映像メディア処理方法の一例を示すフローチャートである。

より高い解像度の映像の需要が増大しているため、近代技術において、映像符号化法および技術は、遍在している。ビデオコーデックは、一般的に、デジタル映像を圧縮又は展開する電子回路又はソフトウェアを含み、より高い符号化効率を提供するように絶えず改良されている。ビデオコーデックは、非圧縮映像を圧縮フォーマットに変換する、又はその逆である。映像の品質、映像を表現するために使用されるデータの数（ビットレートで決まる）、エンコーディングおよびデコーディングアルゴリズムの複雑性、データの損失およびエラーに対する敏感さ、編集のしやすさ、ランダムアクセス、およびエンドツーエンドの遅延（待ち時間）の間には複雑な関係がある。この圧縮フォーマットは、通常、標準的な映像圧縮仕様、例えば、高効率映像符号化（ＨＥＶＣ）規格（Ｈ．２６５またはＭＰＥＧ－Ｈ Ｐａｒｔ２としても知られている）、完成させるべき汎用映像符号化（ＶＶＣ）規格、または他の現在のおよび／または将来の映像符号化基準に準拠する。

映像符号化規格は、主に周知のＩＴＵ－ＴおよびＩＳＯ／ＩＥＣ規格の開発によって発展してきた。ＩＴＵ－ＴはＨ．２６１とＨ．２６３を作り、ＩＳＯ／ＩＥＣはＭＰＥＧ－１とＭＰＥＧ－４ Ｖｉｓｕａｌを作り、両団体はＨ．２６２／ＭＰＥＧ－２ ＶｉｄｅｏとＨ．２６４／ＭＰＥＧ－４ ＡＶＣ（Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）とＨ．２６５／ＨＥＶＣ規格を共同で作った。Ｈ．２６２以来、映像符号化規格は、時間予測と変換符号化が利用されるハイブリッド映像符号化構造に基づく。ＨＥＶＣを超えた将来の映像符号化技術を探索するため、２０１５年には、ＶＣＥＧとＭＰＥＧが共同でＪＶＥＴ（Ｊｏｉｎｔ Ｖｉｄｅｏ Ｅｘｐｌｏｒａｔｉｏｎ Ｔｅａｍ）を設立した。それ以来、多くの新しい方法がＪＶＥＴによって採用され、ＪＥＭ（Ｊｏｉｎｔ Ｅｘｐｌｏｒａｔｉｏｎ Ｍｏｄｅ）と呼ばれる参照ソフトウェアに組み込まれてきた。２０１８年４月には、ＶＣＥＧ（Ｑ６／１６）とＩＳＯ／ＩＥＣ ＪＴＣ１ ＳＣ２９／ＷＧ１１（ＭＰＥＧ）の間にＪｏｉｎｔ Ｖｉｄｅｏ Ｅｘｐｅｒｔ Ｔｅａｍ（ＪＶＥＴ）が発足し、ＨＥＶＣと比較して５０％のビットレート削減を目標にＶＶＣ規格の策定に取り組んでいる。

開示される技術の実施形態は、ランタイム性能を向上させるために、既存の映像符号化規格（例えば、ＨＥＶＣ、Ｈ．２６５）および将来の規格に適用されてもよい。本明細書では、説明の可読性を向上させるために章の見出しを使用しており、説明または実施形態（および／または実装形態）をそれぞれの章のみに限定するものではない。

１ 色空間および彩度サブサンプリングの例

色空間はカラーモデル（またはカラーシステム）としても知られ、色の範囲を数字のタプル（ｔｕｐｌｅ）として簡単に記述する抽象的な数学モデルであり、一般的に、３または４つの値または色成分（例えばＲＧＢ）である。基本的には、色空間は座標系とサブ空間とを精緻化したものである。

映像圧縮の場合、最も頻繁に使用される色空間は、ＹＣｂＣｒおよびＲＧＢである。

ＹＣｂＣｒ、Ｙ’ＣｂＣｒ、またはＹ Ｐｂ／Ｃｂ Ｐｒ／Ｃｒは、ＹＣＢＣＲまたはＹ’ＣＢＣＲとも呼ばれ、映像およびデジタル写真システムのカラー画像パイプラインの一部として使用される色空間のファミリーである。Ｙ’は輝度成分であり、ＣＢおよびＣＲは青色差および赤色差クロマ成分である。Ｙ’（素数を有する）はＹとは区別され、Ｙは輝度であり、ガンマ補正されたＲＧＢ原色に基づいて光強度が非線形に符号化されることを意味する。

クロマサブサンプリングは、人間の視覚システムが、輝度よりも色差の方が知覚が低いことを利用して、輝度情報よりもクロマ情報の方が解像度が低くなるように実装して画像を符号化する方法である。

１．１ ４：４：４ カラーフォーマット

３つのＹ’ＣｂＣｒ成分の各々は、同じサンプルレートを有し、従って、クロマサブサンプリングは存在しない。このスキームは、ハイエンドのフィルムスキャナおよび映画のポストプロダクションに使用されることがある。

１．２ ４：２：２ カラーフォーマット

２つのクロマ成分は、輝度のサンプルレートの半分でサンプリングされ、例えば、水平クロマ解像度が半分にされる。これにより、視覚的にほとんどまたは全く差がなく、非圧縮の映像信号の帯域幅を１／３に低減することができる。

１．３ ４：２：０ カラーフォーマット

４：２：０では、水平サンプリングは４：１：１に比べて２倍になるが、このスキームではＣｂおよびＣｒチャネルを各１行おきのラインでのみサンプリングするので、垂直解像度は半分になる。従って、データレートは同じである。ＣｂおよびＣｒはそれぞれ水平および垂直方向の両方向に２倍にサブサンプリングされる。異なる水平および垂直位置を有する４：２：０スキームの３つの変形がある。

○ ＭＰＥＧ－２において、ＣｂおよびＣｒは水平方向に共座している。Ｃｂ、Ｃｒは垂直方向の画素間に位置する（格子間に位置する）。

○ ＪＰＥＧ／ＪＦＩＦにおいて、Ｈ．２６１、およびＭＰＥＧ－１、Ｃｂ、およびＣｒは、交互の輝度サンプルの中間の格子間に位置する。

○ ４：２：０ ＤＶにおいて、ＣｂおよびＣｒは、水平方向に共座している。垂直方向において、それらは交互に並ぶ線上に共座している。

２ 典型的な映像コーデックの符号化フローの例

図１は、３つのインループフィルタリングブロック、すなわち非ブロック化フィルタ（ＤＦ）、サンプル適応オフセット（ＳＡＯ）およびＡＬＦを含むＶＶＣのエンコーダブロック図の例を示す。ＤＦ（予め規定されたフィルタを使用する）とは異なり、ＳＡＯおよびＡＬＦは、現在のピクチャのオリジナルサンプルを利用し、オフセットを追加し、且つ有限インパルス応答（ＦＩＲ）フィルタを適用することによって、オフセットおよびフィルタ係数を信号通知する符号化側情報とともに、元のサンプルと再構成サンプルとの間の平均二乗誤差をそれぞれ低減する。ＡＬＦは、各ピクチャの最後の処理ステージに位置し、前のステージで生成されたアーチファクトを捕捉し、修正しようとするツールと見なすことができる。

３ ＪＥＭにおける形状変換に基づく適応ループフィルタの例

ＪＥＭにおいて、ブロックに基づくフィルタ適応を用いた形状変換に基づく適応ループフィルタ（ＧＡＬＦ）が適用される。輝度成分は、局所勾配の方向および働きに基づいて、２×２ブロックごとに２５個のフィルタのうち１つを選択する。

３．１ フィルタ形状の例

本願において、輝度成分として、最大３つのダイヤモンドフィルタ形状（図２Ａに示すように、５×５ダイヤモンド、７×７ダイヤモンド、９×９ダイヤモンドのそれぞれについて図２Ｂ、図２Ｃに示す）を選択することができる。輝度成分に使用されるフィルタ形状を示すために、ピクチャレベルでインデックスが信号通知される。１つのピクチャにおけるクロマ成分に対して、５×５ダイヤモンド形状が常に使用される。

３．１．１ ブロック区分

各２×２ブロックを２５個のクラスのうちの１つに分類する。分類インデックスＣは、その方向性ＤおよびアクティビティＡ＾の量子化値に基づいて、以下のように導出される。

ＤおよびＡ＾を計算するために、まず、１－Ｄラプラシアンを使用して、水平、垂直および２つの対角線方向の勾配を計算する。

ｉおよびｊは、２×２ブロックの左上のサンプルの座標を表し、Ｒ（ｉ，ｊ）は、座標（ｉ，ｊ）において再構成されたサンプルを示す。
そして、水平方向および垂直方向の勾配のＤ最大値およびＤ最小値を以下のように設定する。

そして、２つの対角線方向の勾配の最大値および最小値は、以下のように設定される。

指向性Ｄの値を導出するために、これらの値を互いに且つ２つの閾値ｔ_１およびｔ_２と比較する。
ステップ１． ｇ^ｍａｘ _ｈ，ｖ≦ｔ_１・ｇ^ｍｉｎ _ｈ，ｖとｇ^Ｍａｘ _{ｄ０，ｄ１}≦ｔ_１・ｇ^ｍｉｎ _{ｄ０，ｄ１}の両方がＴＲＵＥである場合、Ｄが０に設定される。
ステップ２． ｇ^ｍａｘ _ｈ，ｖ／ｇ^ｍｉｎ _ｈ，ｖ＞ｇ^Ｍａｘ _{ｄ０，ｄ１}／ｔ_１・ｇ^ｍｉｎ _{ｄ０，ｄ１}の場合、ステップ３から続け、あるいは、ステップ４から続ける。
ステップ３． ｇ^ｍａｘ _ｈ，ｖ＞ｔ_２・ｇ^ｍｉｎ _ｈ，ｖである場合、Ｄは２に設定され、あるいは、Ｄは１に設定される。
ステップ４． ｇ^ｍａｘ _{ｄ０，ｄ１}＞ｔ_２・ｇ^ｍｉｎ _{ｄ０，ｄ１}である場合、Ｄは４に設定され、あるいは、Ｄは３に設定される。

アクティビティ値Ａは、以下のように計算される。

Ａをさらに０～４の範囲に量子化し、量子化された値をＡ＾とする。
ピクチャにおける両クロマ成分に対して、分類方法は適用されず、即ち、単一のＡＬＦ係数のセットが各クロマ成分に対して適用される。

３．１．２ フィルタ係数の幾何学的変換

各２×２輝度ブロックをフィルタリングする前に、そのブロックに対して計算された勾配値に基づいて、フィルタ係数ｆ（ｋ，ｌ）に回転または対角線および垂直方向の反転等の幾何学的変換を施す。これは、これらの変換をフィルタ支持領域内のサンプルに適用することに等しい。その考えは、ＡＬＦが適用される異なるブロックを、それらの方向性を揃えることによって、より類似させることである。

対角線、垂直方向の反転および回転を含む３つの幾何学的変換を紹介する。

ここで、Ｋはフィルタのサイズであり、０≦ｋ，ｌ≦Ｋ－１が係数座標であり、位置（０，０）は左上隅にあり、位置（Ｋ－１，Ｋ－１）は右下隅にある。この変換は、そのブロックに対して計算された勾配値に基づいて、フィルタ係数ｆ（ｋ，ｌ）に適用される。変換と４方向の４つの勾配との関係を表１にまとめる。

３．１．３ フィルタパラメータの信号通知

ＪＥＭにおいて、ＧＡＬＦフィルタパラメータは、第１のＣＴＵのために、すなわち、スライスヘッダの後且つ第１のＣＴＵのＳＡＯパラメータの前に信号通知される。最大２５組の輝度フィルタ係数を信号通知することができる。ビットオーバーヘッドを低減するために、異なる分類のフィルタ係数をマージすることができる。また、参照ピクチャのＧＡＬＦ係数を記憶し、現在のピクチャのＧＡＬＦ係数として再利用することができる。現在のピクチャは、参照ピクチャのために記憶されたＧＡＬＦ係数を使用し、ＧＡＬＦ係数信号通知を回避することを選択してもよい。この場合、１つの参照ピクチャへのインデックスのみが信号通知され、記憶されている示された参照ピクチャのＧＡＬＦ係数が現在のピクチャに継承される。

ＧＡＬＦ時間的予測をサポートするために、ＧＡＬＦフィルタセットの候補リストが保持される。新しいシーケンスを復号化する開始時は、候補リストは空である。１つのピクチャを復号化した後、対応するフィルタのセットを候補リストに加えてもよい。候補リストのサイズが最大許容値（すなわち、現在のＪＥＭでは６）に達すると、新しい１組のフィルタが、最も古いセットを復号化の順序に上書きし、すなわち、先入れ先出し（ＦＩＦＯ）規則を適用して候補リストを更新する。重複を回避するために、対応するピクチャがＧＡＬＦ時間的予測を使用しない場合、１つのセットのみをリストに追加することができる。時間的スケーラビリティをサポートするために、複数のフィルタセットの候補リストがあり、各候補リストは１つの時間層に関連付けられる。具体的には、時間層インデックス（ＴｅｍｐＩｄｘ）が割り当てられた各アレイは、ＴｅｍｐＩｄｘが小さい、前回復号化されたピクチャのフィルタセットを構成してもよい。例えば、ｋ番目の配列は、ｋに等しいＴｅｍｐＩｄｘに関連付けられるように割り当てられ、それは、ＴｅｍｐＩｄｘがｋ以下のピクチャからのフィルタセットのみを含む。特定のピクチャを符号化した後、このピクチャに関連付けられたフィルタセットを使用して、等しいまたはより高いＴｅｍｐＩｄｘに関連付けられた配列を更新する。

ＧＡＬＦ係数の時間的予測は、信号通知オーバーヘッドを最小限に抑えるために、インター符号化されたフレームに使用される。イントラフレームの場合、時間的予測は利用不可能であり、各クラスに１組の１６個の固定フィルタが割り当てられる。固定フィルタの使用を示すために、各クラスのためのフラグが信号通知され、必要に応じて、選択された固定フィルタのインデックスが信号通知される。所与のクラスに対して固定フィルタを選択した場合でも、このクラスに対して適応フィルタｆ（ｋ，ｌ）の係数を送信することができ、この場合、再構成画像に適用されるフィルタの係数は両方の係数セットの合計となる。

輝度成分のフィルタリング処理は、ＣＵレベルで制御することができる。ＧＡＬＦがＣＵの輝度成分に適用されるかどうかを示すために、１つのフラグが信号通知される。クロマ成分の場合、ＧＡＬＦが適用されるかどうかは、ピクチャレベルでのみ示す。

３．１．４ フィルタリング処理

デコーダ側において、１つのブロックに対してＧＡＬＦが有効化されると、このブロック内の各サンプルＲ（ｉ，ｊ）がフィルタリングされ、その結果、以下に示すように、サンプル値Ｒ’（ｉ，ｊ）が得られる。ここで、Ｌは、フィルタ長を表し、ｆ_ｍ，ｎは、フィルタ係数を表し、ｆ（ｋ，ｌ）は、復号化されたフィルタ係数を表す。

３．１．５ エンコーダ側フィルタパラメータの判定処理

図３には、ＧＡＬＦのための全体的なエンコーダ決定処理が示されている。各ＣＵの輝度サンプルに対して、エンコーダは、ＧＡＬＦが適用され、かつ適切な信号通知フラグがスライスヘッダに含まれているか否かを決定する。クロマサンプルの場合、フィルタを適用する決定は、ＣＵレベルではなくピクチャレベルに基づいて行われる。さらに、ピクチャのためのクロマＧＡＬＦは、このピクチャのために輝度ＧＡＬＦが有効化されている場合にのみチェックされる。

４．ＶＣにおける形状変換に基づく適応ループフィルタの例

現在のＶＶＣにおけるＧＡＬＦの設計は、ＪＥＭにおける設計に比べ、以下のような大きな変化を有している。
１）適応フィルタ形状を除去する。輝度成分に対しては７×７フィルタ形状のみが許可され、クロマ成分に対しては５×５フィルタ形状のみが許可される。
２）ＡＬＦパラメータの時間的予測および固定フィルタからの予測は、両方とも除去される。
３）各ＣＴＵに対して、ＡＬＦが有効化されるかまたは無効化されるかどうかに関わらず、１ビットのフラグが信号通知される。
４）クラスインデックスの計算は、２×２の代わりに、４×４レベルで行われる。また、図４Ａ～図４Ｄに示すように、ＪＶＥＴ－Ｌ０１４７で提案されているように、ＡＬＦ分類のためのサブサンプリングされたラプラシアン計算方法が利用される。具体的には、１つのブロック内の各サンプルごとに水平／垂直／４５対角線／１３５度勾配を計算する必要がない。その代わりに、１：２サブサンプリングが利用される。

ＶＴＭ４．０において、適応ループフィルタのフィルタリング処理は、以下のように行う。

ここで、サンプルＩ（ｘ＋ｉ，ｙ＋ｊ）入力サンプルであり、０（ｘ，ｙ）はフィルタリングされた出力サンプル（即ち、フィルタ結果）であり、ｗ（ｉ，ｊ）はフィルタ係数を表す。実際において、ＶＴＭ４．０は、固定小数点精度計算のために整数演算を使用して実装される。

ここで、Ｌはフィルタ長を表し、ｗ（ｉ，ｊ）は固定小数点精度におけるフィルタ係数である。

５ ＪＶＥＴ－Ｎ０２４２における非線形適応ループフィルタリング（ＡＬＦ）

５．１ フィルタリングの再形成

式（１１）は、符号化効率に影響を及ぼすことなく、以下の式で再定式化することができる。

ここで、ｗ（ｉ，ｊ）は、式（１１）におけるフィルタ係数と同じである［例外ｗ（０，０）、式（１３）においては１に等しいが、式（１１）において、１－Σ_{（ｉ，ｊ）≠（０，０）}ｗ（ｉ，ｊ）に等しい］。

５．２ 修正されたフィルタ

上記（１３）のフィルタ式を使用することで、単純なクリッピング関数を使用して、近傍のサンプル値Ｉ（ｘ＋ｉ，ｙ＋ｊ）が現在のサンプル値Ｉ（ｘ，ｙ）のフィルタリングと異なり過ぎている場合に、その影響を低減することで、非線形性を容易に導入し、ＡＬＦをより効率的にする。

この提案において、ＡＬＦフィルタは、以下のように修正される。

ここで、Ｋ（ｄ，ｂ）＝ｍｉｎ（ｂ，ｍａｘ（－ｂ，ｄ））はクリッピング関数であり、ｋ（ｉ，ｊ）はクリッピングパラメータであり、これは（ｉ，ｊ）フィルタ係数に依存する。エンコーダは、最適化を行い、最良のｋ（ｉ，ｊ）を見出す。なお、整数精度で実装する場合、丸めΣ_{（ｉ，ｊ）≠（０，０）}ｗ（ｉ，ｊ）×Ｋ（Ｉ（ｘ＋ｉ，ｙ＋ｉ）－Ｉ（ｘ，ｙ），ｋ（ｉ，ｊ））を用いたシフトが適用される。

ＪＶＥＴ－Ｎ０２４２の実装形態において、１つのＡＬＦフィルタごとにクリッピングパラメータｋ（ｉ，ｊ）を規定し、１つのフィルタ係数ごとに１つのクリッピング値を信号通知する。これは、１つの輝度フィルタ当たりビットストリームにおいて、最大１２個のクリッピング値を信号通知することができ、クロマフィルタに対しては最大６個のクリッピング値を信号通知することができることを意味する。

信号通知コストおよびエンコーダの複雑性を制限するために、クリッピング値の評価は、小さなセットの可能な値に限定する。本提案では、ＩＮＴＥＲおよびＩＮＴＲＡタイルグループに対して同じ４つの固定値のみを使用する。

局所的な差の分散は、輝度の場合、クロマの場合よりも大きいことが多いので、輝度フィルタおよびクロマフィルタの２つの異なるセットを使用する。各セットに最大サンプル値（ここでは、１０ビットのビット深度の場合、１０２４）を含め、必要でない場合、クリッピングを無効化することができる。

ＪＶＥＴ－Ｎ０２４２試験に使用したクリッピング値のセットを表２に示す。４つの値は、対数ドメインにおいて、輝度についてのサンプル値（１０ビットで符号化される）の全範囲を、およびクロマについての４～１０２４の範囲をほぼ等分することによって選択された。

より正確には、クリッピング値の輝度テーブルは、以下の式によって得られた。

同様に、クリッピング値のクロマテーブルは、以下の式に従って取得される。

選択されたクリッピング値は、上記表２のクリッピング値のインデックスに対応するゴロム符号化方式を使用して、「ａｌｆ＿ｄａｔａ」構文要素に符号化される。この符号化方式は、フィルタインデックスの符号化方式と同じである。

５．２．１ 構文、意味論

ＮＬＡＬＦによって新規に導入された構文変更（以下、太字、イタリック体、下線付きフォントで示す）は、以下のようになる。

６ ＪＶＥＴ－Ｎ０４２７におけるＣＴＵに基づくＡＬＦ

ＶＴＭ４には適応パラメータセット（ＡＰＳ）が採用された。各ＡＰＳは、１つのセットの信号通知されたＡＬＦフィルタを含み、最大３２個のＡＰＳがサポートされる。本提案では、スライスレベルの時間的フィルタを試験する。１つのタイルグループは、ＡＰＳからのＡＬＦ情報を再利用することにより、オーバーヘッドを低減することができる。ＡＰＳは、先入れ先出し（ＦＩＦＯ）バッファとして更新される。

輝度成分のために、ＡＬＦが輝度ＣＴＢに適用される場合、１６個の固定された、５個の時間的な、または１つの信号通知されたフィルタセット（スライスレベルで信号通知される）の中からの選択が示される。フィルタセットインデックスのみが信号通知される。１つのスライスに対して、２５個のフィルタからなる１つの新しいセットのみを信号通知することができる。１つのスライスに対して新しいセットが信号通知された場合、同じスライス内のすべての輝度ＣＴＢはそのセットを共有する。固定フィルタセットを使用して新しいスライスレベルフィルタセットを予測することができ、これを輝度ＣＴＢの候補フィルタセットとして使用できる。フィルタの数は合計６４個である。

クロマ成分の場合、ＡＬＦをクロマＣＴＢに適用する時に、１つのスライスに対して新しいフィルタを信号通知する場合、ＣＴＢはこの新しいフィルタを使用し、そうでない場合、時間スケーラビリティ制約を満たす最も新しい時間的クロマフィルタを適用する。

スライスレベルの時間的フィルタとして、ＡＰＳは、先入れ先出し（ＦＩＦＯ）バッファとして更新される。

７ 再構成後フィルタ

７．１ 拡散フィルタ（ＤＦ）

ＪＶＥＴ－Ｌ０１５７において、ＣＵのイントラ／インター予測信号は、拡散フィルタによってさらに修正することができる拡散フィルタが提案されている。

均一拡散フィルタ
この均一拡散フィルタは、例えば、下記に定義される、ｈ^Ｉまたはｈ^ＩＶとして与えられるような、固定マスクを用いて予測信号を畳み込むことによって実現される。
予測信号そのものの他に、ブロックの左側および上側にある１つの再構成サンプルの行が、フィルタリングされた信号の入力として使用され、この場合、これらの再構成サンプルのインターブロックでの使用を回避することができる。

ｐｒｅｄを、イントラ予測または動き補償予測によって得られた所与のブロックについての予測信号とする。フィルタの境界点を扱うためには、予測信号を予測信号ｐｒｅｄ_ｅｘｔに拡大する必要がある。この拡張予測は、次の２つの方法で形成することができる。

中間ステップとして、ブロックの左上にある１行の再構成サンプルを予測信号に加え、得られた信号を全方向にミラーリングする。或いは、予測信号そのものだけを全方向にミラーリングする。後者の拡張は、インターブロックに使用される。この場合、予測信号そのものだけが、拡張予測信号ｐｒｅｄ_ｅｘｔのためのインプットを含む。

フィルタｈ^Ｉを使用する場合、前述の境界拡張を使用して、予測信号ｐｒｅｄをｈ^Ｉ＊ｐｒｅｄで置き換えることが提案される。ここで、フィルタマスクｈ^Ｉは、以下のように与えられる。

フィルタｈ^ＩＶを使用する場合、予測信号ｐｒｅｄをｈ^ＩＶ＊ｐｒｅｄで置き換えることが提案される。ここで、フィルタｈ^ＩＶは、以下のように与えられる。
ｈ^ＩＶ＝ｈ^Ｉ＊ｈ^Ｉ＊ｈ^Ｉ＊ｈ^Ｉ．

指向性拡散フィルタ
信号適応拡散フィルタの代わりに、固定マスクを有する指向性フィルタ、水平フィルタｈ^ｈｏｒ、垂直フィルタｈ^ｖｅｒが使用される。より正確には、前の部分のマスクｈ^Ｉに対応する均一拡散フィルタリングは、垂直方向にのみ適用されるかまたは水平方向にのみ適用されるかのいずれかに制限される。予測信号に、以下の固定フィルタマスクを適用することで垂直フィルタを実現する。

転置マスクＨ_ｈｏｒ＝Ｈ^ｔ _Ｖｅｒを使用することによって、水平フィルタを実現する。

７．２ バイラテラルフィルタ（ＢＦ）

ＪＶＥＴ－Ｌ０４０６にはバイラテラルフィルタが提案されており、変換係数がゼロでなく、スライス量子化パラメータが１７よりも大きい輝度ブロックに常に適用される。従って、バイラテラルフィルタの使用を信号通知する必要がない。逆変換の直後の復号化されたサンプルに対して、適用された場合、バイラテラルフィルタが行われる。また、符号化された情報からフィルタパラメータ、即ち重みを明示的に導出する。

このフィルタリング処理は、以下のように定義される。

ここで、Ｐ_０，０は現在のサンプルの強度であり、Ｐ’_０，０は現在のサンプルの修正された強度であり、Ｐ_ｋ，０およびＷ_ｋはそれぞれｋ番目の近傍のサンプルの強度および重みパラメータである。１つの現在のサンプルおよびその４つの近傍のサンプル（即ち、Ｋ＝４）の例を図５に示す。

具体的には、ｋ番目の近傍のサンプルに関連付けられた重みＷ_ｋ（ｘ）を以下のように定義する。
Ｗ_ｋ（ｘ）＝Ｄｉｓｔａｎｃｅ_ｋ×Ｒａｎｇｅ_ｋ（ｘ）． （２）

ここで、以下である。

ここで、σ_ｄは符号化モードおよび符号化ブロックの大きさに依存する。上述したフィルタリング処理は、ＴＵをさらに分割する場合、イントラ符号化ブロックおよびインター符号化ブロックに適用され、並列処理を可能にする。

映像信号の統計的特性をよりよく捕捉し、フィルタの性能を改善するために、式（２）に基づく重み関数をσ_ｄパラメータで調整し、符号化モードおよびブロック分割のパラメータ（最小寸法）に依存するように、表４にする。

符号化性能をさらに改善するために、ＴＵが分割されていない場合のインター符号化ブロックの場合、現在のサンプルとその近傍のサンプルの１つとの間の強度差を、現在のサンプルを含む２つの窓と近傍のサンプルとの間の代表的な強度差に置き換える。そのため、フィルタリング処理の式を以下のように修正する。

ここで、Ｐ_ｋ，ｍ、Ｐ_０，ｍは、それぞれＰ_ｋ，０、Ｐ_０，０を中心とする窓内のｍ番目のサンプル値を表す。本提案において、窓のサイズは３×３に設定される。Ｐ_２，０およびＰ_０，０を２つのウィンドウ含む例を図６に示す。

７．３ アダマール変換ドメインフィルタ（ＨＦ）

ＪＶＥＴ－Ｋ００６８において、１Ｄ Ｈａｄａｍａｒｄ変換ドメインにおけるインループフィルタは、再構成後のＣＵレベルに適用され、乗算不要で実装されている。予め規定された条件を満たすすべてのＣＵブロックに対して提案されたフィルタを適用し、符号化された情報からフィルタパラメータを導出する。

提案されたフィルタリングは、４×４ブロックを除き、且つスライス量子化パラメータが１７よりも大きい場合、非ゼロ変換係数を有する輝度再構成ブロックに常に適用される。フィルタパラメータは、符号化された情報から明示的に導出される。逆変換の直後の復号化されたサンプルに対して、適用された場合、提案されたフィルタリングが行われる。

再構成されたブロック画素からの各画素に対して、画素処理は、以下のステップを含む。
○ 走査パターンに従って、現在の画素を含む処理画素の周囲の４つの近傍の画素を走査する。
○ 読み取り画素の４点のアダマール変換
○ 次式に基づくスペクトルフィルタリング。

ここで、（ｉ）はアダマールスペクトルにおけるスペクトル成分のインデックスであり、Ｒ（ｉ）はインデックスに対応する再構成画素のスペクトル成分であり、σは以下の式を使用してコーデック量子化パラメータＱＰから導出するフィルタパラメータである。

走査パターンの例を図７に示しており、この中でＡは現在の画素であり、｛Ｂ，Ｃ，Ｄ｝は周囲の画素である。

ＣＵ境界にある画素の場合、走査パターンを調整し、すべての必要な画素が現在のＣＵ内にくるようにする。

８ 仮想パイプライニングデータユニット（ＶＰＤＵ）

仮想パイプラインデータユニット（ＶＰＤＵ）は、ピクチャ内の非重複Ｍ×Ｍ－ｌｕｍａ（Ｌ）／Ｎ×Ｎ－ｃｈｒｏｍａ（Ｃ）ユニットとして定義される。ハードウェアデコーダにおいて、連続したＶＰＤＵは、複数のパイプラインステージで同時に処理され、異なるステージは異なるＶＰＤＵを同時に処理する。ＶＰＤＵのサイズはほとんどのパイプラインステージにおいてバッファサイズにほぼ比例するので、ＶＰＤＵのサイズを小さくすることが非常に重要であると言われている。ＨＥＶＣハードウェアデコーダにおいて、ＶＰＤＵのサイズは、最大変換ブロック（ＴＢ）のサイズに設定される。最大ＴＢサイズを３２×３２－Ｌ／１６×１６－Ｃ（ＨＥＶＣのように）から６４×６４－Ｌ／３２×３２－Ｃ（現在のＶＶＣのように）に拡大することは、符号化利得をもたらすことができ、ＨＥＶＣに比べ、ＶＰＤＵサイズ（６４×６４－Ｌ／３２×３２－Ｃ）の４倍となる。しかし、ＶＶＣでは、さらなる符号化利得を得るために、４分木（ＱＴ）符号化ユニット（ＣＵ）分割に加えて、３分木（ＴＴ）と２分木（ＢＴ）が採用されており、ＴＴとＢＴ分割は１２８×１２８－Ｌ／６４×６４－Ｃの符号化ツリーブロック（ＣＴＵ）に再帰的に適用できるため、ＨＥＶＣと比較してＶＰＤＵサイズ（１２８×１２８－Ｌ／６４×６４－Ｃ）が１６倍になると言われている。

ＶＶＣの現在の設計において、ＶＰＤＵのサイズは、６４×６４－Ｌ／３２×３２－Ｃとして定義される。

９ 既存の実装形態の欠点

ＪＶＥＴ－Ｎ０２４２における非線形ＡＬＦ（ＮＬＡＬＦ）設計には、以下の問題がある。

（１） ＧＡＬＦにおける分類処理は、ＡＬＦを適用する前に再構成されたサンプルを利用する勾配およびラプラシアン活動に依存する。しかしながら、分類結果が不正確である場合がある。例えば、１つのサンプルについて、そのサンプルとその近傍との間の差は非常に類似している場合があり、一方、別のサンプルについて、そのサンプルと１つの近傍との間の差は異なり過ぎ、他のすべてのサンプルについて、差が小さ過ぎる場合もある。これらの２つの場合において、それらを１つのクラスインデックスに分類することができ、これらのクラスインデックスは不当である場合がある。

（２） クリッピングパラメータは、フィルタ係数に関連付けられる。しかしながら、複数のクラスに対して１つのフィルタを利用してフィルタマージ処理を行ってもよい。また、同じクラスインデックスを有する２つのブロック（現在のＧＡＬＦ設計において、０・・・２４）について、フィルタ係数およびクリッピングパラメータは同じである。しかしながら、２つのブロックは異なる特徴を有してもよく、例えば、異なる幾何学的変換を選択してもよい。同じクリッピングパラメータを使用することは、最適ではない場合もある。

（３） クリッピングパラメータのインデックスは、非ゼロフィルタ係数ごとに信号伝達され、このフィルタ係数は、構文解析ステージにおいてフィルタ係数を構築することを必要とする。このような設計はハードウェア実装には望ましくない。

（４） 時間的予測処理において、１つのブロックは、前回符号化されたフレームからのフィルタ係数を継承する場合がある。クリッピングパラメータをどのように扱うかを検討する必要がある。

（５） ｂを上限とし、－ｂを下限とし、ｄをインプットとするクリッピング関数Ｋ（ｄ，ｂ）＝ｍｉｎ（ｂ，ｍａｘ（－ｂ，ｄ）。上限と下限の等分した大きさの制限は、最適でない場合もある。

１０ 非線形ＡＬＦにおけるパラメータの時間的予測のための例示的な方法

本開示の技術の実施形態は、既存の実装の欠点を克服し、それにより、より高い符号化効率を有する映像符号化を提供する。開示される技術に基づいた非線形適応ループフィルタリングの時間的予測は、既存のおよび将来の映像符号化規格の両方を向上させることができ、様々な実装形態のために以下の例で解明される。以下に提供される開示される技術の例は、一般的な概念を説明するものであり、限定するものと解釈されるべきではない。一例において、明確に示されていない限り、逆に示されていない限り、これらの例に記載されている様々な特徴を組み合わせることができる。

これらの例において、１つのフィルタは複数のフィルタ係数に関連付けられてもよい。１つのフィルタセットは複数のフィルタを表す。なお、ｉ番目のフィルタをＦ^ｉで表し、その関連付けられたフィルタ係数をＦ^ｉｋで表すと、例えば、変数ｋは、Ｆ^ｉに関連付けられたｋ番目のフィルタ係数を表し、例えば、図２におけるＣｋに対応してもよい。

１． 符号化された情報に従って、ＮＬＡＬＦパラメータ（例えば、オン／オフ制御フラグ、クリッピングパラメータ）を判定することが提案される。
ａ． ＮＬＡＬＦパラメータ（例えば、オン／オフ制御フラグ、クリッピングパラメータ）は、符号化モード情報に依存してもよい。
ｉ． 一例において、どのＮＬＡＬＦパラメータを選択するかは、符号化モード、例えばイントラモードまたは非イントラモードによって判定されてもよい。
ｉｉ． 一例において、どのＮＬＡＬＦパラメータを選択するかは、符号化モード、例えばイントラモードまたはインターモードによって判定されてもよい。
ｉｉｉ． 一例において、どのＮＬＡＬＦパラメータを選択するかは、ＩＢＣモードまたは非ＩＢＣモード等の符号化モードによって判定されてもよい。
ｂ． ＮＬＡＬＦパラメータ（例えば、オン／オフ制御フラグ、クリッピングパラメータ）は、変換情報に依存してもよい。
ｉ． 一例において、それらは、変換スキップが適用されるかどうかに依存してもよい。
ｃ． ＮＬＡＬＦパラメータ（例えば、オン／オフ制御フラグ、クリッピングパラメータ）は、残差情報に依存してもよい。
ｉ． 一例において、それらは、ブロックが非ゼロ係数を含むかどうかに依存してもよい。
ｄ． ＮＬＡＬＦパラメータ（例えば、オン／オフ制御フラグ、クリッピングパラメータ）は、タイルグループのタイプ／ピクチャのタイプに依存してもよい。
ｅ． ＮＬＡＬＦパラメータ（例えば、オン／オフ制御フラグ、クリッピングパラメータ）は、１つのタイル／タイルグループ／スライスに関連付けられた時間層情報／参照ピクチャ情報等に依存してもよい。
ｉ． 一例において、それらは、すべての参照ピクチャが現在のピクチャと比較して小さなＰＯＣ値に関連付けられているかどうかに依存してもよい。
ｉｉ． 一例において、それらは、すべての参照ピクチャが現在のピクチャと比較して小さなまたは等しいＰＯＣ値に関連付けられているかどうかに依存してもよい。
ｆ． １つのブロックに関連付けられた参照ピクチャ／動き情報に従って、ＮＬＡＬＦパラメータ（例えば、オン／オフ制御フラグ、クリッピングパラメータ）を判定することが提案される。

２． 幾何学的変換に従って、ＮＬＡＬＦパラメータ（例えば、ｏｎ／ｏｂｉｆｆ制御フラグ、クリッピングパラメータ）を判定することが提案される。
ａ． 一例において、２つのＭ×Ｎ個のブロックに対して、それらが（例えば、同じクラスインデックスによって）同じフィルタに関連付けられても、関連付けられたＮＬＡＬＦパラメータ（例えば、クリッピングパラメータ）は異なってもよい。
ｂ． 一例において、１つのフィルタ係数の場合、２つ以上のクリッピングパラメータの指示が信号通知されてもよい。
ｉ． 一例において、クリッピングパラメータ／またはクリッピングパラメータのインデックス、またはクリッピングパラメータの他の表現の数は、許容される幾何学的変換の数に依存してもよい。
ｉｉ． 一例において、１つのフィルタパラメータに関連付けられたクリッピングパラメータ／クリッピングパラメータのインデックスの予測符号化が適用されてもよい。
１） 一例において、１つのサンプルまたはブロックのための１つのフィルタのクリッピングパラメータは、空間的／時間的に隣接するまたは非隣接の近傍のサンプルまたはブロックのために使用される別のフィルタの別のクリッピングパラメータによって予測されてもよい。

３． なお、クリッピング関数の上限と下限の大きさは等しくなくてもよいことが提案される。
ａ． 一例において、１つのクリッピング関数のための上限および下限の両方の指示が信号通知されてもよい。
ｉ． さらに、代替的に、上限と下限との間に予測符号化を適用してもよい。

４． 固定長でクリッピングパラメータ（例えばインデックス）の指示を直接符号化することが提案される。
ａ． 一例において、それらの各々は、Ｎビットで符号化されてもよい（例えば、Ｎは２に設定される）。
ｉ． 一例において、Ｎは固定されてもよい。
ｉｉ． 一例において、Ｎは、信号通知されてもよい。
ｉｉｉ． 一例において、Ｎは、ＱＰ、ピクチャ次元等のような符号化された情報に依存してもよい。
ｂ． 代替的に、これらは、最大値Ｎを有する切り捨て単項法で符号化されてもよい。
ｉ． 一例において、Ｎは固定されてもよい。
ｉｉ． 一例において、Ｎは、信号通知されてもよい。
ｉｉｉ． 一例において、Ｎは、ＱＰ、ピクチャ次元等のような符号化された情報に依存してもよい。
ｃ． 代替的に、これらは、指数ゴロム法で符号化されてもよいが、１つのフィルタに対して／１つのフィルタセットに対して固定次数で符号化されてもよい。
ｄ． 代替的に、これらは、ランレングス符号化で符号化されてもよい。
ｉ． 一例において、各フィルタにおいて、クリッピングパラメータのインデックスは、まず「ｒｕｎ」として符号化され、連続する同じクリッピングパラメータの数は「ｌｅｎｇｔｈ」として符号化されてもよい。
ｉｉ． 一例において、すべてのフィルタにおけるそれぞれのｋ番目のフィルタ係数について、Ｆ^ｉに関連付けられたクリッピングパラメータのインデックスは、まず「ｒｕｎ」として符号化され、他のフィルタにおける同じクリッピングパラメータの数は「ｌｅｎｇｔｈ」として符号化されてもよい。
ｅ． 一例において、クリッピングパラメータ（例えば、インデックス）の指示の予測符号化が適用されてもよい。
ｉ． 一例において、１つのフィルタ内のクリッピングパラメータのために、予測符号化が適用されてもよい。
ｉｉ． 一例において、異なるフィルタ間のクリッピングパラメータのために予測符号化が適用されてもよい。
１） 一例において、１つの色成分に対して異なるフィルタ間でクリッピングパラメータのために、予測符号化が適用されてもよい。
２） 一例において、複数の色成分に対して異なるフィルタ間のクリッピングパラメータのために、予測符号化が適用されてもよい。
３） 一例において、異なるサンプルまたはブロックに使用されるフィルタのクリッピングパラメータに予測符号化が適用されてもよい。
ｉｉｉ． 一例において、異なるＡＰＳにおいて信号通知されるクリッピングパラメータに予測符号化が適用されてもよい。

５． クリッピングパラメータの構文解析とフィルタ係数の構築を切り離すことが提案される。
ａ． 一例において、クリッピングパラメータ（例えば、クリッピングパラメータのインデックス）の構文解析は、フィルタ係数の値から独立している。
ｂ． 一例において、フィルタ係数が０に等しい場合、関連付けられたクリッピングパラメータの指示が依然として信号通知されてもよい。

６． １つのブロックがｉ番目のフィルタからフィルタ係数を継承する場合、ｉ番目のフィルタに関連付けられたクリッピングパラメータは継承されなくてもよい。
ａ． 一例において、１つのブロックについて時間的予測が有効化されている場合、関連付けられたクリッピングパラメータを直接継承する代わりに、非ローカルＡＬＦを使用するかどうか（クリッピングを適用するかどうか）を信号通知してもよい。
ｉ． 一例において、クリッピングを適用することが判定された場合、関連付けられたクリッピングパラメータを継承してもよい。
ｂ． 一例において、フィルタ係数がｉ番目のフィルタから継承／予測され、クリッピングパラメータがｊ番目のフィルタから継承／予測されるとすると、ｉはｊに等しくなくてもよい。
ｃ． 一例において、フィルタ係数がｉ番目のフィルタから継承／予測され、クリッピングパラメータがｊ番目のフィルタから継承／予測されるとすると、ｉ番目およびｊ番目のフィルタは、異なるフィルタセットに関連付けられてもよい。
ｉ． 一例において、ｉ番目のフィルタは、第１のピクチャ／タイルグループ／タイル／スライスに関連付けられてもよく、また、ｊ番目のフィルタは、第２のピクチャ／タイルグループ／タイル／スライスに関連付けられてもよい。
ｉｉ． 一例において、ｉはｊに等しくない。代替的に、ｉはｊに等しい。
ｄ． 一例において、フィルタインデックス等の、どのフィルタに関連付けられたクリッピングパラメータの指示が信号通知されてもよい。
ｅ． 一例において、ＡＰＳインデックス等の、どのフィルタセットに関連付けられたクリッピングパラメータの指示が信号通知されてもよい。
ｉ． 代替的に、フィルタインデックスは、さらに信号伝達されてもよい。

７． なお、分類処理において、サンプル差を直接使用する代わりに、切り出したサンプル差を利用してもよい。
ａ． 一例において、勾配計算処理において、クリッピングされたサンプルの差またはクリッピングされた勾配を使用してもよい。
ｂ． 一例において、アクティビティ計算処理において、クリッピングされたサンプルの差またはクリッピングされた勾配を使用してもよい。
ｃ． 一例において、垂直方向勾配を計算するために以下を使用してもよい。
Ｖ_ｋ，ｌ＝｜ｃｌｉｐ１（Ｒ（ｋ，ｌ）－Ｒ（ｋ，ｌ－１））＋ｃｌｉｐ２（Ｒ（ｋ，ｌ）－Ｒ（ｋ，ｌ＋１））｜
ここで、ｃｌｉｐ１およびｃｌｉｐ２は、２つのクリッピング関数である。
ｄ． 一例において、水平方向勾配を計算するために以下を使用してもよい。
Ｈ_ｋ，ｌ＝｜ｃｌｉｐ１（Ｒ（ｋ，ｌ）－Ｒ（ｋ－ｌ，１））＋ｃｌｉｐ２（Ｒ（ｋ，ｌ）－Ｒ（ｋ＋ｌ，１））｜
ここで、ｃｌｉｐ１およびｃｌｉｐ２は、２つのクリッピング関数である。

８． クリッピング演算を行うかどうかは、フィルタリング処理に使用するサンプルの位置（例えば、５．２章のＩ（ｘ＋ｉ，ｙ＋ｊ））に依存してもよい。
ａ． 一例において、フィルタサポートにおけるサンプルがＣＵ／ＰＵ／ＴＵ／ピクチャ／タイル／タイルグループの境界に位置していない場合、クリッピングは無効化されてもよい。
ｂ． 一例において、フィルタサポートにおけるサンプルがＣＵ／ＰＵ／ＴＵ／ピクチャ／タイル／タイルグループ／ＣＴＵ／仮想パイプライニングデータユニット（ＶＰＤＵ）の境界に位置する場合、クリッピングを適用してもよい。
ｃ． 代替的に、クリップ操作クリッピング演算を行うかどうかは、ＣＵ／ＰＵ／ＴＵ／ピクチャ／タイル／タイルグループ／ＣＴＵ／ＶＰＤＵの境界からのフィルタリング処理に使用される前記サンプル間の距離（例えば、５．２章のＩ（ｘ＋ｉ，ｙ＋ｊ）））に依存してもよい。
ｉ． 一例において、前記距離は、予め規定されてもよい（例えば、Ｎ個の画素）。
ｉｉ． 一例において、この距離は、信号通知されてもよい。

９． 適応ループフィルタ処理に使用されるフィルタの形状（別名フィルタサポート）は、色表現に依存してもよい。
ａ． 一例において、前記カラーフォーマットが４：４：４である場合、すべての成分（例えば、Ｙ、Ｃｂ、Ｃｒ）のための前記フィルタサポートは同じであるべきである。
ｉ． 例えば、前記フィルタ支持体は、図２Ｂに示すように、７＊７菱形である。
ｉｉ． 例えば、前記フィルタ支持体は、図２Ａに示すように、５＊５菱形である。
ｂ． 一例において、前記カラーフォーマットがＲＧＢである場合、すべての成分のための前記サポート領域である。
ｉ． 例えば、前記フィルタ支持体は、図２Ｂに示すように、７＊７菱形である。
ｉｉ． 例えば、前記フィルタ支持体は、図２Ａに示すように、５＊５菱形である。

上述した例は、以下に説明する方法、例えば、方法８００、８１０、および８２０のコンテキストに含まれてもよく、これらの方法は、映像デコーダまたは映像エンコーダにおいて実装されてもよい。

図８Ａは、例示的な映像処理方法のフローチャートを示す。方法８００は、ステップ８０２において、現在の映像ブロックの特徴に基づいて、非線形フィルタリング動作の１つ以上のパラメータを判定することを含む。

方法８００は、ステップ８０４において、前記１つ以上のパラメータに基づいて、前記現在の映像ブロックと前記現在の映像ブロックのビットストリーム表現との間での変換を行うことを含む。

いくつかの実施形態において、前記現在の映像ブロックの特徴は、前記現在の映像ブロックの符号化モードである。一例において、前記現在の前記映像ブロックの符号化モードは、イントラモード、非イントラモード、イントラブロックコピー（ＩＢＣ）モードまたは非ＩＢＣモードである。

いくつかの実施形態において、前記特徴は変換情報である。一例において、前記変換情報は、前記現在の映像ブロックに適用されている変換スキップの指示を含む。

いくつかの実施形態において、前記特徴は残差情報である。一例において、前記残差情報は、前記現在の映像ブロックにおけるゼロ値の係数を含む。

いくつかの実施形態において、前記特徴は、前記現在の映像ブロックを構成する、タイルグループタイプ、タイルグループのピクチャタイプまたはピクチャである。

いくつかの実施形態において、前記特徴は、前記現在の映像ブロックを構成する、タイル、タイルグループ、ピクチャまたはスライスに関連付けられた時間層情報または参照情報である。

いくつかの実施形態において、前記特徴は前記現在の映像ブロックに関連付けられた参照ピクチャまたは動き情報である。

いくつかの実施形態において、前記特徴は幾何学的変換である。

いくつかの実施形態において、前記前記パラメータは、オン／オフ制御フラグまたはクリッピング関数の１つ以上のパラメータを含む。

いくつかの実施形態において、前記クリッピング関数の上限の大きさは前記クリッピング関数の下限の大きさと異なる。一例において、予測符号化は、前記クリッピング関数の前記上限と前記下限との間に適用される。

図８Ｂは、例示的な映像処理方法のフローチャートを示す。方法８１０は、ステップ８１２において、現在の映像ブロックに対して、非線形フィルタリング動作の一部であるクリッピング演算の１つ以上のパラメータを構成することを含む。

方法８１０は、ステップ８１４において、前記１つ以上のパラメータに基づいて、前記現在の映像ブロックと前記現在の映像ブロックのビットストリーム表現との間での変換を行うことを含む。

いくつかの実施形態において、前記１つ以上のパラメータは、Ｎビットの固定長で符号化される。他の実施形態において、前記１つ以上のパラメータは、Ｎの最大値を有する切り捨て単項法で符号化される。一例において、Ｎは固定される。別の例において、Ｎが信号通知される。さらに別の例において、Ｎは、量子化パラメータを備える前記現在の映像ブロックの符号化された情報、または前記現在の映像ブロックを備えるピクチャの次元に基づく。

いくつかの実施形態において、前記１つ以上のパラメータは、１つのフィルタまたはフィルタセットに対して固定次数の指数ゴロム法で符号化される。

いくつかの実施形態において、１つ以上のパラメータは、ランレングス符号化で符号化される。

いくつかの実施形態において、前記１つ以上のパラメータは、少なくとも１つのフィルタ係数の値とは独立して信号通知される。

いくつかの実施形態において、前記１つ以上のパラメータは、フィルタ係数をさらに含み、現在の映像ブロックは、ｉ番目のフィルタから前記フィルタ係数を継承し、前記クリッピング関数の前記１つ以上のパラメータは、ｉ番目のフィルタとは異なるｊ番目のフィルタから継承される。

図８Ｃは、例示的な映像処理方法のフローチャートを示す。方法８２０は、ステップ８２２において、クリッピング演算を含む非線形フィルタリング動作を構成することを含む。

方法８２０は、ステップ８２４において、非線形フィルタリング動作に基づいて、現在の映像ブロックと現在の映像ブロックのビットストリーム表現との間での変換を行うことを含む。

いくつかの実施形態において、前記方法８２０は、クリッピングされたサンプル差または前記クリッピング演算により生成された、クリッピングされた勾配を使用する勾配計算処理を行うステップをさらに含む。他の実施形態において、方法８２０は、クリッピングされたサンプル差またはクリッピング演算によって生成されたクリッピングされた勾配を使用するアクティビティ計算処理を行うステップをさらに含む。ある実施例において、前記クリッピングされた勾配は、Ｖ_ｋ，ｌ＝｜ｃｌｉｐ１（Ｒ（ｋ，ｌ）－Ｒ（ｋ，ｌ－１））＋ｃｌｉｐ２（Ｒ（ｋ，ｌ）－Ｒ（ｋ，ｌ＋１））｜として算出される垂直方向勾配を含む。別の実施例において、クリッピングされた勾配は、Ｈ_ｋ，ｌ＝｜ｃｌｉｐ１（Ｒ（ｋ，ｌ）－Ｒ（ｋ，ｌ－１））＋ｃｌｉｐ２（Ｒ（ｋ，ｌ）－Ｒ（ｋ，ｌ＋１））｜として算出される水平方向勾配を含み、ここで、ｃｌｉｐ１およびｃｌｉｐ２は、それぞれ第１および第２のクリッピング関数である。

いくつかの実施形態において、この変換を行うことは、現在の映像ブロックの１つ以上のサンプルをフィルタリングすることを含み、この１つ以上のサンプルの位置に基づいてクリッピング演算を行う。

いくつかの実施形態において、前記１つ以上のサンプルの位置は、符号化ユニット（ＣＵ）、予測ユニット（ＰＵ）、変換ユニット（ＴＵ）、ピクチャ、タイル、タイルグループ、符号化ツリーユニット（ＣＴＵ）または仮想パイプライニングデータユニット（ＶＰＤＵ）の境界である。

いくつかの実施形態において、および方法８００、８１０、８２０のコンテキストにおいて、非線形フィルタリング動作に使用されるフィルタの形状は、色表現に基づく。一例において、この色表現は、４：４：４のカラーフォーマットまたはＲＧＢのカラーフォーマットを含む。別の例において、このフィルタは菱形フィルタである。

いくつかの実施形態において、および方法８００、８１０、８２０のコンテキストにおいて、非線形フィルタリング動作は、非線形適応ループフィルタリング動作である。

１１ 開示される技術の例示的な実装形態

図９は、映像処理装置９００のブロック図である。装置９００は、本明細書に記載の方法の１つ以上を実装するために使用してもよい。装置９００は、スマートフォン、タブレット、コンピュータ、ＩｏＴ（モノのインターネット）受信機等により実施されてもよい。装置９００は、１つ以上の処理装置９０２と、１つ以上のメモリ９０４と、映像処理ハードウェア９０６と、を含んでもよい。１つまたは複数の処理装置９０２は、本明細書に記載される１つ以上の方法（方法８００、８１０および８２０を含むが、これに限定されない）を実装するように構成されてもよい。メモリ（複数可）９０４は、本明細書で説明される方法および技術を実装するために使用されるデータおよびコードを記憶するために使用してもよい。映像処理ハードウェア９０６は、本明細書に記載される技術をハードウェア回路にて実装するために使用してもよい。

いくつかの実施形態において、映像符号化法は、図９を参照して説明したように、ハードウェアプラットフォームに実装される装置を使用して実施してもよい。

図１０は、本明細書で開示される様々な技術が実装され得る例示的な映像処理システム１０００を示すブロック図である。様々な実装形態は、システム１０００のモジュールの一部又は全部を含んでもよい。システム１０００は、映像コンテンツを受信するための入力ユニット１００２を含んでもよい。映像コンテンツは、未加工又は非圧縮フォーマット、例えば、８又は１０ビットのマルチモジュール画素値で受信されてもよく、又は圧縮又は符号化フォーマットで受信されてもよい。入力ユニット１００２は、ネットワークインターフェース、周辺バスインターフェース、又は記憶インターフェースを表してもよい。ネットワークインターフェースの例は、イーサネット（登録商標）、受動光ネットワーク（ＰＯＮ）等の有線インターフェース、およびＷｉ－Ｆｉ（登録商標）またはセルラーインターフェース等の無線インターフェースを含む。

システム１０００は、本明細書に記載される様々な符号化又は符号化方法を実装することができる符号化モジュール１００４を含んでもよい。符号化モジュール１００４は、入力ユニット１００２からの映像の平均ビットレートを符号化モジュール１００４の出力に低減し、映像の符号化表現を生成してもよい。従って、この符号化技術は、映像圧縮または映像コード変換技術と呼ばれることがある。符号化モジュール１００４の出力は、モジュール１００６によって表されるように、記憶されてもよいし、接続された通信を介して送信されてもよい。入力ユニット１００２において受信された、記憶された又は通信された映像のビットストリーム（又は符号化）表現は、モジュール１００８によって使用されて、表示インターフェースユニット１０１０に送信される画素値又は表示可能な映像を生成してもよい。ビットストリーム表現からユーザが見ることができる映像を生成する処理は、映像伸張（映像展開）と呼ばれることがある。さらに、特定の映像処理動作を「符号化」動作又はツールと呼ぶが、符号化ツール又は動作は、エンコーダで使用され、対応する復号化ツール又は動作であり符号化の結果を逆にするものは、デコーダによって行われることが理解されよう。

周辺バスインターフェースユニットまたは表示インターフェースユニットの例は、ユニバーサルシリアルバス（ＵＳＢ）または高精細マルチメディアインターフェース（ＨＤＭＩ（登録商標））またはディスプレイポート等を含んでもよい。ストレージインターフェースの例は、シリアルアドバンスドテクノロジーアタッチメント（ＳＡＴＡ）、ＰＣＩ、ＩＤＥインターフェース等を含む。本明細書に記載される技術は、携帯電話、ノートパソコン、スマートフォン、又はデジタルデータ処理及び／又は映像表示を実施可能な他のデバイス等の様々な電子デバイスに実施されてもよい。

図１１は、映像メディア処理方法の一例を示すフローチャートである。このフローチャートのステップは、本願の第１０章の実施例４に関連して説明する。ステップ１１０２において、処理は、現在の映像ブロックに対して、非線形フィルタリング動作の一部であるクリッピング演算の１つ以上のパラメータを構成する。ステップ１１０４において、処理は、１つ以上のパラメータに基づいて、現在の映像ブロックと現在の映像ブロックのビットストリーム表現との間での変換を行い、１つ以上のパラメータは、規則に従って符号化される。

図１２は、映像メディア処理方法の一例を示すフローチャートである。このフローチャートのステップは、本願の第１０章の実施例１に関連して説明する。ステップ１２０２において、処理は、現在の映像ブロックの特徴に基づいて、非線形フィルタリング動作の１つ以上のパラメータを判定する。ステップ１２０４において、処理は、１つ以上のパラメータに基づいて、現在の映像ブロックと現在の映像ブロックのビットストリーム表現との間での変換を行う。

図１３は、映像メディア処理方法の一例を示すフローチャートである。このフローチャートのステップは、本願の第１０章の実施例５に関連して説明する。ステップ１３０２において、処理は、現在の映像ブロックに対して、非線形フィルタリング動作の一部であるクリッピング演算の１つ以上のパラメータを構成する。ステップ１３０４において、処理は、１つ以上のパラメータに基づいて、現在の映像ブロックと現在の映像ブロックのビットストリーム表現との間での変換を行い、１つ以上のパラメータは、非線形フィルタリング動作に関連付けられた少なくとも１つのフィルタ係数の値とは関係なく、前記ビットストリーム表現で提示される。

図１４は、映像メディア処理方法の一例を示すフローチャートである。このフローチャートのステップは、本願の第１０章の実施例６に関連して説明する。ステップ１４０２において、処理は、現在の映像ブロックに対して、非線形フィルタリング動作の一部であるクリッピング演算の１つ以上のパラメータを構成する。ステップ１４０４において、処理は、１つ以上のパラメータに基づいて、前記現在の映像ブロックと前記現在の映像ブロックのビットストリーム表現との間での変換を行い、前記現在の映像ブロックは、ｉ番目のフィルタからのフィルタ係数を継承し、前記クリッピング演算の前記１つ以上のパラメータの継承に関連付けられた第１の規則は、フィルタ係数の継承に関連付けられた第２の規則とは異なる。

ここで説明される様々な実施形態を、項目による形式で提示する。

Ａ１． 視覚メディア処理方法であって、
現在の映像ブロックに対して、非線形フィルタリング動作の一部であるクリッピング演算の１つ以上のパラメータを構成することと、
前記１つ以上のパラメータに基づいて、前記現在の映像ブロックと前記現在の映像ブロックのビットストリーム表現との間での変換を行うことと、を含み、
前記１つ以上のパラメータは、規則に従って符号化される、
方法。

Ａ２． 前記規則は、Ｎビットの固定長を有する前記１つ以上のパラメータを符号化することを規定する、項目Ａ１に記載の方法。

Ａ３． 前記規則は、Ｎの最大値に基づいて、切り捨て単項法で前記１つ以上のパラメータを符号化することを規定する、項目Ａ１に記載の方法。

Ａ４． Ｎが固定である、項目Ａ１～Ａ３のいずれか１つ以上に記載の方法。

Ａ５． Ｎが前記ビットストリーム表現で信号通知される、項目Ａ１～Ａ３のいずれか１つ以上に記載の方法。

Ａ６． Ｎは、量子化パラメータを備える前記現在の映像ブロックの符号化された情報、または前記現在の映像ブロックを備えるピクチャの次元に基づく、項目Ａ１～Ａ３のいずれか１つ以上に記載の方法。

Ａ７． 前記非線形フィルタリング動作は、１つのフィルタに基づいており、前記規則は、１つのフィルタまたはフィルタセットに対して固定次数の指数ゴロム法を用いて前記１つ以上のパラメータを符号化することを規定する、項目Ａ１に記載の方法。

Ａ８． 前記規則は、ランレングス符号化方法に基づく前記１つ以上のパラメータを符号化することを規定する、項目Ａ１に記載の方法。

Ａ９． 前記規則は、ランレングス符号化方法のランが前記パラメータのインデックスに対応し、前記ランレングス符号化方法の長さが前記１つ以上のパラメータの連続するパラメータの数が同じであることをさらに規定する、項目Ａ５に記載の方法。

Ａ１０． 前記規則は、予測符号化に基づく前記１つ以上のパラメータを符号化することを規定する、項目Ａ１に記載の方法。

Ａ１１． 前記予測符号化は、１つのフィルタ内の１つ以上のパラメータに適用される、項目Ａ１０に記載の方法。

Ａ１２． 前記予測符号化は、異なるフィルタ間の１つ以上のパラメータに適用される、項目Ａ１０に記載の方法。

Ａ１３． 前記予測符号化は、１つの色成分に使用される異なるフィルタ間の１つ以上のパラメータに適用される、項目Ａ１２に記載の方法。

Ａ１４． 前記予測符号化は、異なる色成分に使用される異なるフィルタ間の１つ以上のパラメータに適用される、項目Ａ１２に記載の方法。

Ａ１５． 前記予測符号化は、前記現在の映像ブロックの異なるサンプルに使用される異なるフィルタ間の１つ以上のパラメータに適用される、項目Ａ１２に記載の方法。

Ａ１６． 前記予測符号化は、異なる映像ブロックに使用される異なるフィルタ間の１つ以上のパラメータに適用される、項目Ａ１２に記載の方法。

Ａ１７． 前記１つ以上のパラメータは、異なる適応パラメータセット（ＡＰＳ）におけるフィールドとして含まれる、項目Ａ１１に記載の方法。

Ａ１８． 前記非線形フィルタリング動作は、異なる方向の勾配計算に基づいてフィルタインデックスを判定することを含む、適応ループフィルタ（ＡＬＦ）動作である、項目Ａ１～Ａ１７のいずれか１つ以上に記載の方法。

Ａ１９． 前記１つ以上のパラメータは、クリッピングインデックスを含む、項目Ａ１～Ａ１７のいずれか１つ以上に記載の方法。

Ｂ１． 視覚メディア処理方法であって、
現在の映像ブロックの特徴に基づいて、非線形フィルタリング動作の１つ以上のパラメータを判定することと、
前記１つ以上のパラメータに基づいて、前記現在の映像ブロックと前記現在の映像ブロックのビットストリーム表現との間での変換を行うことと、を含む、
方法。

Ｂ２． 前記現在の映像ブロックの特徴は、前記現在の映像ブロックの符号化モードである、項目Ｂ１に記載の方法。

Ｂ３． 前記現在の前記映像ブロックの符号化モードは、イントラモード、非イントラモード、イントラブロックコピー（ＩＢＣ）モードまたは非ＩＢＣモードである、項目Ｂ２に記載の方法。

Ｂ４． 前記特徴が変換情報である、項目Ｂ１に記載の方法。

Ｂ５． 前記変換情報は、前記現在の映像ブロックに適用されている変換スキップの指示を含む、項目Ｂ４に記載の方法。

Ｂ６． 前記特徴が残差情報である、項目Ｂ１に記載の方法。

Ｂ７． 前記残差情報は、前記現在の映像ブロックにおけるゼロ値の係数を含む、項目Ｂ６に記載の方法。

Ｂ８． 前記特徴は、前記現在の映像ブロックを構成する、タイルグループタイプ、タイルグループのピクチャタイプまたはピクチャである、項目Ｂ１に記載の方法。

Ｂ９． 前記特徴は、前記現在の映像ブロックを構成する、タイル、タイルグループ、ピクチャまたはスライスに関連付けられた時間層情報または参照情報である、項目Ｂ１に記載の方法。

Ｂ１０． 前記特徴は前記現在の映像ブロックに関連付けられた参照ピクチャまたは動き情報である、項目Ｂ１に記載の方法。

Ｂ１１． 前記特徴が幾何学的変換である、項目Ｂ１に記載の方法。

Ｂ１２． いくつかの実施形態において、前記１つ以上のパラメータは、オン／オフ制御フラグおよび／またはクリッピング関数のパラメータを含む、項目Ｂ１～Ｂ１１のいずれか１つ以上に記載の方法。

Ｂ１３． 前記クリッピング関数の上限の大きさは前記クリッピング関数の下限の大きさと異なる、項目Ｂ１２に記載の方法。

Ｂ１４． 予測符号化は、前記クリッピング関数の前記上限と前記下限との間に適用される、項目Ｂ１３に記載の方法。

Ｂ１５． 前記クリッピング関数の上限および前記クリッピング関数の下限は、前記ビットストリーム表現におけるフィールドとして含まれる、項目Ｂ１２に記載の方法。

Ｂ１６． 前記非線形フィルタリング動作は、第１のフィルタおよび第２のフィルタを使用することを含み、前記第２のフィルタの前記１つ以上のパラメータは、前記第１のフィルタの前記１つ以上のパラメータを使用して予測される、項目Ｂ１０に記載の方法。

Ｂ１７． 前記第１のフィルタおよび前記第２のフィルタは、前記現在の映像ブロックの異なるサンプルセットに適用される、項目Ｂ１０に記載の方法。

Ｂ１８． 前記第１のフィルタおよび前記第２のフィルタは、異なる映像ブロックに関連付けられたサンプルに適用される、項目Ｂ１０に記載の方法。

Ｂ１９． 前記非線形フィルタリング動作に使用されるフィルタの形状は、前記現在の映像ブロックに関連付けられたサンプルの色表現に基づく、項目Ａ１～Ｂ１８のいずれか１つ以上に記載の方法。

Ｂ２０． 前記色表現は、４：４：４カラーフォーマットまたはＲＧＢカラーフォーマットを含む、項目Ｂ１９に記載の方法。

Ｂ２１． 前記フィルタは菱形フィルタである、項目Ｂ１９に記載の方法。

Ｂ２２． 前記菱形フィルタは、５×５または７×７のサイズである、項目Ｂ１９に記載の方法。

Ｂ２３． 非線形フィルタリング動作が非線形適応ループフィルタリング動作である、項目Ｂ１～Ｂ２２のいずれか１つ以上に記載の方法。

Ｂ２４． 前記非線形フィルタリング動作は、異なる方向の勾配計算に基づいてフィルタインデックスを判定することを含む、適応ループフィルタ（ＡＬＦ）動作である、項目Ｂ１～Ｂ２３のいずれか１つ以上に記載の方法。

Ｂ２５． 前記１つ以上のパラメータは、クリッピングインデックスを含む、項目Ｂ１～Ｂ２３のいずれか１つ以上に記載の方法。

Ｂ２６． 変換は、現在の映像ブロックからビットストリーム表現を生成することを含む、項目Ａ１～Ｂ２５のいずれかに記載の方法。

Ｂ２７． 変換は、ビットストリーム表現から現在の映像ブロックの画素値を生成することを含む、項目Ａ１～Ｂ２５のいずれかに記載の方法。

Ｂ２８． 項目Ａ１～Ｂ２５のいずれか１つ以上に記載の方法を実施するように構成された処理装置を備える映像エンコーダ装置。

Ｂ２９． 項目Ａ１～Ｂ２５のいずれか１つ以上に記載の方法を実施するように構成された処理装置を備える、映像デコーダ装置。

Ｂ３０． コードが記憶されたコンピュータ可読媒体であって、コードは、項目Ａ１～Ｂ２５の１つ以上のいずれかに記載の方法を実施するための処理装置実行可能命令を具現化する、コンピュータ可読媒体。

Ｃ１． 視覚メディア処理方法であって、
現在の映像ブロックに対して、非線形フィルタリング動作の一部であるクリッピング演算の１つ以上のパラメータを構成することと、
１つ以上のパラメータに基づいて、現在の映像ブロックと現在の映像ブロックのビットストリーム表現との間での変換を行うことと、を含み、
１つ以上のパラメータは、非線形フィルタリング動作に関連付けられた少なくとも１つのフィルタ係数の値とは関係なく、前記ビットストリーム表現で提示される、
方法。

Ｃ２． 前記少なくとも１つのフィルタ係数の値がゼロである場合、前記１つ以上のパラメータが前記ビットストリーム表現で表される、項目Ｃ１に記載の方法。

Ｃ３． 前記少なくとも１つのフィルタ係数の値にかかわらず、前記１つ以上のパラメータが前記ビットストリーム表現で表される、項目Ｃ１～Ｃ２のいずれか１つ以上に記載の方法。

Ｃ４． 前記非線形フィルタリング動作は、異なる方向の勾配計算に基づいてフィルタインデックスを判定することを含む、適応ループフィルタ（ＡＬＦ）動作である、項目Ｃ１～Ｃ３のいずれか１つ以上に記載の方法。

Ｃ５． 前記１つ以上のパラメータは、クリッピングインデックスを含む、項目Ｃ１～Ｃ３のいずれか１つ以上に記載の方法。

Ｄ１． 視覚メディア処理方法であって、
現在の映像ブロックに対して、非線形フィルタリング動作の一部であるクリッピング演算の１つ以上のパラメータを構成することと、
１つ以上のパラメータに基づいて、前記現在の映像ブロックと前記現在の映像ブロックのビットストリーム表現との間での変換を行うことと、を含み、
前記現在の映像ブロックは、ｉ番目のフィルタからのフィルタ係数を継承し、前記クリッピング演算の前記１つ以上のパラメータの継承に関連付けられた第１の規則は、フィルタ係数の継承に関連付けられた第２の規則とは異なる、
方法。

Ｄ２． 前記第１の規則は、ｉ番目のフィルタからのクリッピング演算の前記１つ以上のパラメータの継承を排除することを規定する、項目Ｄ１に記載の方法。

Ｄ３． 項目Ｄ１に記載の方法であって、
現在の映像ブロックに対して時間的予測が有効化されていることを識別すると、クリッピング演算を適用するかまたは無効化するかを判定することをさらに含む、方法。

Ｄ４． 項目Ｄ１に記載の方法であって、
現在の映像ブロックに対して時間的予測が有効化されていることを識別すると、クリッピング演算の前記１つ以上のパラメータの継承を適用するか、排除するかを判定することをさらに含む、方法。

Ｄ５． 前記第１の規則は、ｊ番目のフィルタからのクリッピング演算の前記１つ以上のパラメータを継承することを規定する、項目Ｄ１に記載の方法。

Ｄ６． 前記第１の規則は、前記ｊ番目のフィルタからクリッピング演算の前記１つ以上のパラメータを継承することを規定し、前記ｊ番目のフィルタと前記ｉ番目のフィルタとは異なるフィルタセットに関連付けられる、項目Ｄ１に記載の方法。

Ｄ７． 前記ｊ番目のフィルタおよび前記ｉ番目のフィルタは、異なるピクチャおよび／またはタイルグループおよび／またはタイルおよび／またはスライスに関連付けられる、項目Ｄ６に記載の方法。

Ｄ８． 前記ｊ番目のフィルタと前記ｉ番目のフィルタとが同じである、項目Ｄ６に記載の方法。

Ｄ９． 前記ｊ番目のフィルタと前記ｉ番目のフィルタとが異なる、項目Ｄ５に記載の方法。

Ｄ１０． 前記第１の規則は、前記ビットストリーム表現におけるフィールドとして前記クリッピング演算の前記１つ以上のパラメータを含むことを規定する、項目Ｄ１に記載の方法。

Ｄ１１． 前記フィールドは、適応パラメータセット（ＡＰＳ）インデックスを含む、項目Ｄ１０に記載の方法。

Ｄ１２． 前記クリッピング演算は、クリッピングされたサンプル差またはクリッピング勾配を計算することを含む、項目Ｄ１～Ｄ１１のいずれか１つ以上に記載の方法。

Ｄ１３． 前記クリッピングされた勾配は、
Ｖ＿（ｋ，ｌ）＝｜ｋ（ｋ，ｌ）－Ｒ（ｋ，ｌ）－Ｒ（ｋ，ｌ－１）＋ｃｌｉｐ２（Ｒ（ｋ，ｌ）－Ｒ（ｋ，ｌ＋１））｜以下のように算出される垂直方向勾配を含み、ｃｌｉｐ１およびｃｌｉｐ２は、それぞれ第１および第２のクリッピング関数であり、Ｒ（ｉ，ｊ）は、前記現在の映像ブロックのサンプルを示す、項目Ｄ１２に記載の方法。

Ｄ１４． 前記クリッピングされた勾配は、
Ｈ＿（ｋ，ｌ）＝｜ｋ（ｋ，ｌ）－Ｒ（ｋ－１，ｌ）＋ｃｌｉｐ２（Ｒ（ｋ，ｌ）－Ｒ（ｋ＋１，ｌ））｜のように算出される水平方向勾配を含み、ｃｌｉｐ１およびｃｌｉｐ２は、それぞれ第１および第２のクリッピング関数であり、Ｒ（ｉ，ｊ）は、前記現在の映像ブロックのサンプルを示す、項目Ｄ１２に記載の方法。

Ｄ１５． フィルタリング動作に使用したサンプルの位置に基づいて、クリッピング演算を選択的に有効化するか、または無効化するかを判定すること、を更に含む、項目Ｄ１～Ｄ１４のいずれか１つ以上に記載の方法。

Ｄ１６． 前記サンプルが、符号化ユニット、分割ユニット、変換ユニット、ピクチャ、タイル、またはタイルグループのうちの１つ以上の境界に位置していない場合、クリッピング演算が無効化される、項目Ｄ１５に記載の方法。

Ｄ１７． 前記サンプルが、符号化ユニット、分割ユニット、変換ユニット、ピクチャ、タイル、タイルグループ、符号化ツリーユニット、または仮想パイプライニングデータユニットのうちの１つ以上の境界に位置している場合、クリッピング演算が有効化される、項目Ｄ１５に記載の方法。

Ｄ１８． 前記位置は、前記サンプルと、符号化ユニット、分割ユニット、変換ユニット、ピクチャ、タイル、タイルグループ、符号化ツリーユニット、または仮想パイプライニングデータユニットのうちの１つ以上の境界との間の距離に関連する、項目Ｄ１５に記載の方法。

Ｄ１９． 前記距離が予め規定されている、項目Ｄ１８に記載の方法。

Ｄ２０． 前記距離が前記ビットストリーム表現で信号通知される、項目Ｄ１８に記載の方法。

Ｄ２１． 前記非線形フィルタリング動作に使用されるフィルタの形状は、前記現在の映像ブロックに関連付けられたサンプルの色表現に基づく、項目Ｄ１～Ｄ２０のいずれか１つ以上に記載の方法。

Ｄ２２． 前記色表現は、４：４：４カラーフォーマットまたはＲＧＢカラーフォーマットを含む、項目Ｄ２１に記載の方法。

Ｄ２３． 前記フィルタは菱形フィルタである、項目Ｄ２１に記載の方法。

Ｄ２４． 前記菱形フィルタのサイズが５×５または７×７である、項目Ｄ２３に記載の方法。

Ｄ２５． 前記非線形フィルタリング動作は、異なる方向の勾配計算に基づいてフィルタインデックスを判定することを含む、適応ループフィルタリング（ＡＬＦ）動作である、項目Ｄ１～Ｄ２４のいずれか１つ以上に記載の方法。

Ｄ２６． 前記１つ以上のパラメータは、クリッピングインデックスを含む、項目Ｄ１～Ｄ２４のいずれか１つ以上に記載の方法。

Ｄ２７． 変換は、現在の映像ブロックからビットストリーム表現を生成することを含む、項目Ｃ１～Ｄ２６のいずれかに記載の方法。

Ｄ２８． 変換は、ビットストリーム表現から現在の映像ブロックの画素値を生成することを含む、項目Ｃ１～Ｄ２６のいずれかに記載の方法。

Ｄ２９． 項目Ｃ１～Ｄ２６のいずれか１つ以上に記載の方法を実施するように構成された処理装置を備える、映像エンコーダ装置。

Ｄ３０． 項目Ｃ１～Ｄ２６のいずれか１つ以上に記載の方法を実施するように構成された処理装置を備える、映像デコーダ装置。

Ｄ３１． コードが記憶されたコンピュータ可読媒体であって、コードは、項目Ｃ１～Ｄ２６の１つ以上のいずれかに記載の方法を実施するための処理装置実行可能命令を具現化する、コンピュータ可読媒体。

本明細書では、「映像処理」、「映像メディア処理」または「映像メディアの処理」という用語は、映像符号化、映像復号化、映像圧縮、または映像展開を指すことができる。例えば、映像圧縮アルゴリズムは、映像の画素表現から対応するビットストリーム表現への変換、またはその逆の変換中に適用されてもよい。現在の映像ブロックのビットストリーム表現は、例えば、構文によって規定されるように、ビットストリーム内の同じ場所または異なる場所に拡散されるビットに対応していてもよい。例えば、１つのマクロブロックは、変換および符号化された誤り残差値の観点から、且つビットストリームにおけるヘッダおよび他のフィールドにおけるビットを使用して符号化されてもよい。さらに、変換中、デコーダは、上記解決策で説明されているように、判定に基づいて、いくつかのフィールドが存在しても存在しなくてもよいという知識を持って、ビットストリームを構文解析してもよい。同様に、エンコーダは、特定のシンタックスフィールドが含まれるべきであるか、または含まれないべきであるかを判定し、構文フィールドを符号化表現に含めるか、または符号化表現から除外することによって、それに応じて符号化表現を生成してもよい。

以上、説明の目的で本開示の技術の特定の実施形態を説明したが、本発明の範囲から逸脱することなく様々な修正が可能であることは、理解されるであろう。従って、本開示の技術は、添付の特許請求の範囲による場合を除き、限定されない。

本特許明細書に記載された主題および機能操作の実装形態は、本明細書に開示された構造およびその構造的等価物を含め、様々なシステム、デジタル電子回路、またはコンピュータソフトウェア、ファームウェア、若しくはハードウェアで実施されてもよく、またはそれらの１つ以上の組み合わせで実施してもよい。本明細書に記載された主題の実装形態は、１つ以上のコンピュータプログラム製品、すなわち、データ処理装置によって実行されるため、又はデータ処理装置の操作を制御するために、有形で非可搬性のコンピュータ可読媒体上に符号化されたコンピュータプログラム命令の１つ以上のモジュールとして実装することができる。このコンピュータ可読媒体は、機械可読記憶装置、機械可読記憶基板、メモリデバイス、機械可読伝播信号をもたらす物質の組成物、又はこれらの１つ以上の組み合わせであってもよい。「データ処理ユニット」又は「データ処理装置」という用語は、例えば、プログラマブル処理装置、コンピュータ、又は複数の処理装置若しくはコンピュータを含め、データを処理するためのすべての装置、デバイス、および機械を含む。この装置は、ハードウェアの他に、当該コンピュータプログラムの実行環境を作るコード、例えば、処理装置ファームウェア、プロトコルスタック、データベース管理システム、オペレーティングシステム、またはこれらの１つ以上の組み合わせを構成するコードを含むことができる。

コンピュータプログラム（プログラム、ソフトウェア、ソフトウェアアプリケーション、スクリプト、またはコードとも呼ばれる）は、コンパイルされた言語または解釈された言語を含む任意の形式のプログラミング言語で記述することができ、また、それは、スタンドアロンプログラムとして、またはコンピューティング環境で使用するのに適したモジュール、成分、サブルーチン、または他のユニットとして含む任意の形式で展開することができる。コンピュータプログラムは、必ずしもファイルシステムにおけるファイルに対応するとは限らない。プログラムは、他のプログラムまたはデータを保持するファイルの一部（例えば、マークアップ言語文書に格納された１つ以上のスクリプト）に記録されていてもよいし、当該プログラム専用の単一のファイルに記憶されていてもよいし、複数の調整ファイル（例えば、１つ以上のモジュール、サブプログラム、またはコードの一部を格納するファイル）に記憶されていてもよい。１つのコンピュータプログラムを、１つのサイトに位置する１つのコンピュータ、または複数のサイトに分散され通信ネットワークによって相互接続される複数のコンピュータで実行させるように展開することも可能である。

本明細書に記載された処理およびロジックフローは、入力データ上で動作し、出力を生成することによって機能を実行するための１つ以上のコンピュータプログラムを実行する１つ以上のプログラマブル処理装置によって行うことができる。処理およびロジックフローはまた、特定用途のロジック回路、例えば、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）またはＡＳＩＣ（特定用途向け集積回路）によって行うことができ、装置はまた、特別目的のロジック回路として実装することができる。

コンピュータプログラムの実行に適した処理装置は、例えば、汎用および専用マイクロ処理装置の両方、並びに任意の種類のデジタルコンピュータの任意の１つ以上の処理装置を含む。一般的に、処理装置は、読み出し専用メモリ又はランダムアクセスメモリ又はその両方から命令及びデータを受信する。コンピュータの本質的な要素は、命令を実行するためのプロセッサと、命令およびデータを記憶するための１つ以上の記憶装置とである。一般的に、コンピュータは、データを記憶するための１つ以上の大容量記憶デバイス、例えば、磁気、光磁気ディスク、または光ディスクを含んでもよく、またはこれらの大容量記憶デバイスからデータを受信するか、またはこれらにデータを転送するように動作可能に結合されてもよい。しかしながら、コンピュータは、このようなデバイスを有する必要はない。コンピュータプログラム命令およびデータを記憶するのに適したコンピュータ可読媒体は、あらゆる形式の不揮発性メモリ、媒体、およびメモリデバイスを含み、例えば、ＥＰＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリデバイス等の半導体メモリデバイスを含む。処理装置およびメモリは、特定用途のロジック回路によって補完されてもよく、または特定用途のロジック回路に組み込まれてもよい。

本明細書は、図面とともに、例示のみを目的とするものであり、例示的とは例を意味することが意図される。本明細書で使用される場合、単数形「ａ」、「ａｎ」および「ｔｈｅ」は、文脈からそうでないことが明確に示されていない限り、複数形も含むことが意図される。さらに、文脈からそうでないことが明確に示されていない限り、「または」の使用は、「および／または」を含むことが意図される。

本特許明細書は多くの詳細を含むが、これらは、任意の発明の範囲又は特許請求の範囲を限定するものと解釈されるべきではなく、むしろ、特定の発明の特定の実施形態に特有であり得る特徴の説明と解釈されるべきである。本特許文献において別個の実施形態の文脈で説明されている特定の特徴は、１つの例において組み合わせて実装してもよい。逆に、１つの例のコンテキストで説明された様々な特徴は、複数の実施形態において別個にまたは任意の適切なサブコンビネーションで実装してもよい。さらに、特徴は、特定の組み合わせで作用するものとして上記に記載され、最初にそのように主張されていてもよいが、主張された組み合わせからの１つ以上の特徴は、場合によっては、組み合わせから抜粋されることができ、主張された組み合わせは、サブコンビネーションまたはサブコンビネーションのバリエーションに向けられてもよい。

同様に、動作は図面において特定の順番で示されているが、これは、所望の結果を達成するために、このような動作が示された特定の順番でまたは連続した順番で行われること、または示された全ての動作が行われることを必要とするものと理解されるべきではない。また、本特許明細書に記載されている例における様々なシステムの構成要素の分離は、全ての実施形態においてこのような分離を必要とするものと理解されるべきではない。

いくつかの実装形態および例のみが記載されており、この特許文献に記載され図示されているコンテンツに基づいて、他の実施形態、拡張および変形が可能である。

Claims (15)

1. 映像データ処理方法であって、
   映像の現在の映像領域に非線形フィルタリング動作が適用されることを判定することと、
   前記現在の映像領域に対して少なくとも１つの第１のフィルタリングインデックスを生成することと、
   少なくとも１つの第１のフィルタリングインデックス及び少なくとも１つの係数パラメータ構文要素に基づいて、第１のフィルタリング係数セットを導出することと、
   前記少なくとも１つの第１のフィルタリングインデックス及び少なくとも１つのフィルタリングクリッピング構文要素に基づいて、第１のクリッピングパラメータセットを導出することと、
   前記第１のフィルタリング係数セット及び第１のクリッピングパラメータセットに基づいて、前記非線形フィルタリング動作を実行することと、
   前記現在の映像領域と前記映像のビットストリームとの間の変換を実行することと、
   を有し、
   前記少なくとも１つのフィルタリングクリッピング構文要素は、前記第１のフィルタリング係数セットの値から独立して前記ビットストリーム内に存在し、
   前記少なくとも１つのフィルタリングクリッピング構文要素は、クリッピングインデックスを含む、
   方法。
2. 前記第１のフィルタリング係数セットの少なくとも１つの値がゼロであることから独立して、前記少なくとも１つのフィルタリングクリッピング構文要素が、前記ビットストリーム内に存在する、請求項１に記載の方法。
3. 前記第１のフィルタリング係数セットの値に関係なく、前記少なくとも１つのフィルタリングクリッピング構文要素が、前記ビットストリーム内に存在する、
   請求項１に記載の方法。
4. 前記少なくとも１つのフィルタリングクリッピング構文要素及び前記少なくとも１つの係数パラメータ構文要素は、同じ適応パラメータセット内に存在する、
   請求項１～３のいずれか１項に記載の方法。
5. 前記少なくとも１つの係数パラメータ構文要素は、係数絶対値を含む、
   請求項１～４のいずれか１項に記載の方法。
6. 前記少なくとも１つのフィルタリングクリッピング構文要素は、２ビットの固定長でコーディングされ、
   前記少なくとも１つの係数パラメータ構文要素は、固定次数の指数ゴロムモデルを使用してコーディングされる、
   請求項１～５のいずれか１項に記載の方法。
7. 前記現在の映像領域は、コーディングツリーブロック又はスライスを含む、
   請求項１～６のいずれか１項に記載の方法。
8. 前記少なくとも１つの第１のフィルタリングインデックスは、異なる方向における複数のサンプルの差に基づいて導出される、
   請求項１～７のいずれか１項に記載の方法。
9. 前記現在の映像領域は、複数のＭ×Ｍの映像サブ領域に分割され、
   異なる方向における前記複数のサンプルの差は、Ｍ×Ｍの映像サブ領域の各々について導出され、
   Ｍは、２又は４に等しい、
   請求項８に記載の方法。
10. 異なる方向における前記複数のサンプルの差は、１：Ｎのサブサンプリングレートに基づいて導出され、
    Ｎは、１より大きい、
    請求項８又は９に記載の方法。
11. 前記変換は、前記現在の映像領域を前記ビットストリームに符号化することを含む、
    請求項１～１０のいずれか１項に記載の方法。
12. 前記変換は、前記ビットストリームから前記現在の映像領域に復号化することを含む、
    請求項１～１０のいずれか１項に記載の方法。
13. 処理装置と、命令を有する非一時的メモリと、を含む映像データ処理装置であって、
    前記処理装置による実行時に、前記命令は、プロセッサに、
    映像の現在の映像領域に非線形フィルタリング動作が適用されることを判定することと、
    前記現在の映像領域に対して少なくとも１つの第１のフィルタリングインデックスを生成することと、
    少なくとも１つの第１のフィルタリングインデックス及び少なくとも１つの係数パラメータ構文要素に基づいて、第１のフィルタリング係数セットを導出することと、
    前記少なくとも１つの第１のフィルタリングインデックス及び少なくとも１つのフィルタリングクリッピング構文要素に基づいて、第１のクリッピングパラメータセットを導出することと、
    前記第１のフィルタリング係数セット及び第１のクリッピングパラメータセットに基づいて、前記非線形フィルタリング動作を実行することと、
    前記現在の映像領域と前記映像のビットストリームとの間の変換を実行することと、
    を実行させ、
    前記少なくとも１つのフィルタリングクリッピング構文要素は、前記第１のフィルタリング係数セットの値から独立して前記ビットストリーム内に存在し、
    前記少なくとも１つのフィルタリングクリッピング構文要素は、クリッピングインデックスを含む、
    装置。
14. 命令を格納する非一時的なコンピュータ可読記憶媒体であって、
    前記命令は、プロセッサに、
    映像の現在の映像領域に非線形フィルタリング動作が適用されることを判定することと、
    前記現在の映像領域に対して少なくとも１つの第１のフィルタリングインデックスを生成することと、
    少なくとも１つの第１のフィルタリングインデックス及び少なくとも１つの係数パラメータ構文要素に基づいて、第１のフィルタリング係数セットを導出することと、
    前記少なくとも１つの第１のフィルタリングインデックス及び少なくとも１つのフィルタリングクリッピング構文要素に基づいて、第１のクリッピングパラメータセットを導出することと、
    前記第１のフィルタリング係数セット及び第１のクリッピングパラメータセットに基づいて、前記非線形フィルタリング動作を実行することと、
    前記現在の映像領域と前記映像のビットストリームとの間の変換を実行することと、
    を実行させ、
    前記少なくとも１つのフィルタリングクリッピング構文要素は、前記第１のフィルタリング係数セットの値から独立して前記ビットストリーム内に存在し、
    前記少なくとも１つのフィルタリングクリッピング構文要素は、クリッピングインデックスを含む、
    記憶媒体。
15. 映像のビットストリームを格納する方法であって、
    映像の現在の映像領域に非線形フィルタリング動作が適用されることを判定することと、
    前記現在の映像領域に対して少なくとも１つの第１のフィルタリングインデックスを生成することと、
    少なくとも１つの第１のフィルタリングインデックス及び少なくとも１つの係数パラメータ構文要素に基づいて、第１のフィルタリング係数セットを導出することと、
    前記少なくとも１つの第１のフィルタリングインデックス及び少なくとも１つのフィルタリングクリッピング構文要素に基づいて、第１のクリッピングパラメータセットを導出することと、
    前記第１のフィルタリング係数セット及び第１のクリッピングパラメータセットに基づいて、前記非線形フィルタリング動作を実行することと、
    前記非線形フィルタリング動作に基づいて、前記映像の前記ビットストリームを生成することと、
    前記ビットストリームを非一時的なコンピュータ可読記録媒体に格納することと、
    を有し、
    前記少なくとも１つのフィルタリングクリッピング構文要素は、前記第１のフィルタリング係数セットの値から独立して前記ビットストリーム内に存在し、
    前記少なくとも１つのフィルタリングクリッピング構文要素は、クリッピングインデックスを含む、
    方法。

Images