JP7319389B2 - 適応ループ・フィルタを用いたエンコーダ、デコーダおよび対応する方法 - Google Patents

Description

関連出願への相互参照
本特許出願は、2019年5月4日に出願された米国仮特許出願第62/843,431号に対する優先権を主張する。前述の特許出願の開示は、その全体が参照により本明細書に組み込まれる。

技術分野
本願（開示）の実施形態は、概括的には、ピクチャー処理の分野に関し、より詳細には、ピクチャー内のブロックのサンプルをフィルタリングすることに関する。

ビデオ・コーディング（ビデオ・エンコードおよびデコード）は、広範囲のデジタルビデオアプリケーション、たとえば、放送デジタルTV、インターネットおよびモバイルネットワークを通じたビデオ伝送、ビデオチャット、ビデオ会議のようなリアルタイムの会話アプリケーション、DVDおよびブルーレイディスク、ビデオコンテンツ取得および編集システム、ならびにセキュリティアプリケーションのカムコーダーに使用される。

比較的短いビデオを描写するために必要とされるビデオ・データの量は、相当なものであることがあり、そのことは、データが限られた帯域幅容量をもつ通信ネットワークを介してストリーミングされる、または他の仕方で通信される場合に、困難を生じる可能性がある。よって、ビデオ・データは、一般に、現代の遠隔通信ネットワークを介して通信される前に圧縮される。また、メモリ資源が制限される可能性があるため、ビデオが記憶装置に記憶される場合にも、ビデオのサイズが問題となる可能性がある。ビデオ圧縮装置は、しばしば、伝送または記憶の前にビデオ・データをコーディングするためにソースにおいてソフトウェアおよび／またはハードウェアを使用し、それによりデジタルビデオ画像を表すのに必要とされるデータ量を減らす。次いで、圧縮されたデータは、ビデオ・データをデコードするビデオ圧縮解除装置によって宛先で受信される。ネットワーク資源が限られており、より高いビデオ品質の要求が絶えず増しているため、ピクチャー品質にほとんどないし全く犠牲を払わずに圧縮比を改善する、改良された圧縮および圧縮解除技術が望ましい。

本願の実施形態は、独立請求項による、エンコードおよびデコードするための装置および方法を提供する。
上記および他の目的は、独立請求項の主題事項によって達成される。さらなる実装は、従属請求項、明細書および図面から明らかである。

本開示の第1の側面によれば、デコード装置によって実装されるコーディング方法が提供され、当該方法は：
ビットストリームを取得する段階であって、前記ビットストリームにおける少なくとも1つのビットは、現在ブロックについての構文要素を表し、前記構文要素は、適応ループ・フィルタ（ALF）のためのクリッピング値のクリッピング・インデックスを指定する、段階と；前記ビットストリームをパースして、現在ブロックについての前記構文要素の値を取得する段階であって、前記構文要素は、固定長コードを用いてコーディングされる、段階と；現在ブロックについての前記構文要素の値に基づいて、現在ブロックに対して適応ループ・フィルタリングを適用する段階とを含む。ここで、固定長コードとは、構文要素のすべての可能な値が、同数のビットを使って信号伝達されることを意味する。これは、クリッピング・パラメータを信号伝達する、より簡単な方法を提供する。さらに、コーディング効率が改善される。

第1の側面そのものによる方法のある可能な実装形態では、現在ブロックについての構文要素の値は、前記少なくとも1つのビットのみを使用することによって取得される。

任意の先行する実装または第1の側面そのものによる方法のある可能な実装形態では、前記少なくとも1つのビットは2ビットである。

任意の先行する実装または第1の側面そのものによる方法のある可能な実装形態では、前記ビットストリームにおける前記少なくとも1つのビットは、前記構文要素の値を表す。

任意の先行する実装または第1の側面そのものによる方法のある可能な実装形態では、前記構文要素は、クロマ適応ループ・フィルタまたはルーマ適応ループ・フィルタのためのものである。

任意の先行する実装または第1の側面そのものによる方法のある可能な実装形態では、前記クリッピング値は、目標サンプル値と近傍のサンプル値との差を制限（またはクリッピング）するために使用されるクリッピング範囲を決定するために使用され、制限されたサンプル値差（またはクリッピングされたサンプル値差）は、ALFのプロセスにおいて目標サンプル値を修正するために使用される。

任意の先行する実装または第1の側面そのものによる方法のある可能な実装形態では、前記構文要素の値に基づいて、現在ブロックに対して適応ループ・フィルタリングを適用する前記段階は、前記構文要素の値に基づいてクリッピング値を取得する段階と；前記クリッピング値を使用して、現在ブロックの目標サンプル値と近傍のサンプル値との差を制限（またはクリッピング）する段階と；制限されたサンプル値の差（またはクリッピングされたサンプル値差）に適応ループ・フィルタ（ALF）の係数を乗算する段階と；乗算の結果を使用して、前記目標サンプル値を修正する段階とを含む。

任意の先行する実装または第1の側面そのものによる方法のある可能な実装形態では、前記クリッピング値は、前記構文要素によって指定された前記クリッピング・インデックスと、クリッピング・インデックスとクリッピング値との間のマッピングとを使用することによって決定される。

任意の先行する実装または第1の側面そのものによる方法のある可能な実装形態では、前記固定長コードは、前記少なくとも1つのビットを使用する符号なし整数のバイナリ表現を含む。言い換えると、前記少なくとも1つのビットは前記構文要素の値のバイナリ表現であり、前記構文要素の値は符号なし整数である。

任意の先行する実装または第1の側面そのものによる方法のある可能な実装形態では、前記構文要素はブロックの集合に適用され、現在ブロックはブロックの前記集合における1つのブロックである。

任意の先行する実装または第1の側面そのものによる方法のある可能な実装形態では、前記構文要素はスライス・レベルにある。

本開示の第2の側面によれば、デコード装置によって実装されるコーディング方法が提供され、当該方法は：
ビットストリームを取得する段階であって、前記ビットストリームにおける少なくとも1つのビットは、現在ブロックについての構文要素を表し、前記構文要素は、適応ループ・フィルタ（ALF）クリッピング値インデックスおよび／またはALF係数パラメータである、段階と；前記ビットストリームをパースして、現在ブロックについての前記構文要素の値を得る段階であって、現在ブロックについての前記構文要素の値は、前記構文要素の前記少なくとも1つのビットのみを使用することによって取得される、段階と；現在ブロックについての前記構文要素の値に基づいて、現在ブロックに対して適応ループ・フィルタリングを適用する段階とを含む。

第2の側面そのものによる方法の、ある可能な実装形態では、前記構文要素は、固定長コードを使用してコーディングされる。

直前の実装による方法の、ある可能な実装形態では、前記固定長コードは、前記少なくとも1つのビットを使用する符号なし整数のバイナリ表現を含む。言い換えると、前記少なくとも1つのビットは、前記構文要素の値のバイナリ表現であり、前記構文要素の値は符号なし整数である。

第2の側面そのものまたはその任意の先行する実装による方法のある可能な実装形態では、前記構文要素自身が前記構文要素の値を定義する。

第2の側面そのものまたはその任意の先行する実装による方法のある可能な実装形態では、前記ビットストリームにおける前記少なくとも1つのビットが前記構文要素の値を表す。

第2の側面そのものまたはその任意の先行する実装による方法のある可能な実装形態では、前記ALFクリッピング値インデックスは、適応ループ・フィルタ（ALF）のための前記クリッピング値の前記クリッピング・インデックスを指定する。

第2の側面そのものまたはその任意の先行する実装による方法のある可能な実装形態では、ALF係数パラメータがALFの係数を得るために使用される。

第2の側面そのものまたはその任意の先行する実装による方法のある可能な実装形態では、現在ブロックについての前記構文要素の値が、前記構文要素の前記少なくとも1つのビットのみを使用することによって得られることは、前記構文要素の値が前記構文要素自身によって定義されることを意味する。

第2の側面そのものまたはその任意の先行する実装による方法のある可能な実装形態では、前記構文要素が、ブロックの集合に適用され、現在ブロックは、ブロックの前記集合における1つのブロックである。

第2の側面そのものまたはその任意の先行する実装による方法のある可能な実装形態では、前記構文要素は、スライス・レベルにある。

第2の側面そのものまたはその任意の先行する実装による方法のある可能な実装形態では、前記ALF係数パラメータは、ALF係数を決定するために使用される。

第1の側面または第2の側面そのもの、またはその任意の先行する実装による方法の、ある可能な実装形態では、前記構文要素は前記ALFクリッピング値インデックスであり、前記構文要素を表す前記少なくとも1つのビットは2ビットである。

直前の実装による方法のある可能な実装形態では、前記ALFクリッピング値インデックスは、4つのクリッピング値のうちの1つのクリッピング値を識別する。

第1の側面または第2の側面そのもの、またはその任意の先行する実装による方法の、ある可能な実装形態では、前記ALFクリッピング値インデックスの値が、クリッピング範囲を決定するために使用され、前記クリッピング範囲は、前記適応ループ・フィルタリング・プロセスにおいて使用される。

本開示の第3の側面によれば、エンコード装置によって実装されるコーディング方法が提供される。当該方法は：
現在ブロックについての構文要素の値を決定する段階であって、前記構文要素は適応ループ・フィルタ（ALF）についての前記クリッピング値の前記クリッピング・インデックスを指定する、段階と；前記構文要素の値に基づいてビットストリームを生成する段階であって、前記ビットストリームにおける少なくとも1つのビットが前記構文要素を表し、前記構文要素は固定長コードを用いてコーディングされる、段階とを含む。

第3の側面そのものによる方法のある可能な実装形態では、前記構文要素の前記少なくとも1つのビットは、現在ブロックについての前記構文要素の値のみを使用することによって得られる。

第3の側面そのものまたはその任意の先行する実装による方法のある可能な実装形態では、前記構文要素の値は、現在ブロックの再構成されたブロック（またはフィルタリングされたブロック）と現在ブロックのもとの信号との間の最小の差異（たとえば、平均二乗誤差またはレート歪みコスト）に対応し、再構成されたブロック（またはフィルタリングされたブロック）は、前記構文要素の値を使用した結果であり、前記最小の差異は、前記構文要素の他のいかなる可能な値に対応する他の差異よりも小さい。

第3の側面そのものまたはその任意の先行する実装による方法のある可能な実装形態では、前記ビットストリームにおける少なくとも1つのビットが前記構文要素の値を表す。

第3の側面そのものまたはその任意の先行する実装による方法のある可能な実装形態では、前記クリッピング値は、目標サンプル値と近傍のサンプル値との間の差を制限（またはクリッピング）するために使用されるクリッピング範囲を決定するために使用され、前記制限されたサンプル値差（またはクリップピングされたサンプル値差）は、ALFのプロセスにおいて前記目標サンプル値を修正するために使用される。

第3の側面そのものまたはその任意の先行する実装による方法のある可能な実装形態では、前記固定長コードは、前記少なくとも1つのビットを使用する符号なし整数のバイナリ表現を含む。言い換えると、前記少なくとも1つのビットは前記構文要素の値のバイナリ表現であり、前記構文要素の値は符号なし整数である。

第3の側面そのものまたはその任意の先行する実装による方法のある可能な実装形態では、前記構文要素は、ブロックの集合に適用され、現在ブロックは、ブロックの前記集合における1つのブロックである。

第3の側面そのものまたはその任意の先行する実装による方法のある可能な実装形態では、前記構文要素はスライス・レベルにある。

本開示の第4の側面によれば、エンコード装置によって実装されるコーディング方法が提供される。当該方法は：
現在ブロックについての構文要素の値を決定する段階であって、前記構文要素は、適応ループ・フィルタ（ALF）クリッピング値インデックスおよび／またはALFフィルタ係数パラメータである、段階と；前記構文要素の値に基づいてビットストリームを生成する段階であって、前記ビットストリームにおける少なくとも1つのビットは、前記構文要素を表し、前記構文要素の前記少なくとも1つのビットは、現在ブロックについての前記構文要素の値のみを使用することによって得られる、段階とを含む。

第4の側面そのものまたはその任意の先行する実装による方法のある可能な実装形態では、前記構文要素は、固定長コードを使用してコーディングされる。

直前の実装による方法のある可能な実装形態では、前記固定長コードは、前記少なくとも1つのビットを使用する符号なし整数のバイナリ表現を含む。言い換えると、前記少なくとも1つのビットは前記構文要素の値のバイナリ表現であり、前記構文要素の値は符号なし整数である。

第4の側面そのものまたはその任意の先行する実装による方法のある可能な実装形態では、前記ビットストリームにおける前記少なくとも1つのビットは、前記構文要素の値を表す。

第4の側面そのものまたはその任意の先行する実装による方法のある可能な実装形態では、前記構文要素はブロックの集合に適用され、現在ブロックはブロックの前記集合における1つのブロックである。

第4の側面そのものまたはその任意の先行する実装による方法のある可能な実装形態では、前記構文要素はスライス・レベルにある。

第4の側面そのものまたはその任意の先行する実装による方法のある可能な実装形態では、前記ALF係数パラメータは、ALF係数を決定するために使用される。

第3の側面または第4の側面そのもの、またはその任意の先行する実装による方法のある可能な実装形態では、前記構文要素は前記ALFクリッピング値インデックスであり、前記構文要素を表す前記少なくとも1つのビットは2ビットである。

第4の側面の直前の実装による方法のある可能な実装形態では、前記ALFクリッピング値インデックスは、4つのクリッピング値のうちの1つのクリッピング値を識別する。

第3の側面または第4の側面そのもの、またはその任意の先行する実装による方法のある可能な実装形態では、前記ALFクリッピング値インデックスの値は、クリッピング範囲を決定するために使用され、前記クリッピング範囲は、前記適応ループ・フィルタリング・プロセスにおいて使用される。

本開示の第5の側面によれば、第1または第2の側面またはその任意の実装による方法を実行するための処理回路を備えるデコーダが提供される。

本開示の第6の側面によれば、第3または第4の側面またはその任意の実装による方法を実行するための処理回路を備えるエンコーダが提供される。

本開示の第7の側面によれば、第1の側面ないし第4の側面またはその任意の実装のいずれかによる方法を実行するためのプログラム・コードを含むコンピュータ・プログラム・プロダクトが提供される。

本開示の第8の側面によれば、コンピュータ装置によって実行されたときに第1の側面ないし第4の側面またはその任意の実装のいずれかによる方法を前記コンピュータ装置に実行させるプログラム・コードを担持する非一時的なコンピュータ読み取り可能媒体が提供される。

本開示の第9の側面によれば、一つまたは複数のプロセッサと；前記プロセッサに結合され、前記プロセッサによる実行のためのプログラミングを記憶している非一時的なコンピュータ読み取り可能記憶媒体とを有するデコーダが提供される。前記プログラミングは、前記プロセッサによって実行されたときに、第1または第2の側面またはその任意の実装のいずれかによる方法を実行するよう前記デコーダを構成する。

本開示の第10の側面によれば、一つまたは複数のプロセッサと；前記プロセッサに結合され、前記プロセッサによる実行のためのプログラミングを記憶している非一時的なコンピュータ読み取り可能記憶媒体とを有するエンコーダが提供される。前記プログラミングは、前記プロセッサによって実行されたときに、第3または第4の側面またはその任意の実装による方法を実行するよう前記エンコーダを構成する。

本開示の第11の側面によれば、ビットストリームを取得するように構成されたエントロピー・デコード・ユニットを有するデコーダが提供され、
前記ビットストリームにおける少なくとも1つのビットが現在ブロックについての構文要素を表し、前記構文要素は適応ループ・フィルタ（ALF）についての前記クリッピング値の前記クリッピング・インデックスを指定し；
前記エントロピー・デコード・ユニットは、前記ビットストリームをパースして、現在ブロックについての前記構文要素の値を取得するように構成され、前記構文要素は固定長コードを用いてコーディングされ；フィルタリング・ユニットが、現在ブロックについての前記構文要素の値に基づいて、現在ブロックに対して適応ループ・フィルタリングを適用するように構成される。

本開示の第12の側面によれば、ビットストリームを取得するように構成されたエントロピー・デコード・ユニットを有するデコーダが提供され、
前記ビットストリームにおける少なくとも1つのビットが現在ブロックについての構文要素を表し、前記構文要素は適応ループ・フィルタ（ALF）クリッピング値インデックスまたはALF係数パラメータであり；
前記エントロピー・デコード・ユニットは、前記ビットストリームをパースして、現在ブロックについての前記構文要素の値を得るようにさらに構成され、現在ブロックについての前記構文要素の値は、前記構文要素の前記少なくとも1つのビットのみを使用することによって得られ；フィルタリング・ユニットが、現在ブロックについての前記構文要素の値に基づいて、現在ブロックに対して適応ループ・フィルタリングを適用するように構成される。

本開示の第13の側面によれば、エンコーダが提供される、該エンコーダは：
現在ブロックについての構文要素の値を決定するように構成された決定ユニットであって、前記構文要素は適応ループ・フィルタ（ALF）のための前記クリッピング値の前記クリッピング・インデックスを指定する、決定ユニットと；前記構文要素の値に基づいてビットストリームを生成するように構成されたエントロピー・エンコード・ユニットであって、前記ビットストリームにおける少なくとも1つのビットが前記構文要素を表し、前記構文要素が固定長コードを用いてコーティングされる、エントロピー・エンコード・ユニットとを有する。

本開示の第14の側面によれば、エンコーダが提供され、該エンコーダは：
現在ブロックについての構文要素の値を決定するように構成された決定ユニットであって、前記構文要素は、ALFクリッピング値インデックスまたは適応ループ・フィルタ（ALF）係数パラメータである、決定ユニットと；前記構文要素の値に基づいてビットストリームを生成するように構成されたエントロピー・エンコード・ユニットであって、前記ビットストリームにおける少なくとも1つのビットは、前記構文要素を表し、前記構文要素の前記少なくとも1つのビットは、現在ブロックについての前記構文要素の値のみを使用することによって取得される、エントロピー・エンコード・ユニットとを有する。

本開示の第15の側面によれば、デコード装置によって実装されるコーディング方法が提供され、当該方法は：
ビットストリームを取得する段階であって、前記ビットストリームにおけるnビットが適応ループ・フィルタ（ALF）のための前記クリッピング値の前記クリッピング・インデックスを指定する構文要素を表し、nは0以上の整数である、段階と；
前記ビットストリームをパースして、現在ブロックについての前記構文要素の値を得る段階であって、前記構文要素の値は、前記nビットを使用する符号なし整数のバイナリ表現である、段階と；現在ブロックについての前記構文要素の値に基づいて、現在ブロックに対して適応ループ・フィルタリングを適用する段階とを含む。

第15の側面に従った方法のある可能な実装形態では、前記構文要素はスライス・レベルの構文要素であってもよい。

本開示の第16の側面によれば、エンコード装置によって実装されるコーディング方法が提供され、当該方法は：
適応ループ・フィルタ（ALF）についての前記クリッピング値の前記クリッピング・インデックスを指定する構文要素の値を決定する段階であって、nは0以上の整数である、段階と；前記構文要素の値に基づいてnビットを含むビットストリームを生成する段階であって、前記nビットを使用する符号なし整数の前記バイナリ表現は前記構文要素の値である、段階とを含む。

第16の側面による方法のある可能な実装形態では、前記構文要素はスライス・レベルの構文要素であってもよい。

本開示の第17の側面によれば、デコーダが提供され、当該デコーダは：
ビットストリームを取得するように構成されたエントロピー・デコード・ユニットであって、前記ビットストリームにおけるnビットは、適応ループ・フィルタ（ALF）についての前記クリッピング値の前記クリッピング・インデックスを指定するスライス・レベルの構文要素を表し、nは0以上の整数であり、該エントロピー・デコード・ユニットは、前記ビットストリームをパースして、現在ブロックについての前記構文要素の値を得るようにさらに構成され、前記構文要素の値は、前記nビットを使用する符号なし整数のバイナリ表現である、エントロピー・デコード・ユニットと；現在ブロックについての前記構文要素の値に基づいて、現在ブロックに対して適応ループ・フィルタリングを適用するように構成されたフィルタリング・ユニットとを有する。

本開示の第18の側面によれば、エンコーダが提供され、当該エンコーダは：
適応ループ・フィルタ（ALF）についての前記クリッピング値の前記クリッピング・インデックスを指定するスライス・レベルの構文要素の値を決定するように構成された決定ユニットであって、nは0以上の整数である、決定ユニットと；前記構文要素の値に基づいて、nビットを含むビットストリームを生成するように構成されたエントロピー・エンコード・ユニットであって、前記nビットを使用する符号なし整数の前記バイナリ表現は前記構文要素の値である、エントロピー・エンコード・ユニットとを有する。

本開示の第19の側面によれば、第15の側面またはその任意の実装による方法を実行するための処理回路を備えるデコーダが提供される。

本開示の第20の側面によれば、第16の側面またはその任意の実装による方法を実行するための処理回路を備えるエンコーダが提供される。

本開示の第21の側面によれば、第15の側面、第16の側面、またはその任意の実装による方法を実行するためのプログラム・コードを含むコンピュータ・プログラム・プロダクトが提供される。

本開示の第22の側面によれば、コンピュータ装置によって実行されたときに第15の側面または第16の側面またはその任意の実装のいずれかによる方法を前記コンピュータ装置に実行させるプログラム・コードを担持する非一時的なコンピュータ読み取り可能媒体が提供される。

本開示の第23の側面によれば、一つまたは複数のプロセッサと；前記プロセッサに結合され、前記プロセッサによる実行のためのプログラミングを記憶している非一時的なコンピュータ読み取り可能記憶媒体とを有するデコーダが提供される。前記プログラミングは、前記プロセッサによって実行されたときに、第15の側面またはその任意の実装による方法を実行するよう前記デコーダを構成する。

本開示の第24の側面によれば、一つまたは複数のプロセッサと；前記プロセッサに結合され、前記プロセッサによる実行のためのプログラミングを記憶している非一時的なコンピュータ読み取り可能記憶媒体とを有するエンコーダが提供される。前記プログラミングは、前記プロセッサによって実行されたときに、第16の側面またはその任意の実装による方法を実行するよう前記エンコーダを構成する。

本開示の第25の側面によれば、nビットを含むビットストリームを含む非一時な記憶媒体が提供され、前記nビットを使用する符号なし整数の前記バイナリ表現は、構文要素の値であり、前記構文要素は、適応ループ・フィルタ（ALF）についての前記クリッピング値の前記クリッピング・インデックスを指定し、nは、0以上の整数である。

本開示の第26の側面によれば、ビットストリームを含む非一時的な記憶媒体が提供され、前記ビットストリームにおける少なくとも1つのビットは前記構文要素を表し、前記構文要素は固定長コードを用いてコーディングされ、適応ループ・フィルタ（ALF）のための前記クリッピング値の前記クリッピング・インデックスを指定する。

第26の側面そのものによる方法のある実装形態では、前記構文要素自身が前記構文要素の値を定義する。

本開示の第27の側面によれば、ビットストリームを含む非一時的な記憶媒体が提供され、前記ビットストリームにおける少なくとも1つのビットが前記構文要素を表し、前記構文要素は、適応ループ・フィルタ（ALF）クリッピング値インデックスまたはALFフィルタ係数パラメータであり、前記構文要素の前記少なくとも1つのビットは、前記構文要素の値のみを使用することによって得られる。

本開示の第28の側面によれば、任意の側面またはその任意の実装の方法によってエンコードされたビットストリームを含む非一時的な記憶媒体が提供される。

一つまたは複数の実施形態の詳細は、添付の図面および以下の説明に記載されている。他の特徴、目的、および利点は、明細書、図面、および特許請求の範囲から明らかであろう。

以下では、本発明の実施形態が、添付の図面および図を参照して、より詳細に説明される。
本発明の実施形態を実装するように構成されたビデオ・コーディング・システムの例を示すブロック図である。 本発明の実施形態を実装するように構成されたビデオ・コーディング・システムの別の例を示すブロック図である。 本発明の実施形態を実装するように構成されたビデオ・エンコーダの例を示すブロック図である。 本発明の実施形態を実装するように構成されたビデオ・デコーダの例示的な構造を示すブロック図である。 エンコード装置またはデコード装置の例を示すブロック図である。 エンコード装置またはデコード装置の別の例を示すブロック図である。 ALFフィルタ形状を示す。クロマ5×5ダイヤモンド、ルーマ7×7ダイヤモンド。 サブサンプリングされたALFブロック分類を示す。 VTM-5.0 ALFルーマおよびクロマ・クリッピング・パラメータの信号伝達を示す。 修正されたVTM-5.0 ALFルーマおよびクロマ・クリッピング・パラメータの信号伝達を示し、クリッピング・パラメータは2ビットの固定長コードを使用して信号伝達される。 本開示の第1の側面による方法を示すブロック図である。 本開示の第2の側面による方法を示すブロック図である。 本開示の第3の側面による方法を示すブロック図である。 本開示の第4の側面による方法を示すブロック図である。 本開示の第5の側面によるデコーダを示すブロック図である。 本開示の第6の側面によるエンコーダを示すブロック図である。 本開示の第9の側面によるデコーダを示すブロック図である。 本開示の第10の側面によるエンコーダを示すブロック図である。 本開示の第11の側面によるデコーダを示すブロック図である。 本開示の第12の側面によるデコーダを示すブロック図である。 本開示の第13の側面によるエンコーダを示すブロック図である。 本開示の第14の側面によるエンコーダを示すブロック図である。 コンテンツ配信サービスを実現するコンテンツ供給システム3100の例示的構造を示すブロック図である。 端末装置の一例の構造を示すブロック図である。

以下では、同一の参照符号は、他に明示的に指定されていない場合は、同一のまたは少なくとも機能的に等価な特徴を指す。

以下の説明では、添付の図面を参照する。図面は、本開示の一部をなし、例として、本発明の実施形態の個別的な側面または本発明の実施形態が使用されうる個別的な側面を示す。本発明の実施形態は、他の側面において使用されてもよく、図に示されていない構造的または論理的変更を含んでいてもよいことが理解される。よって、以下の詳細な説明は、限定する意味で解釈されるべきではなく、本発明の範囲は、添付の特許請求の範囲によって定義される。

たとえば、記載される方法に関連する開示は、その方法を実行するように構成された対応する装置またはシステムについても成り立つことがあり、その逆もありうることが理解される。たとえば、一つまたは複数の特定の方法段階が記載されている場合、対応する装置は、記載された一つまたは複数の方法段階を実行するための一つまたは複数のユニット、たとえば機能ユニット（たとえば、前記一つまたは複数のステップを実行する1つのユニット、または前記複数のステップのうちの一つまたは複数をそれぞれ実行する複数のユニット）を含んでいてもよい。たとえそのような一つまたは複数のユニットが明示的に記載または図示されていなくてもそうである。一方、たとえば、一つまたは複数のユニット、たとえば機能ユニットに基づいて特定の装置が記載される場合、対応する方法は、前記一つまたは複数のユニットの機能を実行するための1つの段階（たとえば、前記一つまたは複数のユニットの機能を実行する1つの段階、または前記複数のユニットのうちの一つまたは複数のユニットの機能をそれぞれ実行する複数の段階）を含んでいてもよい。たとえそのような一つまたは複数の段階が明示的に記載または図示されていなくてもそうである。さらに、本明細書に記載されるさまざまな例示的な実施形態および／または側面の特徴は、特に断りのない限り、互いに組み合わされてもよいことが理解される。

ビデオ・コーディングは、典型的には、ビデオまたはビデオ・シーケンスを形成する一連のピクチャーの処理を指す。「ピクチャー」という用語の代わりに、「フレーム」または「画像」という用語が、ビデオ・コーディングの分野では同義語として使用されることがある。ビデオ・コーディング（または、一般にコーディング）は、2つの部分、ビデオ・エンコードおよびビデオ・デコードを含む。ビデオ・エンコードは、ソース側で実行され、典型的には、もとのビデオ・ピクチャーを（たとえば圧縮により）処理して、（より効率的な記憶および／または伝送のために）該ビデオ・ピクチャーを表現するのに必要とされるデータ量を減らすことを含む。ビデオ・デコードは、宛先側で実行され、典型的には、ビデオ・ピクチャーを再構成するための、エンコーダと比較して、逆の処理を含む。ビデオ・ピクチャー（または、一般にピクチャー）の「コーディング」に言及する実施形態は、ビデオ・ピクチャーまたはそれぞれのビデオ・シーケンスの「エンコード」または「デコード」に関連するものと理解される。エンコード部分とデコード部分の組み合わせは、コーデック（コーディングとデコード）とも呼ばれる。

無損失のビデオ・コーディングの場合、もとのビデオ・ピクチャーが再構成できる。すなわち、再構成されたビデオ・ピクチャーは、もとのビデオ・ピクチャーと同じ品質をもつ（記憶または伝送の間に伝送損失またはその他のデータ損失がないとして）。損失のあるビデオ・コーディングの場合、ビデオ・ピクチャーを表すデータの量を減らすために、たとえば量子化によるさらなる圧縮が実行され、ビデオ・ピクチャーはデコーダにおいて完全に再構成することはできない。すなわち、再構成されたビデオ・ピクチャーの品質は、もとのビデオ・ピクチャーの品質に比べ、低いまたは悪い。

いくつかのビデオ・コーディング標準は、「損失のあるハイブリッド・ビデオ・コーデック」のグループに属する（すなわち、サンプル領域における空間的および時間的予測と、変換領域における量子化を適用するための2D変換符号化とを組み合わせる）。ビデオ・シーケンスの各ピクチャーは、典型的には、重複しないブロックの集合に分割され、コーディングは典型的にはブロック・レベルで実行される。換言すれば、エンコーダでは、ビデオは、典型的には、ブロック（ビデオ・ブロック）レベルで処理される、すなわちエンコードされる。これは、たとえば、空間的（ピクチャー内）予測および／または時間的（ピクチャー間）予測を用いて予測ブロックを生成し、現在ブロック（現在処理されている／処理されるべきブロック）から予測ブロックを減算して残差ブロックを取得し、残差ブロックを変換し、変換領域において残差ブロックを量子化して、伝送されるべきデータ量を減らす（圧縮）ことによる。一方、デコーダでは、エンコーダと比べて逆の処理が、エンコードされたまたは圧縮されたブロックに対して適用されて、表現のために現在ブロックを再構成する。さらに、エンコーダは、デコーダ処理ループを複製し、そのため、両者とも、同一の予測（たとえば、イントラ予測およびインター予測）および／またはその後のブロックを処理、すなわちコーディングするための再構成を生成する。

以下では、ビデオ・コーディング・システム10、ビデオ・エンコーダ20およびビデオ・デコーダ30の実施形態が、図1～図3に基づいて説明される。

図1Aは、本願の技術を利用することができる例示的なコーディングシステム10、たとえばビデオ・コーディング・システム10（または略してコーディングシステム10）を示す概略ブロック図である。ビデオ・コーディング・システム10のビデオ・エンコーダ20（または略してエンコーダ20）およびビデオ・デコーダ30（または略してデコーダ30）は、本願に記載されるさまざまな例による技術を実行するように構成されうる装置の例を表わす。

図1Aに示されるように、コーディングシステム10は、エンコードされたピクチャー・データ21を、たとえば該エンコードされたピクチャー・データ13をデコードする宛先装置14に提供するように構成された源装置12を有する。

源装置12は、エンコーダ20を有し、追加的すなわち任意的に、ピクチャー源16、プリプロセッサ（または前処理ユニット）18、たとえばピクチャー・プリプロセッサ18、および通信インターフェースもしくは通信ユニット22を有していてもよい。

ピクチャー源16は、任意の種類のピクチャー捕捉装置、たとえば、実世界ピクチャーを捕捉するためのカメラ、および／または任意の種類のピクチャー生成装置、たとえば、コンピュータ・アニメーション化されたピクチャーを生成するためのコンピュータ・グラフィックス・プロセッサ、または、実世界ピクチャー、コンピュータ生成されたピクチャー（たとえば、スクリーン・コンテンツ、仮想現実（VR）ピクチャー）、および／またはそれらの任意の組み合わせ（たとえば、拡張現実（AR）ピクチャー）を取得および／または提供するための任意の種類の他の装置を有するか、またはそのようなものであってよい。ピクチャー源は、上記のピクチャーのいずれかを記憶する任意の種類のメモリまたは記憶であってもよい。

プリプロセッサ18および前処理ユニット18によって実行される処理と区別して、ピクチャーまたはピクチャー・データ17は、生ピクチャーまたは生ピクチャー・データ17と称されてもよい。

プリプロセッサ18は、（生）ピクチャー・データ17を受け取り、ピクチャー・データ17に対して前処理を実行し、前処理されたピクチャー19または前処理されたピクチャー・データ19を得るように構成される。プリプロセッサ18によって実行される前処理は、たとえば、トリミング、色フォーマット変換（たとえば、RGBからYCbCrへ）、色補正、またはノイズ除去を含んでいてもよい。前処理ユニット18は、任意的な構成要素であってもよいことが理解できる。

ビデオ・エンコーダ20は、前処理されたピクチャー・データ19を受領し、エンコードされたピクチャー・データ21を提供するように構成される（さらなる詳細は、たとえば図2に基づいて後述する）。

源装置12の通信インターフェース22は、エンコードされたピクチャー・データ21を受領し、エンコードされたピクチャー・データ21（またはその任意のさらなる処理バージョン）を、通信チャネル13を通じて、別の装置、たとえば宛先装置14または任意の他の装置に、記憶または直接再構成のために送信するように構成されてもよい。

宛先装置14は、デコーダ30（たとえば、ビデオ・デコーダ30）を有しており、追加的すなわち任意的に、通信インターフェースまたは通信ユニット28、ポストプロセッサ32（または後処理ユニット32）、および表示装置34を有していてもよい。

宛先装置14の通信インターフェース28は、エンコードされたピクチャー・データ21（またはそのさらなる処理されたバージョン）を、たとえば源装置12から直接、または他の任意の源、たとえば記憶装置、たとえばエンコード・ピクチャー・データ記憶装置から受領し、エンコードされたピクチャー・データ21をデコーダ30に提供するように構成される。

通信インターフェース22および通信インターフェース28は、源装置12と宛先装置14との間の直接通信リンク、たとえば直接的な有線もしくは無線接続を介して、または任意の種類のネットワーク、たとえば有線もしくは無線ネットワークもしくはそれらの任意の組み合わせ、または任意の種類の私的および公的ネットワーク、またはそれらの任意の種類の組み合わせを介して、エンコードされたピクチャー・データ21またはエンコードされたデータ13を送信または受信するように構成されてもよい。

通信インターフェース22は、たとえば、エンコードされたピクチャー・データ21を適切なフォーマット、たとえば、パケットにパッケージ化し、および／またはエンコードされたピクチャー・データを通信リンクもしくは通信ネットワークを通じた伝送のための任意の種類の伝送エンコードもしくは処理を用いて処理するように構成されてもよい。

通信インターフェース22の相手をなす通信インターフェース28は、たとえば、送信されたデータを受信し、任意の種類の対応する伝送デコードもしくは処理および／またはパッケージ化解除を用いて伝送データを処理して、エンコードされたピクチャー・データ21を得るように構成されてもよい。

通信インターフェース22および通信インターフェース28の両方は、図1Aにおいて源装置12から宛先装置14を指す通信チャネル13についての矢印によって示されるような一方向通信インターフェース、または双方向通信インターフェースとして構成されることができ、たとえば、メッセージを送信および受信するように構成されてもよい。たとえば接続をセットアップするため、通信リンクおよび／またはデータ伝送、たとえばエンコードされたピクチャー・データ伝送に関連する任意の他の情報を受け取り確認および交換するためである。

デコーダ30は、エンコードされたピクチャー・データ21を受信し、デコードされたピクチャー・データ31またはデコードされたピクチャー31を提供するように構成される（さらなる詳細は、たとえば図3または図5に基づいて後述する）。

宛先装置14のポストプロセッサ32は、デコードされたピクチャー・データ31（再構成されたピクチャー・データとも呼ばれる）、たとえばデコードされたピクチャー31を後処理して、後処理されたピクチャー・データ33、たとえば後処理されたピクチャー33を得るように構成される。後処理ユニット32によって実行される後処理は、たとえば、色フォーマット変換（たとえば、YCbCrからRGBへ）、色補正、トリミング、または再サンプリング、または、たとえばデコードされたピクチャー・データ31を、たとえば表示装置34による、表示のために準備するための任意の他の処理を含むことができる。

宛先装置14の表示装置34は、ピクチャーを、たとえばユーザーまたは閲覧者に対して表示するために、後処理されたピクチャー・データ33を受領するように構成される。表示装置34は、再構成されたピクチャーを表現するための任意の種類のディスプレイ、たとえば、統合されたまたは外部のディスプレイまたはモニターであってもよく、またはそれを含んでいてもよい。ディスプレイは、たとえば、液晶ディスプレイ（LCD）、有機発光ダイオード（OLED）ディスプレイ、プラズマディスプレイ、プロジェクター、マイクロLEDディスプレイ、液晶オン・シリコン（LCoS）、デジタル光プロセッサ（DLP）、または任意の他の種類のディスプレイを含みうる。

図1Aは、源装置12および宛先装置14を別個の装置として描いているが、装置の実施形態は、両方もしくは両方の機能、源装置12もしくは対応する機能および宛先装置14もしくは対応する機能を含んでいてもよい。そのような実施形態では、源装置12または対応する機能と宛先装置14または対応する機能は、同じハードウェアおよび／またはソフトウェアを使用して、または別個のハードウェアおよび／またはソフトウェアまたはそれらの任意の組み合わせによって実装されることができる。

前記記述に基づいて当業者には明白であろうように、異なるユニットの機能または図1Aに示されるような源装置12および／または宛先装置14内の機能の存在および（厳密な）分割は、実際の装置および用途に依存して変わりうる。

エンコーダ20（たとえば、ビデオ・エンコーダ20）、またはデコーダ30（たとえば、ビデオ・デコーダ30）、またはエンコーダ20とデコーダ30の両方は、図1Bに示されるような処理回路、たとえば、一つまたは複数のマイクロプロセッサ、デジタル信号プロセッサ（DSP）、特定用途向け集積回路（ASIC）、フィールドプログラマブルゲートアレイ（FPGA）、ディクリート論理、ハードウェア、専用のビデオ・コーディング、またはそれらの任意の組み合わせを介して実装されうる。エンコーダ20は、図2のエンコーダ20および／または本明細書に記載される任意の他のエンコーダ・システムまたはサブシステムに関して論じられるさまざまなモジュールを具現するために、処理回路46を介して実装されてもよい。デコーダ30は、図3のデコーダ30および／または本明細書に記載される任意の他のデコーダ・システムまたはサブシステムに関して論じられるさまざまなモジュールを具現するために、処理回路46を介して実装されてもよい。処理回路は、後述するように、さまざまな動作を実行するように構成されうる。図5に示されるように。技術が部分的にソフトウェアで実装される場合、装置が、好適な非一時的なコンピュータ読み取り可能な記憶媒体に該ソフトウェアのための命令を記憶してもよく、一つまたは複数のプロセッサを使用してハードウェアにおいて該命令を実行して、本開示の技術を実行してもよい。ビデオ・エンコーダ20とビデオ・デコーダ30のいずれかも、たとえば図1Bに示されるように、組み合わされたエンコーダ／デコーダ（コーデック）の一部として単一の装置内に統合されてもよい。

源装置12および宛先装置14は、任意の種類のハンドヘルドもしくは固定装置、たとえばノートブックまたはラップトップコンピュータ、携帯電話、スマートフォン、タブレットまたはタブレットコンピュータ、カメラ、デスクトップコンピュータ、セットトップボックス、テレビ、表示装置、デジタルメディアプレーヤー、ビデオゲーム機、ビデオストリーミング装置（コンテンツサービスサーバーまたはコンテンツ送達サーバーなど）、放送受信機装置、放送送信機装置などを含む、広範囲の装置の任意のものを含むことができ、オペレーティング・システムを使用しなくてもよく、あるいは任意の種類のオペレーティング・システムを使用してもよい。

場合によっては、源装置12および宛先装置14は、無線通信用のために装備されてもよい。よって、源装置12および宛先装置14は、無線通信装置であってもよい。場合によっては、図1Aに示されるビデオ・コーディング・システム10は、単に例であり、本願の技術は、必ずしもエンコード装置とデコード装置との間のデータ通信を含まないビデオ・コーディング場面（たとえば、ビデオ・エンコードまたはビデオ・デコード）に適用されうる。他の例では、データはローカルメモリから取り出される、ネットワークを通じてストリーミングされる、などされる。ビデオ・エンコード装置は、データをエンコードし、メモリに格納することができ、および／またはビデオ・デコード装置は、メモリからデータを取り出し、デコードすることができる。いくつかの例では、エンコードおよびデコードは、互いに通信せず、単にデータをメモリにエンコードする、および／またはデータをメモリから取り出してデコードする装置によって実行される。

記述の便宜上、本発明の実施形態は、本明細書では、たとえば、高効率ビデオ・コーディング（HEVC）または多用途ビデオ・コーディング（VVC）の参照ソフトウェア、ITU-Tビデオ・コーディングエキスパートグループ（VCEG）およびISO/IEC動画像エキスパートグループ（MPEG）のビデオ・コーディングに関する統合協働チーム（Joint Collaboration Team on Video Coding、JCT-VC）によって開発された次世代ビデオ・コーディング規格を参照して記載される。当業者は、本発明の実施形態がHEVCまたはVVCに限定されないことを理解するであろう。

エンコーダおよびエンコード方法
図2は、本願の技術を実装するように構成された例示的なビデオ・エンコーダ20の概略ブロック図を示す。図2の例では、ビデオ・エンコーダ20は、入力201（または入力インターフェース201）、残差計算ユニット204、変換処理ユニット206、量子化ユニット208、逆量子化ユニット210、逆変換処理ユニット212、再構成ユニット214、ループ・フィルタ・ユニット220、デコードピクチャーバッファ（decoded picture buffer、DPB）230、モード選択ユニット260、エントロピー・エンコード・ユニット270、および出力272（または出力インターフェース272）を有する。モード選択ユニット260は、インター予測ユニット244と、イントラ予測ユニット254と、パーティション分割ユニット262とを含んでいてもよい。インター予測ユニット244は、動き推定ユニットおよび動き補償ユニット（図示せず）を含んでいてもよい。図2に示されるビデオ・エンコーダ20は、ハイブリッド・ビデオ・エンコーダまたはハイブリッド・ビデオ・コーデックによるビデオ・エンコーダと称されてもよい。

残差計算ユニット204、変換処理ユニット206、量子化ユニット208、モード選択ユニット260はエンコーダ20の順方向信号経路を形成すると称されてもよく、一方、逆量子化ユニット210、逆変換処理ユニット212、再構成ユニット214、バッファ216、ループ・フィルタ220、デコードピクチャーバッファ（DPB）230、インター予測ユニット244、およびイントラ予測ユニット254は、ビデオ・エンコーダ20の逆方向信号経路を形成すると称されてもよい。ビデオ・エンコーダ20の逆方向信号経路はデコーダ（図3のビデオ・デコーダ30参照）の信号経路に対応する。逆量子化ユニット210、逆変換処理ユニット212、再構成ユニット214、ループ・フィルタ220、デコードピクチャーバッファ（DPB）230、インター予測ユニット244、およびイントラ予測ユニット254は、ビデオ・エンコーダ20の「組み込みデコーダ」をなすとも称される。

ピクチャーおよびピクチャーパーティション分割（ピクチャーとブロック）
エンコーダ20は、たとえば入力201を介してピクチャー17（またはピクチャー・データ17）、たとえばビデオまたはビデオ・シーケンスを形成するピクチャーのシーケンスのピクチャーを受領するように構成されてもよい。受領されたピクチャーまたはピクチャー・データは、前処理されたピクチャー19（または前処理されたピクチャー・データ19）であってもよい。簡単のために、以下の記述は、ピクチャー17を参照する。ピクチャー17はまた、現在ピクチャーまたはコーディングされるべきピクチャーと称されてもよい（特に、ビデオ・コーディングにおいては、現在ピクチャーを他のピクチャー、たとえば、同じビデオ・シーケンス、すなわち現在ピクチャーをも含むビデオ・シーケンスの、以前にエンコードおよび／またはデコードされたピクチャーから区別するために）。

（デジタル）ピクチャーは、強度値をもつサンプルの二次元アレイまたはマトリクスとみなされるか、またはみなされることができる。アレイ中のサンプルは、ピクセル（ピクチャー・エレメントの短縮形）または画素と称されてもよい。アレイまたはピクチャーの水平および垂直方向（または軸）のサンプル数は、ピクチャーのサイズおよび／または解像度を定義する。色の表現のためには、典型的には、3つの色成分が使用される。すなわち、ピクチャーは、3つのサンプル・アレイで表現される、または3つのサンプル・アレイを含むことができる。RBGフォーマットまたは色空間においては、ピクチャーは、対応する赤、緑および青のサンプル・アレイを含む。しかしながら、ビデオ・コーディングにおいては、各ピクセルは、典型的には、ルミナンスおよびクロミナンス・フォーマットまたは色空間、たとえば、Yで示されるルミナンス成分（時に代わりにLが使用される）、とCbおよびCrで示される2つのクロミナンス成分を含むYCbCrで表現される。ルミナンス（または略してルーマ）成分Yは輝度またはグレーレベル強度（例えば、グレースケール・ピクチャーにおけるような）を表わし、その一方、2つのクロミナンス（または略してクロマ）成分CbおよびCrは色度または色情報成分を表わす。よって、YCbCrフォーマットのピクチャーは、ルミナンス・サンプル値（Y）のルミナンス・サンプル・アレイと、クロミナンス値（CbおよびCr）の2つのクロミナンス・サンプル・アレイとを含む。RGBフォーマットのピクチャーは、YCbCrフォーマットに変換または転換されることができ、その逆も可能である。このプロセスは色変換または転換としても知られる。ピクチャーがモノクロである場合、ピクチャーはルミナンス・サンプル・アレイのみを含んでいてもよい。したがって、ピクチャーは、たとえば、4:2:0、4:2:2、および4:4:4色フォーマットにおける、モノクロ・フォーマットのルーマ・サンプルのアレイまたはルーマ・サンプルのアレイと、クロマ・サンプルの2つの対応するアレイとでありうる。

ビデオ・エンコーダ20の実施形態は、ピクチャー17を複数の（典型的には重複しない）ピクチャー・ブロック203にパーティション分割するように構成されたピクチャーパーティション分割ユニット（図2には示されていない）を含んでいてもよい。これらのブロックは、ルートブロック、マクロブロック（H.264/AVC）またはコーディング・ツリー・ブロック（CTB）またはコーディングツリー単位（CTU）（H.265/HEVCおよびVVC）と称されることもある。ピクチャーパーティション分割ユニットは、ビデオ・シーケンスのすべてのピクチャーについて同じブロック・サイズおよび該ブロック・サイズを定義する対応するグリッドを使用するように、あるいは、ピクチャー間、またはピクチャーのサブセットもしくはグループ間でブロック・サイズを変更し、各ピクチャーを対応するブロックにパーティション分割するように構成されてもよい。

さらなる実施形態では、ビデオ・エンコーダは、ピクチャー17のブロック203、たとえば、ピクチャー17を形成する1つの、いくつかの、またはすべてのブロックを直接受領するように構成されてもよい。ピクチャー・ブロック203は、現在のピクチャー・ブロックまたはコーディングされるべきピクチャー・ブロックと称されることもある。

ピクチャー17と同様に、ピクチャー・ブロック203もまた、ピクチャー17よりも小さい寸法ではあるが、強度値（サンプル値）をもつサンプルの二次元アレイまたはマトリクスとしてみなされる、またはみなされることができる。言い換えると、ブロック203は、たとえば、1つのサンプル・アレイ（たとえば、モノクロ・ピクチャー17の場合のルーマ・アレイ、またはカラー・ピクチャーの場合のルーマもしくはクロマ・アレイ）、または3つのサンプル・アレイ（たとえば、カラー・ピクチャー17の場合のルーマ・アレイおよび2つのクロマ・アレイ）、または適用される色フォーマットに依存して任意の他の数および／または種類のアレイを含むことができる。ブロック203の水平および垂直方向（または軸）のサンプル数は、ブロック203のサイズを定義する。よって、ブロックは、たとえば、サンプルのM×N（M列×N行）アレイ、または変換係数のM×Nアレイであってもよい。

図2に示されるようなビデオ・エンコーダ20の実施形態は、ブロック毎にピクチャー17をエンコードするように構成されてもよく、たとえば、エンコードおよび予測はブロック203毎に実行される。

残差計算
残差計算ユニット204は、ピクチャー・ブロック203および予測ブロック265に基づいて残差ブロック205（残差205とも称される）を計算するように構成されてもよい（予測ブロック265についてのさらなる詳細は後述する）。これはたとえば、ピクチャー・ブロック203のサンプル値から予測ブロック265のサンプル値をサンプル毎に（ピクセル毎に）減算してサンプル領域における残差ブロック205を得ることによる。

変換
変換処理ユニット206は、残差ブロック205のサンプル値に対して変換、たとえば離散コサイン変換（DCT）または離散サイン変換（DST）を適用して、変換領域における変換係数207を得るように構成されてもよい。変換係数207は、変換残差係数と称されてもよく、変換領域における残差ブロック205を表わす。

変換処理ユニット206は、H.265/HEVCのために指定された変換など、DCT/DSTの整数近似を適用するように構成されてもよい。直交DCT変換と比較して、そのような整数近似は、典型的には、ある因子によってスケーリングされる。順変換と逆変換によって処理される残差ブロックのノルムを保存するために、変換プロセスの一部として追加的なスケーリング因子が適用される。スケーリング因子は、典型的には、スケーリング因子がシフト演算のための2の冪乗であること、変換係数のビット深さ、精度と実装コストの間のトレードオフなどのような、ある種の制約条件に基づいて選択される。具体的なスケーリング因子は、たとえば逆変換処理ユニット212による逆変換（および例えば、ビデオ・デコーダ30における逆変換処理ユニット312による対応する逆変換）のためにたとえば指定され、エンコーダ20におけるたとえば変換処理ユニット206による順変換のための対応するスケーリング因子が、それに応じて指定されてもよい。

ビデオ・エンコーダ20（個別的には変換処理ユニット206）の実施形態は、変換パラメータ、たとえば単数または複数の変換のタイプを、たとえば直接、またはエントロピー・エンコード・ユニット270を介してエンコードまたは圧縮されて、出力するように構成されてもよく、それにより、たとえば、ビデオ・デコーダ30は、該変換パラメータを受領し、デコードのために使用してもよい。

量子化
量子化ユニット208は、たとえばスカラー量子化またはベクトル量子化を適用することによって、変換係数207を量子化して、量子化された係数209を得るように構成されてもよい。量子化された係数209は、量子化された変換係数209または量子化された残差係数209と称されることもある。

量子化プロセスは、変換係数207の一部または全部に関連するビット深さを低減することができる。たとえば、nビット変換係数は、量子化の間に、mビット変換係数に丸められてもよい。ここで、nはmより大きい。量子化の程度は、量子化パラメータ（QP）を調整することによって修正されてもよい。たとえば、スカラー量子化については、より細かいまたはより粗い量子化を達成するために異なるスケーリングが適用されてもよい。より小さな量子化ステップ・サイズはより細かい量子化に対応し、一方、より大きな量子化ステップ・サイズはより粗い量子化に対応する。適用可能な量子化ステップ・サイズは、量子化パラメータ（QP）によって示されてもよい。量子化パラメータは、たとえば、適用可能な量子化ステップ・サイズのあらかじめ定義された集合に対するインデックスであってもよい。たとえば、小さな量子化パラメータは、細かい量子化（小さな量子化ステップ・サイズ）に対応してもよく、大きな量子化パラメータは、粗い量子化（大きな量子化ステップ・サイズ）に対応してもよく、あるいはその逆でもよい。量子化は、量子化ステップ・サイズによる除算を含んでいてもよく、たとえば逆量子化ユニット210による対応するおよび／または逆の脱量子化は、量子化ステップ・サイズによる乗算を含んでいてもよい。いくつかの標準、たとえばHEVCによる実施形態は、量子化ステップ・サイズを決定するために量子化パラメータを使用するように構成されてもよい。一般に、量子化ステップ・サイズは、除算を含む式の固定小数点近似を使用して、量子化パラメータに基づいて計算されてもよい。量子化パラメータおよび量子化ステップ・サイズについての式の固定小数点近似において使用されるスケーリングのために修正されることがある残差ブロックのノルムを復元するために、量子化および脱量子化のために追加的なスケーリング因子が導入されてもよい。一つの例となる実装では、逆変換および脱量子化のスケーリングが組み合わされてもよい。あるいはまた、カスタマイズされた量子化テーブルが使用されて、たとえばビットストリームにおいて、エンコーダからデコーダへ信号伝達されてもよい。量子化は、損失のある演算であり、損失は量子化ステップ・サイズの増加とともに増加する。

ビデオ・エンコーダ20（個別的には量子化ユニット208）の実施形態は、量子化パラメータ（QP）を、たとえば直接、またはエントロピー・エンコード・ユニット270を介してエンコードされて、出力するように構成されてもよく、それにより、たとえばビデオ・デコーダ30は、量子化パラメータを受領し、デコードのために適用することができる。

逆量子化
逆量子化ユニット210は、たとえば、量子化ユニット208と同じ量子化ステップ・サイズに基づいて、または量子化ユニット208と同じ量子化ステップ・サイズを使用して、量子化ユニット208によって適用された量子化方式の逆数を適用することによって、量子化された係数に対して量子化ユニット208の逆の量子化を適用して、脱量子化された係数211を得るように構成される。脱量子化された係数211は、脱量子化された残差係数211と称されてもよく、典型的には量子化による損失のため変換係数と同一ではないが、変換係数207に対応する。

逆変換
逆変換処理ユニット212は、変換処理ユニット206によって適用された変換の逆変換、たとえば逆離散コサイン変換（DCT）または逆離散サイン変換（DST）または他の逆変換を適用して、サンプル領域における再構成された残差ブロック213（または対応する脱量子化された係数213）を得るように構成される。再構成された残差ブロック213は、変換ブロック213と称されることもある。

再構成
再構成ユニット214（たとえば、加算器または総和器214）は、変換ブロック213（すなわち、再構成された残差ブロック213）を予測ブロック265に加算して、サンプル領域における再構成されたブロック215を得るように構成される。これはたとえば、再構成された残差ブロック213のサンプル値と、予測ブロック265のサンプル値とをサンプル毎に加算することによる。

フィルタリング
ループ・フィルタ・ユニット220（または略して「ループ・フィルタ」220）は、再構成されたブロック215をフィルタリングして、フィルタリングされたブロック221を得るように、または一般には、再構成されたサンプルをフィルタリングして、フィルタリングされたサンプルを得るように構成される。ループ・フィルタ・ユニットは、たとえば、ピクセル遷移をなめらかにする、または、他の仕方でビデオ品質を改善するように構成される。ループ・フィルタ・ユニット220は、ブロッキング解除フィルタ、サンプル適応オフセット（SAO）・フィルタ、または一つまたは複数の他のフィルタ、たとえばバイラテラル・フィルタ、適応ループ・フィルタ（ALF）、鮮鋭化フィルタ、平滑化フィルタ、または協働フィルタ、またはそれらの任意の組み合わせなどの一つまたは複数のループ・フィルタを含んでいてもよい。ループ・フィルタ・ユニット220は、図2ではループ内フィルタとして示されているが、他の構成では、ループ・フィルタ・ユニット220は、ループ後フィルタとして実装されてもよい。フィルタリングされたブロック221は、フィルタリングされた再構成されたブロック221と称されることもある。

ビデオ・エンコーダ20（個別的にはループ・フィルタ・ユニット220）の実施形態は、ループ・フィルタ・パラメータ（サンプル適応オフセット情報など）をたとえば直接、またはエントロピー・エンコード・ユニット270を介してエンコードされて、出力するように構成されてもよく、それにより、たとえば、デコーダ30は、同じループ・フィルタ・パラメータまたはそれぞれのループ・フィルタを受領し、デコードのために適用することができる。

デコードピクチャーバッファ
デコードピクチャーバッファ（DPB）230は、ビデオ・エンコーダ20によってビデオ・データをエンコードするために、参照ピクチャーまたは一般には参照ピクチャー・データを記憶するメモリであってもよい。DPB 230は、同期DRAM（SDRAM）を含む動的ランダムアクセスメモリ（DRAM）、磁気抵抗RAM（MRAM）、抵抗RAM（RRAM）、または他のタイプのメモリ・デバイスといった多様なメモリ・デバイスのいずれかによって形成されうる。デコードピクチャーバッファ（DPB）230は、一つまたは複数のフィルタリングされたブロック221を格納するように構成されてもよい。デコードピクチャーバッファ230は、さらに、同じ現在ピクチャーのまたは異なるピクチャー、たとえば以前に再構成されたピクチャーの、他の以前にフィルタリングされたブロック、たとえば、以前に再構成され、フィルタリングされたブロック221を記憶するように構成されてもよく、完全な以前に再構成された、すなわちデコードされたピクチャー（および対応する参照ブロックおよびサンプル）および／または部分的に再構成された現在ピクチャー（および対応する参照ブロックおよびサンプル）を、たとえばインター予測のために提供してもよい。デコードピクチャーバッファ（DPB）230は、たとえば再構成されたブロック215がループ・フィルタ・ユニット220によってフィルタリングされない場合には一つまたは複数のフィルタリングされていない再構成されたブロック215、または一般にはフィルタリングされていない再構成されたサンプルを、あるいは再構成されたブロックまたはサンプルの任意の他のさらに処理されたバージョンを、記憶するように構成されてもよい。

モード選択（パーティション分割および予測）
モード選択ユニット260は、パーティション分割ユニット262と、インター予測ユニット244と、イントラ予測ユニット254とを有し、もとのピクチャー・データ、たとえばもとのブロック203（現在ピクチャー17の現在ブロック203）と、たとえばデコードピクチャーバッファ230または他のバッファ（たとえば、ラインバッファ、図示せず）からの、同じ（現在）ピクチャーのおよび／または、一つもしくは複数の以前にデコードされたピクチャーからの再構成されたピクチャー・データ、たとえばフィルタリングされたおよび／またはフィルタリングされていない再構成されたサンプルまたはブロックとを受領または取得するよう構成される。再構成されたピクチャー・データは、予測ブロック265または予測子265を得るために、予測、たとえばインター予測またはイントラ予測のための参照ピクチャー・データとして使用される。

モード選択ユニット260は、現在ブロック予測モードについてのパーティション分割（パーティション分割なしを含む）および予測モード（たとえば、イントラまたはインター予測モード）を決定または選択し、残差ブロック205の計算および再構成ブロック215の再構成のために使用される対応する予測ブロック265を生成するように構成されてもよい。

モード選択ユニット260の実施形態は、パーティション分割および予測モードを（たとえば、モード選択ユニット260にサポートされる、またはモード選択ユニット260に利用可能なものから）を選択するように構成されてもよく、選択されるのは、最良のマッチ、すなわち、最小の残差（最小の残差は、伝送または記憶のためのよりよい圧縮を意味する）または最小の信号伝達オーバーヘッド（最小の信号伝達オーバーヘッドは、伝送または記憶のためのよりよい圧縮を意味する）を提供する、または両方を考慮またはバランスさせるものである。モード選択ユニット260は、レート歪み最適化（RDO）に基づいてパーティション分割および予測モードを決定する、つまり、最小レート歪みを提供する予測モードを選択するように構成されてもよい。この文脈における「最良」、「最小」、「最適」などのような用語は、必ずしも全体的な「最良」、「最小」、「最適」などを指すのではなく、終了、または値が閾値を超えるまたは下回るのような選択基準、または他の制約条件の達成を指すこともあり、潜在的には「最適ではない選択」につながるが、複雑さと処理時間を低減する。

換言すれば、パーティション分割ユニット262は、ブロック203を、たとえば四分木パーティション分割（QT）、二分パーティション分割（BT）もしくは三分木パーティション分割（TT）またはそれらの任意の組み合わせを反復的に使用して、より小さなブロック・パーティションまたはサブブロック（これもやはりブロックをなす）にパーティション分割し、たとえば、ブロック・パーティションまたはサブブロックのそれぞれについて予測を実行するように構成されてもよい。ここで、モード選択は、パーティション分割されたブロック203の木構造の選択を含み、予測モードは、ブロック・パーティションまたはサブブロックのそれぞれに適用される。

以下では、例示的なビデオ・エンコーダ20によって実行される分割（たとえば分割ユニット260による）および予測処理（インター予測ユニット244およびイントラ予測ユニット254による）について、より詳細に説明する。

パーティション分割
パーティション分割ユニット262は、現在ブロック203を、より小さなパーティション、たとえば正方形または長方形のサイズのより小さなブロックにパーティション分割（または分割）することができる。これらのより小さなブロック（サブブロックとも呼ばれ得る）は、さらに、より一層小さなパーティションにパーティション分割されてもよい。これは、ツリーパーティション分割または階層ツリーパーティション分割とも呼ばれ、たとえばルートツリーレベル0（階層レベル0、深さ0）におけるルートブロックが再帰的にパーティション分割されてもよく、たとえば次の、より低いツリーレベルの2つ以上のブロック、たとえばツリーレベル1（階層レベル1、深さ1）におけるノードにパーティション分割されてもよく、これらのブロックは再び次の、より低いレベル、たとえばツリーレベル2（階層レベル2、深さ2）の2つ以上のブロックにパーティション分割されてもよい、などと、たとえば最大ツリー深さまたは最小ブロック・サイズに達するなど終了基準が満たされためにパーティション分割が打ち切られるまで続く。それ以上パーティション分割されないブロックは、ツリーのリーフブロックまたはリーフノードとも呼ばれる。2つのパーティションへのパーティション分割を使用するツリーは二分木（BT）、3つのパーティションへのパーティション分割を使用するツリーは三分木（TT）、4つのパーティションへのパーティション分割を使用するツリーは四分木（QT）と呼ばれる。

前述のように、本明細書で使用される「ブロック」という用語は、ピクチャーの一部、特に正方形または長方形の一部であってもよい。たとえばHEVCおよびVVCを参照するに、ブロックは、コーディングツリー単位（CTU）、コーディング単位（CU）、予測単位（PU）、および変換単位（TU）、および／または対応するブロック、たとえば、コーディング・ツリー・ブロック（CTB）、コーディング・ブロック（CB）、変換ブロック（TB）、または予測ブロック（PB）であってもよく、またはこれらに対応してもよい。

たとえば、コーディングツリー単位（CTU）は、3つのサンプル・アレイを有するピクチャーのルーマ・サンプルのCTB、クロマ・サンプルの2つの対応するCTB、または、モノクロ・ピクチャーまたはサンプルをコーディングするために使用される3つの別個の色平面およびシンタックス構造を使用してコーディングされるピクチャーのサンプルのCTBであってもよく、または、これらを含んでいてもよい。対応して、コーディングツリーブロック（CTB）は、ある成分のCTBへの分割がパーティション分割であるように、Nの何らかの値についてのサンプルのN×Nブロックであってもよい。コーディング単位（CU）は、3つのサンプル・アレイを有するピクチャーのルーマ・サンプルのコーディング・ブロック、クロマ・サンプルの2つの対応するコーディング・ブロック、または、モノクロ・ピクチャーまたはサンプルをコーディングするために使用される3つの別個の色平面およびシンタックス構造を使用してコーディングされるピクチャーのサンプルのコーディング・ブロックであってもよく、または、これらを含んでいてもよい。対応して、コーディング・ブロック（CB）は、CTBのコーディング・ブロックへの分割がパーティション分割であるように、MおよびNの何らかの値についてのサンプルのM×Nブロックであってもよい。

実施形態において、たとえばHEVCによれば、コーディングツリー単位（CTU）は、コーディングツリーと記される四分木構造を使用することによって、CUに分割されてもよい。ピクチャー間（時間的）またはピクチャー内（空間的）予測を使用してピクチャー領域をコーディングするかどうかの決定は、CUレベルで行なわれる。各CUはさらに、PU分割タイプに応じて、1つ、2つ、または4つのPUに分割できる。1つのPU内では、同じ予測プロセスが適用され、関連情報はPUごとにデコーダに伝送される。PU分割タイプに基づく予測プロセスを適用することによって残差ブロックを得た後、CUは、該CUについてのコーディングツリーと同様の別の四分木構造に従って変換単位（TU）にパーティション分割できる。

実施形態において、たとえば多用途ビデオ・コーディング（VVC）と称される現在開発中の最新のビデオ・コーディング標準によれば、四分木および二分木（QTBT）パーティション分割が、コーディング・ブロックをパーティション分割するために使用される。QTBTブロック構造では、CUは正方形または長方形のいずれかの形状を有することができる。たとえば、コーディングツリー単位（CTU）は、まず四分木構造によってパーティション分割される。四分木リーフノードは、二分木または三分木（または三叉木）構造によってさらにパーティション分割される。パーティション分割木リーフノードは、コーディング単位（CU）と呼ばれ、そのセグメント分割は、それ以上のパーティション分割なしに予測および変換処理に使用される。これは、QTBTコーディング・ブロック構造においてCU、PU、およびTUが同じブロック・サイズをもつことを意味する。並列に、多パーティション分割、たとえば三分木パーティション分割もQTBTブロック構造と一緒に使用されることが提案された。

一例では、ビデオ・エンコーダ20のモード選択ユニット260は、本明細書に記載されるパーティション分割技術の任意の組み合わせを実行するように構成されうる。

上述のように、ビデオ・エンコーダ20は、（あらかじめ決定された）予測モードの集合から最良または最適な予測モードを決定または選択するように構成される。予測モードの集合は、たとえば、イントラ予測モードおよび／またはインター予測モードを含んでいてもよい。

イントラ予測
イントラ予測モードの集合は、たとえばHEVCで定義されているように、35の異なるイントラ予測モード、たとえばDC（または平均）モードおよび平面モードのような非方向性モード、または、方向性モードを含んでいてもよく、または、たとえばVVCで定義されているように、67の異なるイントラ予測モード、たとえばDC（または平均）モードおよび平面モードのような非方向性モード、または、方向性モードを含んでいてもよい。

イントラ予測ユニット254は、イントラ予測モードの集合のうちのあるイントラ予測モードに従ってイントラ予測ブロック265を生成するために、同じ現在のピクチャーの近傍ブロックの再構成されたサンプルを使用するように構成される。

イントラ予測ユニット254（または、一般に、モード選択ユニット260）は、イントラ予測パラメータ（または、一般に、そのブロックについての選択されたイントラ予測モードを示す情報）を、エンコードされたピクチャー・データ21に含めるために、構文要素266の形でエントロピー・エンコード・ユニット270に対して出力するようにさらに構成される。それにより、たとえば、ビデオ・デコーダ30は、予測パラメータを受領し、デコードのために使用することができる。

インター予測
前記集合の（または可能な）インター予測モードは、利用可能な参照ピクチャー（すなわち、たとえばDBP 230に記憶されている、以前の少なくとも部分的にデコードされたピクチャー）および他のインター予測パラメータに依存する。該他のインター予測パラメータは、たとえば、最良マッチの参照ブロックを探すために参照ピクチャーの全体が使用されるか、または参照ピクチャーの一部のみ、たとえば、現在ブロックの当該領域のまわりの探索窓領域が、使用されるか、および／または、たとえば、ピクセル補間、たとえば、半分／セミ画素および／または1/4画素補間が適用されるか否かである。

上記の予測モードに加えて、スキップモードおよび／または直接モードが適用されてもよい。

インター予測ユニット244は、動き推定（ME）ユニットおよび動き補償（MC）ユニットを含んでいてもよい（いずれも図2には示されていない）。動き推定ユニットは、ピクチャー・ブロック203（現在ピクチャー17の現在ピクチャー・ブロック203）およびデコードされたピクチャー231、または少なくとも一つまたは複数の以前に再構成されたブロック、たとえば、一つまたは複数の他の／異なる以前にデコードされたピクチャー231の再構成されたブロックを動き推定のために受領または取得するように構成されてもよい。たとえば、ビデオ・シーケンスは、現在ピクチャーと以前にデコードされたピクチャー231とを含んでいてもよく、あるいは、換言すれば、現在ピクチャーと以前にデコードされたピクチャー231は、ビデオ・シーケンスを形成するピクチャーのシーケンスの一部であってもよく、または該シーケンスを形成してもよい。

エンコーダ20は、たとえば、複数の他のピクチャーのうちの同じまたは異なるピクチャーの複数の参照ブロックから参照ブロックを選択し、参照ピクチャー（または参照ピクチャー・インデックス）および／または参照ブロックの位置（x、y座標）と現在ブロックの位置との間のオフセット（空間オフセット）を、動き推定ユニットへのインター予測パラメータとして提供するように構成されてもよい。このオフセットは動きベクトル（MV）とも呼ばれる。

動き補償ユニットは、たとえば、インター予測パラメータを取得、たとえば受領して、該インター予測パラメータに基づいて、または、該インター予測パラメータを用いて、インター予測を実行して、インター予測ブロック265を得るように構成される。動き補償ユニットによって実行される動き補償は、動き推定によって決定された動き／ブロック・ベクトルに基づいて、可能性としてはサブピクセル精度への補間を実行して、予測ブロックを取ってくるまたは生成することを含んでもよい。補間フィルタリングが、既知のピクセル・サンプルから追加的なピクセル・サンプルを生成してもよく、よって、潜在的には、ピクチャー・ブロックをコーディングするために使用されうる候補予測ブロックの数を増加させる。現在ピクチャー・ブロックのPUについての動きベクトルを受領すると、動き補償ユニットは、参照ピクチャー・リストのうちの1つのリストにおいて動きベクトルがポイントする予測ブロックを位置特定することができる。

動き補償ユニットはまた、ビデオ・スライスのピクチャー・ブロックをデコードする際にビデオ・デコーダ30が使用するために、ブロックおよびビデオ・スライスに関連する構文要素を生成してもよい。

エントロピー・コーディング
エントロピー・エンコード・ユニット270は、たとえば、エントロピー・エンコード・アルゴリズムまたは方式（たとえば、可変長コーディング（VLC）方式、コンテキスト適応VLC方式（CAVLC）、演算コーディング方式、二値化、コンテキスト適応二進算術コーディング（CABAC）、シンタックスベースのコンテキスト適応二進算術コーディング（SBAC）、確率区間パーティション分割エントロピー（PIPE）コーディング、または他のエントロピー・エンコード方法または技術）またはバイパス（非圧縮）を、量子化された係数209、インター予測パラメータ、イントラ予測パラメータ、ループ・フィルタ・パラメータおよび／または他の構文要素に対して適用して、エンコードされたピクチャー・データ21を得るように構成される。エンコードされたピクチャー・データ21はたとえばエンコードされたビットストリーム21の形で、出力272を介して出力でき、それにより、たとえば、ビデオ・デコーダ30はそれらのパラメータを受領し、デコードのために使用することができる。エンコードされたビットストリーム21は、ビデオ・デコーダ30に送信されてもよいし、または後の送信またはビデオ・デコーダ30による取得のためにメモリに記憶されてもよい。

ビデオ・ストリームをエンコードするために、ビデオ・エンコーダ20の他の構造的変形が使用できる。たとえば、非変換ベースのエンコーダ20は、ある種のブロックまたはフレームについて、変換処理ユニット206なしで直接、残差信号を量子化することができる。別の実装では、エンコーダ20は、量子化ユニット208と逆量子化ユニット210とを単一のユニットに組み合わせたものを有することができる。

デコーダおよびデコード方法
図3は、本願の技術を実装するように構成されたビデオ・デコーダ30の例を示す。ビデオ・デコーダ30は、デコードされたピクチャー331を得るために、たとえばエンコーダ20によってエンコードされた、エンコードされたピクチャー・データ21（たとえばエンコードされたビットストリーム21）を受領するように構成される。エンコードされたピクチャー・データまたはビットストリームは、エンコードされたピクチャー・データをデコードするための情報、たとえば、エンコードされたビデオ・スライスのピクチャー・ブロックおよび関連する構文要素を表わすデータを含む。

図3の例では、デコーダ30は、エントロピー・デコード・ユニット304と、逆量子化ユニット310と、逆変換処理ユニット312と、再構成ユニット314（たとえば、加算器314）と、ループ・フィルタ320と、デコードピクチャーバッファ（DBP）330と、インター予測ユニット344と、イントラ予測ユニット354とを含む。インター予測ユニット344は、動き補償ユニットであってもよいし、またはこれを含んでいてもよい。ビデオ・デコーダ30は、いくつかの例では、図2からのビデオ・エンコーダ100に関して記述されたエンコード・パスと概して逆のデコード・パスを実行することができる。

エンコーダ20に関して説明したように、逆量子化ユニット210、逆変換処理ユニット212、再構成ユニット214、ループ・フィルタ220、デコードピクチャーバッファ（DPB）230、インター予測ユニット344、およびイントラ予測ユニット354は、ビデオ・エンコーダ20の「組み込みデコーダ」を形成するとも称される。よって、逆量子化ユニット310は、逆量子化ユニット110と機能的に同一であってもよく、逆変換処理ユニット312は、逆変換処理ユニット212と機能的に同一であってもよく、再構成ユニット314は、再構成ユニット214と機能的に同一であってもよく、ループ・フィルタ320は、ループ・フィルタ220と機能的に同一であってもよく、デコードピクチャーバッファ330は、デコードピクチャーバッファ230と機能的に同一であってもよい。したがって、ビデオ20エンコーダのそれぞれのユニットおよび機能について与えた説明は、ビデオ・デコーダ30のそれぞれのユニットおよび機能に、対応して当てはまる。

エントロピー・デコード
エントロピー・デコード・ユニット304は、ビットストリーム21（または一般に、エンコードされたピクチャー・データ21）をパースし、たとえば、エンコードされたピクチャー・データ21に対してエントロピー・デコードを実行し、たとえば、量子化された係数309および／またはデコードされたコーディングパラメータ（図3には示されていない）、たとえば、インター予測パラメータ（たとえば、参照ピクチャー・インデックスおよび動きベクトル）、イントラ予測パラメータ（たとえば、イントラ予測モードまたはインデックス）、変換パラメータ、量子化パラメータ、ループ・フィルタ・パラメータ、および／または他の構文要素のいずれかまたは全部を得るように構成される。エントロピー・デコード・ユニット304は、エンコーダ20のエントロピー・エンコード・ユニット270に関して述べたエンコード方式に対応するデコード・アルゴリズムまたは方式を適用するように構成されてもよい。エントロピー・デコード・ユニット304は、インター予測パラメータ、イントラ予測パラメータおよび／または他の構文要素をモード選択ユニット360に、他のパラメータをデコーダ30の他のユニットに提供するようにさらに構成されてもよい。ビデオ・デコーダ30は、ビデオ・スライス・レベルおよび／またはビデオ・ブロック・レベルで構文要素を受領してもよい。

逆量子化
逆量子化ユニット310は、エンコードされたピクチャー・データ21から量子化パラメータ（QP）（または一般に、逆量子化に関する情報）および量子化された係数を受領し（たとえばエントロピー・デコード・ユニット304によるたとえばパースおよび／またはデコードによって）、デコードされた量子化された係数309に対して該量子化パラメータに基づいて逆量子化を適用して、脱量子化された係数311を得るように構成されてもよい。脱量子化された係数311は変換係数311と称されることもある。逆量子化プロセスは、ビデオ・スライス内の各ビデオ・ブロックについてビデオ・エンコーダ20によって決定された量子化パラメータを使用して、量子化の程度、および、同様に、適用されるべき逆量子化の程度を決定してもよい。

逆変換
逆変換処理ユニット312は、変換係数311とも呼ばれる脱量子化された係数311を受領し、サンプル領域における再構成された残差ブロック213を得るために、脱量子化された係数311に変換を適用するように構成されてもよい。再構成された残差ブロック213は、変換ブロック313と称されることもある。変換は、逆変換、たとえば、逆DCT、逆DST、逆整数変換、または概念的に同様の逆変換プロセスであってもよい。逆変換処理ユニット312は、さらに、変換パラメータまたは対応する情報をエンコードされたピクチャー・データ21から受領して（たとえばエントロピー・デコード・ユニット304によるたとえばパースおよび／またはデコードによって）、脱量子化された係数311に適用される変換を決定するように構成されてもよい。

再構成
再構成ユニット314（たとえば、加算器または総和器314）は、再構成された残差ブロック313を予測ブロック365に加算して、サンプル領域における再構成されたブロック315を得るように構成されてもよい。これはたとえば、再構成された残差ブロック313のサンプル値および予測ブロック365のサンプル値を加算することによる。

フィルタリング
ループ・フィルタ・ユニット320（コーディングループ内またはコーディングループ後）は、たとえばピクセル遷移をなめらかにする、または、他の仕方でビデオ品質を改善するために、再構成されたブロック315をフィルタリングして、フィルタリングされたブロック321を得るように構成される。ループ・フィルタ・ユニット320は、ブロッキング解除フィルタ、サンプル適応オフセット（SAO）・フィルタ、または一つまたは複数の他のフィルタ、たとえばバイラテラル・フィルタ、適応ループ・フィルタ（ALF）、鮮鋭化、平滑化フィルタ、または協働フィルタ、またはそれらの任意の組み合わせなどの一つまたは複数のループ・フィルタを含んでいてもよい。ループ・フィルタ・ユニット320は、図3ではループ内フィルタとして示されているが、他の構成では、ループ・フィルタ・ユニット320は、ループ後フィルタとして実装されてもよい。

デコードピクチャーバッファ
次いで、ピクチャーのデコードされたビデオ・ブロック321は、デコードピクチャーバッファ330に記憶される。デコードピクチャーバッファ330は、デコードされたピクチャー331を、他のピクチャーについてのその後の動き補償のための参照ピクチャーとして、および／またはそれぞれの出力もしくは表示のために記憶する。

デコーダ30は、デコードされたピクチャー311を、ユーザーへの提示または閲覧のために、たとえば出力312を介して出力するように構成される。

予測
インター予測ユニット344は、インター予測ユニット244（特に、動き補償ユニット）と同一であってもよく、イントラ予測ユニット354は、機能において、インター予測ユニット254と同一であってもよく、エンコードされたピクチャー・データ21から（たとえばエントロピー・デコード・ユニット304による、たとえばパースおよび／またはデコードによって）受領されるパーティション分割および／または予測パラメータまたはそれぞれの情報に基づいて、分割もしくはパーティション分割決定および予測を実行する。モード選択ユニット360は、再構成されたピクチャー、ブロック、またはそれぞれのサンプル（フィルタリングされた、またはフィルタリングされていない）に基づいて、ブロックごとの予測（イントラ予測またはインター予測）を実行して、予測ブロック365を得るように構成されてもよい。

ビデオ・スライスがイントラ・コーディングされる（I）スライスとしてコーディングされるとき、モード選択ユニット360のイントラ予測ユニット354は、信号伝達されたイントラ予測モードと、現在ピクチャーの以前にデコードされたブロックからのデータとに基づいて、現在ビデオ・スライスのピクチャー・ブロックについての予測ブロック365を生成するように構成される。ビデオ・ピクチャーがインターコーディングされる（すなわちBまたはP）スライスとしてコーディングされるとき、モード選択ユニット360のインター予測ユニット344（たとえば、動き補償ユニット）は、エントロピー・デコード・ユニット304から受領される動きベクトルおよび他の構文要素に基づいて、現在のビデオ・スライスのビデオ・ブロックについての予測ブロック365を生成するように構成される。インター予測のために、予測ブロックは、参照ピクチャー・リストのうちの1つのリスト内の参照ピクチャーの1つから生成されてもよい。ビデオ・デコーダ30は、DPB 330に記憶された参照ピクチャーに基づくデフォルト構築技術を使用して、参照フレームリスト、リスト0およびリスト1を構築することができる。

モード選択ユニット360は、動きベクトルおよび他の構文要素をパースすることによって、現在のビデオ・スライスのビデオ・ブロックについての予測情報を決定するように構成され、該予測情報を使用して、デコードされる現在のビデオ・ブロックについての予測ブロックを生成する。たとえば、モード選択ユニット360は、受領された構文要素のいくつかを用いて、ビデオ・スライスのビデオ・ブロックをコーディングするために使用される予測モード（たとえば、イントラ予測またはインター予測）、インター予測スライス・タイプ（たとえば、Bスライス、Pスライス、またはGPBスライス）、スライスについての参照ピクチャー・リストのうちの一つまたは複数のリストについての構築情報、スライスのそれぞれのインター・エンコードされたビデオ・ブロックについての動きベクトル、スライスのそれぞれのインターコーディングされたビデオ・ブロックについてのインター予測ステータス、および現在のビデオ・スライス内のビデオ・ブロックをデコードするための他の情報を決定する。

エンコードされたピクチャー・データ21をデコードするために、ビデオ・デコーダ30の他の変形が使用できる。たとえば、デコーダ30は、ループ・フィルタリング・ユニット320なしで出力ビデオ・ストリームを生成することができる。たとえば、非変換ベースのデコーダ30は、ある種のブロックまたはフレームについて、逆変換処理ユニット312なしに直接、残差信号を逆量子化することができる。別の実施形態では、ビデオ・デコーダ30は、逆量子化ユニット310および逆変換処理ユニット312を単一のユニットに組み合わせたものを有することができる。

エンコーダ20およびデコーダ30では、現在のステップの処理結果がさらに処理されて、次いで次のステップに出力されてもよいことを理解しておくべきである。たとえば、補間フィルタリング、動きベクトル導出、またはループ・フィルタリングの後に、クリップまたはシフトなどのさらなる操作が、補間フィルタリング、動きベクトル導出、またはループ・フィルタリングの処理結果に対して実行されてもよい。

現在ブロックの導出された動きベクトル（アフィンモードの制御点動きベクトル、アフィン、平面、ATMVPモードのサブブロック動きベクトル、時間的動きベクトルなどを含むが、それらに限定されない）に対してさらなる操作が適用されうることに留意されたい。たとえば、動きベクトルの値は、その表現ビットに従ってあらかじめ定義された範囲に制約される。動きベクトルの表現ビットがbitDepth〔ビット深さ〕であれば、範囲は－2^(bitDepth－1)～2^(bitDepth－1)－1である。たとえば、bitDepthが16に等しく設定されている場合、範囲は－32768～32767であり、bitDepthが18に等しく設定されている場合、範囲は－131072～131071である。たとえば、導出された動きベクトル（たとえば、1つの8×8ブロック内の4つの4×4サブブロックのMV）の値は、4つの4×4サブブロックMVの整数部の間の最大差が、Nピクセル以下、たとえば1ピクセル以下になるように制約される。ここでは、bitDepthに従って動きベクトルを制約するための2つの方法を提供する。

方法1：下記の演算によりオーバーフローMSB（最上位ビット）を除去する

ここで、mvxは画像ブロックまたはサブブロックの動きベクトルの水平成分であり、mvyは画像ブロックまたはサブブロックの動きベクトルの垂直成分であり、uxおよびuyは中間的な値を示す；
たとえば、mvxの値が－32769であれば、式(1)および(2)を適用した後、結果として得られる値は32767になる。コンピュータシステムでは、10進数は2の補数として格納される。－32769の2の補数は1,0111,1111,1111,1111（17ビット）であり、MSBが破棄されるため、結果として得られる2の補数は0111,1111,1111,1111（10進数は32767）となり、これは、式(1)と(2)を適用することによる出力と同じである。

これらの操作は、式(5)～(8)に示されるようなmvpとmvdの加算の間に適用されてもよい。

方法2：値をクリッピングすることによりオーバーフローMSBを除去する。

ここで、vxは画像ブロックまたはサブブロックの動きベクトルの水平成分であり、vyは画像ブロックまたはサブブロックの動きベクトルの垂直成分であり、x、yおよびzはそれぞれMVクリッピング・プロセスの3つの入力値に対応し、関数Clip3の定義は次の通りである：

図4は、本開示のある実施形態によるビデオ・コーディング装置400の概略図である。ビデオ・コーディング装置400は、本明細書に記載される開示される実施形態を実装するのに好適である。ある実施形態では、ビデオ・コーディング装置400は、図1Aのビデオ・デコーダ30のようなデコーダ、または図1Aのビデオ・エンコーダ20のようなエンコーダであってもよい。

ビデオ・コーディング装置400は、データを受領するための入口ポート410（または入力ポート410）および受領器ユニット（Rx）420；データを処理するためのプロセッサ、論理ユニット、または中央処理ユニット（CPU）430；データを送信するための送信器ユニット（Tx）440および出口ポート450（または出力ポート450）；およびデータを記憶するためのメモリ460を含む。ビデオ・コーディング装置400は、光信号または電気信号の出入りのために、入口ポート410、受領器ユニット420、送信器ユニット440、および出口ポート450に結合された光対電気（OE）コンポーネントおよび電気対光（EO）コンポーネントをも有していてもよい。

プロセッサ430は、ハードウェアおよびソフトウェアによって実装される。プロセッサ430は、一つまたは複数のCPUチップ、コア（たとえば、マルチコアプロセッサとして）、FPGA、ASIC、およびDSPとして実装されてもよい。プロセッサ430は、入口ポート410、受領器ユニット420、送信器ユニット440、出口ポート450、およびメモリ460と通信する。プロセッサ430は、コーディングモジュール470を有する。コーディングモジュール470は、上記の開示された諸実施形態を実装する。たとえば、コーディングモジュール470は、さまざまなコーディング動作を実装、処理、準備、または提供する。よって、コーディングモジュール470を含めることにより、ビデオ・コーディング装置400の機能が実質的に改善され、ビデオ・コーディング装置400の異なる状態への変換が実現される。あるいはまた、コーディングモジュール470は、メモリ460に記憶された命令として実装され、プロセッサ430によって実行される。

メモリ460は、一つまたは複数のディスク、テープドライブ、およびソリッドステートドライブを含んでいてもよく、オーバーフロー・データ記憶装置として使用され、プログラムを、該プログラムが実行のために選択されるときに記憶し、そしてプログラム実行中に読み出される命令およびデータを記憶してもよい。メモリ460は、たとえば、揮発性および／または不揮発性であってもよく、リードオンリーメモリ（ROM）、ランダムアクセスメモリ（RAM）、三値連想記憶メモリ（TCAM）、および／またはスタティックランダムアクセスメモリ（SRAM）であってもよい。

図5は、ある例示的実施形態による、図1からの源装置12および宛先装置14のいずれかまたは両方として使用されうる装置500の単純化されたブロック図である。

装置500内のプロセッサ502は、中央処理ユニットであってもよい。あるいはまた、プロセッサ502は、現在存在する、または今後開発される情報を操作または処理することができる、任意の他のタイプの装置または複数の装置であってもよい。開示された実装は、図示のような単一のプロセッサ、たとえばプロセッサ502を用いて実施できるが、複数のプロセッサを用いて、速度および効率における利点が達成できる。

装置500内のメモリ504は、ある実装では、リードオンリーメモリ（ROM）デバイスまたはランダムアクセスメモリ（RAM）デバイスであることができる。メモリ504として、任意の他の好適なタイプの記憶デバイスが使用できる。メモリ504は、バス512を使用してプロセッサ502によってアクセスされるコードおよびデータ506を含むことができる。メモリ504は、さらに、オペレーティング・システム508およびアプリケーション・プログラム510を含むことができ、該アプリケーション・プログラム510は、プロセッサ502がここに記載される方法を実行することを許容する少なくとも1つのプログラムを含む。たとえば、アプリケーション・プログラム510は、アプリケーション1～Nを含むことができ、これは、ここに記載される方法を実行するビデオ・コーディングアプリケーションをさらに含む。

装置500は、ディスプレイ518などの一つまたは複数の出力装置をも含むことができる。ディスプレイ518は、一例では、ディスプレイを、タッチ入力を感知するように動作可能なタッチ感応性要素と組み合わせるタッチ感応性ディスプレイであってもよい。ディスプレイ518は、バス512を介してプロセッサ502に結合されることができる。

ここでは単一のバスとして示されているが、装置500のバス512は、複数のバスから構成されることができる。さらに、二次記憶514は、装置500の他のコンポーネントに直接結合されることができるか、またはネットワークを介してアクセスされることができ、メモリカードのような単一の集積ユニットまたは複数のメモリカードのような複数のユニットを含むことができる。よって、装置500は、幅広い多様な構成で実装されることができる。

ループ内フィルタ
VTM3には、全部で3つのループ内フィルタがある。VTM3では、ブロッキング解除フィルタおよびSAO（HEVCにおける2つのループ・フィルタ）のほかに、適応ループフィルタ（ALF）が適用される。VTM3におけるフィルタリング・プロセスの順序は、ブロッキング解除フィルタ、SAO、ALFである。

ALF
VTM5では、ブロックベースのフィルタ適応をもつ適応ループ・フィルタ（ALF）が適用される。ルーマ成分について、25個のフィルタのうちの1つが、各4×4ブロックについて、局所的勾配の方向および働きに基づいて選択される。

フィルタ形状：
JEMでは、2つのダイヤモンド・フィルタ形状（図6に示される）が、ルーマ成分について使用される。ルーマ成分については、7×7ダイヤモンド形状が適用され、クロマ成分については5×5ダイヤモンド形状が適用される。

ブロック分類：
ルーマ成分については、各4×4ブロックは25個のクラスのうちの1つにカテゴリー分けされる。分類インデックスCは、その方向性Dと働きの量子化された値

〔＾Aとも記す〕に基づいて、次のように導出される:

Dおよび＾Aを計算するために、1-Dラプラシアンを用いて、水平方向、垂直方向、および2つの対角方向の勾配が計算される：

ここで、インデックスiおよびjは、4×4ブロック内の左上のサンプルの座標を参照し、R(i,j)は、座標(i,j)における再構成されたサンプルを示す。

ブロック分類の複雑さを低減するために、サブサンプリングされた1-Dラプラシアン計算が適用される。図7に示されるように、すべての方向の勾配計算のために、同じサブサンプリングされた位置が使用される。

次いで、水平方向および垂直方向の勾配の最大および最小値は次のように設定される：

2つの対角方向の勾配の最大値および最小値は次のように設定される：

方向性の値Dを導出するために、これらの値は互いに、また2つの閾値t₁およびt₂と比較される：

働き値Aは次のように計算される：

Aはさらに0から4の範囲（両端含む）に量子化され、量子化された値は

と記される。

ピクチャー中のクロマ成分については、分類方法は適用されない。すなわち、各クロマ成分について、ALF係数の単一の集合が適用される。

フィルタ係数の幾何学的変換
各4×4ルーマ・ブロックをフィルタリングする前に、そのブロックについて計算された勾配値に依存して、回転または対角方向および垂直方向の反転などの幾何学的変換がフィルタ係数f(k,l)に適用される。これは、フィルタ・サポート領域内のサンプルにこれらの変換を適用することと等価である。発想は、ALFが適用される異なるブロックを、それらの方向性を整列させることによって、より類似させるということである。

対角方向、垂直方向の反転、および回転を含む3つの幾何学的変換が導入される：

ここで、Kはフィルタのサイズであり、0≦k,l≦K－1は、位置(0,0)が左上隅、位置(K－1,K－1)が右下隅になるような係数座標である。変換は、フィルタ係数f(k,l)に対して、そのブロックについて計算された勾配値に依存して適用される。変換と4方向の4つの勾配との間の関係は、次のテーブルにまとめられる。

フィルタ・パラメータの信号伝達
VTM3では、ALFフィルタ・パラメータはスライス・ヘッダにおいて信号伝達される。ルーマ・フィルタ係数の25個までの集合が信号伝達されうる。ビット・オーバーヘッドを減らすために、異なる分類のフィルタ係数がマージされることができる。

フィルタリング・プロセスはCTBレベルで制御できる。ALFがルーマCTBに適用されるかどうかを示すフラグが常に信号伝達される。各クロマCTBについて、ALFがクロマCTBに適用されるかどうかを示すフラグが信号伝達されてもよく、これは、alf_chroma_ctb_present_flagの値に依存する。

フィルタ係数は、128に等しいノルムを用いて量子化される。乗算の複雑さをさらに制約するために、中央位置の係数値は0から2⁸の範囲内であり、残りの位置の係数値は－2⁷から2⁷－1の範囲内（両端含む）でなければならないというビットストリーム適合性が適用される。
フィルタリング・プロセス
デコーダ側では、あるCTBについてALFが有効にされるとき、CU内の各サンプルR(i,j)がフィルタリングされ、その結果、以下に示されるようなサンプル値R'(i,j)が得られる。ここで、Lはフィルタ長を表し、f_m,nはフィルタ係数を表し、f(k,l)はデコードされたフィルタ係数を表す。

または、フィルタリングは次のように表すこともできる。

ここで、サンプルI(x＋i,y＋j)は入力サンプルであり、O(x,y)はフィルタリングされた出力サンプル（すなわちフィルタ結果）であり、w(i,j)はフィルタ係数を表す。実際上は、VTMでは、それは固定小数点精度計算のために整数算術を使用して実装される：

ここで、Lはフィルタ長を表し、w(i,j)は固定小数点精度でのフィルタ係数である。

VTM5以降（ITU JVET-N0242）は、ALFは非線形な仕方で実行される。式21は、次のように定式化できる：

ここで、w(i,j)は、式(22)におけるのと同じフィルタ係数である[ただし、期待されるw(0,0)は、式（23）では1に等しいが、式（21）では

に等しい]。

フィルタはさらに、ALFをより効率的にするよう非線形性を導入することによって修正される。これは、近傍サンプル値（I(x＋i,y＋j)）がフィルタリングされている現在のサンプル値（I(x,y)）とあまりに異なっているときは近傍サンプル値の影響を減らすようクリッピング関数を使用することによる。

VTM5では、ALFフィルタは次のように修正される。

ここで、K(d,b)＝min(b,max(－b,d))はクリッピング関数であり、k(i,j)は(i,j)でのフィルタ係数に依存するクリッピング・パラメータである。クリッピング・パラメータk(i,j)は、各ALFフィルタについて指定され、フィルタ係数ごとに1つのクリッピング値が信号伝達される。これは、ルーマ・フィルタごとに12個までのクリッピング値が、クロマ・フィルタについては6個までのクリッピング値が信号伝達できることを意味する。

信号伝達コストとエンコーダの複雑さを制限するために、クリッピング値の評価は、可能な値の小さな集合に低減される。VTM5では、インターおよびイントラ・タイル・グループについて同じである4つの可能な固定値のみが使用される。

局所的差の分散は、しばしば「クロマ」についてよりも「ルーマ」についてのほうが大きいため、「ルーマ」フィルタと「クロマ」フィルタについてのクリッピング値の2つの異なる集合が使用される。クリッピング値は、各集合における最大サンプル値（ここでは10ビットのビット深さについて1024）も含むので、必要でない場合は、クリッピングは無効にできる。

VTM5において使用されるクリッピング値の集合がテーブル2に与えられる。4つの値は、対数領域で、ルーマについてはサンプル値（10ビットでコーディングされる）の全範囲を、クロマについては4から1024までの範囲をほぼ均等に分割することによって選択されたものである。より正確には、クリッピング値のルーマ・テーブルは、次の公式によって得られたものである。

同様に、クリッピング値のクロマ・テーブルは、次の公式に従って得られる。

別のループ内フィルタ
VVCには、全部で3つのループ内フィルタがある。ブロッキング解除フィルタおよびSAO（HEVCにおける2つのループ・フィルタ）のほかに、適応ループ・フィルタ（ALF）が適用される。ALFは、ルーマALF、クロマALFおよび成分横断ALF（cross-component ALF、CC-ALF）を含む。ALFフィルタリング・プロセスは、ルーマALF、クロマALF、CC-ALFが並列に実行できるように設計されている。VVCにおけるフィルタリング・プロセスの順序は、ブロッキング解除フィルタ、SAO、ALFである。VVCにおけるSAOはHEVCにおけるのと同じである。

VVCでは、クロマ・スケーリングを伴うルーマ・マッピング（luma mapping with chroma scaling）と呼ばれる新しいプロセスが追加された（このプロセスは、以前は適応ループ内再整形器（adaptive in-loop reshaper）として知られていた）。LMCSは、ダイナミックレンジ全体にわたって符号語を再分配させることによって、エンコード前および再構成後のサンプル値を修正する。この新しいプロセスは、ブロッキング解除の前に実行される。

適応ループ・フィルタ
VVCでは、ブロックベースのフィルタ適応をもつ適応ループ・フィルタ（ALF）が適用される。ルーマ成分については、局所的な勾配についての方向と働きに基づいて、各4×4ブロックについて、25個のフィルタのうちの1つが選択される。

フィルタ形状：
2つのダイヤモンド・フィルタ形状（図6に示される）が使用される。ルーマ成分については7×7のダイヤモンド形状が適用され、クロマ成分については5×5のダイヤモンド形状が適用される。

ブロック分類：
ルーマ成分について、各4×4ブロックは25個のクラスのうちの1つにカテゴリー分けされる。分類インデックスCは、その方向性Dと働きの量子化された値＾Aに基づいて、次のように導出される：

Dおよび＾Aを計算するために、まず、1-Dラプラシアンを用いて、水平方向、垂直方向、および2つの対角方向の勾配が計算される：

ここで、インデックスiおよびjは、4×4ブロック内の左上のサンプルの座標を参照し、R(i,j)は、座標(i,j)における再構成されたサンプルを示す。

ブロック分類の複雑さを低減するために、サブサンプリングされた1-Dラプラシアン計算が適用される。図7に示されるように、すべての方向の勾配計算のために、同じサブサンプリングされた位置が使用される。

次いで、水平方向および垂直方向の勾配のD最大および最小値は次のように設定される：

2つの対角方向の勾配の最大値および最小値は次のように設定される：

方向性の値Dを導出するために、これらの値は互いに、また2つの閾値t₁およびt₂と比較される：

働き値Aは次のように計算される：

Aはさらに0から4の範囲（両端含む）に量子化され、量子化された値は

と記される。

ピクチャー中のクロマ成分については、分類方法は適用されない。すなわち、各クロマ成分について、ALF係数の単一の集合が適用される。

フィルタ係数およびクリッピング値の幾何学的変換
各4×4ルーマ・ブロックをフィルタリングする前に、そのブロックについて計算された勾配値に依存して、回転または対角方向および垂直方向の反転などの幾何学的変換がフィルタ係数f(k,l)および対応するフィルタ・クリッピング値c(k,l)に適用される。これは、フィルタ・サポート領域内のサンプルにこれらの変換を適用することと等価である。発想は、ALFが適用される異なるブロックを、それらの方向性を整列させることによって、より類似させるということである。

対角方向、垂直方向の反転、および回転を含む3つの幾何学的変換が導入される：

ここで、Kはフィルタのサイズであり、0≦k,l≦K－1は、位置(0,0)が左上隅、位置(K－1,K－1)が右下隅になるような係数座標である。変換は、フィルタ係数f(k,l)およびクリッピング値c(k,l)に対して、そのブロックについて計算された勾配値に依存して適用される。変換と4方向の4つの勾配との間の関係は、次のテーブルにまとめられる。

フィルタ・パラメータの信号伝達
ALFフィルタ・パラメータは適応パラメータセット（Adaptation Parameter Set、APS）において信号伝達される。1つのAPSでは、ルーマ・フィルタ係数およびクリッピング値インデックスの25個までの集合と、クロマ・フィルタ係数およびクリッピング値インデックスの8個までの集合が信号伝達されうる。ビット・オーバーヘッドを減らすために、ルーマ成分についての異なる分類のフィルタ係数がマージされることができる。スライス・ヘッダにおいて、現在のスライスについて使用される諸APSのインデックスが信号伝達される。

APSからデコードされるクリッピング値インデックスは、ルーマ成分とクロマ成分の両方についてのクリッピング値のテーブルを使用してクリッピング値を決定することを許容する。これらのクリッピング値は、内部ビット深さに依存する。より精密には、クリッピング値は次の式によって得られる。

ここで、Bは内部ビット深さに等しく、αは2.35に等しい、あらかじめ定義された定数値であり、NはVVCにおける許容されるクリッピング値の数である4に等しい。その後、AlfClipは2の冪乗の形をもつ最も近い値に丸められる。

スライス・ヘッダでは、現在のスライスに使用されるルーマ・フィルタ集合を指定するために7つまでのAPSインデックスが信号伝達できる。フィルタリング・プロセスはさらにCTBレベルで制御できる。ALFがルーマCTBに適用されるかどうかを示すフラグが常に信号伝達される。ルーマCTBは、16個の固定したフィルタ集合および諸APSからの前記諸フィルタ集合のうちからフィルタ集合を選択することができる。どのフィルタ集合が適用されるかを示すために、ルーマCTBについてフィルタ集合インデックスが信号伝達される。前記16個の固定したフィルタ集合はあらかじめ定義されており、エンコーダおよびデコーダの両方にハードコードされる。

クロマ成分については、現在のスライスに使用されている諸クロマ・フィルタ集合を示すために、APSインデックスがスライス・ヘッダにおいて信号伝達される。CTBレベルでは、APSに複数のクロマ・フィルタ集合がある場合、各クロマCTBについてフィルタ・インデックスが信号伝達される。

フィルタ係数は、128に等しいノルムを用いて量子化される。乗算の複雑さを制約するために、非中央位置の係数値は－2⁷から2⁷－1の範囲内（両端含む）でなければならないというビットストリーム適合性が適用される。中央位置係数は、ビットストリームにおいて信号伝達されず、128に等しいとみなされる。

フィルタリング・プロセス
デコーダ側では、あるCTBについてALFが有効にされるとき、CU内の各サンプルR(i,j)がフィルタリングされ、その結果、以下に示されるようなサンプル値R'(i,j)が得られる。

ここで、f(k,l)はデコードされたフィルタ係数を表し、K(x,y)はクリッピング関数であり、c(k,l)はデコードされたクリッピング・パラメータを表す。変数kおよびlは、－L/2からL/2までの間で変化し、ここでLはフィルタ長を表す。クリッピング関数K(x,y)＝min(y,max(－y,x))は、関数Clip(－y,y,x)に対応する。クリッピング操作は、現在のサンプル値とあまりに異なる近傍サンプル値の影響を減らすことでALFをより効率的にするよう非線形性を導入する。

選択されたクリッピング値は、上記のテーブル1におけるクリッピング値のインデックスに対応するゴロム（Golomb）エンコード方式を用いて、「alf_data」構文要素においてコーディングされる。このエンコード方式は、フィルタ・インデックスについてのエンコード方式と同じである。alf_dataはadaptation_parameter_set_rbsp()内にあってもよく、adaptation_parameter_set_rbsp()はスライス・ヘッダによって参照されてもよい。

構文の詳細は下記のテーブルに示される。

新たに導入された構文要素の意味内容は次のとおりである：
alf_luma_clipが0に等しいことは、線形適応ループ・フィルタがルーマ成分に対して適用されることを指定する。alf_luma_clipが1に等しいことは、非線形適応ループ・フィルタがルーマ成分に対して適用されうることを指定する。

alf_chroma_clipが0に等しいことは、線形適応ループ・フィルタがクロマ成分に対して適用されることを指定し、alf_chroma_clipが1に等しいことは、非線形適応ループ・フィルタがクロマ成分に対して適用されることを指定する。存在しない場合、alf_croma_clipは0と推定される。

alf_luma_clip_min_eg_order_minus1に1を加えたものは、ルーマ・クリッピング・インデックス信号伝達のための指数ゴロム符号の最小次数を指定する。alf_luma_clip_min_eg_order_minus1の値は、0～6の範囲とする（両端含む）。

alf_luma_clip_eg_order_increase_flag[i]が1に等しいことは、ルーマ・クリッピング・インデックス信号伝達のための指数ゴロム符号の最小次数が1インクリメントされることを指定する。alf_luma_clip_eg_order_increase_flag[i]が0に等しいことは、ルーマ・クリッピング・インデックス信号伝達のための指数ゴロム符号の最小次数が1インクリメントされないことを指定する。
alf_luma_clip_idx[sigFiltIdx][j]の値をデコードするために使用される指数ゴロム符号の次数expGoOrderYClip[i]は、次のように導出される：
expGoOrderYClip[i]＝alf_luma_clip_min_eg_order_minus1＋1＋alf_luma_clip_eg_order_increase_flag[i]

alf_luma_clip_idx[sigFiltIdx][j]は、sigFiltIdxによって示される信号伝達されたルーマ・フィルタのj番目の係数を乗じる前に、使用するクリッピング値のクリッピング・インデックスを指定する。alf_luma_clip_idx[sigFiltIdx][j]が存在しない場合は、0に等しい（クリッピングなし）と推定される。
指数ゴロム二進化uek(v)の次数kは次のように導出される：
golombOrderIdxYClip[]＝{0,0,1,0,0,1,2,1,0,0,1,2}
k＝expGoOrderYClip[golombOrderIdxYClip[j]]

sigFiltIdx＝0..alf_luma_num_filters_signalled_minus1、j＝0..11として、変数filterClips[signFiltIdx][j]は、次のように初期化される：

filtIdx＝0..NumAlfFilters－1およびj＝0..11として、要素AlfClip_L[filtIdx][j]をもつルーマ・フィルタ・クリッピング値AlfClip_Lは、次のように導出される。
AlfClip_L[filtIdx][j]＝filterClips[alf_luma_coeff_delta_idx[filtIdx]][j]

alf_chroma_clip_min_eg_order_minus1に1を加えたものは、クロマ・クリッピング・インデックス信号伝達のための指数ゴロム符号の最小次数を指定する。alf_chroma_clip_min_eg_order_minus1の値は、0～6の範囲とする（両端含む）。

alf_chroma_clip_eg_order_increase_flag[i]が1に等しいことは、クロマ・クリッピング・インデックス信号伝達のための指数ゴロム符号の最小次数が1インクリメントされることを指定する。alf_chroma_clip_eg_order_increase_flag[i]が0に等しいことは、クロマ・クリッピング・インデックス信号伝達のための指数ゴロム符号の最小次数が1インクリメントされないことを指定する。
alf_chroma_clip_idx[j]の値をデコードするために使用される指数ゴロム符号の次数expGoOrderC[i]は、次のように導出される：
expGoOrderC[i]＝alf_chroma_clip_min_eg_order_minus1＋1＋alf_chroma_clip_eg_order_increase_flag[i]

alf_chroma_clip_idx[j]は、クロマ・フィルタのj番目の係数を乗算する前に使用するクリッピング値のクリッピング・インデックスを指定する。alf_chroma_clip_idx[j]が存在しない場合は、0（クリッピングなし）と推定される。
指数ゴロム二進化uek(v)の次数kは次のように導出される：
golombOrderIdxC[]＝{0,0,1,0,0,1}
k＝expGoOrderC[golombOrderIdxC[j]]
j＝0..5として要素AlfClip_C[j]をもつクロマ・フィルタ・クリッピング値AlfClip_Cは次のように導出される：

VVC仕様に従ったALF構文仕様
適応ループ・フィルタ・プロセス
1.1 一般
このプロセスの入力は、適応ループ・フィルタに先立つ再構成されたピクチャー・サンプル・アレイrecPictureL、recPictureCbおよびrecPictureCrである。
このプロセスの出力は、適応ループ・フィルタ後の修正された再構成されたピクチャー・サンプル・アレイalfPictureL、alfPictureCb、およびalfPictureCrである。

適応ループ・フィルタ後の修正された再構成されたピクチャー・サンプル・アレイalfPictureL、alfPictureCbおよびalfPictureCrにおけるサンプル値は、初期には、それぞれ適応ループ・フィルタに先立つ再構成されたピクチャー・サンプル・アレイrecPictureL、recPictureCbおよびrecPictureCrにおけるサンプル値と等しく設定される。

tile_group_alf_enabled_flagの値が1に等しい場合、rx＝0..PicWidthInCtbs－1、ry＝0..PicHeightInCtbs－1であるとして、ルーマ符号化ツリーブロックの位置（rx,ry）をもつすべてのコーディングツリー単位について、以下のプロセスが適用される：
alf_ctb_flag[0][rx][ry]の値が1に等しい場合、節1.2で指定されるルーマ・サンプルについてのコーディング・ツリー・ブロック・フィルタリング・プロセスが呼び出される。recPictureL、alfPictureL、および（rx<<CtbLog2SizeY,ry<<CtbLog2SizeY）に等しいと設定されたルーマ・コーディング・ツリー・ブロック位置（xCtb,yCtb）が入力とされ、出力は、修正されたフィルタリングされたピクチャーalfPictureLである。
alf_ctb_flag[1][rx][ry]の値が1に等しい場合、節1.1で指定されるクロマ・サンプルについてのコーディング・ツリー・ブロック・フィルタリング・プロセスが呼び出される。recPictureCbに等しいと設定されたrecPicture、alfPictureCbに等しいと設定されたalfPicture、および（rx<<(CtbLog2SizeY－1),ry<<(CtbLog2SizeY－1)）に等しいと設定されたクロマ・コーディング・ツリー・ブロック位置（xCtbC,yCtbC）が入力とされ、出力は、修正フィルタリングされたピクチャーalfPictureCbである。
alf_ctb_flag[2][rx][ry]の値が1に等しい場合、節1.4で指定されるクロマ・サンプルについてのコーディング・ツリー・ブロック・フィルタリング・プロセスが呼び出される。recPictureCrに等しいと設定されたrecPicture、alfPictureCrに等しいと設定されたalfPicture、および（rx<<(CtbLog2SizeY－1),ry<<(CtbLog2SizeY－1)）に等しいと設定されたクロマ・コーディング・ツリー・ブロック位置（xCtbC,yCtbC）が入力とされ、出力は、修正フィルタリングされたピクチャーalfPictureCrである。

1.2 ルーマ・サンプルについてのコーディング・ツリー・ブロック・フィルタリング・プロセス
このプロセスの入力は以下の通りである：
適応ループ・フィルタリング・プロセスに先立つ再構成されたルーマ・ピクチャー・サンプル・アレイrecPictureL、
フィルタ処理された再構成されたルーマ・ピクチャー・サンプル・アレイalfPictureL、
現在のピクチャーの左上のサンプルに対して現在のルーマ・コーディング・ツリー・ブロックの左上のサンプルを指定するルーマ位置（xCtb,yCtb）。

このプロセスの出力は、修正されたフィルタリングされた再構成されたルーマ・ピクチャー・サンプル・アレイalfPictureLである。

節1.3のフィルタ・インデックスについての導出プロセスが呼び出される。位置（xCtb,yCtb）と再構成されたルーマ・ピクチャー・サンプル・アレイrecPictureLが入力とされ、x,y＝0..CtbSizeY－1としてfiltIdx[x][y]およびtransposeIdx[x][y]が出力である。

フィルタリングされた再構成されたルーマ・サンプルalfPictureL[x][y]の導出のために、現在のルーマ・コーディング・ツリー・ブロックrecPictureL[x][y]内の各再構成されたルーマ・サンプルは、x,y＝0..CtbSizeY－1として、次のようにフィルタリングされる
filtIdx[x][y]によって指定されたフィルタに対応するルーマ・フィルタ係数の配列f[j]は、j＝0..12として、次のように導出される：
f[j]＝AlfCoeffL[filtIdx[x][y]][j]
filtIdx[x][y]によって指定されたフィルタに対応するルーマ・フィルタ・クリッピング値の配列c[j]は、j＝0..11として、次のように導出される：
c[j]＝AlfClipL[filtIdx[x][y]][j]

ルーマ・フィルタ係数filterCoeffは、以下のように、transposeIdx[x][y]に依存して導出される：

ルーマ・サンプルの所与の配列recPicture内の対応するルーマ・サンプル（x,y）のそれぞれについての位置（hx,vy）は以下のように導出される：

変数sumは以下のように導出される：

修正されたフィルタリングされた再構成されたルーマ・ピクチャー・サンプルalfPictureL[xCtb＋x][yCtb＋y]は、以下のように導出される：

1.3 ルーマ・サンプルについてのALF転置とフィルタ・インデックスについての導出プロセス
このプロセスの入力は以下の通り：
現在のピクチャーの左上のサンプルに対して現在のルーマ・コーディング・ツリー・ブロックの左上のサンプルを指定するルーマ位置（xCtb,yCtb）
適応ループ・フィルタリング・プロセスに先立つ、再構成されたルーマ・ピクチャー・サンプル・アレイrecPictureL

このプロセスのアウトプットは以下の通り
分類フィルタ・インデックス配列filtIdx[x][y]、ここで、x,y＝0..CtbSizeY－1
転置インデックス配列transposeIdx[x][y]、ここで、x,y＝0..CtbSizeY－1

ルーマ・サンプルの所与の配列recPicture内の対応するルーマ・サンプル（x,y）のそれぞれについての位置（hx,vy）は以下のように導出される：
hx＝Clip3(0,pic_width_in_luma_samples－1,x)
vy＝Clip3(0,pic_height_in_luma_samples－1,y)

分類フィルタ・インデックス配列filtIdxおよび転置インデックス配列transposeIdxは、以下の順序付けられたステップによって導出される：
x,y＝－2..CtbSizeY＋1として、変数filtH[x][y]、filtV[x][y]、filtD0[x][y]、およびfiltD1[x][y]が以下のように導出される：
xとyの両方が偶数であるか、xとyの両方が均一でない数（uneven numbers）である場合、次が適用される：

それ以外の場合は、filtH[x][y]、filtV[x][y]、filtD0[x][y]、filtD1[x][y]は0に設定される。

x,y＝0..(CtbSizeY－1)>>2として、変数varTempH1[x][y]、varTempV1[x][y]、varTempD01[x][y]、varTempD11[x][y]およびvarTemp[x][y]は、次のように導出される：

変数hv1、hv0およびdirHVは以下のように導出される：

変数d1、d0およびdirDは次のように導出される：

変数hvd1、hvd0は次のように導出される：

変数dirS[x][y]、dir1[x][y]およびdir2[x][y]は、次のように導出される：

x,y＝0..CtbSizeY－1として、変数avgVar[x][y]は次のように導出される：

x＝y＝0..CtbSizeY－1として、分類フィルタ・インデックス配列filtIdx[x][y]と転置インデックス配列transposeIdx[x][y]は、次のように導出される：

dirS[x][y]が0に等しくない場合、filtIdx[x][y]は次のように修正される：

1.4 クロマ・サンプルについてのコーディング・ツリー・ブロック・フィルタリング・プロセス
このプロセスの入力は以下の通り：
適応ループ・フィルタリング・プロセスに先立つ再構成されたクロマ・ピクチャー・サンプル・アレイrecPicture、
フィルタリングされた再構成されたクロマ・ピクチャー・サンプル・アレイalfPicture、
現在のピクチャーの左上のサンプルに対して現在のクロマ・コーディング・ツリー・ブロックの左上のサンプルを指定するクロマ位置（xCtbC,yCtbC）。

このプロセスの出力は、修正されたフィルタリングされた再構成されたクロマ・ピクチャー・サンプル・アレイalfPictureである。

現在のクロマ・コーディング・ツリー・ブロックctbSizeCのサイズは次のように導出される：
ctbSizeC＝CtbSizeY/SubWidthC

フィルタリングされた再構成されたクロマ・サンプルalfPicture[x][y]の導出のために、現在のクロマ・コーディング・ツリー・ブロックrecPicture[x][y]内の各再構成されたクロマ・サンプルは、x,y＝0..ctbSizeC－1として、次のようにフィルタリングされる。

クロマ・サンプルの所与のアレイrecPicture内の対応するクロマ・サンプル（x,y）のそれぞれについての位置（hx,vy）は、次のように導出される：

変数sumは次のように導出される：

修正されたフィルタリングされた再構成されたクロマ・ピクチャー・サンプルalfPicture[xCtbC＋x][yCtbC＋y]は、次のように導出される：

上述され、図8に示されるように、ALFルーマおよびクロマ・クリッピング・パラメータは、ALFフィルタ係数に類似したK次の指数ゴロム符号を使用して伝送される。

クリッピング・パラメータのためのK次の指数ゴロム符号の使用は、コーディング効率の点で効率的ではないことがありうる。なぜなら、信号伝達されるクリッピング・パラメータは、単にクリッピング値のテーブルへのインデックスだからである（上のテーブル2を参照）。インデックスの値は0から3までの範囲である。よって、ALFフィルタ係数と同様にK次の指数ゴロム符号を用いて0から3までのインデックス値を信号伝達することは、追加的な構文要素alf_luma_clip_min_eg_order_min_minus1、alf_luma_clip_eg_order_increase_flag[i]を用いて、値K（使用される指数ゴロム符号の次数）を決定し、次いで、K次の指数ゴロム符号を用いて構文要素alf_luma_clip_idxが信号伝達される。したがって、この信号伝達の方法は複雑であり、コーディング効率の点でも効率的でない。よって、クリッピング・パラメータを信号伝達する、より簡単な方法が望まれる。

提案される解決策（解決策1）のある実施形態では、図9に示されるように、クリッピング・パラメータは固定長コードを使用して信号伝達され、よって、構文要素alf_luma_clip_min_eg_order_minus1、alf_luma_clip_eg_order_increase_flag[i]は使用されない。構文要素alf_luma_clip_idxは、2ビットの固定長コードを使用して信号伝達される。この方法は、クリッピング・パラメータが非常に簡単な仕方で信号伝達され、K次指数ゴロム符号に関連する構文要素のほとんどがもはや信号伝達されないので、コーディング効率が改善されるという利点を有する。

修正されたalf_data構文は次のとおり：

代替解決策（解決策2）の実施形態として、打ち切りされた単項コーディングが、クリッピング・パラメータ・インデックスを信号伝達するために使用されてもよい。

代替解決策（解決策3）の実施形態として、クリッピング・パラメータの数が固定値4から4より大きい異なる数に変更された場合、固定長コード（v）「値v」は対応して増加する。たとえば、クリッピング・パラメータの数が4から5または6に増加した場合、固定長コードはクリッピング・パラメータを信号伝達するために3ビットを使用する。

代替解決策（解決策4）の実施形態として、ALFフィルタ係数は、K次指数ゴロム符号の代わりに固定長コードを使用して信号伝達される。

図10は、本開示の第1の側面による方法を例解するブロック図である。本方法は、ビットストリームを取得する段階であって、前記ビットストリームにおける少なくとも1つのビットは、現在ブロックについての構文要素を表し（1001）、前記構文要素は、ALFの係数を乗算する前に使用するクリッピング値のクリッピング・インデックスを指定する適応ループ・フィルタ（ALF）クリッピング値インデックスである、段階と；前記ビットストリームをパースして現在ブロックについての前記構文要素の値を得る段階であって、前記構文要素は、固定長コードを使用してコーディングされる、段階（1002）と；現在ブロックについての前記構文要素の値に基づいて、現在ブロックに対して適応ループ・フィルタリングを適用する段階（1003）とを含む。

図11は、本開示の第2の側面による方法を例解するブロック図である。第2の側面によれば、デコード装置によって実装されるコーディング方法が提供される。本方法は、ビットストリームを取得する段階であって、前記ビットストリームにおける少なくとも1つのビットは、現在ブロックについての構文要素を表し（1101）、前記構文要素は、適応ループ・フィルタ（ALF）クリッピング値インデックスまたはALF係数パラメータである、段階と；前記ビットストリームをパースして、現在ブロックについての前記構文要素の値を得る段階であって、現在ブロックについての前記構文要素の値は、前記構文要素の前記少なくとも1つのビットのみを使用することによって取得される、段階（1102）と；現在ブロックについての前記構文要素の値に基づいて、現在ブロックに対して適応ループ・フィルタリングを適用する段階（1103）とを含む。

図12は、本開示の第3の側面による方法を例解するブロック図である。第3の側面によれば、エンコード装置によって実装されるコーディング方法が提供される。本方法は、現在ブロックについての構文要素の値を決定する段階であって、前記構文要素は適応ループ・フィルタ（ALF）の係数を乗算する前に使用する前記クリッピング値の前記クリッピング・インデックスを指定する、段階（1201）と；前記構文要素の値に基づいてビットストリームを生成する段階であって、前記ビットストリームにおける少なくとも1つのビットが前記構文要素を表し、前記構文要素は固定長コードを用いてコーディングされる、段階（1202）とを含む。

図13は、本開示の第4の側面による方法を例解するブロック図である。第4の側面によれば、エンコード装置によって実装されるコーディング方法が提供される。当該方法は：現在ブロックについての構文要素の値を決定する段階であって、前記構文要素は適応ループ・フィルタ（ALF）クリッピング値またはALFフィルタ係数パラメータである、段階（1301）と；前記構文要素の値に基づいてビットストリームを生成する段階であって、前記ビットストリームにおける少なくとも1つのビットが前記構文要素を表し、前記構文要素の前記少なくとも1つのビットは、現在ブロックについての前記構文要素の値のみを使用することによって得られる。

図14は、本開示の第5の側面によるデコーダを例解するブロック図である。本開示の第5の側面によれば、第1または第2の側面、またはそのいずれかの実装による方法を実行するための処理回路1401を備えるデコーダ1400が提供される。

図15は、本開示の第6の側面によるエンコーダを例解するブロック図である。本開示の第6の側面によれば、第3または第4の側面またはそのいずれかの実装による方法を実行するための処理回路1501を備えるエンコーダ1500が提供される。

図16は、本開示の第9の側面によるデコーダを例解するブロック図である。本開示の第9の側面によれば、一つまたは複数のプロセッサ1601と；前記プロセッサ1601に結合され、前記プロセッサ1601による実行のためのプログラミングを記憶している非一時的なコンピュータ読み取り可能記憶媒体1602とを備えるデコーダ1600が提供され、前記プログラミングは、プロセッサ1601によって実行されると、第1または第2の側面またはそのいずれかの実装による方法を実行するようにデコーダ1600を構成する。

図17は、本開示の第10の側面によるエンコーダを例解するブロック図である。本開示の第10の側面によれば、一つまたは複数のプロセッサ1701と；前記プロセッサ1701に結合され、前記プロセッサ1701による実行のためのプログラミングを記憶している非一時的なコンピュータ読み取り可能記憶媒体1702とを備えるエンコーダ1700が提供され、前記プログラミングは、プロセッサ1701によって実行されると、第3または第4の側面またはそのいずれかの実装による方法を実行するようにエンコーダ1700を構成する。

図18は、本開示の第11の側面によるデコーダを例解するブロック図である。本開示の第11の側面によれば、デコーダ1800が提供され、該デコーダは、ビットストリーム1811を取得するように構成されたエントロピー・デコード・ユニット1801（エントロピー・デコード・ユニット304であってもよい）であって、前記ビットストリーム1811における少なくとも1つのビットが現在ブロックについての構文要素を表し、前記構文要素は、適応ループ・フィルタ（ALF）の係数を乗算する前に使用すべき前記クリッピング値の前記クリッピング・インデックスを指定し；前記エントロピー・デコード・ユニット1801は、前記ビットストリーム1811をパースして、現在ブロックについての前記構文要素の値1812を取得するようにさらに構成され、前記構文要素は固定長コードを用いてコーディングされる、エントロピー・デコード・ユニットと；現在ブロックについての前記構文要素の値1812に基づいて、現在ブロックに対して適応ループ・フィルタリングを適用するように構成されたフィルタリング・ユニット1803（ループ・フィルタ320であってもよい）とを有する。

図19は、本開示の第12の側面によるデコーダを例解するブロック図である。本開示の第12の側面によれば、デコーダ1900が提供され、該デコーダは、ビットストリーム1911を取得するように構成されたエントロピー・デコード・ユニット1901（エントロピー・デコード・ユニット304であってもよい）であって、前記ビットストリーム1911における少なくとも1つのビットが現在ブロックについての構文要素を表し、前記構文要素はALFクリッピング値インデックスまたはALF係数パラメータであり、前記エントロピー・デコード・ユニット1801は、前記ビットストリームをパースして、現在ブロックについての前記構文要素の値1912を取得するようにさらに構成されており、現在ブロックについての前記構文要素の前記値は、前記構文要素の前記少なくとも1つのビットのみを使用することによって得られる、エントロピー・デコード・ユニットと；現在ブロックについての前記構文要素の値1912に基づいて、現在ブロックに対して適応ループ・フィルタリングを適用するように構成されたフィルタリング・ユニット（ループ・フィルタ320であってもよい）とを有する。

図20は、本開示の第13の側面によるエンコーダを例解するブロック図である。本開示の第13の側面によれば、エンコーダ2000が提供される、該エンコーダは：
現在ブロックについての構文要素の値2012を決定するように構成された決定ユニット2001（ループ・フィルタ220であってもよい）であって、前記構文要素は適応ループ・フィルタ（ALF）の係数を乗算する前に使用すべき前記クリッピング値の前記クリッピング・インデックスを指定する、決定ユニットと；前記構文要素の値2012に基づいてビットストリーム2011を生成するように構成されたエントロピー・エンコード・ユニット2002（エントロピー・エンコード・ユニット270であってもよい）であって、前記ビットストリーム2011における少なくとも1つのビットが前記構文要素を表し、前記構文要素が固定長コードを用いてコーティングされる、エントロピー・エンコード・ユニットとを有する。

図21は、本開示の第14の側面によるエンコーダを例解するブロック図である。本開示の第14の側面によれば、エンコーダ2100が提供され、該エンコーダは：現在ブロックについての構文要素の値2112を決定するように構成された決定ユニット2101（ループ・フィルタ220であってもよい）であって、前記構文要素は、ALFクリッピング値インデックスまたはALF係数パラメータである、決定ユニットと；前記構文要素の値2112に基づいてビットストリーム2111を生成するように構成されたエントロピー・エンコード・ユニット2102（エントロピー・エンコード・ユニット270であってもよい）であって、前記ビットストリーム2111における少なくとも1つのビットは、前記構文要素を表し、前記構文要素の前記少なくとも1つのビットは、現在ブロックについての前記構文要素の値のみを使用することによって取得される、エントロピー・エンコード・ユニットとを有する。

本開示は、以下のさらなる実施形態を提供する。

実施形態1。デコード装置によって実装されるコーディングの方法であって：ビットストリームを取得する段階であって、前記ビットストリームにおける少なくとも1つのビットは現在ブロック（またはブロックの集合における1つのブロックが現在ブロックであるようなブロックの集合）についての構文要素に対応する、段階と；現在ブロックについての前記構文要素の値を得るために前記ビットストリームをパースする段階であって、現在ブロックについての前記構文要素の値は前記少なくとも1つのビットを参照するだけである、段階と；現在ブロックについての前記構文要素の値に基づいて、現在ブロックをフィルタリングする段階とを含む、方法。

実施形態2。前記構文要素の値は、固定長コード（固定長コードは、前記構文要素のすべての可能な値が同じビット数を用いて信号伝達されることを意味する）に従ってコーディングされる、実施形態1に記載の方法。

実施形態3。前記構文要素の値は、打ち切りされた単項コード（打ち切りされた単項コードは、前記所与の構文要素の最も頻繁に生起する値が、最少のビット数を用いて信号伝達され、前記構文要素の最も少なく生起する値が、最多のビット数を用いて信号伝達されることを意味する）に従ってコーディングされる、実施形態1に記載の方法。

実施形態4。前記構文要素は、適応ループ・フィルタ・クリッピング・インデックス・パラメータである、実施形態1～3のいずれか1つの方法。

実施形態5。前記構文要素は、適応ループ・フィルタ係数パラメータである、実施形態1～3のいずれか1つの方法。

実施形態6。前記構文要素の値は、フィルタ係数を決定するために使用され、前記フィルタ係数は、前記フィルタリング・プロセスにおいて使用される、実施形態1～5のいずれか1つの方法。

実施形態7。前記構文要素の値が、クリッピング範囲を決定するために使用され、前記クリッピング範囲が、前記フィルタリング・プロセスにおいて使用される（前記クリッピング範囲は、所与のサンプルに対して許容される、その近傍のサンプルによる修正の量を制限するために使用される）、実施形態1～5のいずれか1つの方法。

実施形態8。実施形態1～7のいずれか1つによる方法を実行するための処理回路を備える、デコーダ（30）。

実施形態9。実施形態1～7のいずれかに記載の方法を実行するためのプログラム・コードを含むコンピュータ・プログラム・プロダクト。

実施形態10。
一または二以上のプロセッサと；
前記プロセッサに結合され、前記プロセッサによる実行のためのプログラミングを記憶している非一時的なコンピュータ読み取り可能記憶媒体とを有するデコーダであって、前記プログラミングは、前記プロセッサによって実行されると、実施形態1～7のいずれか1つによる方法を実行するように当該デコーダを構成する、デコーダ。

以下は、上記の諸実施形態に示されるエンコード方法およびデコード方法ならびにそれらを用いるシステムの説明である。

図22は、コンテンツ配送サービスを実現するためのコンテンツ供給システム3100を示すブロック図である。このコンテンツ供給システム3100は、捕捉装置3102、端末装置3106を含み、任意的にディスプレイ3126を含む。捕捉装置3102は、通信リンク3104を通じて端末装置3106と通信する。通信リンクは、上述の通信チャネル13を含んでいてもよい。通信リンク3104は、WIFI、イーサネット、ケーブル、無線（3G/4G/5G）、USB、またはそれらの任意の種類の組み合わせなどを含むが、これらに限定されない。

捕捉装置3102は、データを生成し、上記の諸実施形態に示されるようなエンコード方法によって該データをエンコードしてもよい。あるいはまた、捕捉装置3102は、ストリーミングサーバー（図には示されていない）にデータを配送することができ、サーバーは、データをエンコードし、エンコードされたデータを端末装置3106に送信する。捕捉装置3102は、カメラ、スマートフォンもしくはパッド、コンピュータもしくはラップトップ、ビデオ会議システム、PDA、車載装置、またはそれらの任意のものの組み合わせなどを含むが、これらに限定されない。たとえば、捕捉装置3102は、上述のように源装置12を含んでいてもよい。データがビデオを含む場合、捕捉装置3102に含まれるビデオ・エンコーダ20が、実際にビデオ・エンコード処理を実行してもよい。データがオーディオ（すなわち、音声）を含む場合、捕捉装置3102に含まれるオーディオ・エンコーダが、実際にオーディオ・エンコード処理を実行してもよい。いくつかの実際的なシナリオについては、捕捉装置3102は、エンコードされたビデオおよびオーディオ・データを、それらを一緒に多重化することによって配送する。たとえばビデオ会議システムにおける、他の実際的なシナリオについては、エンコードされたオーディオ・データおよびエンコードされたビデオ・データは多重化されない。捕捉装置3102は、エンコードされたオーディオ・データおよびエンコードされたビデオ・データを、端末装置3106に別個に配送する。

コンテンツ供給システム3100では、端末装置310は、エンコードされたデータを受信および再生する。端末装置3106は、スマートフォンもしくはパッド3108、コンピュータもしくはラップトップ3110、ネットワークビデオレコーダー（NVR）／デジタルビデオレコーダー（DVR）3112、TV 3114、セットトップボックス（STB）3116、ビデオ会議システム3118、ビデオ監視システム3120、パーソナルデジタルアシスタント（PDA）3122、車両搭載装置3124、またはこれらの任意のものの組み合わせなどであって上述したエンコードされたデータをデコードすることができるものといった、データ受信および復元能力を有する装置であってもよい。たとえば、端末装置3106は、上記のような宛先装置14を含んでいてもよい。エンコードされたデータがビデオを含む場合、端末装置に含まれるビデオ・デコーダ30は、ビデオ・デコードを実行するために優先される。エンコードされたデータがオーディオを含む場合、端末装置に含まれるオーディオ・デコーダは、オーディオ・デコード処理を実行するために優先される。

ディスプレイを有する端末装置、たとえばスマートフォンもしくはパッド3108、コンピュータもしくはラップトップ3110、ネットワークビデオレコーダー（NVR）／デジタルビデオレコーダー（DVR）3112、TV 3114、パーソナルデジタルアシスタント（PDA）3122、または車両搭載装置3124の場合、端末装置は、デコードされたデータをそのディスプレイに与えることができる。ディスプレイを備えていない端末装置、たとえばSTB 3116、ビデオ会議システム3118、またはビデオ監視システム3120については、デコードされたデータを受信し、表示するために外部ディスプレイ3126がそこに接触される。

このシステムにおける各装置がエンコードまたはデコードを実行するとき、上述した実施形態に示されるようなピクチャー・エンコード装置またはピクチャー・デコード装置が使用できる。

図23は、端末装置3106の一例の構造を示す図である。端末装置3106が捕捉装置3102からストリームを受信した後、プロトコル進行ユニット3202が、ストリームの送信プロトコルを解析する。このプロトコルは、リアルタイムストリーミングプロトコル（RTSP）、ハイパーテキスト転送プロトコル（HTTP）、HTTPライブストリーミングプロトコル（HLS）、MPEG-DASH、リアルタイムトランスポートプロトコル（RTP）、リアルタイムメッセージングプロトコル（RTMP）、またはそれらの任意の種類の組み合わせなどを含むが、これらに限定されない。

プロトコル進行ユニット3202がストリームを処理した後、ストリームファイルが生成される。ファイルは、多重分離ユニット3204に出力される。多重分離ユニット3204は、多重化されたデータをエンコードされたオーディオ・データとエンコードされたビデオ・データとに分離することができる。上述したように、たとえばビデオ会議システムにおけるいくつかの実際的なシナリオについては、エンコードされたオーディオ・データおよびエンコードされたビデオ・データは多重化されない。この状況では、エンコードされたデータは、多重分離ユニット3204を介することなく、ビデオ・デコーダ3206およびオーディオ・デコーダ3208に送信される。

多重分離処理を介して、ビデオ・エレメンタリーストリーム（ES）、オーディオES、および任意的に字幕が生成される。上述した諸実施形態で説明されたようなビデオ・デコーダ30を含むビデオ・デコーダ3206は、上述した諸実施形態に示されるようなデコード方法によってビデオESをデコードして、ビデオ・フレームを生成し、このデータを同期ユニット3212に与える。オーディオ・デコーダ3208は、オーディオESをデコードしてオーディオ・フレームを生成し、このデータを同期ユニット3212に与える。あるいはまた、ビデオ・フレームは、同期ユニット3212に与える前に、バッファ（図23には示さず）に格納されてもよい。同様に、オーディオ・フレームは、同期ユニット3212に与える前に、バッファ（図23には示さず）に格納されてもよい。

同期ユニット3212は、ビデオ・フレームとオーディオ・フレームを同期させ、ビデオ／オーディオをビデオ／オーディオ・ディスプレイ3214に供給する。たとえば、同期ユニット3212は、ビデオおよびオーディオ情報の提示を同期させる。コーディングされたオーディオおよびビジュアルデータの提示に関するタイムスタンプおよびデータストリーム自体の送達に関するタイムスタンプを使用して、情報がシンタックスにおいてコーディングされてもよい。

字幕がストリームに含まれる場合、字幕デコーダ3210は、字幕をデコードし、それをビデオ・フレームおよびオーディオ・フレームと同期させ、ビデオ／オーディオ／字幕をビデオ／オーディオ／字幕ディスプレイ3216に供給する。

本発明は、上述したシステムに限定されず、上述した諸実施形態におけるピクチャー・エンコード装置またはピクチャー・デコード装置はいずれも他のシステム、たとえば自動車システムに組み込まれることができる。

本開示の実施形態は、主にビデオ・コーディングに基づいて説明されてきたが、コーディングシステム10、エンコーダ20およびデコーダ30（および対応してシステム10）の実施形態、ならびに本明細書に記載される他の実施形態は、静止ピクチャーの処理またはコーディング、すなわち、ビデオ・コーディングにおけるような何らかの先行または連続するピクチャーから独立した個々のピクチャーの処理またはコーディングのために構成されてもよいことに注意しておくべきである。一般に、ピクチャー処理コーディングが単一のピクチャー17に限定される場合、インター予測ユニット244（エンコーダ）および344（デコーダ）だけは利用可能でないことがある。ビデオ・エンコーダ20およびビデオ・デコーダ30の他のすべての機能（ツールまたは技術とも称される）は、静止ピクチャー処理についても等しく使用されうる。他の機能とは、たとえば、残差計算204/304、変換206、量子化208、逆量子化210/310、（逆）変換212/312、パーティション分割262/362、イントラ予測254/354、および／またはループ・フィルタリング220、320、およびエントロピー・コーディング270、およびエントロピー・デコード304である。

たとえばエンコーダ20およびデコーダ30の実施形態、ならびに、たとえばエンコーダ20およびデコーダ30を参照して本明細書に記載される機能は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組み合わせで実装されうる。ソフトウェアで実装される場合、機能は、一つまたは複数の命令またはコードとして、コンピュータ読み取り可能媒体に記憶されるかまたは通信媒体を通じて伝送され、ハードウェア・ベースの処理ユニットによって実行されてもよい。コンピュータ読み取り可能媒体は、データ記憶媒体のような有形の媒体に対応するコンピュータ読み取り可能記憶媒体、または、たとえば通信プロトコルに従って、ある場所から他の場所へのコンピュータ・プログラムの転送を容易にする任意の媒体を含む通信媒体を含んでいてもよい。このように、コンピュータ読み取り可能媒体は、一般に、(1)非一時的である有形のコンピュータ読み取り可能記憶媒体、または(2)信号または搬送波のような通信媒体に対応しうる。データ記憶媒体は、本開示に記載される技術の実装のための命令、コードおよび／またはデータ構造を取り出すために、一つまたは複数のコンピュータまたは一つまたは複数のプロセッサによってアクセスできる任意の利用可能な媒体でありうる。コンピュータ・プログラム・プロダクトは、コンピュータ読み取り可能媒体を含みうる。

例として、そして限定するものではないが、そのようなコンピュータ読み取り可能記憶媒体は、RAM、ROM、EEPROM、CD-ROMまたは他の光ディスク記憶、磁気ディスク記憶、または他の磁気記憶デバイス、フラッシュメモリ、または命令またはデータ構造の形で所望のプログラム・コードを記憶するために使用でき、コンピュータによってアクセスされることができる他の任意の媒体を含むことができる。また、任意の接続は、適正にコンピュータ読み取り可能媒体と称される。たとえば、同軸ケーブル、光ファイバーケーブル、ツイストペア、デジタル加入者線（DSL）、または赤外線、電波、およびマイクロ波のような無線技術を用いて、ウェブサイト、サーバー、または他のリモートソースから命令が送信される場合、同軸ケーブル、光ファイバーケーブル、ツイストペア、DSL、または赤外線、電波、およびマイクロ波のような無線技術は、媒体の定義に含まれる。しかしながら、コンピュータ読み取り可能記憶媒体およびデータ記憶媒体は、接続、搬送波、信号、または他の一時的な媒体を含まず、代わりに非一時的で有形の記憶媒体に向けられることが理解されるべきである。本明細書で使用されるところのディスク（diskおよびdisc）は、コンパクトディスク（CD）、レーザーディスク、光ディスク、デジタル多用途ディスク（DVD）、フロッピーディスクおよびブルーレイディスクを含み、ディスク（disk）は通例、磁気的にデータを再生し、一方、ディスク（disc）はレーザーを用いて光学的にデータを再生する。上記の組み合わせも、コンピュータ読み取り可能媒体の範囲内に含まれるべきである。

命令は、一つまたは複数のデジタル信号プロセッサ（DSP）、汎用マイクロプロセッサ、特定用途向け集積回路（ASIC）、フィールドプログラマブル論理アレイ（FPGA）、または他の同等の集積されたもしくは離散的な論理回路などの一つまたは複数のプロセッサによって実行されうる。よって、本明細書で使用される「プロセッサ」という用語は、前述の構造、または本明細書に記載される技術の実装のために好適な任意の他の構造のいずれかを指しうる。さらに、いくつかの側面では、本明細書に記載される機能は、エンコードおよびデコードのために構成される専用ハードウェアおよび／またはソフトウェア・モジュール内で提供されてもよく、または組み合わされたコーデックに組み込まれてもよい。また、これらの技術は、一つまたは複数の回路または論理素子で完全に実装されることができる。

本開示の技術は、ワイヤレスハンドセット、集積回路（IC）、または一組のIC（たとえば、チップセット）を含む、幅広い多様なデバイスまたは装置で実装されうる。本開示では、開示された技術を実行するように構成された装置の機能的側面を強調するために、さまざまなコンポーネント、モジュール、またはユニットが記載されるが、これらは必ずしも異なるハードウェア・ユニットによる実現を要求するものではない。むしろ、上述のように、さまざまなユニットは、コーデック・ハードウェア・ユニット内で組み合わされてもよく、または、上述のような一つまたは複数のプロセッサを好適なソフトウェアおよび／またはファームウェアとの関連で含む、相互運用されるハードウェア・ユニットの集まりによって提供されてもよい。

Claims (18)

1. デコード装置によって実装されるコーディング方法であって、当該方法は：
   ビットストリームを取得する段階であって、前記ビットストリームにおける少なくとも1つのビットは、現在ブロックについての構文要素を表し、前記構文要素は、適応ループ・フィルタ（ALF）のためのクリッピング値のクリッピング・インデックスを指定する、段階と；
   前記ビットストリームをパースして、現在ブロックについての前記構文要素の値を取得する段階であって、前記構文要素は、固定長コードを用いてコーディングされる、段階と；
   現在ブロックについての前記構文要素の値に基づいて、現在ブロックに対して適応ループ・フィルタリングを適用する段階とを含み、
   前記構文要素はブロックの集合に適用され、現在ブロックはブロックの前記集合における1つのブロックである、
   方法。
2. 前記固定長コードは、前記少なくとも1つのビットを使用する符号なし整数のバイナリ表現を含む、請求項１に記載の方法。
3. 前記ALFクリッピング値インデックスは2ビットで表される、請求項１または２に記載の方法。
4. 前記ALFクリッピング値インデックスは、4つのクリッピング値のうちの1つのクリッピング値を識別する、請求項３に記載の方法。
5. 前記ALFクリッピング値インデックスの値が、クリッピング範囲を決定するために使用され、前記クリッピング範囲は、前記適応ループ・フィルタリング・プロセスにおいて使用される、請求項１ないし４のうちいずれか一項に記載の方法。
6. エンコード装置によって実装されるコーディング方法であって、当該方法は：
   現在ブロックについての構文要素の値を決定する段階であって、前記構文要素は適応ループ・フィルタ（ALF）についてのクリッピング値のクリッピング・インデックスを指定する、段階と；
   前記構文要素の値に基づいてビットストリームを生成する段階であって、前記ビットストリームにおける少なくとも1つのビットが前記構文要素を表し、前記構文要素は固定長コードを用いてコーディングされる、段階とを含み、
   前記構文要素はブロックの集合に適用され、現在ブロックはブロックの前記集合における1つのブロックである、
   方法。
7. 前記固定長コードは、前記構文要素の前記少なくとも1つのビットを使用する符号なし整数のバイナリ表現を含む、請求項６に記載の方法。
8. 前記構文要素は前記ALFクリッピング値インデックスであり、前記構文要素を表す前記少なくとも1つのビットは2ビットである、請求項６ないし７のうちいずれか一項に記載の方法。
9. 前記ALFクリッピング値インデックスは、4つのクリッピング値のうちの1つのクリッピング値を識別する、請求項８に記載の方法。
10. 前記ALFクリッピング値インデックスの値は、クリッピング範囲を決定するために使用され、前記クリッピング範囲は、前記適応ループ・フィルタリング・プロセスにおいて使用される、請求項６ないし９のうちいずれか一項に記載の方法。
11. 請求項１ないし５のうちいずれか一項に記載の方法を実行するための処理回路を備えるデコーダ（30）。
12. 請求項６ないし１０のうちいずれか一項に記載の方法を実行するための処理回路を備えるエンコーダ（20）。
13. 請求項１ないし１０のうちいずれか一項に記載の方法をコンピュータに実行させるためのコンピュータ・プログラム。
14. コンピュータ装置によって実行されたときに請求項１ないし１０のうちいずれか一項に記載の方法を前記コンピュータ装置に実行させるプログラム・コードを担持する非一時的なコンピュータ読み取り可能な媒体。
15. 一つまたは複数のプロセッサと；
    前記プロセッサに結合され、前記プロセッサによる実行のためのプログラミングを記憶している非一時的なコンピュータ読み取り可能記憶媒体とを有するデコーダであって、前記プログラミングは、前記プロセッサによって実行されたときに、請求項１ないし５のうちいずれか一項に記載の方法を実行するよう当該デコーダを構成する、
    デコーダ。
16. 一つまたは複数のプロセッサと；
    前記プロセッサに結合され、前記プロセッサによる実行のためのプログラミングを記憶している非一時的なコンピュータ読み取り可能記憶媒体とを有するエンコーダであって、前記プログラミングは、前記プロセッサによって実行されたときに、請求項６ないし１０のうちいずれか一項に記載の方法を実行するよう当該エンコーダを構成する、
    エンコーダ。
17. ビットストリームを取得するように構成されたエントロピー・デコード・ユニットであって、前記ビットストリームにおける少なくとも1つのビットが現在ブロックについての構文要素を表し、前記構文要素は適応ループ・フィルタ（ALF）についてのクリッピング値のクリッピング・インデックスを指定し；
    前記エントロピー・デコード・ユニットは、前記ビットストリームをパースして、現在ブロックについての前記構文要素の値を取得するようにさらに構成され、前記構文要素は固定長コードを用いてコーディングされる、エントロピー・デコード・ユニットと；
    現在ブロックについての前記構文要素の値に基づいて、現在ブロックに対して適応ループ・フィルタリングを適用するように構成されたフィルタリング・ユニットとを有しており、
    前記構文要素はブロックの集合に適用され、現在ブロックはブロックの前記集合における1つのブロックである、
    デコーダ。
18. 現在ブロックについての構文要素の値を決定するように構成された決定ユニットであって、前記構文要素は適応ループ・フィルタ（ALF）のためのクリッピング値のクリッピング・インデックスを指定する、決定ユニットと；
    前記構文要素の値に基づいてビットストリームを生成するように構成されたエントロピー・エンコード・ユニットであって、前記ビットストリームにおける少なくとも1つのビットが前記構文要素を表し、前記構文要素が固定長コードを用いてコーティングされる、エントロピー・エンコード・ユニットとを有する、エントロピー・エンコード・ユニットとを有しており、
    前記構文要素はブロックの集合に適用され、現在ブロックはブロックの前記集合における1つのブロックである、
    エンコーダ。
    

Images