JP2023512694A - 高レベルシンタックスのシグナリングについてのエンコーダ、デコーダ、および対応する方法 - Google Patents

高レベルシンタックスのシグナリングについてのエンコーダ、デコーダ、および対応する方法 Download PDF

Info

Publication number
JP2023512694A
JP2023512694A JP2022547752A JP2022547752A JP2023512694A JP 2023512694 A JP2023512694 A JP 2023512694A JP 2022547752 A JP2022547752 A JP 2022547752A JP 2022547752 A JP2022547752 A JP 2022547752A JP 2023512694 A JP2023512694 A JP 2023512694A
Authority
JP
Japan
Prior art keywords
slice
offset
picture
equal
div2
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022547752A
Other languages
English (en)
Inventor
アナンド・メヘル・コトラ
セミフ・エセンリク
ビャオ・ワン
ハン・ガオ
エレナ・アレクサンドロブナ・アルシナ
Original Assignee
ホアウェイ・テクノロジーズ・カンパニー・リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ホアウェイ・テクノロジーズ・カンパニー・リミテッド filed Critical ホアウェイ・テクノロジーズ・カンパニー・リミテッド
Publication of JP2023512694A publication Critical patent/JP2023512694A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117Filters, e.g. for pre-processing or post-processing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Analogue/Digital Conversion (AREA)

Abstract

復号デバイスによって実施されるコーディングの方法であって、コーディングブロックに関するビットストリームを取得するステップと、ビットストリームからシンタックスの値を取得するステップと、シンタックスの値が予め設定された値に等しいとき、ビットストリームからデブロッキング制御パラメータの値を取得するステップとを含む、方法。

Description

本出願(開示)の実施形態は、概して、ピクチャ処理の分野に関し、より詳細には、シンタックスのシグナリングに関する。
ビデオコーディング(ビデオ符号化および復号)は、広範なデジタルビデオアプリケーション、たとえば、ブロードキャストデジタルTV、インターネットおよびモバイルネットワーク上のビデオ送信、ビデオチャットのようなリアルタイム会話アプリケーション、テレビ会議、DVDおよびブルーレイディスク、ビデオコンテンツ獲得および編集システム、ならびにセキュリティアプリケーションのカムコーダにおいて使用される。
比較的短いビデオでさえも描くために必要とされるビデオデータの量はかなり多くなり得、それが、データが限られた帯域幅の容量を有する通信ネットワークを介してストリーミングされるかまたはそれ以外の方法で伝達されるべきであるときに困難をもたらす可能性がある。したがって、ビデオデータは、概して、現代の通信ネットワークを介して伝達される前に圧縮される。メモリリソースが限られている可能性があるので、ビデオがストレージデバイスに記憶されるとき、ビデオのサイズも問題となり得る。多くの場合、ビデオ圧縮デバイスは、送信または記憶の前にビデオデータをコーディングするために送信元においてソフトウェアおよび/またはハードウェアを使用し、それによって、デジタルビデオ画像を表現するために必要とされるデータの量を削減する。そして、圧縮されたデータが、ビデオデータを復号するビデオ解凍デバイスによって送信先において受信される。限られたネットワークリソースおよびより高いビデオ品質のますます増加する需要によって、ピクチャ品質をほとんどまたはまったく犠牲にせずに圧縮比を高める改善された圧縮および解凍技術が、望ましい。
本出願の実施形態は、独立請求項による符号化および復号のための装置および方法を提供する。
上述のおよびその他の目的は、独立請求項の主題により達成される。さらなる実装の形態は、従属請求項、明細書、および図面から明らかである。
特定の実施形態は、添付の独立請求項に要点を述べられ、その他の実施形態は、従属請求項に示される。
本発明の第1の態様は、復号デバイスによって実施されるコーディングの方法であって、ビットストリームからシンタックス要素の値を取得するステップであって、シンタックス要素の値が、コーディングされたピクチャのスライスのクロマ(chroma)成分のためのデブロッキング制御パラメータに関連する、ステップと、シンタックス要素の値が予め設定された値に等しいとき、ビットストリームからスライスのクロマ成分のためのデブロッキング制御パラメータの値を解析するステップであって、予め設定された値が、整数値である、ステップとを含む、方法を提供する。例において、予め設定された値は、0に等しくない。例において、予め設定された値は、1である。
1つの実装において、方法は、デブロッキング制御パラメータの値に従ってスライス内のブロックに対してデブロッキングプロセスを実行するステップをさらに含む。
本発明の実施形態によれば、デブロッキング制御パラメータのシグナリング方式が、開示され、クロマ成分のためのデブロッキング制御パラメータが、条件付きでシグナリングされる。クロマフォーマットが(4:0:0または(4:4:4および別個の色平面(colour plane)コーディングモードが使用されている))であるとき、クロマ成分のためのデブロッキング制御パラメータは、ビットストリーム内でシグナリングされない。したがって、ビットストリームの利用および復号の効率が、改善された。
1つの実装において、シンタックス要素の値は、ピクチャパラメータセットPPSから取得される。
1つの実装において、デブロッキング制御パラメータの値は、PPSから取得される。
1つの実装において、デブロッキング制御パラメータの値は、ピクチャヘッダPHから取得される。
1つの実装において、デブロッキング制御パラメータの値は、スライスヘッダSHから取得される。
1つの実装において、ビデオシーケンスに色成分が存在しないとき、シンタックス要素の値は、0に等しい。
1つの実装においては、ビデオシーケンスが色成分を有するときに(のみ)、デブロッキング制御パラメータがシグナリングされる。
1つの実装において、シンタックス要素の値は、スライスのルマ(luma)成分のためのデブロッキング制御パラメータがスライスのクロマ成分のためのデブロッキング制御パラメータと同じであるかどうかを判定するために使用される。
1つの実装において、方法は、
シンタックス要素の値が予め設定された値に等しくないとき、スライスのルマ成分のためのデブロッキング制御パラメータの値に等しいスライスのクロマ成分のためのデブロッキング制御パラメータの値を設定するステップをさらに含む。
1つの実装において、デブロッキング制御パラメータの値は、スライスの合同Cb-Cr成分(joint Cb-Cr component)に適用される予め設定されたデブロッキングパラメータオフセットである。
本発明の第2の態様は、ビデオ復号装置を提供し、装置は、ビットストリームからシンタックス要素の値を取得するように構成される解析モジュールであって、シンタックス要素の値が、コーディングされたピクチャのスライスのクロマ成分のためのデブロッキング制御パラメータに関連する、解析モジュールを含み、解析モジュールは、シンタックス要素の値が予め設定された値に等しいとき、ビットストリームからスライスのクロマ成分のためのデブロッキング制御パラメータの値を取得するように構成され、予め設定された値は、整数値である。
1つの実装において、復号装置は、ビットストリームを取得するように構成される受信モジュールをさらに含む。
1つの実装において、復号装置は、デブロッキング制御パラメータの値に従ってスライス内のブロックに対してデブロッキングプロセスを実行するように構成されるデブロッキングモジュールをさらに含む。
本発明の実施形態によれば、デブロッキング制御パラメータのシグナリング方式が、開示され、クロマ成分のためのデブロッキング制御パラメータが、条件付きでシグナリングされる。クロマフォーマットが(4:0:0または(4:4:4および別個の色平面コーディングモードが使用されている))であるとき、クロマ成分のためのデブロッキング制御パラメータは、ビットストリーム内でシグナリングされない。したがって、ビットストリームの利用および復号の効率が、改善された。
1つの実装において、シンタックス要素の値は、ピクチャパラメータセットPPSから取得される。
1つの実装において、デブロッキング制御パラメータの値は、PPSから取得される。
1つの実装において、デブロッキング制御パラメータの値は、ピクチャヘッダPHから取得される。
1つの実装において、デブロッキング制御パラメータの値は、スライスヘッダSHから取得される。
1つの実装において、ビデオシーケンスに色成分が存在しないとき、シンタックス要素の値は、0に等しい。
1つの実装においては、ビデオシーケンスが色成分を有するときに(のみ)、デブロッキング制御パラメータがシグナリングされる。
1つの実装において、シンタックス要素の値は、スライスのルマ成分のためのデブロッキング制御パラメータがスライスのクロマ成分のためのデブロッキング制御パラメータと同じであるかどうかを判定するために使用される。
1つの実装において、解析モジュールは、
シンタックス要素の値が予め設定された値に等しくないとき、スライスのルマ成分のためのデブロッキング制御パラメータの値に等しいスライスのクロマ成分のためのデブロッキング制御パラメータの値を設定するようにさらに構成される。
1つの実装において、デブロッキング制御パラメータの値は、スライスの合同Cb-Cr成分に適用される予め設定されたデブロッキングパラメータオフセットである。
本発明の第3の態様は、符号化デバイスによって実施されるコーディングの方法であって、
コーディングされたピクチャのスライスに関するシンタックス要素の値を判定するステップであって、シンタックス要素の値が、スライスのクロマ成分のためのデブロッキング制御パラメータに関連する、ステップと、シンタックス要素の値が予め設定された値に等しいと判定されるとき、コーディングブロックのクロマ成分のためのデブロッキング制御パラメータの値をビットストリームに符号化するステップであって、予め設定された値が、整数値である、ステップとを含む、方法を提供する。例において、予め設定された値は、0に等しくない。例において、予め設定された値は、1である。
本発明の実施形態によれば、デブロッキング制御パラメータのシグナリング方式が、開示され、クロマ成分のためのデブロッキング制御パラメータが、条件付きでシグナリングされる。クロマフォーマットが(4:0:0または(4:4:4および別個の色平面コーディングモードが使用されている))であるとき、クロマ成分のためのデブロッキング制御パラメータは、ビットストリーム内でシグナリングされない。したがって、ビットストリームの利用および復号の効率が、改善された。
1つの実装において、シンタックス要素の値は、PPS内でシグナリングされる。
1つの実装において、デブロッキング制御パラメータの値は、PPS内でシグナリングされる。
1つの実装において、デブロッキング制御パラメータの値は、ピクチャヘッダPH内でシグナリングされる。
1つの実装において、デブロッキング制御パラメータの値は、スライスヘッダSH内でシグナリングされる。
1つの実装において、ビデオシーケンスに色成分が存在しないとき、シンタックス要素の値は、0に等しいと判定される。
1つの実装においては、ビデオシーケンスが色成分を有するときに(のみ)、デブロッキング制御パラメータがシグナリングされる。
1つの実装において、シンタックス要素の値は、スライスのルマ成分のためのデブロッキング制御パラメータがスライスのクロマ成分のためのデブロッキング制御パラメータと同じであるかどうかを判定するために使用される。
1つの実装において、デブロッキング制御パラメータの値は、スライスの合同Cb-Cr成分に適用される予め設定されたデブロッキングパラメータオフセットである。
本発明の第4の態様は、ビデオ符号化装置を提供し、ビデオ符号化装置は、コーディングされたピクチャのスライスに関するシンタックス要素の値を判定するように構成される判定モジュールであって、シンタックス要素の値が、スライスのクロマ成分のためのデブロッキング制御パラメータに関連する、判定モジュール、シンタックス要素の値が予め設定された値に等しいと判定されるとき、スライスのクロマ成分のためのデブロッキング制御パラメータの値をビットストリームに符号化するように構成される処理モジュールであって、予め設定された値が、整数値である、処理モジュールを含む。例において、予め設定された値は、0に等しくない。例において、予め設定された値は、1である。
本発明の実施形態によれば、デブロッキング制御パラメータのシグナリング方式が、開示され、クロマ成分のためのデブロッキング制御パラメータが、条件付きでシグナリングされる。クロマフォーマットが(4:0:0または(4:4:4および別個の色平面コーディングモードが使用されている))であるとき、クロマ成分のためのデブロッキング制御パラメータは、ビットストリーム内でシグナリングされない。したがって、ビットストリームの利用および復号の効率が、改善された。
1つの実装において、シンタックス要素の値は、PPS内でシグナリングされる。
1つの実装において、デブロッキング制御パラメータの値は、PPS内でシグナリングされる。
1つの実装において、デブロッキング制御パラメータの値は、ピクチャヘッダPH内でシグナリングされる。
1つの実装において、デブロッキング制御パラメータの値は、スライスヘッダSH内でシグナリングされる。
1つの実装において、ビデオシーケンスに色成分が存在しないとき、シンタックス要素の値は、0に等しいと判定される。
1つの実装においては、ビデオシーケンスが色成分を有するときに(のみ)、デブロッキング制御パラメータがシグナリングされる。
1つの実装において、シンタックス要素の値は、スライスのルマ成分のためのデブロッキング制御パラメータがスライスのクロマ成分のためのデブロッキング制御パラメータと同じであるかどうかを判定するために使用される。
1つの実装において、デブロッキング制御パラメータの値は、スライスの合同Cb-Cr成分に適用される予め設定されたデブロッキングパラメータオフセットである。
本発明の第5の態様は、第1の態様および第1の態様の実装のいずれか1つによる方法を実行するための処理回路を含むデコーダを提供する。
本発明の第6の態様は、コンピュータまたはプロセッサ上で実行されるときに、第1の態様、第3の態様、および第1の態様、第3の態様の実装のいずれか1つによる方法を実行するためのプログラムコードを含むコンピュータプログラム製品を提供する。
本発明の第7の態様は、1つまたは複数のプロセッサと、プロセッサに結合され、プロセッサによる実行のためにプログラミングを記憶する非一時的コンピュータ可読ストレージ媒体であって、プログラミングが、プロセッサによって実行されるときに、第1の態様、第3の態様のいずれか1つ、および第1の態様、第3の態様の実装のいずれか1つによる方法を実行するようにデコーダを構成する、非一時的コンピュータ可読ストレージ媒体とを含むデコーダを提供する。
本発明の第8の態様は、コンピュータデバイスによって実行されるときに、コンピュータデバイスに第1の態様、第3の態様のいずれか1つ、および第1の態様、第3の態様の実装のいずれか1つによる方法を実行させるプログラムコードを運ぶ非一時的コンピュータ可読媒体を提供する。
本発明の第9の態様は、第3の態様および第3の態様の実装のいずれか1つによる方法を実行するための処理回路を含むエンコーダを提供する。
本発明の第10の態様は、1つまたは複数のプロセッサと、プロセッサに結合され、プロセッサによる実行のためにプログラミングを記憶する非一時的コンピュータ可読ストレージ媒体であって、プログラミングが、プロセッサによって実行されるときに、第3の態様のいずれか1つ、および第3の態様の実装のいずれか1つによる方法を実行するようにデコーダを構成する、非一時的コンピュータ可読ストレージ媒体とを含むエンコーダを提供する。
本発明の第11の態様は、上述の実施形態のいずれか1つの方法によって符号化された/復号されたビットストリームを含む非一時的ストレージ媒体を提供する。
本発明の第12の態様は、複数のシンタックス要素を含めることによってビデオ信号の符号化されたビットストリームを提供し、複数のシンタックス要素は、少なくとも、シンタックス要素の値に基づいて条件付きでシグナリングされるクロマ成分のためのデブロッキング制御パラメータを含み、シンタックス要素の値は、コーディングされたピクチャのスライスのクロマ成分のためのデブロッキング制御パラメータに関連する。
本発明の第13の態様は、画像復号デバイスによって復号される符号化されたビットストリームを含む非一時的ストレージ媒体を提供し、ビットストリームは、ビデオ信号または画像信号のフレームを複数のブロックに分割することによって生成され、複数のシンタックス要素を含み、複数のシンタックス要素は、少なくとも、シンタックス要素の値に基づいて条件付きでシグナリングされるクロマ成分のためのデブロッキング制御パラメータを含み、シンタックス要素の値は、コーディングされたピクチャのスライスのクロマ成分のためのデブロッキング制御パラメータに関連する。
本発明の第1の態様による方法は、本発明の第2の態様による装置によって実行され得る。本発明の第1の態様による方法のさらなる特徴および実装の形態は、本発明の第2の態様による装置の特徴および実装の形態に対応する。
1つまたは複数の実施形態の詳細が、添付の図面および以下の説明に記載されている。その他の特徴、目的、および利点は、明細書、図面、および特許請求の範囲から明らかになるであろう。
以下で、本発明の実施形態が、添付の図および図面を参照してより詳細に説明される。
本発明の実施形態を実装するように構成されたビデオコーディングシステムの例を示すブロック図である。 本発明の実施形態を実装するように構成されたビデオコーディングシステムの別の例を示すブロック図である。 本発明の実施形態を実装するように構成されたビデオエンコーダの例を示すブロック図である。 本発明の実施形態を実装するように構成されたビデオデコーダの例示的な構造を示すブロック図である。 符号化装置または復号装置の例を示すブロック図である。 符号化装置または復号装置の別の例を示すブロック図である。 コンテンツ配信サービスを実現するコンテンツ供給システム3100の例示的な構造を示すブロック図である。 端末デバイスの例の構造を示すブロック図である。 本発明による方法の実施形態を示す流れ図である。 本発明による装置の実施形態を示すブロック図である。
以下で、同一の参照符号は、別途明記されない場合、同一のまたは少なくとも機能的に等価な特徴を指す。
以下の説明においては、本開示の一部を形成し、本発明の実施形態の特定の態様または本発明の実施形態が使用される可能性がある特定の態様を例として示す添付の図面が参照される。本発明の実施形態は、その他の態様において使用され、図面に示されない構造的または論理的変更を含む可能性があることが理解される。したがって、以下の詳細な説明は、限定的意味に理解されるべきでなく、本発明の範囲は、添付の特許請求の範囲によって定義される。
たとえば、説明される方法に関連する開示は、方法を実行するように構成された対応するデバイスまたはシステムにも当てはまる可能性があり、その逆の可能性もあることが理解される。たとえば、1つまたは複数の特定の方法のステップが説明される場合、対応するデバイスは、説明される1つまたは複数の方法のステップを実行するための1つまたは複数のユニット、たとえば、機能ユニット(たとえば、1つもしくは複数のステップを実行する1つのユニット、または複数のステップのうちの1つもしくは複数をそれぞれが実行する複数のユニット)を、たとえそのような1つまたは複数のユニットが明示的に説明されないかまたは図に示されないとしても含む可能性がある。一方、たとえば、特定の装置が1つまたは複数のユニット、たとえば、機能ユニットに基づいて説明される場合、対応する方法は、1つまたは複数のユニットの機能を実行するための1つのステップ(たとえば、1つもしくは複数のユニットの機能を実行する1つのステップ、または複数のユニットのうちの1つもしくは複数の機能をそれぞれが実行する複数のステップ)を、たとえそのような1つまたは複数のステップが明示的に説明されないかまたは図に示されないとしても含む可能性がある。さらに、本明細書において説明される様々な例示的な実施形態および/または態様の特徴は、そうでないことが明記されない限り互いに組み合わされる可能性があることが理解される。
ビデオコーディングは、概して、ビデオまたはビデオシーケンスを形成するピクチャのシーケンスの処理を指す。用語「ピクチャ」の代わりに、用語「フレーム」または「画像」が、ビデオコーディングの分野において同義語として使用される可能性がある。ビデオコーディング(または概してコーディング)は、2つの部分、ビデオ符号化およびビデオ復号を含む。ビデオ符号化は、送信元の側で実行され、概して、(より効率的な記憶および/または送信のために)ビデオピクチャを表現するために必要とされるデータの量を減らすために元のビデオピクチャを(たとえば、圧縮によって)処理することを含む。ビデオ復号は、送信先の側で実行され、概して、ビデオピクチャを再構築するためにエンコーダと比べて逆の処理を含む。ビデオピクチャ(または概してピクチャ)の「コーディング」に言及する実施形態は、ビデオピクチャまたはそれぞれのビデオシーケンスの「符号化」または「復号」に関すると理解される。符号化部分と復号部分との組合せは、コーデック(コーディングおよびデコーディング)とも呼ばれる。
可逆ビデオコーディングの場合、(記憶または送信中に送信損失またはその他のデータ損失がないと仮定して)元のビデオピクチャが再構築されることが可能であり、つまり、再構築されたビデオピクチャは元のビデオピクチャと同じ品質を有する。不可逆ビデオコーディングの場合、ビデオピクチャを表現するデータの量を減らすために、たとえば、量子化によるさらなる圧縮が実行され、これは、デコーダにおいて完全に再構築され得ず、つまり、再構築されたビデオピクチャの品質は、元のビデオピクチャの品質に比べてより低いまたはより悪い。
いくつかのビデオコーディング規格は、「不可逆ハイブリッドビデオコーデック」のグループに属する(つまり、サンプル領域(sample domain)における空間および時間予測と変換領域(transform domain)において量子化を適用するための2D変換コーディングとを組み合わせる)。ビデオシーケンスの各ピクチャは、概して、1組の重なり合わないブロックに区分けされ、コーディングは、概して、ブロックレベルで実行される。言い換えると、エンコーダにおいて、ビデオは、概して、たとえば、空間(イントラピクチャ)予測および/または時間(インターピクチャ)予測を使用して予測ブロック(prediction block)を生成し、現在のブロック(現在処理されている/処理されるブロック)から予測ブロックを差し引いて残差ブロックを取得し、残差ブロックを変換し、変換領域において残差ブロックを量子化して送信されるデータの量を削減する(圧縮)ことによってブロック(ビデオブロック)レベルで処理され、つまり、符号化され、一方、デコーダにおいては、表現するために現在のブロックを再構築するために、エンコーダと比べて逆の処理が、符号化されたまたは圧縮されたブロックに適用される。さらに、エンコーダは、後続のブロックを処理する、つまり、コーディングするために両方が同一の予測(たとえば、イントラおよびインター予測)ならびに/または再構築を生成するようにデコーダの処理ループを複製する。
以下で、ビデオコーディングシステム10、ビデオエンコーダ20およびビデオデコーダ30の実施形態が、図1から図3に基づいて説明される。
図1Aは、本出願の技術を利用する可能性がある例示的なコーディングシステム10、たとえば、ビデオコーディングシステム10(または短くコーディングシステム10)を示す概略的なブロック図である。ビデオコーディングシステム10のビデオエンコーダ20(または短くエンコーダ20)およびビデオデコーダ30(または短くデコーダ30)は、本出願において説明される様々な例による技術を実行するように構成される可能性があるデバイスの例を示す。
図1Aに示されるように、コーディングシステム10は、符号化されたピクチャデータ13を復号するために、たとえば、送信先デバイス14に符号化されたピクチャデータ21を提供するように構成された送信元デバイス12を含む。
送信元デバイス12は、エンコーダ20を含み、追加的に、つまり、任意選択で、ピクチャソース16、プリプロセッサ(または前処理ユニット)18、たとえば、ピクチャプリプロセッサ18、および通信インターフェースまたは通信ユニット22を含む可能性がある。
ピクチャソース16は、任意の種類のピクチャ撮影デバイス、たとえば、実世界のピクチャを撮影するためのカメラ、ならびに/または任意の種類のピクチャ生成デバイス、たとえば、コンピュータによってアニメーションされるピクチャを生成するためのコンピュータグラフィックスプロセッサ、または実世界のピクチャ、コンピュータによって生成されたピクチャ(たとえば、画面コンテンツ(screen content)、仮想現実(VR)ピクチャ)、および/もしくはそれらの任意の組合せ(たとえば、拡張現実(AR)ピクチャ)を取得および/もしくは提供するための任意の種類のその他のデバイスを含むかまたはそのようなデバイスである可能性がある。ピクチャソースは、上述のピクチャのいずれかを記憶するための任意の種類のメモリまたはストレージである可能性がある。
プリプロセッサ18および前処理ユニット18によって実行される処理と区別して、ピクチャまたはピクチャデータ17は、生ピクチャまたは生ピクチャデータ17とも呼ばれる可能性がある。
プリプロセッサ18は、(生)ピクチャデータ17を受け取り、ピクチャデータ17に対して前処理を実行して前処理されたピクチャ19または前処理されたピクチャデータ19を取得するように構成される。プリプロセッサ18によって実行される前処理は、たとえば、トリミング、(たとえば、RGBからYCbCrへの)カラーフォーマット変換、色補正、または雑音除去を含む可能性がある。前処理ユニット18は、任意の構成要素である可能性があることが理解され得る。
ビデオエンコーダ20は、前処理されたピクチャデータ19を受け取り、符号化されたピクチャデータ21を提供するように構成される(さらなる詳細が、下で、たとえば、図2に基づいて説明される)。
送信元デバイス12の通信インターフェース22は、符号化されたピクチャデータ21を受け取り、符号化されたピクチャデータ21(またはその任意のさらに処理されたバージョン)を、記憶するかまたは直接再構築するために別のデバイス、たとえば、送信先デバイス14または任意のその他のデバイスに通信チャネル13を介して送信するように構成される可能性がある。
送信先デバイス14は、デコーダ30(たとえば、ビデオデコーダ30)を含み、追加的に、つまり、任意選択で、通信インターフェースまたは通信ユニット28、ポストプロセッサ32(または後処理ユニット32)、およびディスプレイデバイス34を含む可能性がある。
送信先デバイス14の通信インターフェース28は、たとえば、送信元デバイス12から直接、または任意のその他のソース、たとえば、ストレージデバイス、たとえば、符号化されたピクチャデータのストレージデバイスから符号化されたピクチャデータ21(またはその任意のさらに処理されたバージョン)を受信し、符号化されたピクチャデータ21をデコーダ30に提供するように構成される。
通信インターフェース22および通信インターフェース28は、送信元デバイス12と送信先デバイス14との間の直接通信リンク、たとえば、直接有線もしくはワイヤレス接続を介して、あるいは任意の種類のネットワーク、たとえば、有線もしくはワイヤレスネットワークもしくはそれらの任意の組合せ、または任意の種類のプライベートおよびパブリックネットワーク、またはそれらの任意の種類の組合せを介して符号化されたピクチャデータ21または符号化されたデータ13を送信または受信するように構成される可能性がある。
通信インターフェース22は、たとえば、符号化されたピクチャデータ21を適切なフォーマット、たとえば、パケットにパッケージングする、および/または通信リンクもしくは通信ネットワークを介して送信するための任意の種類の送信の符号化もしくは処理を使用して符号化されたピクチャデータを処理するように構成される可能性がある。
通信インターフェース22の相手先を形成する通信インターフェース28は、たとえば、送信されたデータを受信し、任意の種類の対応する送信の復号もしくは処理および/またはパッケージングの解除を使用して送信データを処理して符号化されたピクチャデータ21を取得するように構成される可能性がある。
通信インターフェース22と通信インターフェース28との両方が、送信元デバイス12から送信先デバイス14の方を指す図1Aの通信チャネル13に関する矢印によって示される単方向通信インターフェース、または双方向通信インターフェースとして構成される可能性があり、たとえば、接続をセットアップし、通信リンクおよび/またはデータ送信、たとえば、符号化されたピクチャデータの送信に関連する任意のその他の情報を確認し、やりとりするために、たとえば、メッセージを送信および受信するように構成される可能性がある。
デコーダ30は、符号化されたピクチャデータ21を受信し、復号されたピクチャデータ31または復号されたピクチャ31を提供するように構成される(さらなる詳細が、下で、たとえば、図3または図5に基づいて説明される)。
送信先デバイス14のポストプロセッサ32は、復号されたピクチャデータ31(再構築されたピクチャデータとも呼ばれる)、たとえば、復号されたピクチャ31を後処理して後処理されたピクチャデータ33、たとえば、後処理されたピクチャ33を取得するように構成される。後処理ユニット32によって実行される後処理は、たとえば、(たとえば、YCbCrからRGBへの)カラーフォーマット変換、色補正、トリミング、またはリサンプリング、またはたとえばディスプレイデバイス34による表示のためにたとえば復号されたピクチャデータ31を準備するための任意のその他の処理を含む可能性がある。
送信先デバイス14のディスプレイデバイス34は、たとえば、ユーザまたは視聴者に対してピクチャを表示するために後処理されたピクチャデータ33を受け取るように構成される。ディスプレイデバイス34は、再構築されたピクチャを示すための任意の種類のディスプレイ、たとえば、一体型または外部ディスプレイもしくはモニタであるかまたはそのようなディスプレイもしくはモニタを含む可能性がある。ディスプレイは、たとえば、液晶ディスプレイ(LCD)、有機発光ダイオード(OLED)ディスプレイ、プラズマディスプレイ、プロジェクタ、マイクロLEDディスプレイ、液晶オンシリコン(LCoS: liquid crystal on silicon)、デジタル光プロセッサ(DLP: digital light processor)、または任意の種類のその他のディスプレイを含む可能性がある。
図1Aは送信元デバイス12および送信先デバイス14を別々のデバイスとして示すが、デバイスの実施形態は、両方または両方の機能、送信元デバイス12または対応する機能および送信先デバイス14または対応する機能を含む可能性もある。そのような実施形態において、送信元デバイス12または対応する機能および送信先デバイス14または対応する機能は、同じハードウェアおよび/もしくはソフトウェアを使用してまたは別々のハードウェアおよび/もしくはソフトウェアまたはそれらの任意の組合せによって実装される可能性がある。
説明に基づいて当業者に明らかになるように、異なるユニットの機能または図1Aに示される送信元デバイス12および/もしくは送信先デバイス14内の機能の存在および(厳密な)分割は、実際のデバイスおよびアプリケーションに応じて変わる可能性がある。
エンコーダ20(たとえば、ビデオエンコーダ20)またはデコーダ30(たとえば、ビデオデコーダ30)またはエンコーダ20とデコーダ30との両方は、1つまたは複数のマイクロプロセッサ、デジタル信号プロセッサ(DSP)、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)、ディスクリート論理、ハードウェア、それらのビデオコーディングに専用のまたは任意の組合せなどの、図1Bに示された処理回路によって実装される可能性がある。エンコーダ20は、図2のエンコーダ20および/または本明細書において説明される任意のその他のエンコーダシステムもしくはサブシステムに関連して検討される様々なモジュールを具現化するために処理回路46によって実装される可能性がある。デコーダ30は、図3のデコーダ30および/または本明細書において説明される任意のその他のデコーダシステムもしくはサブシステムに関連して検討される様々なモジュールを具現化するために処理回路46によって実装される可能性がある。処理回路は、後で検討される様々な動作を実行するように構成される可能性がある。図5に示されるように、技術が部分的にソフトウェアで実装される場合、デバイスは、好適な非一時的コンピュータ可読ストレージ媒体にソフトウェアのための命令を記憶する可能性があり、本開示の技術を実行するために1つまたは複数のプロセッサを使用するハードウェアにおいて命令を実行する可能性がある。ビデオエンコーダ20およびビデオデコーダ30のどちらかが、たとえば、図1Bに示されるように単一のデバイス内の組み合わされたエンコーダ/デコーダ(コーデック)の一部として組み込まれる可能性がある。
送信元デバイス12および送信先デバイス14は、任意の種類のハンドヘルドまたは固定デバイス、たとえば、ノートブックまたはラップトップコンピュータ、モバイル電話、スマートフォン、タブレットまたはタブレットコンピュータ、カメラ、デスクトップコンピュータ、セットトップボックス、テレビ、ディスプレイデバイス、デジタルメディアプレーヤー、ビデオゲームコンソール、(コンテンツサービスサーバまたはコンテンツ配信サーバなどの)ビデオストリーミングデバイス、放送受信機デバイス、放送送信機デバイスなどを含む広範なデバイスのいずれかを含む可能性があり、オペレーティングシステムを使用しないかまたは任意の種類のオペレーティングシステムを使用する可能性がある。場合によっては、送信元デバイス12および送信先デバイス14は、ワイヤレス通信に対応している可能性がある。したがって、送信元デバイス12および送信先デバイス14は、ワイヤレス通信デバイスである可能性がある。
場合によっては、図1Aに示されたビデオコーディングシステム10は、例であるに過ぎず、本開示の技術は、符号化デバイスと復号デバイスとの間のいかなるデータ通信も含むとは限らないビデオコーディングの状況(たとえば、ビデオの符号化またはビデオの復号)に適用される可能性がある。その他の例においては、データが、ローカルメモリから取り出される、またはネットワークを介してストリーミングされる、などである。ビデオ符号化デバイスが、データを符号化し、メモリに記憶する可能性があり、および/またはビデオ復号デバイスが、メモリからデータを取り出し、復号する可能性がある。いくつかの例において、符号化および復号が、互いに通信せず、単にメモリにデータを符号化し、および/またはメモリからデータを取り出し、復号するデバイスによって実行される。
説明の便宜上、本発明の実施形態は、たとえば、高効率ビデオコーディング(HEVC: High-Efficiency Video Coding)、または多目的ビデオコーディング(VVC: Versatile Video coding)、ITU-Tビデオコーディング専門家グループ(VCEG: Video Coding Experts Group)およびISO/IEC動画専門家グループ(MPEG: Motion Picture Experts Group)のビデオコーディングに関する共同作業チーム(JCT-VC: Joint Collaboration Team on Video Coding)によって開発された次世代ビデオコーディング規格の参照ソフトウェアを参照することによって本明細書において説明される。当業者は、本発明の実施形態がHEVCまたはVVCに限定されないことを理解するであろう。
エンコーダおよび符号化方法
図2は、本出願の技術を実装するように構成される例示的なビデオエンコーダ20の概略的なブロック図を示す。図2の例において、ビデオエンコーダ20は、入力201(または入力インターフェース201)、残差計算ユニット204、変換処理ユニット206、量子化ユニット208、逆量子化ユニット210、逆変換処理ユニット212、再構築ユニット214、ループフィルタユニット220、復号ピクチャバッファ(DPB: decoded picture buffer)230、モード選択ユニット260、エントロピー符号化ユニット270、および出力272(または出力インターフェース272)を含む。モード選択ユニット260は、インター予測ユニット244、イントラ予測ユニット254、および区分けユニット262を含む可能性がある。インター予測ユニット244は、動き推定ユニットおよび動き補償ユニット(図示せず)を含む可能性がある。図2に示されたビデオエンコーダ20は、ハイブリッドビデオエンコーダまたはハイブリッドビデオコーデックによるビデオエンコーダとも呼ばれる可能性がある。
残差計算ユニット204、変換処理ユニット206、量子化ユニット208、モード選択ユニット260は、エンコーダ20の順方向信号経路を形成するとみなされる可能性があり、一方、逆量子化ユニット210、逆変換処理ユニット212、再構築ユニット214、バッファ216、ループフィルタ220、復号ピクチャバッファ(DPB)230、インター予測ユニット244、およびイントラ予測ユニット254は、ビデオエンコーダ20の逆方向信号経路を形成するとみなされる可能性があり、ビデオエンコーダ20の逆方向信号経路は、デコーダの信号経路(図3のビデオデコーダ30を参照されたい)に対応する。逆量子化ユニット210、逆変換処理ユニット212、再構築ユニット214、ループフィルタ220、復号ピクチャバッファ(DPB)230、インター予測ユニット244、およびイントラ予測ユニット254は、ビデオエンコーダ20の「内蔵デコーダ」を形成するともみなされる。
ピクチャ&ピクチャの区分け(ピクチャ&ブロック)
エンコーダ20は、たとえば、入力201を介してピクチャ17(またはピクチャデータ17)、たとえば、ビデオまたはビデオシーケンスを形成するピクチャのシーケンスのピクチャを受け取るように構成される可能性がある。受け取られたピクチャまたはピクチャデータは、前処理されたピクチャ19(または前処理されたピクチャデータ19)である可能性もある。簡単にするために、以下の説明は、ピクチャ17に言及する。ピクチャ17は、(特に、ビデオコーディングにおいて、現在のピクチャをその他のピクチャ、たとえば、同じビデオシーケンス、つまり、現在のピクチャも含むビデオシーケンスの既に符号化されたおよび/または復号されたピクチャと区別するために)現在のピクチャまたはコーディングされるピクチャとも呼ばれる可能性がある。
(デジタル)ピクチャは、強度(intensity)値を有するサンプルの2次元配列または行列とみなされるかまたはみなされ得る。配列のサンプルは、ピクセル(ピクチャエレメントの短縮形)またはペルとも呼ばれる可能性がある。配列またはピクチャの水平および垂直方向(または軸)のサンプル数は、ピクチャのサイズおよび/または解像度を定義する。色の表現のために、概して、3つの色成分が使用され、つまり、ピクチャが表現されるかまたは3つのサンプル配列を含む可能性がある。RBGフォーマットまたは色空間で、ピクチャは、対応する赤、緑、および青のサンプル配列を含む。しかし、ビデオコーディングにおいて、各ピクセルは、概して、輝度(luminance)およびクロミナンス(chrominance)フォーマットまたは色空間、たとえば、Y(代わりにLが使用されることもある)によって示される輝度成分ならびにCbおよびCrによって示される2つのクロミナンス成分を含むYCbCrで表される。輝度(または短くルマ(luma))成分Yは、明るさまたは(たとえば、グレースケールピクチャと同様の)グレーレベルの強度を表し、一方、2つのクロミナンス(または短くクロマ(chroma))成分CbおよびCrは、色度または色情報成分を表す。したがって、YCbCrフォーマットのピクチャは、輝度サンプル値(Y)の輝度サンプル配列およびクロミナンス値(CbおよびCr)の2つのクロミナンスサンプル配列を含む。RGBフォーマットのピクチャは、YCbCrフォーマットに変換される(converted)または変換される(transformed)可能性があり、その逆の可能性があり、プロセスは、色変換(transformation)または変換(conversion)としても知られる。ピクチャがモノクロである場合、ピクチャは、輝度サンプル配列のみを含む可能性がある。したがって、ピクチャは、たとえば、モノクロフォーマットにおいてはルマサンプルの配列であり、または4:2:0、4:2:2、および4:4:4カラーフォーマットにおいてはルマサンプルの配列およびクロマサンプルの2つの対応する配列である可能性がある。
ビデオエンコーダ20の実施形態は、ピクチャ17を複数の(通常は重なり合わない)ピクチャブロック203に区分けするように構成されたピクチャ区分けユニット(図2に示さず)を含む可能性がある。これらのブロックは、ルートブロック、マクロブロック(H.264/AVC)、またはコーディングツリーブロック(CTB: coding tree block)もしくはコーディングツリーユニット(CTU: coding tree unit)(H.265/HEVCおよびVVC)とも呼ばれる可能性がある。ピクチャ区分けユニットは、ビデオシーケンスのすべてのピクチャおよびブロックサイズを定義する対応するグリッドに関して同じブロックサイズを使用するか、あるいはピクチャまたはピクチャのサブセットもしくはグループの間でブロックサイズを変更し、各ピクチャを対応するブロックに区分けするように構成される可能性がある。
さらなる実施形態において、ビデオエンコーダは、ピクチャ17のブロック203、たとえば、ピクチャ17を形成する1つの、いくつかの、またはすべてのブロックを直接受け取るように構成される可能性がある。ピクチャブロック203は、現在のピクチャブロックまたはコーディングされるピクチャブロックとも呼ばれる可能性がある。
ピクチャ17と同様に、ピクチャブロック203は、ピクチャ17よりも寸法が小さいが、強度値(サンプル値)を有するサンプルの2次元配列または行列とやはりみなされるかまたはみなされ得る。言い換えると、ブロック203は、適用されるカラーフォーマットに応じて、たとえば、1つのサンプル配列(たとえば、モノクロピクチャ17の場合はルマ配列、またはカラーピクチャの場合はルマもしくはクロマ配列)、あるいは3つのサンプル配列(たとえば、カラーピクチャ17の場合はルマおよび2つのクロマ配列)、あるいは任意のその他の数および/または種類の配列を含む可能性がある。ブロック203の水平および垂直方向(または軸)のサンプル数は、ブロック203のサイズを定義する。したがって、ブロックは、たとえば、サンプルのMxN(M列×N行)配列または変換係数のMxN配列である可能性がある。
図2に示されたビデオエンコーダ20の実施形態は、ピクチャ17をブロック毎に符号化するように構成される可能性があり、たとえば、符号化および予測が、ブロック203毎に実行される。
図2に示されるビデオエンコーダ20の実施形態は、スライス(ビデオスライスとも呼ばれる)を使用することによってピクチャを区分けするおよび/または符号化するようにさらに構成される可能性があり、ピクチャは、1つもしくは複数の(概して重なり合わない)スライスに区分けされるかまたは1つもしくは複数の(概して重なり合わない)スライスを使用して符号化される可能性があり、各スライスは、1つもしくは複数のブロック(たとえば、CTU)またはブロックの1つもしくは複数のグループ(たとえば、タイル(H.265/HEVCおよびVVC)もしくはブリック(brick)(VVC))を含む可能性がある。
図2に示されるビデオエンコーダ20の実施形態は、スライス/タイルグループ(ビデオタイルグループとも呼ばれる)および/またはタイル(ビデオタイルとも呼ばれる)を使用することによってピクチャを区分けするおよび/または符号化するようにさらに構成される可能性があり、ピクチャは、1つもしくは複数の(概して重なり合わない)スライス/タイルグループに区分けされるかまたは1つもしくは複数の(概して重なり合わない)スライス/タイルグループを使用して符号化される可能性があり、各スライス/タイルグループは、たとえば、1つもしくは複数のブロック(たとえば、CTU)または1つもしくは複数のタイルを含む可能性があり、各タイルは、たとえば、長方形の形をしている可能性があり、1つまたは複数のブロック(たとえば、CTU)、たとえば、完全なまたは断片的なブロックを含む可能性がある。
残差の計算
残差計算ユニット204は、たとえば、サンプル毎に(ピクセル毎に)ピクチャブロック203のサンプル値から予測ブロック265のサンプル値を差し引いてサンプル領域において残差ブロック205を取得することによって、ピクチャブロック203および予測ブロック265(予測ブロック265についてのさらなる詳細は後で与えられる)に基づいて残差ブロック205(残差205とも呼ばれる)を計算するように構成される可能性がある。
変換
変換処理ユニット206は、残差ブロック205のサンプル値に対して変換、たとえば、離散コサイン変換(DCT)または離散サイン変換(DST)を適用して変換領域において変換係数207を取得するように構成される可能性がある。変換係数207は、変換残差係数とも呼ばれ、変換領域において残差ブロック205を表現する可能性がある。
変換処理ユニット206は、H.265/HEVCのために規定された変換などのDCT/DSTの整数近似を適用するように構成される可能性がある。直交DCT変換と比較して、そのような整数近似は、概して、特定の率でスケーリングされる。順および逆変換によって処理される残差ブロックのノルム(norm)を維持するために、追加的な倍率(scaling factor)が、変換プロセスの一部として適用される。倍率は、概して、倍率がシフト演算のために2の累乗であること、変換係数のビット深度、正確さと実装コストとの間のトレードオフなどのような特定の制約に基づいて選択される。たとえば、特定の倍率が、たとえば、逆変換処理ユニット212による逆変換(およびたとえば、ビデオデコーダ30における逆変換処理ユニット312による対応する逆変換)のために指定され、たとえば、エンコーダ20の変換処理ユニット206による順変換のための対応する倍率が、それに応じて指定される可能性がある。
ビデオエンコーダ20(それぞれ、変換処理ユニット206)の実施形態は、たとえば、ビデオデコーダ30が変換パラメータを受信し、復号のために使用する可能性があるように、たとえば、そのままであるかまたはエントロピー符号化ユニット270によって符号化されるかもしくは圧縮される変換パラメータ、たとえば、ある種の1つの変換または複数の変換を出力するように構成される可能性がある。
量子化
量子化ユニット208は、たとえば、スカラー量子化またはベクトル量子化を適用することによって変換係数207を量子化して量子化された係数209を取得するように構成される可能性がある。量子化された係数209は、量子化された変換係数209または量子化された残差係数209とも呼ばれる可能性がある。
量子化プロセスは、変換係数207の一部またはすべてに関連するビット深度を削減する可能性がある。たとえば、nビットの変換係数が、量子化中にmビットの変換係数に切り捨てられる可能性があり、nは、mよりも大きい。量子化の度合いは、量子化パラメータ(QP: quantization parameter)を調整することによって修正される可能性がある。たとえば、スカラー量子化に関して、より細かいまたはより粗い量子化を達成するために異なるスケーリングが適用される可能性がある。より小さな量子化ステップサイズは、より細かい量子化に対応し、一方、より大きな量子化ステップサイズは、より粗い量子化に対応する。適用可能な量子化ステップサイズが、量子化パラメータ(QP)によって示される可能性がある。量子化パラメータは、たとえば、適用可能な量子化ステップサイズの予め定義された組へのインデックスである可能性がある。たとえば、小さな量子化パラメータが、細かい量子化(小さな量子化ステップサイズ)に対応する可能性があり、大きな量子化パラメータが、粗い量子化(大きな量子化ステップサイズ)に対応する可能性があり、またはその逆である可能性がある。量子化は、量子化ステップサイズによる除算を含む可能性があり、たとえば、逆量子化ユニット210による対応するおよび/または逆量子化解除は、量子化ステップサイズによる乗算を含む可能性がある。一部の規格、たとえば、HEVCによる実施形態は、量子化パラメータを使用して量子化ステップサイズを決定するように構成される可能性がある。概して、量子化ステップサイズは、除算を含む等式の固定小数点近似(fixed point approximation)を使用して量子化パラメータに基づいて計算される可能性がある。量子化ステップサイズおよび量子化パラメータに関する等式の固定小数点近似において使用されるスケーリングが原因で修正される可能性がある残差ブロックのノルムを復元するために、量子化および逆量子化解除に関して追加的な倍率が導入される可能性がある。1つの例示的な実装においては、逆変換および逆量子化解除のスケーリングが、組み合わされる可能性がある。代替的に、カスタマイズされた量子化テーブルが使用され、たとえば、ビットストリーム内でエンコーダからデコーダにシグナリングされる可能性がある。量子化は、不可逆演算であり、損失は、量子化ステップサイズが大きくなるにつれて増加する。
ビデオエンコーダ20(それぞれ、量子化ユニット208)の実施形態は、たとえば、ビデオデコーダ30が量子化パラメータを受信し、復号のために適用する可能性があるように、たとえば、そのままであるかまたはエントロピー符号化ユニット270によって符号化される量子化パラメータ(QP)を出力するように構成される可能性がある。
逆量子化
逆量子化ユニット210は、たとえば、量子化ユニット208と同じ量子化ステップサイズに基づいてまたはそれを使用して、量子化ユニット208により適用された量子化方式の逆を適用することによって、量子化された係数に量子化ユニット208の逆量子化を適用して量子化解除された係数211を取得するように構成される。量子化解除された係数211は、量子化解除された残差係数211とも呼ばれ、--量子化による損失が原因で概して変換係数と同一ではないが--変換係数207に対応する可能性がある。
逆変換
逆変換処理ユニット212は、変換処理ユニット206によって適用された変換の逆変換、たとえば、逆離散コサイン変換(DCT)または逆離散サイン変換(DST)またはその他の逆変換を適用してサンプル領域において再構築された残差ブロック213(または対応する量子化解除された係数213)を取得するように構成される。再構築された残差ブロック213は、変換ブロック(transform block)213とも呼ばれる可能性がある。
再構築
再構築ユニット214(たとえば、加算器または合算器214)は、たとえば、再構築された残差ブロック213のサンプル値と予測ブロック265のサンプル値とを--サンプル毎に--足すことによって予測ブロック265に変換ブロック213(すなわち、再構築された残差ブロック213)を足してサンプル領域において再構築されたブロック215を取得するように構成される。
フィルタリング
ループフィルタユニット220(または短く「ループフィルタ」220)は、再構築されたブロック215をフィルタリングしてフィルタリングされたブロック221を取得する、または概して、再構築されたサンプルをフィルタリングしてフィルタリングされたサンプル値を取得するように構成される。ループフィルタユニットは、たとえば、ピクセルの遷移を平滑化するかまたはそれ以外の方法でビデオの品質を改善するように構成される。ループフィルタユニット220は、デブロッキングフィルタ、サンプル適応オフセット(SAO: sample-adaptive offset)フィルタ、または1つもしくは複数のその他のフィルタ、たとえば、適応ループフィルタ(ALF: adaptive loop filter)、雑音抑制フィルタ(NSF: noise suppression filter)、もしくはこれらの任意の組合せなどの1つまたは複数のループフィルタを含む可能性がある。例において、ループフィルタユニット220は、デブロッキングフィルタ、SAOフィルタ、およびALFフィルタを含む可能性がある。フィルタリングプロセスの順序は、デブロッキングフィルタ、SAO、およびALFである可能性がある。別の例においては、クロマスケーリングをともなうルママッピング(LMCS: luma mapping with chroma scaling)(つまり、適応的なループ内再整形器(reshaper))と呼ばれるプロセスが、追加される。このプロセスは、デブロッキングの前に実行される。別の例において、デブロッキングフィルタプロセスは、内部の下位ブロックのエッジ、たとえば、アフィンの下位ブロックのエッジ、ATMVPの下位ブロックのエッジ、下位ブロック変換(SBT: sub-block transform)のエッジ、およびイントラ下位区画(ISP: intra sub-partition)のエッジに適用される可能性もある。
大きな「ブロック」に関して発生するブロッキングアーティファクトを効果的に削除するために、VVCは、より長いタップのデブロッキングフィルタを使用する。ここで、用語「ブロック」は、非常に包括的に使用され、「変換ブロック(TB: transform block)、予測ブロック(PB: prediction block)、またはコーディングユニットブロック(CU)」を指す場合がある。より長いタップのフィルタは、ルマ成分とクロマ成分との両方に適用される。ルマ成分のためのより長いタップのフィルタは、エッジに垂直なおよび隣接するサンプルの各ラインに関して最大7サンプルを修正し、そのサイズがデブロッキングの方向に32サンプル以上であるブロックに適用され、すなわち、垂直エッジに関して、ブロックの幅は、32サンプル以上であるべきであり、水平エッジに関して、ブロックの高さは、32サンプル以上であるべきである。
クロマのより長いタップのフィルタは、所与のエッジに隣接する両方のブロックのサイズが8サンプル以上のときにクロマブロックに適用され、エッジの両側の最大3サンプルを修正する。したがって、垂直エッジに関して、エッジに隣接する両方のブロックのブロックの幅は、8サンプル以上であるべきであり、水平エッジに関して、エッジに隣接する両方のブロックのブロックの高さは、8サンプル以上であるべきである。ループフィルタユニット220は図2にループ内フィルタであるものとして示されるが、その他の構成において、ループフィルタユニット220は、ループ後フィルタとして実装される可能性がある。フィルタリングされたブロック221は、フィルタリングされた再構築されたブロック221とも呼ばれる可能性がある。
ビデオエンコーダ20(それぞれ、ループフィルタユニット220)の実施形態は、たとえば、デコーダ30が同じループフィルタのパラメータまたはそれぞれのループフィルタを受信し、復号のために適用する可能性があるように、たとえば、そのままであるかまたはエントロピー符号化ユニット270によって符号化される(SAOフィルタのパラメータ、またはALFフィルタのパラメータ、またはLMCSのパラメータなどの)ループフィルタのパラメータを出力するように構成される可能性がある。
復号ピクチャバッファ
復号ピクチャバッファ(DPB)230は、ビデオエンコーダ20によってビデオデータを符号化するための参照ピクチャまたは概して参照ピクチャデータを記憶するメモリである可能性がある。DPB230は、同期DRAM(SDRAM)を含むダイナミックランダムアクセスメモリ(DRAM)、磁気抵抗RAM(MRAM)、抵抗変化型RAM(RRAM: resistive RAM)、またはその他の種類のメモリデバイスなどの様々なメモリデバイスのいずれかによって形成される可能性がある。復号ピクチャバッファ(DPB)230は、1つまたは複数のフィルタリングされたブロック221を記憶するように構成される可能性がある。復号ピクチャバッファ230は、同じ現在のピクチャまたは異なるピクチャ、たとえば、既に再構築されたピクチャのその他の既にフィルタリングされたブロック、たとえば、既に再構築され、フィルタリングされたブロック221を記憶するようにさらに構成される可能性があり、たとえば、インター予測のために、完全な既に再構築された、つまり、復号されたピクチャ(および対応する参照ブロックおよびサンプル)ならびに/または部分的に再構築された現在のピクチャ(および対応する参照ブロックおよびサンプル)を提供する可能性がある。復号ピクチャバッファ(DPB)230は、たとえば、再構築されたブロック215がループフィルタユニット220によってフィルタリングされない場合、1つもしくは複数のフィルタリングされていない再構築されたブロック215もしくは概してフィルタリングされていない再構築されたサンプルを記憶し、または再構築されたブロックもしくはサンプルの任意のその他のさらに処理されたバージョンを記憶するようにも構成される可能性がある。
モード選択(区分け&予測)
モード選択ユニット260は、区分けユニット262、インター予測ユニット244、およびイントラ予測ユニット254を含み、元のピクチャデータ、たとえば、元のブロック203(現在のピクチャ17の現在のブロック203)と、再構築されたピクチャデータ、たとえば、同じ(現在の)ピクチャの、および/またはたとえば復号ピクチャバッファ230もしくはその他のバッファ(たとえば、図示されていないラインバッファ)からの1つもしくは複数の既に復号されたピクチャからのフィルタリングされたおよび/またはフィルタリングされていない再構築されたサンプルまたはブロックとを受け取るかまたは取得するように構成される。再構築されたピクチャデータは、予測ブロック265または予測子(predictor)265を取得するための予測、たとえば、インター予測またはイントラ予測のための参照ピクチャデータとして使用される。
モード選択ユニット260は、(区分けを含まない)現在のブロックの予測モードのための区分けおよび予測モード(たとえば、イントラまたはインター予測モード)を決定するかまたは選択し、残差ブロック205の計算および再構築されたブロック215の再構築のために使用される対応する予測ブロック265を生成するように構成される可能性がある。
モード選択ユニット260の実施形態は、最良の一致もしくは言い換えると最小の残差(最小の残差は送信もしくは記憶のためのより優れた圧縮を意味する)または最小のシグナリングオーバーヘッド(最小のシグナリングオーバーヘッドは送信もしくは記憶のためのより優れた圧縮を意味する)を提供する、あるいはそれら両方を考慮するかまたは釣り合いを取る区分けおよび予測モードを(たとえば、モード選択ユニット260によってサポートされるかまたはモード選択ユニット260が利用可能な区分けおよび予測モードから)選択するように構成される可能性がある。モード選択ユニット260は、レート歪み最適化(RDO)に基づいて区分けおよび予測モードを決定する、つまり、最小のレート歪みを提供する予測モードを選択するように構成される可能性がある。この文脈の「最良の」、「最小の」、「最適な」などのような用語は、必ずしも全体の「最良の」、「最小の」、「最適な」などを指さず、値が閾値を超えることもしくは下回ることのような終了もしくは選択の基準、または潜在的に「準最適な選択」につながるが、複雑さおよび処理時間を削減するその他の制約を満たすことをも指す可能性もある。
言い換えると、区分けユニット262は、ビデオシーケンスのピクチャをコーディングツリーユニット(CTU)のシーケンスに区分けするように構成される可能性があり、CTU 203は、たとえば、四分木区分け(QT)、二分木区分け(BT)、または三分木区分け(TT)、またはこれらの任意の組合せを反復的に使用して、(再度ブロックを形成する)より小さなブロックの区画または下位ブロックにさらに区分けされる可能性があり、区分けユニット262は、たとえば、ブロックの区画または下位ブロックの各々に関して予測を実行するように構成される可能性があり、モード選択は、区分けされたブロック203の木構造の選択を含み、予測モードは、ブロックの区画または下位ブロックの各々に適用される。
以下で、例示的なビデオエンコーダ20によって実行される(たとえば、区分けユニット260による)区分けならびに(インター予測ユニット244およびイントラ予測ユニット254による)予測処理が、より詳細に説明される。
区分け
区分けユニット262は、ビデオシーケンスのピクチャをコーディングツリーユニット(CTU)のシーケンスに区分けするように構成される可能性があり、区分けユニット262は、コーディングツリーユニット(CTU)203をより小さな区画、たとえば、正方形または長方形のサイズのより小さなブロックに区分けする(または分割する)可能性がある。3つのサンプル配列を有するピクチャに関して、CTUは、ルマサンプルのN×Nのブロックと、クロマサンプルの2つの対応するブロックとからなる。CTUのルマブロックの最大の許容されるサイズは、開発中の多目的ビデオコーディング(VVC)においては128×128であるように規定されるが、将来は128×128よりも大きな値、たとえば、256×256であるように規定され得る。ピクチャのCTUは、スライス/タイルグループ、タイル、またはブリックとしてクラスタリングされる/グループ化される可能性がある。タイルは、ピクチャの長方形の領域を包含し、タイルは、1つまたは複数のブリックに分割され得る。ブリックは、タイル内のいくつかのCTUの行からなる。複数のブリックに区分けされないタイルは、ブリックと呼ばれ得る。しかし、ブリックは、タイルの純粋なサブセットであり、タイルとは呼ばれない。VVCにおいてサポートされるタイルグループの2つのモード、すなわち、ラスタスキャンスライス/タイルグループモードおよび長方形スライスモードが、存在する。ラスタ・スキャン・タイル・グループ・モードにおいて、スライス/タイルグループは、ピクチャのタイルのラスタスキャンのタイルのシーケンスを含む。長方形スライスモードにおいて、スライスは、ピクチャの長方形の領域を集合的に形成するピクチャのいくつかのブリックを含む。長方形スライス内のブリックは、スライスのブリックのラスタスキャンの順序になっている。これらのより小さなブロック(下位ブロックとも呼ばれる可能性がある)は、より一層小さな区画にさらに区分けされる可能性がある。これは、木区分けまたは階層的木区分けとも呼ばれ、たとえば、ルートツリーレベル0(階層レベル0、深さ0)のルートブロックが、再帰的に区分けされ、たとえば、次に低いツリーレベルの2つ以上のブロック、たとえば、ツリーレベル1(階層レベル1、深さ1)のノードに区分けされる可能性があり、これらのブロックが、次に低いレベル、たとえば、ツリーレベル2(階層レベル2、深さ2)の2つ以上のブロックに再び区分けされる可能性があり、たとえば、終了基準が満たされる、たとえば、最大のツリーの深さまたは最小のブロックサイズが達せられるので区分けが終了されるまで以下同様である。さらに区分けされないブロックは、木の葉ブロックまたは葉ノードとも呼ばれる。2つの区画への区分けを使用する木は、二分木(BT)と呼ばれ、3つの区画への区分けを使用する木は、三分木(TT)と呼ばれ、4つの区画への区分けを使用する木は、四分木(QT)と呼ばれる。
たとえば、コーディングツリーユニット(CTU)は、ルマサンプルのCTB、3つのサンプル配列を有するピクチャのクロマサンプルの2つの対応するCTB、またはモノクロピクチャもしくはサンプルをコーディングするために使用される3つの別々の色平面(colour plane)およびシンタックス(syntax)構造を使用してコーディングされるピクチャのサンプルのCTBであるかまたはそれらを含む可能性がある。それに対応して、コーディングツリーブロック(CTB)は、構成要素のCTBへの分割が区分けであるようなNの何らかの値に関するサンプルのN×Nのブロックである可能性がある。コーディングユニット(CU)は、ルマサンプルのコーディングブロック、3つのサンプル配列を有するピクチャのクロマサンプルの2つの対応するコーディングブロック、またはモノクロピクチャもしくはサンプルをコーディングするために使用される3つの別々の色平面およびシンタックス構造を使用してコーディングされるピクチャのサンプルのコーディングブロックであるかまたはそれらを含む可能性がある。それに対応して、コーディングブロック(CB)は、CTBのコーディングブロックへの分割が区分けであるようなMおよびNの何らかの値に関するサンプルのM×Nのブロックである可能性がある。
たとえば、HEVCによる実施形態において、コーディングツリーユニット(CTU)は、コーディングツリーとして表される四分木構造を使用することによってCUに分割される可能性がある。インターピクチャ(時間)予測を使用してピクチャエリアをコーディングすべきかまたはイントラピクチャ(空間)予測を使用してピクチャエリアをコーディングすべきかの判断は、葉CUレベルで行われる。各葉CUは、PU分割タイプに従って1つ、2つ、または4つのPUにさらに分割され得る。1つのPU内では、同じ予測プロセスが適用され、関連する情報がPUに基づいてデコーダに送信される。PU分割タイプに基づいて予測プロセスを適用することによって残差ブロックを取得した後、葉CUは、CUに関するコーディングツリーと同様の別の四分木構造によって変換ユニット(TU)に区分けされ得る。
たとえば、多目的ビデオコーディング(VVC)と呼ばれる現在開発されている最新のビデオコーディング規格による実施形態においては、たとえば、二分割および三分割セグメンテーション構造を使用する組み合わされた四分木の入れ子にされたマルチタイプツリーが、コーディングツリーユニットを区分けするために使用される。コーディングツリーユニット内のコーディングツリー構造において、CUは、正方形かまたは長方形かのどちらかの形状を持ち得る。たとえば、コーディングツリーユニット(CTU)は、まず、四分木によって区分けされる。それから、四分木の葉ノードが、マルチタイプツリー構造によってさらに区分けされ得る。マルチタイプツリー構造に4つの分割タイプ、すなわち、垂直二分割(SPLIT_BT_VER)、水平二分割(SPLIT_BT_HOR)、垂直三分割(SPLIT_TT_VER)、および水平三分割(SPLIT_TT_HOR)が存在する。マルチタイプツリーの葉ノードは、コーディングユニット(CU: coding unit)と呼ばれ、CUが最大の変換長(transform length)に関して長すぎない限り、このセグメンテーションが、いかなるさらなる区分けもなしに予測および変換処理のために使用される。これは、ほとんどの場合、CU、PU、およびTUが入れ子にされたマルチタイプツリーコーディングブロック構造を有する四分木内で同じブロックサイズを有することを意味する。例外は、最大のサポートされる変換長がCUの色成分の幅または高さよりも小さいときに発生する。VVCは、入れ子にされたマルチタイプツリーコーディングツリー構造を有する四分木内の区画分割情報の独特なシグナリングメカニズムを開発する。シグナリングメカニズムにおいて、コーディングツリーユニット(CTU)は、四分木の根として扱われ、四分木構造によって最初に区分けされる。(それを許すのに十分なだけ大きいとき)それぞれの四分木の葉ノードは、マルチタイプツリー構造によってさらに区分けされる。マルチタイプツリー構造においては、第1のフラグ(mtt_split_cu_flag)が、ノードがさらに区分けされるかどうかを示すためにシグナリングされ、ノードがさらに区分けされるとき、第2のフラグ(mtt_split_cu_vertical_flag)が、分割方向を示すためにシグナリングされ、それから、第3のフラグ(mtt_split_cu_binary_flag)が、分割が二分割であるかまたは三分割であるかを示すためにシグナリングされる。mtt_split_cu_vertical_flagおよびmtt_split_cu_binary_flagの値に基づいて、CUのマルチタイプツリー分割モード(MttSplitMode)が、予め定義された規則またはテーブルに基づいてデコーダによって導出され得る。特定の設計、たとえば、VVCハードウェアデコーダの64×64ルマブロックおよび32×32クロマパイプライン設計に関しては、図6に示されるように、ルマコーディングブロックの幅かまたは高さかのどちらかが64よりも大きいとき、TT分割は禁止されることに留意されたい。TT分割は、クロマコーディングブロックの幅かまたは高さかのどちらかが32よりも大きいときも禁止される。パイプライン設計は、ピクチャを、ピクチャ内の重なり合わない単位として定義される仮想パイプラインデータユニット(VPDU: Virtual pipeline data unit)に分割する。ハードウェアデコーダにおいては、連続的なVPDUが、複数のパイプラインの段階によって同時に処理される。VPDUのサイズは、ほとんどのパイプラインの段階のバッファサイズにおおよそ比例し、したがって、VPDUのサイズを小さく保つことが重要である。ほとんどのハードウェアデコーダにおいて、VPDUのサイズは、最大変換ブロック(TB)サイズに設定され得る。しかし、VVCにおいては、三分木(TT)および二分木(BT)区分けが、VPDUのサイズの増加につながる可能性がある。
さらに、ツリーノードブロックの一部が下または右のピクチャの境界を越えるとき、ツリーノードブロックは、あらゆるコーディングされたCUのすべてのサンプルがピクチャの境界の中に入るまで強制的に分割される。
例として、イントラ下位区画(ISP)ツールは、ルマのイントラ予測されたブロックをブロックサイズに応じて2つまたは4つの下位区画に垂直にまたは水平に分割する可能性がある。
一例において、ビデオエンコーダ20のモード選択ユニット260は、本明細書において説明される区分け技術の任意の組合せを実行するように構成される可能性がある。
上述のように、ビデオエンコーダ20は、1組の(たとえば、予め決定された)予測モードから最良のまたは最適な予測モードを決定するまたは選択するように構成される。1組の予測モードは、たとえば、イントラ予測モードおよび/またはインター予測モードを含む可能性がある。
イントラ予測
1組のイントラ予測モードは、たとえばHEVCにおいて定義された35個の異なるイントラ予測モード、たとえば、DC(もしくは平均)モードおよび平面モードのような非方向性モード、または方向性モードを含む可能性があり、あるいはたとえばVVCのために定義された67個の異なるイントラ予測モード、たとえば、DC(もしくは平均)モードおよび平面モードのような非方向性モード、または方向性モードを含む可能性がある。例として、いくつかの通常の角度性イントラ予測モード(angular intra prediction mode)が、たとえば、VVCにおいて定義される、非正方形ブロックのための広角イントラ予測モード(wide-angle intra prediction mode)によって適応的に置き換えられる。別の例として、DC予測のための分割動作を避けるために、長辺のみが、非正方形ブロックに関して平均を計算するために使用される。また、平面モードのイントラ予測の結果が、位置依存イントラ予測組合せ(PDPC: position dependent intra prediction combination)の方法によってさらに修正される可能性がある。
イントラ予測ユニット254は、1組のイントラ予測モードのうちのイントラ予測モードによって、同じ現在のピクチャの近隣のブロックの再構築されたサンプルを使用してイントラ予測ブロック265を生成するように構成される。
イントラ予測ユニット254(または概してモード選択ユニット260)は、たとえば、ビデオデコーダ30が予測パラメータを受信し、復号のために使用する可能性があるように、符号化されたピクチャデータ21に含めるためにシンタックス要素266の形態でエントロピー符号化ユニット270にイントラ予測パラメータ(または概してブロックに関する選択されたイントラ予測モードを示す情報)を出力するようにさらに構成される。
インター予測
1組の(または可能な)インター予測モードは、利用可能な参照ピクチャ(つまり、たとえば、DBP230に記憶された前の少なくとも部分的に復号されたピクチャ)ならびにその他のインター予測パラメータ、たとえば、最もよく一致する参照ブロックを探索するために参照ピクチャ全体が使用されるのかもしくは参照ピクチャの一部のみ、たとえば、現在のブロックのエリアの周りの探索窓(search window)エリアのみが使用されるか、ならびに/またはたとえば、ピクセル補間、たとえば、半/セミペル(half/semi-pel)、4分の1ペルおよび/もしくは1/16ペル補間が適用されるか否かに依存する。
上述の予測モードに加えて、スキップモード、ダイレクトモード、および/またはその他のインター予測モードが、適用される可能性がある。
たとえば、拡張されたマージ予測において、そのようなモードのマージ候補リストは、以下の5種類の候補、すなわち、空間的な近隣のCUからの空間的MVP、同じ場所にあるCUからの時間的MVP、FIFOテーブルからの履歴に基づくMVP、ペアの平均MVP、およびゼロMVを順に含めることによって構築される。また、両方向マッチングに基づくデコーダ側動きベクトル改善(DMVR: decoder side motion vector refinement)が、マージモードのMVの正確性を高めるために適用される可能性がある。MVDを用いるマージモード(MMVD: merge mode with MVD)は、動きベクトルの差分を用いるマージモードに由来する。MMVDモードがCUのために使用されるかどうかを指定するために、スキップフラグおよびマージフラグを送信した直後にMMVDフラグがシグナリングされる。また、CUレベルの適応的動きベクトル解像度(AMVR: adaptive motion vector resolution)方式が、適用される可能性がある。AMVRは、CUのMVDが異なる精度でコーディングされることを可能にする。現在のCUのための予測モードに応じて、現在のCUのMVDが、適応的に選択され得る。CUがマージモードでコーディングされるとき、複合インター/イントラ予測(CIIP: combined inter/intra prediction)モードが、現在のCUに適用される可能性がある。インターおよびイントラ予測信号の加重平均が、CIIP予測を得るために実行される。アフィン動き補償予測においては、ブロックのアフィン動きフィールド(affine motion field)が、2つの制御点(4パラメータ)または3つの制御点動きベクトル(6パラメータ)の動き情報によって記述される。下位ブロックに基づく時間的動きベクトル予測(SbTMVP: subblock-based temporal motion vector prediction)は、HEVCの時間的動きベクトル予測(TMVP: temporal motion vector prediction)に似ているが、現在のCU内の下位CUの動きベクトルを予測する。以前はBIOと呼ばれていた双方向オプティカルフロー(BDOF)は、特に乗算の回数および乗算器のサイズの点でずっと少ない計算を必要とするより単純なバージョンである。三角形区分けモードに関して、そのようなモードにおいて、CUは、対角分割または反対角分割かのどちらかを使用して2つの三角形の区画に均等に分割される。さらに、双予測(bi-prediction)モードが、2つの予測信号の加重平均を可能にするように単純平均から拡張される。
インター予測ユニット244は、動き推定(ME)ユニットおよび動き補償(MC)ユニット(どちらも図2に示さず)を含む可能性がある。動き推定ユニットは、動き推定のために、ピクチャブロック203(現在のピクチャ17の現在のピクチャブロック203)および復号されたピクチャ231、または少なくとも1つのもしくは複数の既に再構築されたブロック、たとえば、1つもしくは複数のその他の/異なる既に復号されたピクチャ231の再構築されたブロックを受信するかまたは取得するように構成される可能性がある。たとえば、ビデオシーケンスは、現在のピクチャおよび既に復号されたピクチャ231を含む可能性があり、または言い換えると、現在のピクチャおよび既に復号されたピクチャ231は、ビデオシーケンスを形成するピクチャのシーケンスの一部であるかもしくはそのようなピクチャのシーケンスを形成する可能性がある。
エンコーダ20は、たとえば、複数のその他のピクチャのうちの同じまたは異なるピクチャの複数の参照ブロックから参照ブロックを選択し、参照ピクチャ(もしくは参照ピクチャインデックス)および/または参照ブロックの位置(x、y座標)と現在のブロックの位置との間のオフセット(空間オフセット)をインター予測パラメータとして動き推定ユニットに提供するように構成される可能性がある。このオフセットは、動きベクトル(MV)とも呼ばれる。
動き補償ユニットは、インター予測パラメータを取得、たとえば、受信し、インター予測パラメータに基づいてまたはインター予測パラメータを使用してインター予測を実行してインター予測ブロック265を取得するように構成される。動き補償ユニットによって実行される動き補償は、おそらくはサブピクセルの精度の補間を実行する動き推定によって決定された動き/ブロックベクトルに基づく予測ブロックのフェッチまたは生成を含む可能性がある。補間フィルタリングが、知られているピクセルサンプルから追加的なピクセルサンプルを生成する可能性があり、したがって潜在的に、ピクチャブロックをコーディングするために使用される可能性がある候補予測ブロックの数を増やす。現在のピクチャブロックのPUに関する動きベクトルを受信すると、動き補償ユニットは、参照ピクチャリストのうちの1つにおいて動きベクトルが指す予測ブロックを見つける可能性がある。
動き補償ユニットは、ビデオスライスのピクチャブロックを復号する際にビデオデコーダ30によって使用するためのブロックおよびビデオスライスに関連するシンタックス要素も生成する可能性がある。スライスおよびそれぞれのシンタックス要素に加えて、またはスライスおよびそれぞれのシンタックス要素の代替として、タイルグループおよび/またはタイルならびにそれぞれのシンタックス要素が、生成されるかまたは使用される可能性がある。
エントロピーコーディング
エントロピー符号化ユニット270は、たとえば、ビデオデコーダ30がパラメータを受信し、復号のために使用する可能性があるように、たとえば、符号化されたビットストリーム21の形態で出力272を介して出力され得る符号化されたピクチャデータ21を得るために、量子化された係数209、インター予測パラメータ、イントラ予測パラメータ、ループフィルタパラメータ、および/またはその他のシンタックス要素に対して、たとえば、エントロピー符号化アルゴリズムもしくは方式(たとえば、可変長コーディング(VLC: variable length coding)方式、コンテキスト適応VLC方式(CAVLC: context adaptive VLC)、算術コーディング方式、2値化、コンテキスト適応2値算術コーディング(CABAC: context adaptive binary arithmetic coding)、シンタックスに基づくコンテキスト適応2値算術コーディング(SBAC: syntax-based context-adaptive binary arithmetic coding)、確率間隔区分エントロピー(PIPE: probability interval partitioning entropy)コーディング、もしくは別のエントロピー符号化方法もしくは技術)またはバイパス(bypass)(非圧縮)を適用するように構成される。符号化されたビットストリーム21は、ビデオデコーダ30に送信されるか、または後の送信またはビデオデコーダ30による取り出しのためにメモリに記憶される可能性がある。
ビデオエンコーダ20その他の構造の変化形が、ビデオストリームを符号化するために使用され得る。たとえば、変換に基づかないエンコーダ20は、特定のブロックまたはフレームに関して変換処理ユニット206なしに残差信号を直接量子化し得る。別の実装において、エンコーダ20は、単一のユニットに組み合わされた量子化ユニット208および逆量子化ユニット210を持ち得る。
デコーダおよび復号方法
図3は、本出願の技術を実装するように構成されるビデオデコーダ30の例を示す。ビデオデコーダ30は、復号されたピクチャ331を取得するために、たとえば、エンコーダ20によって符号化された符号化されたピクチャデータ21(たとえば、符号化されたビットストリーム21)を受信するように構成される。符号化されたピクチャデータまたはビットストリームは、符号化されたピクチャデータ、たとえば、符号化されたビデオスライス(および/またはタイルグループもしくはタイル)のピクチャブロックならびに関連するシンタックス要素を表すデータを復号するための情報を含む。
図3の例において、デコーダ30は、エントロピー復号ユニット304、逆量子化ユニット310、逆変換処理ユニット312、再構築ユニット314(たとえば、合算器314)、ループフィルタ320、復号ピクチャバッファ(DBP)330、モード適用ユニット360、インター予測ユニット344、およびイントラ予測ユニット354を含む。インター予測ユニット344は、動き補償ユニットであるかまたは動き補償ユニットを含む可能性がある。ビデオデコーダ30は、いくつかの例において、図2のビデオエンコーダ100に関連して説明された符号化パスと概して逆である復号パスを実行する可能性がある。
エンコーダ20に関連して説明されたように、逆量子化ユニット210、逆変換処理ユニット212、再構築ユニット214、ループフィルタ220、復号ピクチャバッファ(DPB)230、インター予測ユニット344、およびイントラ予測ユニット354は、ビデオエンコーダ20の「内蔵デコーダ」を形成するともみなされる。したがって、逆量子化ユニット310は、逆量子化ユニット110と機能的に同一である可能性があり、逆変換処理ユニット312は、逆変換処理ユニット212と機能的に同一である可能性があり、再構築ユニット314は、再構築ユニット214と機能的に同一である可能性があり、ループフィルタ320は、ループフィルタ220と機能的に同一である可能性があり、復号ピクチャバッファ330は、復号ピクチャバッファ230と機能的に同一である可能性がある。したがって、ビデオ20エンコーダのそれぞれのユニットおよび機能に関して与えられた説明が、ビデオデコーダ30のそれぞれのユニットおよび機能に準用される。
エントロピー復号
エントロピー復号ユニット304は、ビットストリーム21(または概して符号化されたピクチャデータ21)を解析し、たとえば、符号化されたピクチャデータ21にエントロピー復号を実行して、たとえば、量子化された係数309ならびに/あるいは復号されたコーディングパラメータ(図3に示さず)、たとえば、インター予測パラメータ(たとえば、参照ピクチャインデックスおよび動きベクトル)、イントラ予測パラメータ(たとえば、イントラ予測モードもしくはインデックス)、変換パラメータ、量子化パラメータ、ループフィルタパラメータ、および/またはその他のシンタックス要素のいずれかまたはすべてを取得するように構成される。エントロピー復号ユニット304は、エンコーダ20のエントロピー符号化ユニット270に関連して説明された符号化方式に対応する復号アルゴリズムまたは方式を適用するように構成される可能性がある。エントロピー復号ユニット304は、インター予測パラメータ、イントラ予測パラメータ、および/またはその他のシンタックス要素をモード適用ユニット360に提供し、その他のパラメータをデコーダ30のその他のユニットに提供するようにさらに構成される可能性がある。ビデオデコーダ30は、ビデオスライスのレベルおよび/またはビデオブロックのレベルでシンタックス要素を受信する可能性がある。スライスおよびそれぞれのシンタックス要素に加えて、またはスライスおよびそれぞれのシンタックス要素の代替として、タイルグループおよび/またはタイルならびにそれぞれのシンタックス要素が、受信されるおよび/または使用される可能性がある。
逆量子化
逆量子化ユニット310は、(たとえば、エントロピー復号ユニット304によって、たとえば、解析および/または復号することによって)符号化されたピクチャデータ21から量子化パラメータ(QP)(または概して逆量子化に関連する情報)および量子化された係数を受け取り、復号された量子化された係数309に対して量子化パラメータに基づいて逆量子化を適用して、変換係数311とも呼ばれる可能性がある量子化解除された係数311を取得するように構成される可能性がある。逆量子化プロセスは、量子化の度合いと、同様に、適用されるべき逆量子化の度合いとを決定するために、ビデオスライス(またはタイルまたはタイルグループ)内の各ビデオブロックに関してビデオエンコーダ20によって決定された量子化パラメータを使用することを含む可能性がある。
逆変換
逆変換処理ユニット312は、変換係数311とも呼ばれる量子化解除された係数311を受け取り、サンプル領域において再構築された残差ブロック213を取得するために、量子化解除された係数311に変換を適用するように構成される可能性がある。再構築された残差ブロック213は、変換ブロック213とも呼ばれる可能性がある。変換は、逆変換、たとえば、逆DCT、逆DST、逆整数変換、または概念的に同様の逆変換プロセスである可能性がある。逆変換処理ユニット312は、量子化解除された係数311に適用される変換を決定するために、(たとえば、エントロピー復号ユニット304によって、たとえば、解析および/または復号することによって)符号化されたピクチャデータ21から変換パラメータまたは対応する情報を受け取るようにさらに構成される可能性がある。
再構築
再構築ユニット314(たとえば、加算器または合算器314)は、たとえば、再構築された残差ブロック313のサンプル値と予測ブロック365のサンプル値とを足すことによって予測ブロック365に再構築された残差ブロック313を足してサンプル領域において再構築されたブロック315を取得するように構成される可能性がある。
フィルタリング
(コーディングループ内かまたはコーディングループの後かのどちらかの)ループフィルタユニット320は、たとえば、ピクセルの遷移を平滑化するかまたはそれ以外の方法でビデオの品質を改善するために再構築されたブロック315をフィルタリングしてフィルタリングされたブロック321を取得するように構成される。ループフィルタユニット320は、デブロッキングフィルタ、サンプル適応オフセット(SAO)フィルタ、または1つもしくは複数のその他のフィルタ、たとえば、適応ループフィルタ(ALF)、雑音抑制フィルタ(NSF)、もしくはこれらの任意の組合せなどの1つまたは複数のループフィルタを含む可能性がある。例において、ループフィルタユニット220は、デブロッキングフィルタ、SAOフィルタ、およびALFフィルタを含む可能性がある。フィルタリングプロセスの順序は、デブロッキングフィルタ、SAO、およびALFである可能性がある。別の例においては、クロマスケーリングをともなうルママッピング(LMCS)(つまり、適応的なループ内再整形器)と呼ばれるプロセスが、追加される。このプロセスは、デブロッキングの前に実行される。別の例において、デブロッキングフィルタプロセスは、内部の下位ブロックのエッジ、たとえば、アフィンの下位ブロックのエッジ、ATMVPの下位ブロックのエッジ、下位ブロック変換(SBT)のエッジ、およびイントラ下位区画(ISP)のエッジに適用される可能性もある。ループフィルタユニット320は図3にループ内フィルタであるものとして示されるが、その他の構成において、ループフィルタユニット320は、ループ後フィルタとして実装される可能性がある。
復号ピクチャバッファ
それから、ピクチャの復号されたビデオブロック321は、その他のピクチャに関するその後の動き補償のための参照ピクチャとしておよび/またはディスプレイ上にそれぞれ出力するために復号されたピクチャ331を記憶する復号ピクチャバッファ330に記憶される。
デコーダ30は、復号されたピクチャ311を、ユーザへの提示または視聴のために、たとえば、出力312を介して出力するように構成される。
予測
インター予測ユニット344は、インター予測ユニット244と(特に動き補償ユニットと)同一である可能性があり、イントラ予測ユニット354は、インター予測ユニット254と機能的に同一である可能性があり、(たとえば、エントロピー復号ユニット304によって、たとえば、解析および/または復号することによって)符号化されたピクチャデータ21から受け取られた区分けおよび/または予測パラメータまたはそれぞれの情報に基づいて分割または区分けの判断および予測を実行する。モード適用ユニット360は、予測ブロック365を得るために、(フィルタリングされたまたはフィルタリングされていない)再構築されたピクチャ、ブロック、またはそれぞれのサンプルに基づいてブロック毎に予測(イントラまたはインター予測)を実行するように構成される可能性がある。
ビデオスライスがイントラコーディングされた(I)スライスとしてコーディングされるとき、モード適用ユニット360のイントラ予測ユニット354は、シグナリングされたイントラ予測モードおよび現在のピクチャの既に復号されたブロックからのデータに基づいて現在のビデオスライスのピクチャブロックに関する予測ブロック365を生成するように構成される。ビデオピクチャがインターコーディングされた(つまり、BまたはP)スライスとしてコーディングされるとき、モード適用ユニット360のインター予測ユニット344(たとえば、動き補償ユニット)は、エントロピー復号ユニット304から受け取られたモーションベクトルおよびその他のシンタックス要素に基づいて現在のビデオスライスのビデオブロックに関する予測ブロック365を生成するように構成される。インター予測に関して、予測ブロックは、参照ピクチャリストのうちの1つの中の参照ピクチャのうちの1つから生成される可能性がある。ビデオデコーダ30は、DPB330に記憶された参照ピクチャに基づいて予め設定された構築技術を使用して参照フレームリスト、List 0およびList 1を構築する可能性がある。同じまたは同様のことが、スライス(たとえば、ビデオスライス)に加えてまたはスライス(たとえば、ビデオスライス)の代替としてタイルグループ(たとえば、ビデオタイルグループ)および/またはタイル(たとえば、ビデオタイル)を使用する実施形態のためにまたはそのような実施形態によって適用される可能性があり、たとえば、ビデオは、I、P、またはBタイルグループおよび/またはタイルを使用してコーディングされる可能性がある。
モード適用ユニット360は、動きベクトルまたは関連する情報およびその他のシンタックス要素を解析することによって現在のビデオスライスのビデオブロックに関する予測情報を決定し、予測情報を使用して、復号されている現在のビデオブロックに関する予測ブロックを生成するように構成される。たとえば、モード適用ユニット360は、受信されたシンタックス要素の一部を使用して、ビデオスライスのビデオブロックをコーディングするために使用された予測モード(たとえば、イントラまたはインター予測)、インター予測のスライスタイプ(たとえば、Bスライス、Pスライス、またはGPBスライス)、スライスのための参照ピクチャリストのうちの1つまたは複数に関する構築情報、スライスのそれぞれのインター符号化されたビデオブロックに関する動きベクトル、スライスのそれぞれのインターコーディングされたビデオブロックに関するインター予測のステータス、および現在のビデオスライス内のビデオブロックを復号するためのその他の情報を決定する。同じまたは同様のことが、スライス(たとえば、ビデオスライス)に加えてまたはスライス(たとえば、ビデオスライス)の代替としてタイルグループ(たとえば、ビデオタイルグループ)および/またはタイル(たとえば、ビデオタイル)を使用する実施形態のためにまたはそのような実施形態によって適用される可能性があり、たとえば、ビデオは、I、P、またはBタイルグループおよび/またはタイルを使用してコーディングされる可能性がある。
図3に示されるビデオデコーダ30の実施形態は、スライス(ビデオスライスとも呼ばれる)を使用することによってピクチャを区分けするおよび/または復号するように構成される可能性があり、ピクチャは、1つもしくは複数の(概して重なり合わない)スライスに区分けされるかまたは1つもしくは複数の(概して重なり合わない)スライスを使用して復号される可能性があり、各スライスは、1つもしくは複数のブロック(たとえば、CTU)またはブロックの1つもしくは複数のグループ(たとえば、タイル(H.265/HEVCおよびVVC)もしくはブリック(VVC))を含む可能性がある。
図3に示されるビデオデコーダ30の実施形態は、スライス/タイルグループ(ビデオタイルグループとも呼ばれる)および/またはタイル(ビデオタイルとも呼ばれる)を使用することによってピクチャを区分けするおよび/または復号するように構成される可能性があり、ピクチャは、1つもしくは複数の(概して重なり合わない)スライス/タイルグループに区分けされるかまたは1つもしくは複数の(概して重なり合わない)スライス/タイルグループを使用して復号される可能性があり、各スライス/タイルグループは、たとえば、1つもしくは複数のブロック(たとえば、CTU)または1つもしくは複数のタイルを含む可能性があり、各タイルは、たとえば、長方形の形をしている可能性があり、1つまたは複数のブロック(たとえば、CTU)、たとえば、完全なまたは断片的なブロックを含む可能性がある。
ビデオデコーダ30のその他の変化形が、符号化されたピクチャデータ21を復号するために使用され得る。たとえば、デコーダ30は、ループフィルタリングユニット320なしで出力ビデオストリームを生成し得る。たとえば、変換に基づかないデコーダ30は、特定のブロックまたはフレームに関して逆変換処理ユニット312なしに残差信号を直接逆量子化し得る。別の実装において、ビデオデコーダ30は、単一のユニットに組み合わされた逆量子化ユニット310および逆変換処理ユニット312を持ち得る。
エンコーダ20およびデコーダ30において、現在のステップの処理結果は、さらに処理され、それから次のステップに出力される可能性があることを理解されたい。たとえば、補間フィルタリング、動きベクトルの導出、またはループフィルタリングの後、Clipまたはシフトなどのさらなる演算が、補間フィルタリング、動きベクトルの導出、またはループフィルタリングの処理結果に対して実行される可能性がある。
さらなる演算が、(アフィンモードの制御点動きベクトル(control point motion vector)、アフィン、平面、ATMVPモードの下位ブロック動きベクトル、時間動きベクトル(temporal motion vector)などを含むがこれらに限定されない)現在のブロックの導出された動きベクトルに適用される可能性があることに留意されたい。たとえば、動きベクトルの値は、その表現ビットに従って所定の範囲に制約される。動きベクトルの表現ビットがbitDepthである場合、範囲は、-2^(bitDepth-1)~2^(bitDepth-1)-1であり、「^」は、累乗を意味する。たとえば、bitDepthが16に等しいように設定される場合、範囲は、-32768~32767であり、bitDepthが18に等しいように設定される場合、範囲は、-131072~131071である。たとえば、導出された動きベクトル(たとえば、1つの8×8ブロック内の4つの4×4下位ブロックのMV)の値は、4つの4×4下位ブロックのMVの整数部分の間の最大の差が1ピクセル以下などNピクセル以下であるように制約される。ここでは、bitDepthに応じて動きベクトルを制約するための2つの方法を提供する。
図4は、本開示の実施形態によるビデオコーディングデバイス400の概略図である。ビデオコーディングデバイス400は、本明細書において説明されるように開示される実施形態を実装するのに好適である。実施形態において、ビデオコーディングデバイス400は、図1Aのビデオデコーダ30などのデコーダまたは図1Aのビデオエンコーダ20などのエンコーダである可能性がある。
ビデオコーディングデバイス400は、データを受信するための着信ポート410(または入力ポート410)および受信機ユニット(Rx)420、データを処理するためのプロセッサ、論理ユニット、または中央演算処理装置(CPU)430、データを送信するための送信機ユニット(Tx)440および発信ポート450(または出力ポート450)、ならびにデータを記憶するためのメモリ460を含む。ビデオコーディングデバイス400は、光または電気信号の発信または着信のために着信ポート410、受信機ユニット420、送信機ユニット440、および発信ポート450に結合された光-電気(OE)構成要素および電気-光(EO)構成要素も含む可能性がある。
プロセッサ430は、ハードウェアおよびソフトウェアによって実装される。プロセッサ430は、1つまたは複数のCPUチップ、コア(たとえば、マルチコアプロセッサとして)、FPGA、ASIC、およびDSPとして実装される可能性がある。プロセッサ430は、着信ポート410、受信機ユニット420、送信機ユニット440、発信ポート450、およびメモリ460と通信する。プロセッサ430は、コーディングモジュール470を含む。コーディングモジュール470は、上述の開示された実施形態を実装する。たとえば、コーディングモジュール470は、様々なコーディング動作を実装するか、処理するか、準備するか、または提供する。したがって、コーディングモジュール470を含むことは、ビデオコーディングデバイス400の機能を大幅に改善し、ビデオコーディングデバイス400の異なる状態への転換をもたらす。代替的に、コーディングモジュール470は、メモリ460に記憶され、プロセッサ430によって実行される命令として実装される。
メモリ460は、1つまたは複数のディスク、テープドライブ、およびソリッドステートドライブを含む可能性があり、プログラムが実行するために選択されるときにそのようなプログラムを記憶するためならびにプログラムの実行中に読まれる命令およびデータを記憶するためのオーバーフローデータストレージデバイス(over-flow data storage device)として使用される可能性がある。メモリ460は、たとえば、揮発性および/または不揮発性である可能性があり、読み出し専用メモリ(ROM)、ランダムアクセスメモリ(RAM)、3値連想メモリ(TCAM: ternary content-addressable memory)、および/またはスタティックランダムアクセスメモリ(SRAM)である可能性がある。
図5は、例示的な実施形態による、図1の送信元デバイス12および送信先デバイス14のどちらかまたは両方として使用される可能性がある装置500の簡略化されたブロック図である。
装置500のプロセッサ502は、中央演算処理装置であることが可能である。代替的に、プロセッサ502は、既存のまたは今後開発される、情報を操作または処理することができる任意のその他の種類の1つのデバイスまたは複数のデバイスであることが可能である。開示される実装は示されるように単一のプロセッサ、たとえば、プロセッサ502によって実施され得るが、2つ以上のプロセッサを使用することによって速度および効率面の利点が実現され得る。
装置500のメモリ504は、実装において、読み出し専用メモリ(ROM)デバイスまたはランダムアクセスメモリ(RAM)デバイスであることが可能である。任意のその他の好適な種類のストレージデバイスが、メモリ504として使用され得る。メモリ504は、バス512を使用してプロセッサ502によってアクセスされるコードおよびデータ506を含み得る。メモリ504は、オペレーティングシステム508およびアプリケーションプログラム510をさらに含むことが可能であり、アプリケーションプログラム510は、プロセッサ502が本明細書において説明される方法を実行すること可能にする少なくとも1つのプログラムを含む。たとえば、アプリケーションプログラム510は、本明細書において説明される方法を実行するビデオコーディングアプリケーションをさらに含むアプリケーション1からNを含み得る。
装置500は、ディスプレイ518などの1つまたは複数の出力デバイスも含み得る。ディスプレイ518は、一例において、ディスプレイをタッチ入力を感知するように動作可能であるタッチ感知要素と組み合わせるタッチ式ディスプレイである可能性がある。ディスプレイ518は、バス512を介してプロセッサ502に結合され得る。
ここでは単一のバスとして示されるが、装置500のバス512は、複数のバスから構成され得る。さらに、二次ストレージ514は、装置500のその他の構成要素に直接結合されることが可能であり、またはネットワークを介してアクセスされることが可能であり、メモリカードなどの単一の統合されたユニットもしくは複数のメモリカードなどの複数のユニットを含むことが可能である。したがって、装置500は、多種多様な構成で実装され得る。
HEVCで開示されたデブロッキングフィルタプロセスに関して、デブロッキングの強度を制御するために、2つの高レベル制御パラメータbeta_offset_div2およびtc_offset_div2が導入された。これらのパラメータは、ピクチャパラメータセット(PPS)レベルで送信され得るか、またはスライスヘッダレベルで上書きされ得る。
例においては、より高いデブロッキングの柔軟性を提供するために、Cb成分およびCr成分のための別々のデブロッキングフィルタ制御パラメータが導入された。これらのデブロッキング制御パラメータは、PPSまたはピクチャヘッダ(PH)またはスライスヘッダ(SH)内でシグナリングされ得る。
デブロッキング制御パラメータに関するシンタックスは、以下の通りである。
Figure 2023512694000002
Figure 2023512694000003
Figure 2023512694000004
Figure 2023512694000005
デブロッキング制御シンタックス要素のセマンティクスは、以下の通りである。
1に等しいpps_chroma_tool_offsets_present_flagは、クロマツールオフセット(chroma tool offset)に関連するシンタックス要素が、PPS RBSPシンタックス構造内に存在することを指定する。
0に等しいpps_chroma_tool_offsets_present_flagは、クロマツールオフセットに関連するシンタックス要素が、PPS RBSPシンタックス構造内に存在しないことを指定する。ChromaArrayTypeが0に等しいとき、pps_chroma_tool_offsets_present_flagの値は、0に等しい。
pps_beta_offset_div2およびpps_tc_offset_div2は、デフォルトのデブロッキングパラメータオフセットがPPSを参照するスライスのピクチャヘッダまたはスライスヘッダ内に存在するデブロッキングパラメータオフセットによってオーバーライドされない限り、PPSを参照するスライスのルマ成分に適用される(2で割られた)βおよびtCに関するデフォルトのデブロッキングパラメータオフセットを指定する。pps_beta_offset_div2およびpps_tc_offset_div2の値は、両方とも、-12および12を含んで-12から12までの範囲内にある。存在しないとき、pps_beta_offset_div2およびpps_tc_offset_div2の値は、両方とも、0に等しいと推測される。
pps_cb_beta_offset_div2およびpps_cb_tc_offset_div2は、デフォルトのデブロッキングパラメータオフセットがPPSを参照するスライスのピクチャヘッダまたはスライスヘッダ内に存在するデブロッキングパラメータオフセットによってオーバーライドされない限り、PPSを参照するスライスのCb成分に適用される(2で割られた)βおよびtCに関するデフォルトのデブロッキングパラメータオフセットを指定する。pps_cb_beta_offset_div2およびpps_cb_tc_offset_div2の値は、両方とも、-12および12を含んで-12から12までの範囲内にある。存在しないとき、pps_cb_beta_offset_div2およびpps_cb_tc_offset_div2の値は、両方とも、0に等しいと推測される。
pps_cr_beta_offset_div2およびpps_cr_tc_offset_div2は、デフォルトのデブロッキングパラメータオフセットがPPSを参照するスライスのピクチャヘッダまたはスライスヘッダ内に存在するデブロッキングパラメータオフセットによってオーバーライドされない限り、PPSを参照するスライスのCr成分に適用される(2で割られた)βおよびtCに関するデフォルトのデブロッキングパラメータオフセットを指定する。pps_cr_beta_offset_div2およびpps_cr_tc_offset_div2の値は、両方とも、-12および12を含んで-12から12までの範囲内にある。存在しないとき、pps_cr_beta_offset_div2およびpps_cr_tc_offset_div2の値は、両方とも、0に等しいと推測される。
ph_beta_offset_div2およびph_tc_offset_div2は、PHに関連するスライスのルマ成分に適用される(2で割られた)βおよびtCに関するデブロッキングパラメータオフセットを指定する。ph_beta_offset_div2およびph_tc_offset_div2の値は、両方とも、-12および12を含んで-12から12までの範囲内にある。存在しないとき、ph_beta_offset_div2およびph_tc_offset_div2の値は、それぞれ、pps_beta_offset_div2およびpps_tc_offset_div2に等しいと推測される。
ph_cb_beta_offset_div2およびph_cb_tc_offset_div2は、PHに関連するスライスのCb成分に適用される(2で割られた)βおよびtCに関するデブロッキングパラメータオフセットを指定する。ph_cb_beta_offset_div2およびph_cb_tc_offset_div2の値は、両方とも、-12および12を含んで-12から12までの範囲内にある。存在しないとき、ph_cb_beta_offset_div2およびph_cb_tc_offset_div2の値は、それぞれ、pps_cb_beta_offset_div2およびpps_cb_tc_offset_div2に等しいと推測される。
ph_cr_beta_offset_div2およびph_cr_tc_offset_div2は、PHに関連するスライスのCr成分に適用される(2で割られた)βおよびtCに関するデブロッキングパラメータオフセットを指定する。ph_cr_beta_offset_div2およびph_cr_tc_offset_div2の値は、両方とも、-12および12を含んで-12から12までの範囲内にある。存在しないとき、ph_cr_beta_offset_div2およびph_cr_tc_offset_div2の値は、それぞれ、pps_cr_beta_offset_div2およびpps_cr_tc_offset_div2に等しいと推測される。
slice_beta_offset_div2およびslice_tc_offset_div2は、現在のスライスのルマ成分に適用される(2で割られた)βおよびtCに関するデブロッキングパラメータオフセットを指定する。slice_beta_offset_div2およびslice_tc_offset_div2の値は、両方とも、-12および12を含んで-12から12までの範囲内にある。存在しないとき、slice_beta_offset_div2およびslice_tc_offset_div2の値は、それぞれ、ph_beta_offset_div2およびph_tc_offset_div2に等しいと推測される。
slice_cb_beta_offset_div2およびslice_cb_tc_offset_div2は、現在のスライスのCb成分に適用される(2で割られた)βおよびtCに関するデブロッキングパラメータオフセットを指定する。slice_cb_beta_offset_div2およびslice_cb_tc_offset_div2の値は、両方とも、-12および12を含んで-12から12までの範囲内にある。存在しないとき、slice_cb_beta_offset_div2およびslice_cb_tc_offset_div2の値は、それぞれ、ph_cb_beta_offset_div2およびph_cb_tc_offset_div2に等しいと推測される。
slice_cb_beta_offset_div2およびslice_cb_tc_offset_div2は、現在のスライスのCr成分に適用される(2で割られた)βおよびtCに関するデブロッキングパラメータオフセットを指定する。slice_cr_beta_offset_div2およびslice_cr_tc_offset_div2の値は、両方とも、-12および12を含んで-12から12までの範囲内にある。存在しないとき、slice_cr_beta_offset_div2およびslice_cr_tc_offset_div2の値は、それぞれ、ph_cr_beta_offset_div2およびph_cr_tc_offset_div2に等しいと推測される。
多目的ビデオコーディング(VVC)は、合同クロマ残差コーディング(JCCR: Joint Chroma residual coding)と呼ばれるツールを使用し、これは、シンタックス「tu_joint_cbcr_residual_flag」を使用してビットストリーム中でシグナリングされる。このツールは、クロマ成分CbとCrとの両方の残差サンプルが単一の変換ブロックとしてコーディングされるかどうかを指定する。1に等しい「tu_joint_cbcr_residual_flag」の値は、変換ユニットのシンタックスが、CbとCrとの両方の残差サンプルが導出される単一の変換ブロックの変換係数レベルを含むことを指定する。JCCRツールは、Cbの残差とCrの残差との両方が概ね互いに逆相関するように見えるという事実を利用する。
tu_joint_cbcr_residual_flag、tu_cbf_cb、およびtu_cbf_crに応じて、変数TuCResModeが、下のように導出され、tu_cbf_cbは、Cb成分のコーディングブロックフラグ(coded block flag)を指定し、tu_cbf_crは、Cr成分のコーディングブロックフラグである。また、TuCResModeは、JCCRモードを示す。
- tu_joint_cbcr_residual_flagが0に等しい場合、変数TuCResModeは、0に等しいように設定される。
- そうではなく、tu_cbf_cbが1に等しく、tu_cbf_crが0に等しい場合、変数TuCResModeは、1に等しいように設定される。
- そうではなく、tu_cbf_cbが1に等しい場合、変数TuCResModeは、2に等しいように設定される。
- それ以外の場合、変数TuCResModeは、3に等しいように設定される。
変数tu_cbf_cbおよびtu_cbf_crに基づく「Cbの残差およびCrの残差の再構築」と変数TuCResModeとの間の関係は、下の表に示される通りである。
Figure 2023512694000006
変数CSginは、符号値(+1または-1)であり、これは、スライスヘッダ内でシグナリングされる。
resJointC[ x ][ y ]は、ビットストリーム内の実際の送信された残差である。
resCb[ x ][ y ]は、クロマ成分Cbの導出された残差サンプルを示す。
resCr[ x ][ y ]は、クロマ成分Crの導出された残差サンプルを示す。
さらに、VVC 6.0は、クロマ成分CbおよびCrの各々のために別々のクロマQPマッピングテーブル(Chroma QP mapping table)を使用し、合同Cb-Cr残差(joint Cb-Cr residual)のために別のマッピングテーブルを使用する場合がある。シンタックス要素「same_qp_table_for_chroma」の値が1に等しいとき、それは、1つのクロマQPテーブルのみがシグナリングされ、このテーブルがCb、Cr、および合同Cb-Cr残差に適用されることを指定する。「same_qp_table_for_chroma」の値が0に等しいとき、それは、3つのクロマQPマッピングテーブルがSPS内でシグナリングされることを示す。
シンタックス要素num_points_in_qp_table_minus1[ i ]、delta_qp_in_val_minus1[ i ][ j ]、delta_qp_out_val[ i ][ j ]が、クロマQPマッピングテーブルを導出するためにさらに使用される。これらのシンタックス要素のセマンティクスおよびクロマQPマッピングテーブルを導出するための手順は、以下に示される通りである。
num_points_in_qp_table_minus1[ i ]足す1は、第iのクロマQPマッピングテーブルを記述するために使用される点の数を指定する。num_points_in_qp_table_minus1[ i ]の値は、0および63 + QpBdOffsetCを含んで0から63 + QpBdOffsetCまでの範囲内にある。num_points_in_qp_table_minus1[ 0 ]がビットストリーム内に存在しないとき、num_points_in_qp_table_minus1[ 0 ]の値は、0に等しいと推測される。
delta_qp_in_val_minus1[ i ][ j ]は、第iのクロマQPマッピングテーブルの第jのピボットポイント(pivot point)の入力座標を導出するために使用されるデルタ値を指定する。delta_qp_in_val_minus1[ 0 ][ j ]がビットストリーム内に存在しないとき、delta_qp_in_val_minus1[ 0 ][ j ]の値は、0に等しいと推測される。
delta_qp_out_val[ i ][ j ]は、第iのクロマQPマッピングテーブルの第jのピボットポイントの出力座標を導出するために使用されるデルタ値を指定する。delta_qp_out_val[ 0 ][ j ]がビットストリーム内に存在しないとき、delta_qp_out_val[ 0 ][ j ]の値は、0に等しいと推測される。
i = 0..same_qp_table_for_chroma ? 0 : 2に対する第iのクロマQPマッピングテーブルChromaQpTable[ i ]は、以下のように導出される。
qpInVal[ i ][ 0 ] = -QpBdOffsetC + delta_qp_in_val_minus1[ i ][ 0 ]
qpOutVal[ i ][ 0 ] = -QpBdOffsetC + delta_qp_out_val[ i ][ 0 ]
for( j = 1; j <= num_points_in_qp_table_minus1[ i ]; j++ ) {
qpInVal[ i ][ j ] = qpInVal[ i ][ j - 1 ] + delta_qp_in_val_minus1[ i ][ j ]+1
qpOutVal[ i ][ j ] = qpOutVal[ i ][ j - 1 ] + delta_qp_out_val[ i ][ j ]
}
ChromaQpTable[ i ][ qpInVal[ i ][ 0 ] ] = qpOutVal[ i ][ 0 ]
for( k = qpInVal[ i ][ 0 ] - 1; k >= -QpBdOffsetC; k-- )
ChromaQpTable[ i ][ k ] = Clip3( -QpBdOffsetC, 63, ChromaQpTable[ i ][ k + 1 ] - 1 ) (7-31)
for( j = 0; j < num_points_in_qp_table_minus1[ i ]; j++ ) {
sh = ( delta_qp_in_val_minus1[ i ][j + 1 ] + 2 ) >> 1
for( k = qpInVal[ i ][ j ] + 1, m = 1; k <= qpInval[ i ][ j + 1 ]; k++, m++)
ChromaQpTable[ i ][ k ] = ChromaQpTable[ i ][ qpInVal[ i ][ j ] ] +
( delta_qp_out_val[ i ][j + 1] * m + sh ) / ( delta_qp_in_val_minus1[ i ][j + 1] + 1 )
}
for( k = qpInVal[ i ][ num_points_in_qp_table_minus1[ i ] ] + 1; k <= 63; k++ )
ChromaQpTable[ i ][ k ] = Clip3( -QpBdOffsetC, 63, ChromaQpTable[ i ][ k - 1 ] + 1 )
same_qp_table_for_chromaが1に等しいとき、k = -QpBdOffsetC..63に対して、ChromaQpTable[ 1 ][ k ]およびChromaQpTable[ 2 ][ k ]は、ChromaQpTable[ 0 ][ k ]に等しいように設定される。
i = 0..same_qp_table_for_chroma ? 0 : 2およびj = 0..num_points_in_qp_table_minus1[ i ]に対して、qpInVal[ i ][ j ]およびqpOutVal[ i ][ j ]の値が-QpBdOffsetCおよび63を含んで-QpBdOffsetCから63までの範囲内にあることが、ビットストリームの準拠(bitstream conformance)の要件である。
ChormaQPmappingテーブルは、ルマQP値(QPi)および色成分値(cIdx)を入力とし、対応するクロマQP値(QPc)を出力する簡単な式を使用して表現されることも可能であることに留意されたい。式は、ルマQPとクロマQPとの間の線形関係を描く場合がある。たとえば、式は、以下の通りであることが可能である。
QPc = QPi - x。ここで、xは、色成分値(cIdx)に依存する定数であり、xは、合同Cb-Cr成分を含む異なる色成分インデックスに関して異なる値を取り得る。
8.8.3 デブロッキングフィルタプロセス
8.8.3.1 概要
このプロセスへの入力は、デブロッキング前の再構築されたピクチャ、すなわち、配列recPictureL、ならびに、ChromaArrayTypeが0に等しくないときには、配列recPictureCbおよびrecPictureCrである。
このプロセスの出力は、デブロッキング後の修正された再構築されたピクチャ、すなわち、配列recPictureL、ならびに、ChromaArrayTypeが0に等しくないときには、配列recPictureCbおよびrecPictureCrである。
ピクチャ内の垂直エッジが、最初にフィルタリングされる。それから、垂直エッジのフィルタリングプロセスによって修正されたサンプルを入力として、ピクチャ内の水平エッジがフィルタリングされる。各CTUのCTB内の垂直エッジおよび水平エッジが、コーディングユニット単位で別々に処理される。コーディングユニット内のコーディングブロックの垂直エッジは、コーディングブロックの左側のエッジから開始して、コーディングブロックの右側に向かってエッジをそれらの幾何学的順序(geometrical order)で進みながらフィルタリングされる。コーディングユニット内のコーディングブロックの水平エッジは、コーディングブロックの上部のエッジから開始して、コーディングブロックの下部に向かってエッジをそれらの幾何学的順序で進みながらフィルタリングされる。
注- 本明細書においてはフィルタリングプロセスがピクチャ単位で規定されるが、デコーダが同じ出力値を生成するために処理の依存関係の順序を適切に考慮するならば、フィルタリングプロセスは、同等の結果を得ながらコーディングユニット単位で実施されることが可能である。
デブロッキングフィルタプロセスは、以下の種類のエッジを除く、ピクチャのすべてのコーディング下位ブロック(coding subblock)のエッジおよび変換ブロックのエッジに適用される。
- ピクチャの境界にあるエッジ
- サブピクチャインデックスsubpicIdxを有し、loop_filter_across_subpic_enabled_flag[ subpicIdx ]が0に等しいサブピクチャの境界と一致するエッジ
- VirtualBoundariesPresentFlagが1に等しいときに、ピクチャの仮想境界(virtual boundary)と一致するエッジ
- loop_filter_across_tiles_enabled_flagが0に等しいときに、タイルの境界と一致するエッジ
- loop_filter_across_slices_enabled_flagが0に等しいときに、スライスの境界と一致するエッジ
- slice_deblocking_filter_disabled_flagが1に等しいスライスの上境界または左境界と一致するエッジ。
- slice_deblocking_filter_disabled_flagが1に等しいスライス内のエッジ
- ルマ成分の4×4サンプルグリッドの境界に対応しないエッジ
- クロマ成分の8×8サンプルグリッドの境界に対応しないエッジ
- エッジの両側が1に等しいintra_bdpcm_luma_flagを有するルマ成分内のエッジ
- エッジの両側が1に等しいintra_bdpcm_chroma_flagを有するクロマ成分内のエッジ
- 関連する変換ユニットのエッジでないクロマ下位ブロックのエッジ
エッジの種類、垂直または水平は、表42に規定される変数edgeTypeによって表される。
Figure 2023512694000007
現在のスライスのslice_deblocking_filter_disabled_flagが0に等しいとき、以下が適用される。
- 変数treeTypeが、DUAL_TREE_LUMAに等しいように設定される。
- 変数treeType、デブロッキング前の再構築されたピクチャ、すなわち、配列recPictureL、およびEDGE_VERに等しいように設定された変数edgeTypeを入力とし、デブロッキング後の修正された再構築されたピクチャ、すなわち、配列recPictureLを出力として、8.8.3.2項において規定される一方向のためのデブロッキングフィルタプロセスを呼び出すことによって、垂直エッジがフィルタリングされる。
- 変数treeType、デブロッキング後の修正された再構築されたピクチャ、すなわち、配列recPictureL、およびEDGE_HORに等しいように設定された変数edgeTypeを入力とし、デブロッキング後の修正された再構築されたピクチャ、すなわち、配列recPictureLを出力として、8.8.3.2項において規定される一方向のためのデブロッキングフィルタプロセスを呼び出すことによって、水平エッジがフィルタリングされる。
- ChromaArrayTypeが0に等しくないとき、以下が適用される。
- 変数treeTypeが、DUAL_TREE_CHROMAに等しいように設定される。
- 変数treeType、デブロッキング前の再構築されたピクチャ、すなわち、配列recPictureCbおよび配列recPictureCr、ならびにEDGE_VERに等しいように設定された変数edgeTypeを入力とし、デブロッキング後の修正された再構築されたピクチャ、すなわち、配列recPictureCbおよびrecPictureCrを出力として、8.8.3.2項において規定される一方向のためのデブロッキングフィルタプロセスを呼び出すことによって、垂直エッジがフィルタリングされる。
- 変数treeType、デブロッキング後の修正された再構築されたピクチャ、すなわち、配列recPictureCbおよびrecPictureCr、ならびにEDGE_HORに等しいように設定された変数edgeTypeを入力とし、デブロッキング後の修正された再構築されたピクチャ、すなわち、配列recPictureCbおよびrecPictureCrを出力として、8.8.3.2項において規定される一方向のためのデブロッキングフィルタプロセスを呼び出すことによって、水平エッジがフィルタリングされる。
8.8.3.2 一方向のためのデブロッキングフィルタプロセス
このプロセスへの入力は、以下である。
- ルマ成分(DUAL_TREE_LUMA)が現在処理されているのかまたはクロマ成分(DUAL_TREE_CHROMA)が現在処理されているのかを指定する変数treeType
- treeTypeがDUAL_TREE_LUMAに等しいとき、デブロッキング前の再構築されたピクチャ、すなわち、配列recPictureL
- ChromaArrayTypeが0に等しくなく、treeTypeがDUAL_TREE_CHROMAに等しいとき、配列recPictureCbおよびrecPictureCr
- 垂直(EDGE_VER)エッジがフィルタリングされるのかまたは水平(EDGE_HOR)エッジがフィルタリングされるのかを指定する変数edgeType
このプロセスの出力は、デブロッキング後の修正された再構築されたピクチャ、すなわち、
- treeTypeがDUAL_TREE_LUMAに等しいとき、配列recPictureL
- ChromaArrayTypeが0に等しくなく、treeTypeがDUAL_TREE_CHROMAに等しいとき、配列recPictureCbおよびrecPictureCr
変数firstCompIdxおよびlastCompIdxが、以下のように導出される。
firstCompIdx = ( treeType == DUAL_TREE_CHROMA ) ? 1 : 0 (1244)
lastCompIdx = ( treeType == DUAL_TREE_LUMA || ChromaArrayType == 0 ) ? 0 : 2 (1245)
各コーディングユニットと、firstCompIdxおよびlastCompIdxを含んでfirstCompIdxからlastCompIdxまでの範囲の色成分インデックスcIdxによって示されるコーディングユニットの色成分毎の各コーディングブロックとに関して、コーディングブロックの幅nCbW、コーディングブロックの高さnCbH、およびコーディングブロックの左上のサンプルの位置( xCb, yCb )として、cIdxが0に等しいとき、またはcIdxが0に等しくなく、edgeTypeがEDGE_VERに等しく、xCb % 8が0に等しいとき、またはcIdxが0に等しくなく、edgeTypeがEDGE_HORに等しく、yCb % 8が0に等しいとき、エッジは、以下の順序付けられたステップによってフィルタリングされる。
変数filterEdgeFlagが、以下のように導出される。
- edgeTypeがEDGE_VERに等しく、下の条件のうちの1つまたは複数が真である場合、filterEdgeFlagは、0に等しいように設定される。
- 現在のコーディングブロックの左の境界が、ピクチャの左の境界である。
- 現在のコーディングブロックの左の境界が現在のサブピクチャの左の境界と一致し、loop_filter_across_subpic_enabled_flag[ CurrSubpicIdx ]またはloop_filter_across_subpic_enabled_flag[ subpicIdx ]が0に等しく、ここで、subpicIdxは、現在のコーディングブロックの左の境界がそのサブピクチャの右のサブピクチャ境界と一致するサブピクチャのサブピクチャインデックスである。
- 現在のコーディングブロックの左の境界が、タイルの左の境界であり、loop_filter_across_tiles_enabled_flagが、0に等しい。
- 現在のコーディングブロックの左の境界が、スライスの左の境界であり、loop_filter_across_slices_enabled_flagが、0に等しい。
- 現在のコーディングブロックの左の境界が、ピクチャの垂直仮想境界のうちの1つであり、VirtualBoundariesPresentFlagが、1に等しい。
- そうではなく、edgeTypeがEDGE_HORに等しく、下の条件のうちの1つまたは複数が真である場合、変数filterEdgeFlagは、0に等しいように設定される。
- 現在のルマコーディングブロックの上の境界が、ピクチャの上の境界である。
- 現在のコーディングブロックの上の境界が現在のサブピクチャの上の境界と一致し、loop_filter_across_subpic_enabled_flag[ CurrSubpicIdx ]またはloop_filter_across_subpic_enabled_flag[ subpicIdx ]が0に等しく、ここで、subpicIdxは、現在のコーディングブロックの上の境界がそのサブピクチャの下のサブピクチャ境界と一致するサブピクチャのサブピクチャインデックスである。
- 現在のコーディングブロックの上の境界が、タイルの上の境界であり、loop_filter_across_tiles_enabled_flagが、0に等しい。
- 現在のコーディングブロックの上の境界が、スライスの上の境界であり、loop_filter_across_slices_enabled_flagが、0に等しい。
- 現在のコーディングブロックの上の境界が、ピクチャの水平仮想境界のうちの1つであり、VirtualBoundariesPresentFlagが、1に等しい。
- それ以外の場合、filterEdgeFlagは、1に等しいように設定される。
(nCbW)x(nCbH)の2次元配列edgeFlags、maxFilterLengthQs、およびmaxFilterlengthPsのすべての要素が、0に等しいように初期化される。
8.8.3.3項において規定される変換ブロックの境界の導出プロセスが、位置( xCb, yCb )、コーディングブロックの幅nCbW、コーディングブロックの高さnCbH、変数cIdx、変数filterEdgeFlag、配列edgeFlags、最大フィルタ長配列maxFilterLengthPsおよびmaxFilterLengthQs、ならびに変数edgeTypeを入力とし、修正された配列edgeFlags、修正された最大フィルタ長配列maxFilterLengthPsおよびmaxFilterLengthQsを出力として呼び出される。
cIdxが0に等しいとき、8.8.3.4項において規定されるコーディング下位ブロック境界の導出プロセスが、位置( xCb, yCb )、コーディングブロックの幅nCbW、コーディングブロックの高さnCbH、配列edgeFlags、最大フィルタ長配列maxFilterLengthPsおよびmaxFilterLengthQs、ならびに変数edgeTypeを入力とし、修正された配列edgeFlags、修正された最大フィルタ長配列maxFilterLengthPsおよびmaxFilterLengthQsを出力として呼び出される。
ピクチャサンプル配列recPictureが、以下のように導出される。
- cIdxが0に等しい場合、recPictureは、デブロッキング前の再構築されたルマピクチャサンプル配列recPictureLに等しいように設定される。
- そうではなく、cIdxが1に等しい場合、recPictureは、デブロッキング前の再構築されたクロマピクチャサンプル配列recPictureCbに等しいように設定される。
- それ以外の場合(cIdxが2に等しい場合)、recPictureは、デブロッキング前の再構築されたクロマピクチャサンプル配列recPictureCrに等しいように設定される。
8.8.3.5項において規定される境界フィルタリング強度(boundary filtering strength)の導出プロセスが、ピクチャサンプル配列recPicture、ルマ位置( xCb, yCb )、コーディングブロックの幅nCbW、コーディングブロックの高さnCbH、変数edgeType、変数cIdx、および配列edgeFlagsを入力とし、(nCbW)x(nCbH)配列bSを出力として呼び出される。
一方向のためのエッジフィルタリングプロセスが、変数edgeType、変数cIdx、デブロッキング前の再構築されたピクチャrecPicture、位置( xCb, yCb )、コーディングブロックの幅nCbW、コーディングブロックの高さnCbH、ならびに配列bS、maxFilterLengthPs、およびmaxFilterLengthQsを入力とし、修正された再構築されたピクチャrecPictureを出力として、8.8.3.6項において規定されるように、コーディングブロックのために呼び出される。
8.8.3.3 変換ブロックの境界の導出プロセス
このプロセスへの入力は、以下である。
- 現在のピクチャの左上のサンプルを基準として現在のコーディングブロックの左上のサンプルを指定する位置( xCb, yCb )
- 現在のコーディングブロックの幅を指定する変数nCbW
- 現在のコーディングブロックの高さを指定する変数nCbH
- 現在のコーディングブロックの色成分を指定する変数cIdx
- 変数filterEdgeFlag
- (nCbW)x(nCbH)の2次元配列edgeFlags
- (nCbW)x(nCbH)の2次元配列maxFilterLengthQsおよびmaxFilterLengthPs
- 垂直(EDGE_VER)エッジがフィルタリングされるのかまたは水平(EDGE_HOR)エッジがフィルタリングされるのかを指定する変数edgeType
このプロセスの出力は、以下である。
- 修正された(nCbW)x(nCbH)の2次元配列edgeFlags
- 修正された(nCbW)x(nCbH)の2次元配列maxFilterLengthQs、maxFilterLengthPs
edgeTypeに応じて、配列edgeFlags、maxFilterLengthPs、およびmaxFilterLengthQsは、以下のように導出される。
- 変数gridSizeが、以下のように設定される。
gridSize = cIdx == 0 ? 4 : 8 (1246)
- edgeTypeがEDGE_VERに等しい場合、以下が適用される。
- 変数numEdgesが、Max( 1, nCbW / gridSize )に等しいように設定される。
- xEdge = 0..numEdges - 1およびy = 0..nCbH - 1に対して、以下が適用される。
- 現在のコーディングブロック内の水平位置xが、xEdge * gridSizeに等しいように設定される。
- edgeFlags[ x ][ y ]の値が、以下のように導出される。
- VirtualBoundariesPresentFlagが1に等しく、( xCb + x )が任意のn = 0..NumVerVirtualBoundaries - 1のVirtualBoundariesPosX[ n ]に等しい場合、edgeFlags[ x ][ y ]は、0に等しいように設定される。
- そうではなく、xが0に等しい場合、edgeFlags[ x ][ y ]は、filterEdgeFlagに等しいように設定される。
- そうではなく、位置( xCb + x, yCb + y )が変換ブロックのエッジにある場合、edgeFlags[ x ][ y ]は、1に等しいように設定される。
- edgeFlags[ x ][ y ]が1に等しいとき、以下が適用される。
- cIdxが0に等しい場合、以下が適用される。
- maxFilterLengthQs[ x ][ y ]の値が、以下のように導出される。
- ルマ位置( xCb + x, yCb + y )の変換ブロックのルマサンプル数で表された幅が4以下であるか、またはルマ位置( xCb + x - 1, yCb + y )の変換ブロックのルマサンプル数で表された幅が4以下である場合、maxFilterLengthQs[ x ][ y ]は、1に等しいように設定される。
- そうではなく、ルマ位置( xCb + x, yCb + y )の変換ブロックのルマサンプル数で表された幅が32以上である場合、maxFilterLengthQs[ x ][ y ]は、7に等しいように設定される。
- それ以外の場合、maxFilterLengthQs[ x ][ y ]は、3に等しいように設定される。
- maxFilterLengthPs[ x ][ y ]の値が、以下のように導出される。
- ルマ位置( xCb + x, yCb + y )の変換ブロックのルマサンプル数で表された幅が4以下であるか、またはルマ位置( xCb + x - 1, yCb + y )の変換ブロックのルマサンプル数で表された幅が4以下である場合、maxFilterLengthPs[ x ][ y ]は、1に等しいように設定される。
- そうではなく、ルマ位置( xCb + x - 1, yCb + y )の変換ブロックのルマサンプル数で表された幅が32以上である場合、maxFilterLengthPs[ x ][ y ]は、7に等しいように設定される。
- それ以外の場合、maxFilterLengthPs[ x ][ y ]は、3に等しいように設定される。
- それ以外の場合(cIdxが0に等しくない場合)、maxFilterLengthPs[ x][ y ]およびmaxFilterLengthQs[ x ][ y ]の値が、以下のように導出される。
- クロマ位置( xCb + x, yCb + y )の変換ブロックのクロマサンプル数で表された幅とクロマ位置( xCb + x - 1, yCb + y )の幅との両方が8以上である場合、maxFilterLengthPs[ x ][ y ]およびmaxFilterLengthQs[ x ][ y ]は、3に等しいように設定される。
- それ以外の場合、maxFilterLengthPs[ x ][ y ]およびmaxFilterLengthQs[ x ][ y ]は、1に等しいように設定される。
- それ以外の場合(edgeTypeがEDGE_HORに等しい場合)、以下が適用される。
- 変数numEdgesが、Max( 1, nCbH / gridSize )に等しいように設定される。
- yEdge = 0..numEdges - 1およびx = 0..nCbW - 1に対して、以下が適用される。
- 現在のコーディングブロック内の垂直位置yが、yEdge * gridSizeに等しいように設定される。
- edgeFlags[ x ][ y ]の値が、以下のように導出される。
- VirtualBoundariesPresentFlagが1に等しく、( yCb + y )が任意のn = 0..NumHorVirtualBoundaries - 1のVirtualBoundariesPosY[ n ]に等しい場合、edgeFlags[ x ][ y ]は、0に等しいように設定される。
- そうではなく、yが0に等しい場合、edgeFlags[ x ][ y ]は、filterEdgeFlagに等しいように設定される。
- そうではなく、位置( xCb + x, yCb + y )が変換ブロックのエッジにある場合、edgeFlags[ x ][ y ]は、1に等しいように設定される。
- edgeFlags[ x ][ y ]が1に等しいとき、以下が適用される。
- cIdxが0に等しい場合、以下が適用される。
- maxFilterLengthQs[ x ][ y ]の値が、以下のように導出される。
- ルマ位置( xCb + x, yCb + y )の変換ブロックのルマサンプル数で表された高さが4以下であるか、またはルマ位置( xCb + x, yCb + y - 1 )の変換ブロックのルマサンプル数で表された高さが4以下である場合、maxFilterLengthQs[ x ][ y ]は、1に等しいように設定される。
- そうではなく、ルマ位置( xCb + x, yCb + y )の変換ブロックのルマサンプル数で表された高さが32以上である場合、maxFilterLengthQs[ x ][ y ]は、7に等しいように設定される。
- それ以外の場合、maxFilterLengthQs[ x ][ y ]は、3に等しいように設定される。
- maxFilterLengthPs[ x ][ y ]の値が、以下のように導出される。
- ルマ位置( xCb + x, yCb + y )の変換ブロックのルマサンプル数で表された高さが4以下であるか、またはルマ位置( xCb + x, yCb + y - 1 )の変換ブロックのルマサンプル数で表された高さが4以下である場合、maxFilterLengthPs[ x ][ y ]は、1に等しいように設定される。
- そうではなく、ルマ位置( xCb + x, yCb + y - 1)の変換ブロックのルマサンプル数で表された高さが32以上である場合、maxFilterLengthPs[ x ][ y ]は、7に等しいように設定される。
- それ以外の場合、maxFilterLengthPs[ x ][ y ]は、3に等しいように設定される。
- それ以外の場合(cIdxが0に等しくない場合)、maxFilterLengthPs[ x][ y ]およびmaxFilterLengthQs[ x ][ y ]の値が、以下のように導出される。
- クロマ位置( xCb + x, yCb + y )の変換ブロックのクロマサンプル数で表された高さおよびクロマ位置( xCb + x, yCb + y - 1 )の変換ブロックのクロマサンプル数で表された高さが両方とも8以上である場合、以下が適用される。
- ( yCb + y ) % CtbHeightCが0より大きい場合、すなわち、水平エッジがクロマCTBの上の境界と重ならない場合、maxFilterLengthPs[ x ][ y ]とmaxFilterLengthQs[ x ][ y ]との両方は、3に等しいように設定される。
- それ以外の場合( ( yCb + y ) % CtbHeightCが0に等しい、すなわち、水平エッジがクロマCTBの上の境界と重なる場合)、maxFilterLengthPs[ x ][ y ]は1に等しいように設定され、maxFilterLengthQs[ x ][ y ]は、3に等しいように設定される。
- それ以外の場合、maxFilterLengthPs[ x][ y ]およびmaxFilterLengthQs[ x ][ y ]は、1に等しいように設定される。
8.8.3.4 コーディング下位ブロックの境界の導出プロセス
このプロセスへの入力は、以下である。
- 現在のピクチャの左上のサンプルを基準として現在のコーディングブロックの左上のサンプルを指定する位置( xCb, yCb )
- 現在のコーディングブロックの幅を指定する変数nCbW
- 現在のコーディングブロックの高さを指定する変数nCbH
- (nCbW)x(nCbH)の2次元配列edgeFlags
- (nCbW)x(nCbH)の2次元配列maxFilterLengthQsおよびmaxFilterLengthPs
- 垂直(EDGE_VER)エッジがフィルタリングされるのかまたは水平(EDGE_HOR)エッジがフィルタリングされるのかを指定する変数edgeType
このプロセスの出力は、以下である。
- 修正された(nCbW)x(nCbH)の2次元配列edgeFlags
- 修正された(nCbW)x(nCbH)の2次元配列maxFilterLengthQsおよびmaxFilterLengthPs
水平方向のコーディング下位ブロックの数numSbXおよび垂直方向のコーディング下位ブロックの数numSbYが、以下のように導出される。
- inter_affine_flag[ xCb ][ yCb ]が1に等しいか、またはmerge_subblock_flag[ xCb ][ yCb ]が1に等しい場合、numSbXおよびnumSbYは、それぞれ、NumSbX[ xCb ][ yCb ]およびNumSbY[ xCb ][ yCb ]に等しいように設定される。
- それ以外の場合、numSbXおよびnumSbYは、両方とも1に等しいように設定される。
edgeTypeの値に応じて、以下が適用される。
- edgeTypeがEDGE_VERに等しい場合、以下が適用される。
- 変数sbWが、Max( 8, nCbW / numSbX )に等しいように設定される。
- 配列edgeTbFlagsが、edgeFlagsに等しいように設定される。
- xEdge = 0..min( ( nCbW / 8 ) - 1, numSbX - 1)、y = 0..nCbH - 1に対して、
- 現在のコーディングブロック内の水平位置xが、xEdge * sbWに等しいように設定される。
- edgeFlags[ x ][ y ]の値が、以下のように導出される。
- VirtualBoundariesPresentFlagが1に等しく、xが任意のn = 0..NumVerVirtualBoundaries - 1のVirtualBoundariesPosX[ n ]に等しい場合、以下が適用される。
edgeFlags[ x ][ y ] = 0 (1247)
- それ以外の場合、以下が適用される。
edgeFlags[ x ][ y ] = 2 (1248)
- edgeFlags[ x ][ y ]が1または2に等しいとき、maxFilterLengthPs[ x ][ y ]およびmaxFilterLengthQs[ x ][ y ]の値が、以下のように修正される。
- xが0に等しい場合、以下が適用される。
- numSbXが1より大きいとき、以下が適用される。
maxFilterLengthQs[ x ][ y ] = Min( 5, maxFilterLengthQs[ x ][ y ] ) (1249)
- inter_affine_flag[ xCb - 1 ][ yCb + y ]が1に等しいか、またはmerge_subblock_flag[ xCb - 1 ][ yCb + y ]が1に等しいとき、以下が適用される。
maxFilterLengthPs[ x ][ y ] = Min( 5, maxFilterLengthPs[ x ][ y ] ) (1250)
- そうではなく、edgeTbFlags[ x ][ y ]が1に等しいとき、以下が適用される。
maxFilterLengthPs[ x ][ y ] = Min( 5, maxFilterLengthPs[ x ][ y ] ) (1251)
maxFilterLengthQs[ x ][ y ] = Min( 5, maxFilterLengthQs[ x ][ y ] ) (1252)
- そうではなく、以下の条件のうちの1つまたは複数が真である場合、
- ( x + 4 )がnCbW以上である
- edgeTbFlags[ x - 4 ][ y ]が1に等しい
- edgeTbFlags[ x + 4 ][ y ]が1に等しい
以下が、適用される。
maxFilterLengthPs[ x ][ y ] = 1 (1253)
maxFilterLengthQs[ x ][ y ] = 1 (1254)
- そうではなく、以下の条件のうちの1つまたは複数が真である場合、
- xEdgeが1に等しい
- xEdgeが( nCbW / 8 ) - 1に等しい
- edgeTbFlags[ x - sbW ][ y ]が1に等しい
- edgeTbFlags[ x + sbW ][ y ]が1に等しい
以下が、適用される。
maxFilterLengthPs[ x ][ y ] = 2 (1255)
maxFilterLengthQs[ x ][ y ] = 2 (1256)
- それ以外の場合、以下が適用される。
maxFilterLengthPs[ x ][ y ] = 3 (1257)
maxFilterLengthQs[ x ][ y ] = 3 (1258)
- そうではなく、edgeTypeがEDGE_HORに等しい場合、以下が適用される。
- 変数sbHが、Max( 8, nCbH / numSbY )に等しいように設定される。
- 配列edgeTbFlagsが、edgeFlagsに等しいように設定される。
- yEdge = 0..min( ( nCbH / 8 ) - 1, numSbY - 1 )、x = 0...nCbW - 1に対して、
- 現在のコーディングブロック内の垂直位置yが、yEdge * sbHに等しいように設定される。
- edgeFlags[ x ][ y ]の値が、以下のように導出される。
- VirtualBoundariesPresentFlagが1に等しく、yが任意のn = 0..NumHorVirtualBoundaries - 1のVirtualBoundariesPosY[ n ]に等しい場合、以下が適用される。
edgeFlags[ x ][ y ] = 0 (1259)
- それ以外の場合、以下が適用される。
edgeFlags[ x ][ y ] = 2 (1260)
- edgeFlags[ x ][ y ]が1または2に等しいとき、maxFilterLengthPs[ x][ y ]およびmaxFilterLengthQs[ x ][ y ]の値が、以下のように修正される。
- yが0に等しい場合、以下が適用される。
- numSbYが1より大きいとき、以下が適用される。
maxFilterLengthQs[ x ][ y ] = Min( 5, maxFilterLengthQs[ x ][ y ] ) (1261)
- inter_affine_flag[ xCb + x ][ yCb - 1 ] が1に等しいか、またはmerge_subblock_flag[ xCb + x ][ yCb - 1 ]が1に等しいとき、以下が適用される。
maxFilterLengthPs[ x ][ y ] = Min( 5, maxFilterLengthPs[ x ][ y ] ) (1262)
- そうではなく、edgeTbFlags[ x ][ y ]が1に等しいとき、以下が適用される。
maxFilterLengthPs[ x ][ y ] = Min( 5, maxFilterLengthPs[ x ][ y ] ) (1263)
maxFilterLengthQs[ x ][ y ] = Min( 5, maxFilterLengthQs[ x ][ y ] ) (1264)
- そうではなく、以下の条件のうちの1つまたは複数が真である場合、
- ( y + 4 )がnCbH以上である
- edgeTbFlags[ x ][ y - 4 ]が1に等しい
- edgeTbFlags[ x ][ y + 4 ]が1に等しい
以下が、適用される。
maxFilterLengthPs[ x ][ y ] = 1 (1265)
maxFilterLengthQs[ x ][ y ] = 1 (1266)
- そうではなく、以下の条件のうちの1つまたは複数が真である場合、
- yEdgeが1に等しい
- yEdgeが( nCbH / 8 ) - 1に等しい
- edgeTbFlags[ x ][ y - sbH ]が1に等しい
- edgeTbFlags[ x ][ y + sbH ]が1に等しい
以下が、適用される。
maxFilterLengthPs[ x ][ y ] = 2 (1267)
maxFilterLengthQs[ x ][ y ] = 2 (1268)
- それ以外の場合、以下が適用される。
maxFilterLengthPs[ x ][ y ] = 3 (1269)
maxFilterLengthQs[ x ][ y ] = 3 (1270)
8.8.3.5 境界フィルタリング強度の導出プロセス
このプロセスへの入力は、以下である。
- ピクチャサンプル配列recPicture
- 現在のピクチャの左上のサンプルを基準として現在のコーディングブロックの左上のサンプルを指定する位置( xCb, yCb )
- 現在のコーディングブロックの幅を指定する変数nCbW
- 現在のコーディングブロックの高さを指定する変数nCbH
- 垂直(EDGE_VER)エッジがフィルタリングされるのかまたは水平(EDGE_HOR)エッジがフィルタリングされるのかを指定する変数edgeType
- 現在のコーディングブロックの色成分を指定する変数cIdx
- (nCbW)x(nCbH)の2次元配列edgeFlags
このプロセスの出力は、境界フィルタリング強度を指定する(nCbW)x(nCbH)の2次元配列bSである。
変数xDi、yDj、xN、およびyNが、以下のように導出される。
- 変数gridSizeが、以下のように設定される。
gridSize = cIdx == 0 ? 4 : 8 (1271)
- edgeTypeがEDGE_VERに等しい場合、
xDi = ( i * gridSize ) (1272)
yDj = cIdx == 0 ? ( j << 2 ) : ( j << 1 ) (1273)
xNがMax( 0, ( nCbW / gridSize ) - 1 )に等しいように設定される (1274)
yN = cIdx == 0 ? ( nCbH / 4 ) - 1 : ( nCbH / 2 ) - 1 (1275)
- それ以外の場合(edgeTypeがEDGE_HORに等しい場合)、
xDi = cIdx == 0 ? ( i << 2 ) : ( i << 1 ) (1276)
yDj = j * gridSize (1277)
xN = cIdx == 0 ? ( nCbW / 4 ) - 1 : ( nCbW / 2 ) - 1 (1278)
yN = Max( 0, ( nCbH / gridSize ) - 1 ) (1279)
i = 0..xNであるxDiおよびj = 0..yNであるyDjに対して、以下が適用される。
- edgeFlags[ xDi ][ yDj ]が0に等しい場合、変数bS[ xDi ][ yDj ]が、0に等しいように設定される。
- それ以外の場合、以下が適用される。
- サンプル値p0およびq0が、以下のように導出される。
- edgeTypeがEDGE_VERに等しい場合、p0は、recPicture[ xCb + xDi - 1 ][ yCb + yDj ]に等しいように設定され、q0は、recPicture[ xCb + xDi ][ yCb + yDj ]に等しいように設定される。
- それ以外の場合(edgeTypeがEDGE_HORに等しい場合)、p0は、recPicture[ xCb + xDi ][ yCb + yDj - 1 ]に等しいように設定され、q0は、recPicture[ xCb + xDi ][ yCb + yDj ]に等しいように設定される。
- 変数bS[ xDi ][ yDj ]が、以下のように導出される。
- cIdxが0に等しく、サンプルp0とq0との両方がintra_bdpcm_luma_flagが1に等しいコーディングブロック内にある場合、bS[ xDi ][ yDj ]は、0に等しいように設定される。
- そうではなく、cIdxが0より大きく、サンプルp0とq0との両方がintra_bdpcm_chroma_flagが1に等しいコーディングブロック内にある場合、bS[ xDi ][ yDj ]は、0に等しいように設定される。
- そうではなく、サンプルp0またはq0がイントラ予測モードでコーディングされたコーディングユニットのコーディングブロック内にある場合、bS[ xDi ][ yDj ]は、2に等しいように設定される。
- そうではなく、ブロックのエッジがコーディングブロックのエッジでもあり、サンプルp0またはq0がciip_flagが1に等しいコーディングブロック内にある場合、bS[ xDi ][ yDj ]は、2に等しいように設定される。
- そうではなく、ブロックのエッジが変換ブロックのエッジでもあり、サンプルp0またはq0が1つまたは複数の非ゼロの変換係数レベルを含む変換ブロック内にある場合、bS[ xDi ][ yDj ]は、1に等しいように設定される。
- そうではなく、サンプルp0を含むコーディング下位ブロックの予測モードがサンプルq0を含むコーディング下位ブロックの予測モードと異なる(すなわち、コーディング下位ブロックのうちの一方がIBC予測モードでコーディングされ、他方がインター予測モードでコーディングされる)場合、bS[ xDi ][ yDj ]は、1に等しいように設定される。
- そうではなく、cIdxが0に等しく、edgeFlags[ xDi ][ yDj ]が2に等しく、以下の条件のうちの1つまたは複数が真である場合、bS[ xDi ][ yDj ]は、1に等しいように設定される。
- サンプルp0を含むコーディング下位ブロックとサンプルq0を含むコーディング下位ブロックが、両方ともIBC予測モードでコーディングされ、2つのコーディング下位ブロックの予測に用いられるブロックベクトルの水平または垂直成分の間の絶対差が、1/16ルマサンプル単位で8以上である。
- サンプルp0を含むコーディング下位ブロックの予測のために、サンプルq0を含むコーディング下位ブロックの予測とは異なる参照ピクチャまたは異なる数の動きベクトルが使用される。
注1- 2つのコーディング下位ブロックのために使用される参照ピクチャが同じであるのかまたは異なるのかの判定は、予測が参照ピクチャリスト0のインデックスを使用して形成されるのかまたは参照ピクチャリスト1のインデックスを使用して形成されるのかに無関係に、および参照ピクチャリスト内のインデックスの位置が異なるかどうかにも無関係に、どのピクチャが参照されるかにのみ基づく。
注2- 左上のサンプルが( xSb, ySb )をカバーするコーディング下位ブロックの予測のために使用される動きベクトルの数は、PredFlagL0[ xSb ][ ySb ] + PredFlagL1[ xSb ][ ySb ]に等しい。
- 1つの動きベクトルが、サンプルp0を含むコーディング下位ブロックを予測するために使用され、1つの動きベクトルが、サンプルq0を含むコーディング下位ブロックを予測するために使用され、使用される動きベクトルの水平または垂直成分の間の絶対差が、1/16ルマサンプル単位で8以上である。
- 2つの動きベクトルおよび2つの異なる参照ピクチャが、サンプルp0を含むコーディング下位ブロックを予測するために使用され、同じ2つの参照ピクチャに関する2つの動きベクトルが、サンプルq0を含むコーディング下位ブロックを予測するために使用され、同じ参照ピクチャに関する2つのコーディング下位ブロックの予測に使用される2つの動きベクトルの水平または垂直成分の間の絶対差が、1/16ルマサンプル単位で8以上である。
- 同じ参照ピクチャに関する2つの動きベクトルが、サンプルp0を含むコーディング下位ブロックを予測するために使用され、同じ参照ピクチャに関する2つの動きベクトルが、サンプルq0を含むコーディング下位ブロックを予測するために使用され、以下の条件の両方が真である。
- 2つのコーディング下位ブロックの予測に使用されるリスト0の動きベクトルの水平もしくは垂直成分の間の絶対差が、1/16ルマサンプル単位で8以上であるか、または2つのコーディング下位ブロックの予測に使用されるリスト1の動きベクトルの水平もしくは垂直成分の間の絶対差が、1/16ルマサンプル単位で8以上である。
- サンプルp0を含むコーディング下位ブロックの予測に使用されるリスト0の動きベクトルと、サンプルq0を含むコーディング下位ブロックの予測に使用されるリスト1の動きベクトルとの水平もしくは垂直成分の間の絶対差が、1/16ルマサンプル単位で8以上であるか、またはサンプルp0を含むコーディング下位ブロックの予測に使用されるリスト1の動きベクトルと、サンプルq0を含むコーディング下位ブロックの予測に使用されるリスト0の動きベクトルとの水平もしくは垂直成分の間の絶対差が、1/16ルマサンプル単位で8以上である。
- それ以外の場合、変数bS[ xDi ][ yDj ]は、0に等しいように設定される。
8.8.3.6 一方向のためのエッジフィルタリングプロセス
このプロセスへの入力は、以下である。
- 垂直エッジ(EDGE_VER)が現在処理されているのかまたは水平エッジ(EDGE_HOR)が現在処理されているのかを指定する変数edgeType
- 現在の色成分を指定する変数cIdx
- デブロッキング前の再構築されたピクチャrecPicture
- 現在のピクチャの左上のサンプルを基準として現在のコーディングブロックの左上のサンプルを指定する位置( xCb, yCb )
- 現在のコーディングブロックの幅を指定する変数nCbW
- 現在のコーディングブロックの高さを指定する変数nCbH
- 境界の強度を指定する配列bS
- 配列maxFilterLengthPsおよびmaxFilterLengthQs
このプロセスの出力は、デブロッキング後の修正された再構築されたピクチャrecPictureである。
エッジフィルタリングプロセスのために、以下が適用される。
- 変数gridSizeが、以下のように設定される。
gridSize = cIdx == 0 ? 4 : 8 (1280)
- 変数subW、subH、xN、yNが、以下のように導出される。
subW = cIdx == 0 ? 1 : SubWidthC (1281)
subH = cIdx == 0 ? 1 : SubHeightC (1282)
xN = edgeType == EDGE_VER ? Max( 0, ( nCbW / gridSize ) - 1 ) : ( nCbW / 4 / subW ) - 1 (1283)
yN = edgeType == EDGE_VER ? ( nCbH / 4 / subH ) - 1 : Max( 0, ( nCbH / gridSize ) - 1 ) (1284)
- k = 0..xNである変数xDkおよびm = 0..yNである変数yDmが、以下のように導出される。
xDk = edgeType == EDGE_VER ? ( k * gridSize ) : ( k << ( 2 / subW ) ) (1285)
yDm = edgeType == EDGE_VER ? ( m << ( 2 / subH ) ) : ( m * gridSize ) (1286)
- k = 0..xNであるxDkおよびm = 0..yNであるyDmに関して、以下が適用される。
- bS[ xDk ][ yDm ]が0より大きいとき、以下の順序付けられたステップが適用される。
- cIdxが0に等しい場合、現在のコーディングユニットのルマコーディングブロック内のエッジのためのフィルタリングプロセスは、以下の順序付けられたステップからなる。
1. 8.8.3.6.1項において規定されるルマブロックのエッジのための判断プロセスが、ルマピクチャサンプル配列recPicture、ルマコーディングブロックの位置( xCb, yCb )、( xDk, yDm )に等しいように設定されたブロックのルマ位置( xBl, yBl )、エッジの方向edgeType、境界フィルタリング強度bS[ xDk ][ yDm ]、maxFilterLengthPs[ xDk ][ yDm ]に等しいように設定された最大フィルタ長maxFilterLengthP、およびmaxFilterLengthQs[ xDk ][ yDm ]に等しいように設定された最大フィルタ長maxFilterLengthQを入力とし、判断dE、dEp、およびdEq、修正された最大フィルタ長maxFilterLengthPおよびmaxFilterLengthQ、ならびに変数tCを出力として呼び出される。
2. 8.8.3.6.2項において規定されるブロックのエッジのためのフィルタリングプロセスが、ルマピクチャサンプル配列recPicture、ルマコーディングブロックの位置( xCb, yCb )、( xDk, yDm )に等しいように設定されたブロックのルマ位置( xBl, yBl )、エッジの方向edgeType、判断dE、dEp、およびdEq、最大フィルタ長maxFilterLengthPおよびmaxFilterLengthQ、ならびに変数tCを入力とし、修正されたルマピクチャサンプル配列recPictureを出力として呼び出される。
- それ以外の場合(cIdxが0に等しくない場合)、cIdxによって指定された現在のコーディングユニットのクロマコーディングブロック内のエッジのためのフィルタリングプロセスは、以下の順序付けられたステップからなる。
1. 8.8.3.6.3項において規定されるクロマブロックのエッジのための判断プロセスが、クロマピクチャサンプル配列recPicture、クロマコーディングブロックの位置( xCb, yCb )、( xDk, yDm )に等しいように設定されたクロマブロックの位置( xBl, yBl )、エッジの方向edgeType、変数cIdx、境界フィルタリング強度bS[ xDk ][ yDm ]、maxFilterLengthPs[ xDk ][ yDm ]に等しいように設定された最大フィルタ長maxFilterLengthP、およびmaxFilterLengthQs[ xDk ][ yDm ]に等しいように設定された最大フィルタ長maxFilterLengthQを入力とし、修正された最大フィルタ長maxFilterLengthPおよびmaxFilterLengthQ、ならびに変数tCを出力として呼び出される。
2. maxFilterLengthQが0より大きいとき、8.8.3.6.4項において規定されるクロマブロックのエッジのためのフィルタリングプロセスが、クロマピクチャサンプル配列recPicture、クロマコーディングブロックの位置( xCb, yCb )、( xDk, yDm )に等しいように設定されたブロックのクロマ位置( xBl, yBl )、エッジの方向edgeType、変数tC、最大フィルタ長maxFilterLengthPおよびmaxFilterLengthQを入力とし、修正されたクロマピクチャサンプル配列recPictureを出力として呼び出される。
8.8.3.6.1 ルマブロックのエッジのための判断プロセス
このプロセスへの入力は、以下である。
- ピクチャサンプル配列recPicture
- 現在のピクチャの左上のサンプルを基準として現在のコーディングブロックの左上のサンプルを指定する位置( xCb, yCb )
- 現在のコーディングブロックの左上のサンプルを基準として現在のブロックの左上のサンプルを指定する位置( xBl, yBl )
- 垂直(EDGE_VER)エッジがフィルタリングされるのかまたは水平(EDGE_HOR)エッジがフィルタリングされるのかを指定する変数edgeType
- 境界フィルタリング強度を指定する変数bS
- 最大フィルタ長を指定する変数maxFilterLengthP
- 最大フィルタ長を指定する変数maxFilterLengthQ
このプロセスの出力は、以下である。
- 判断を含む変数dE、dEp、およびdEq
- 修正されたフィルタ長変数maxFilterLengthPおよびmaxFilterLengthQ
- 変数tC
i = 0..Max( 2, maxFilterLengthP )、j = 0..Max( 2, maxFilterLengthQ )、ならびにk = 0および3であるサンプル値pi,kおよびqj,kが、以下のように導出される。
- edgeTypeがEDGE_VERに等しい場合、以下が適用される。
qj,k = recPicture[ xCb + xBl + j ][ yCb + yBl + k ] (1287)
pi,k = recPicture[ xCb + xBl - i - 1 ][ yCb + yBl + k ] (1288)
- それ以外の場合(edgeTypeがEDGE_HORに等しい場合)、以下が適用される。
qj,k = recPicture[ xCb + xBl + k ][ yCb + yBl + j ] (1289)
pi,k = recPicture[ xCb + xBl + k ][ yCb + yBl - i - 1 ] (1290)
変数qpOffsetが、以下のように導出される。
- sps_ladf_enabled_flagが1に等しい場合、以下が適用される。
- 再構築されたルマレベルの変数lumaLevelが、以下のように導出される。
lumaLevel = ( ( p0,0 + p0,3 + q0,0 + q0,3 ) >> 2 ) (1291)
- 変数qpOffsetが、sps_ladf_lowest_interval_qp_offsetに等しいように設定され、以下のように修正される。
for( i = 0; i < sps_num_ladf_intervals_minus2 + 1; i++ ) {
if( lumaLevel > SpsLadfIntervalLowerBound[ i + 1 ] )
qpOffset = sps_ladf_qp_offset[ i ] (1292)
else
break
}
- それ以外の場合、qpOffsetが、0に等しいように設定される。
変数QpQおよびQpPが、それぞれ、サンプルq0,0およびp0,0を含むコーディングブロックを含むコーディングユニットのQpYの値に等しいように設定される。
変数qPが、以下のように導出される。
qP = ( ( QpQ + QpP + 1 ) >> 1 ) + qpOffset (1293)
変数β'の値が、以下のように導出される量子化パラメータQに基づいて、表43に規定されるように決定される。
Q = Clip3( 0, 63, qP + ( slice_beta_offset_div2 << 1 ) ) (1294)
式中、slice_beta_offset_div2は、サンプルq0,0を含むスライスに関するシンタックス要素slice_beta_offset_div2の値である。
変数βが、以下のように導出される。
β=β' * ( 1 << ( BitDepth - 8 ) ) (1295)
変数tC'の値が、以下のように導出される量子化パラメータQに基づいて、表43に規定されるように決定される。
Q = Clip3( 0, 65, qP + 2 * ( bS - 1 ) + ( slice_tc_offset_div2 << 1 ) ) (1296)
式中、slice_tc_offset_div2は、サンプルq0,0を含むスライスに関するシンタックス要素slice_tc_offset_div2の値である。
変数tCが、以下のように導出される。
tC = BitDepth < 10 ? ( tC' + 2 ) >> ( 10 - BitDepth ) : tC' * ( 1 << ( BitDepth - 10 ) ) (1297)
以下の順序付けられたステップが適用される。
変数dp0、dp3、dq0、およびdq3が、以下のように導出される。
dp0 = Abs( p2,0 - 2 * p1,0 + p0,0 ) (1298)
dp3 = Abs( p2,3 - 2 * p1,3 + p0,3 ) (1299)
dq0 = Abs( q2,0 - 2 * q1,0 + q0,0 ) (1300)
dq3 = Abs( q2,3 - 2 * q1,3 + q0,3 ) (1301)
maxFilterLengthPおよびmaxFilterLengthQが両方とも3以上であるとき、変数sp0、sq0、spq0、sp3、sq3、およびspq3が、以下のように導出される。
sp0 = Abs( p3,0 - p0,0 ) (1302)
sq0 = Abs( q0,0 - q3,0 ) (1303)
spq0 = Abs( p0,0 - q0,0 ) (1304)
sp3 = Abs( p3,3 - p0,3 ) (1305)
sq3 = Abs( q0,3 - q3,3 ) (1306)
spq3 = Abs( p0,3 - q0,3 ) (1307)
1. 変数sidePisLargeBlkおよびsideQisLargeBlkが、0に等しいように設定される。
maxFilterLengthPが3より大きいとき、sidePisLargeBlkが、1に等しいように設定される。
maxFilterLengthQが3より大きいとき、sideQisLargeBlkが、1に等しいように設定される。
edgeTypeがEDGE_HORに等しく、(yCb + yBl ) % CtbSizeYが0に等しいとき、sidePisLargeBlkが、0に等しいように設定される。
変数dSam0およびdSam3が、0に初期化される。
sidePisLargeBlkまたはsideQisLargeBlkが0より大きいとき、以下が適用される。
a. 以下のように、変数dp0L、dp3Lが導出され、maxFilterLengthPが修正される。
- sidePisLargeBlkが1に等しい場合、以下が適用される。
dp0L = ( dp0 + Abs( p5,0 - 2 * p4,0 + p3,0 ) + 1 ) >> 1 (1308)
dp3L = ( dp3 + Abs( p5,3 - 2 * p4,3 + p3,3 ) + 1 ) >> 1 (1309)
- それ以外の場合、以下が適用される。
dp0L = dp0 (1310)
dp3L = dp3 (1311)
maxFilterLengthP = 3 (1312)
b. 変数dq0Lおよびdq3Lが、以下のように導出される。
- sideQisLargeBlkが1に等しい場合、以下が適用される。
dq0L = ( dq0 + Abs( q5,0 - 2 * q4,0 + q3,0 ) + 1 ) >> 1 (1313)
dq3L = ( dq3 + Abs( q5,3 - 2 * q4,3 + q3,3 ) + 1 ) >> 1 (1314)
- それ以外の場合、以下が適用される。
dq0L = dq0 (1315)
dq3L = dq3 (1316)
c. 変数sp0Lおよびsp3Lが、以下のように導出される。
- maxFilterLengthPが7に等しい場合、以下が適用される。
sp0L = sp0 + Abs( p7,0 - p6,0 - p5,0 + p4,0) (1317)
sp3L = sp3 + Abs( p7,3 - p6,3 - p5,3 + p4,3) (1318)
- それ以外の場合、以下が適用される。
sp0L = sp0 (1319)
sp3L = sp3 (1320)
d. 変数sq0Lおよびsq3Lが、以下のように導出される。
- maxFilterLengthQが7に等しい場合、以下が適用される。
sq0L = sq0 + Abs( q4,0 - q5,0 - q6,0 + q7,0 ) (1321)
sq3L = sq3 + Abs( q4,3 - q5,3 - q6,3 + q7,3 ) (1322)
- それ以外の場合、以下が適用される。
sq0L = sq0 (1323)
sq3L = sq3 (1324)
e. 変数dpq0L、dpq3L、およびdLが、以下のように導出される。
dpq0L = dp0L + dq0L (1325)
dpq3L = dp3L + dq3L (1326)
dL = dpq0L + dpq3L (1327)
f. dLがβより小さいとき、以下の順序付けられたステップが適用される。
i. 変数dpqが、2 * dpq0Lに等しいように設定される。
変数spが、sp0Lに等しいように設定され、変数sqが、sq0Lに等しいように設定され、変数spqが、spq0に等しいように設定される。
変数p0、p3、q0、およびq3が、まず0に初期化され、それから、以下のようにsidePisLargeBlkおよびsideQisLargeBlkに従って修正される。
- sidePisLargeBlkが1に等しいとき、以下が適用される。
p3 = p3,0 (1328)
p0 = pmaxFilterLengthP,0 (1329)
- sideQisLargeBlkが1に等しいとき、以下が適用される。
q3 = q3,0 (1330)
q0 = qmaxFilterLengthQ,0 (1331)
サンプル位置( xCb + xBl, yCb + yBl )に関して、8.8.3.6.5項において規定されるルマサンプルのための判断プロセスが、サンプル値p0、p3、q0、q3、変数dpq、sp、sq、spq、sidePisLargeBlk、sideQisLargeBlk、β、およびtCを入力として呼び出され、出力が、判断dSam0に割り当てられる。
変数dpqが、2 * dpq3Lに等しいように設定される。
変数spが、sp3Lに等しいように設定され、変数sqが、sq3Lに等しいように設定され、変数spqが、spq3に等しいように設定される。
変数p0、p3、q0、およびq3が、まず0に初期化され、それから、以下のようにsidePisLargeBlkおよびsideQisLargeBlkに従って修正される。
- sidePisLargeBlkが1に等しいとき、以下が適用される。
p3 = p3,3 (1332)
p0 = pmaxFilterLengthP,3 (1333)
- sideQisLargeBlkが1に等しいとき、以下が適用される。
q3 = q3,3 (1334)
q0 = qmaxFilterLengthQ,3 (1335)
サンプル位置( xCb + xBl, yCb + yBl + 3 )に関してedgeTypeがEDGE_VERに等しいか、またはサンプル位置( xCb + xBl + 3, yCb + yBl )に関してedgeTypeがEDGE_HORに等しいとき、8.8.3.6.5項において規定されるルマサンプルのための判断プロセスが、サンプル値p0、p3、q0、q3、変数dpq、sp、sq、spq、sidePisLargeBlk、sideQisLargeBlk、β、およびtCを入力として呼び出され、出力が、判断dSam3に割り当てられる。
2. 変数dE、dEp、およびdEqが、以下のように導出される。
- dSam0およびdSam3が両方とも1に等しい場合、変数dEは3に等しいように設定され、dEpは、1に等しいように設定され、dEqは、1に等しいように設定される。
- それ以外の場合、以下の順序付けられたステップが適用される。
変数dpq0、dpq3、dp、dq、およびdが、以下のように導出される。
dpq0 = dp0 + dq0 (1336)
dpq3 = dp3 + dq3 (1337)
dp = dp0 + dp3 (1338)
dq = dq0 + dq3 (1339)
d = dpq0 + dpq3 (1340)
変数dE、dEp、dEq、sidePisLargeBlk、およびsideQisLargeBlkが、0に等しいように設定される。
dがβより小さく、maxFilterLengthPとmaxFilterLengthQとの両方が2より大きい場合、以下の順序付けられたステップが適用される。
変数dpqが、2 * dpq0に等しいように設定される。
変数spが、sp0に等しいように設定され、変数sqが、sq0に等しいように設定され、変数spqが、spq0に等しいように設定される。
サンプル位置( xCb + xBl, yCb + yBl )に関して、8.8.3.6.5項において規定されるルマサンプルのための判断プロセスが、すべて0に等しいように設定された変数p0、p3、q0、q3、変数dpq、sp、sq、spq、sidePisLargeBlk、sideQisLargeBlk、β、およびtCを入力として呼び出され、出力が、判断dSam0に割り当てられる。
変数dpqが、2 * dpq3に等しいように設定される。
変数spが、sp3に等しいように設定され、変数sqが、sq3に等しいように設定され、変数spqが、spq3に等しいように設定される。
サンプル位置( xCb + xBl, yCb + yBl + 3 )に関してedgeTypeがEDGE_VERに等しいか、またはサンプル位置( xCb + xBl + 3, yCb + yBl )に関してedgeTypeがEDGE_HORに等しいとき、8.8.3.6.5項において規定されるサンプルのための判断プロセスが、すべて0に等しいように設定された変数p0、p3、q0、q3、変数dpq、sp、sq、spq、sidePisLargeBlk、sideQisLargeBlk、β、およびtCを入力として呼び出され、出力が、判断dSam3に割り当てられる。
dがβより小さいとき、以下の順序付けられたステップが適用される。
変数dEが、1に等しいように設定される。
dSam0が1に等しく、dSam3が1に等しいとき、変数dEが、2に等しいように設定され、maxFilterLengthPとmaxFilterLengthQとの両方が、3に等しいように設定される。
maxFilterLengthPが1より大きく、maxFilterLengthQが1より大きく、dpが(β+ (β>> 1 ) ) >> 3より小さいとき、変数dEpが、1に等しいように設定される。
maxFilterLengthPが1より大きく、maxFilterLengthQが1より大きく、dqが(β+ (β>> 1 ) ) >> 3より小さいとき、変数dEqが、1に等しいように設定される。
dEが1に等しいとき、maxFilterLengthPが、1 + dEpに等しいように設定され、maxFilterLengthQが、1 + dEqに等しいように設定される。
Figure 2023512694000008
8.8.3.6.2 ルマブロックのエッジのためのフィルタリングプロセス
このプロセスへの入力は、以下である。
- ピクチャサンプル配列recPicture
- 現在のピクチャの左上のサンプルを基準として現在のコーディングブロックの左上のサンプルを指定する位置( xCb, yCb )
- 現在のコーディングブロックの左上のサンプルを基準として現在のブロックの左上のサンプルを指定する位置( xBl, yBl )
- 垂直(EDGE_VER)エッジがフィルタリングされるのかまたは水平(EDGE_HOR)エッジがフィルタリングされるのかを指定する変数edgeType
- 判断を含む変数dE、dEp、およびdEq
- 最大フィルタ長を含む変数maxFilterLengthPおよびmaxFilterLengthQ
- 変数tC
このプロセスの出力は、修正されたピクチャサンプル配列recPictureである。
edgeTypeの値に応じて、以下が適用される。
- edgeTypeがEDGE_VERに等しい場合、以下の順序付けられたステップが適用される。
i = 0..maxFilterLengthP、j = 0..maxFilterLengthQ、およびk = 0..3であるサンプル値pi,kおよびqj,kが、以下のように導出される。
qj,k = recPicture[ xCb + xBl + j ][ yCb + yBl + k ] (1341)
pi,k = recPicture[ xCb + xBl - i - 1 ][ yCb + yBl + k ] (1342)
dEが0に等しくなく、dEが3に等しくないとき、各サンプル位置( xCb + xBl, yCb + yBl + k )、k = 0..3に関して、以下の順序付けられたステップが適用される。
8.8.3.6.6項において規定される短いフィルタを使用するルマサンプルのためのフィルタリングプロセスが、変数maxFilterLengthP、maxFilterLengthQ、i = 0..maxFilterLengthPおよびj = 0..maxFilterLengthQであるサンプル値pi,k、qj,k、判断dE、変数dEpおよびdEq、ならびに変数tCを入力とし、ブロックの境界の各側からのフィルタリングされたサンプルの数nDpおよびnDq、ならびにフィルタリングされたサンプル値pi'およびqj'を出力として呼び出される。
nDpが0より大きいとき、i = 0..nDp - 1であるフィルタリングされたサンプル値pi'が、以下のようにサンプル配列recPicture内の対応するサンプルを置き換える。
recPicture[ xCb + xBl - i - 1 ][ yCb + yBl + k ] = pi' (1343)
nDqが0より大きいとき、j = 0..nDq - 1であるフィルタリングされたサンプル値qj'が、以下のようにサンプル配列recPicture内の対応するサンプルを置き換える。
recPicture[ xCb + xBl + j ][ yCb + yBl + k ] = qj' (1344)
dEが3に等しいとき、各サンプル位置( xCb + xBl, yCb + yBl + k )、k = 0..3に関して、以下の順序付けられたステップが適用される。
8.8.3.6.7項において規定される長いフィルタを使用するルマサンプルのためのフィルタリングプロセスが、変数maxFilterLengthP、maxFilterLengthQ、i = 0..maxFilterLengthPおよびj = 0..maxFilterLengthQであるサンプル値pi,k、qj,k、およびtCを入力とし、フィルタリングされたサンプル値pi'およびqj'を出力として呼び出される。
i = 0..maxFilterLengthP - 1であるフィルタリングされたサンプル値pi'が、以下のようにサンプル配列recPicture内の対応するサンプルを置き換える。
recPicture[ xCb + xBl - i - 1 ][ yCb + yBl + k ] = pi' (1345)
j = 0..maxFilterLengthQ - 1であるフィルタリングされたサンプル値qj'が、以下のようにサンプル配列recPicture内の対応するサンプルを置き換える。
recPicture[ xCb + xBl + j ][ yCb + yBl + k ] = qj' (1346)
- それ以外の場合(edgeTypeがEDGE_HORに等しい場合)、以下の順序付けられたステップが適用される。
1. i = 0..maxFilterLengthP、j = 0..maxFilterLengthQ、およびk = 0..3であるサンプル値pi,kおよびqj,kが、以下のように導出される。
qj,k = recPicture[ xCb + xBl + k ][ yCb + yBl + j ] (1347)
pi,k = recPicture[ xCb + xBl + k ][ yCb + yBl - i - 1 ] (1348)
2. dEが0に等しくなく、dEが3に等しくないとき、各サンプル位置( xCb + xBl + k, yCb + yBl )、k = 0..3に関して、以下の順序付けられたステップが適用される。
8.8.3.6.6項において規定される短いフィルタを使用するルマサンプルのためのフィルタリングプロセスが、変数maxFilterLengthP、maxFilterLengthQ、i = 0..maxFilterLengthPおよびj = 0..maxFilterLengthQであるサンプル値pi,k、qi,k、判断dE、変数dEpおよびdEq、ならびに変数tCを入力とし、ブロックの境界の各側からのフィルタリングされたサンプルの数nDpおよびnDq、ならびにフィルタリングされたサンプル値pi'およびqj'を出力として呼び出される。
nDpが0より大きいとき、i = 0..nDp - 1であるフィルタリングされたサンプル値pi'が、以下のようにサンプル配列recPicture内の対応するサンプルを置き換える。
recPicture[ xCb + xBl + k ][ yCb + yBl - i - 1 ] = pi' (1349)
nDqが0より大きいとき、j = 0..nDq - 1であるフィルタリングされたサンプル値qj'が、以下のようにサンプル配列recPicture内の対応するサンプルを置き換える。
recPicture[ xCb + xBl + k ][ yCb + yBl + j ] = qj' (1350)
3. dEが3に等しいとき、各サンプル位置( xCb + xBl + k, yCb + yBl )、k = 0..3に関して、以下の順序付けられたステップが適用される。
8.8.3.6.7項において規定される長いフィルタを使用するルマサンプルのためのフィルタリングプロセスが、変数maxFilterLengthP、maxFilterLengthQ、i = 0..maxFilterLengthPおよびj = 0..maxFilterLengthQであるサンプル値pi,k、qj,k、ならびに変数tCを入力とし、フィルタリングされたサンプル値pi'およびqj'を出力として呼び出される。
i = 0..maxFilterLengthP - 1であるフィルタリングされたサンプル値pi'が、以下のようにサンプル配列recPicture内の対応するサンプルを置き換える。
recPicture[ xCb + xBl + k ][ yCb + yBl - i - 1 ] = pi' (1351)
j = 0..maxFilterLengthQ - 1であるフィルタリングされたサンプル値qj'が、以下のようにサンプル配列recPicture内の対応するサンプルを置き換える。
recPicture[ xCb + xBl + k ][ yCb + yBl + j ] = qj' (1352)
8.8.3.6.3 クロマブロックのエッジのための判断プロセス
このプロセスは、ChromaArrayTypeが0に等しくないときにのみ呼び出される。
このプロセスへの入力は、以下である。
- クロマピクチャサンプル配列recPicture
- 現在のピクチャの左上のクロマサンプルを基準として現在のクロマコーディングブロックの左上のサンプルを指定するクロマ位置( xCb, yCb )
- 現在のクロマコーディングブロックの左上のサンプルを基準として現在のクロマブロックの左上のサンプルを指定するクロマ位置( xBl, yBl )
- 垂直(EDGE_VER)エッジがフィルタリングされるのかまたは水平(EDGE_HOR)エッジがフィルタリングされるのかを指定する変数edgeType
- 色成分インデックスを指定する変数cIdx
- 境界フィルタリング強度を指定する変数bS
- 最大フィルタ長を指定する変数maxFilterLengthP
- 最大フィルタ長を指定する変数maxFilterLengthQ
このプロセスの出力は、以下である。
- 修正されたフィルタ長変数maxFilterLengthPおよびmaxFilterLengthQ
- 変数tC
変数maxKが、以下のように導出される。
- edgeTypeがEDGE_VERに等しい場合、以下が適用される。
maxK = ( SubHeightC == 1 ) ? 3 : 1 (1353)
- それ以外の場合(edgeTypeがEDGE_HORに等しい場合)、以下が適用される。
maxK = ( SubWidthC == 1 ) ? 3 : 1 (1354)
i = 0..maxFilterLengthP、j = 0..maxFilterLengthQ、およびk = 0..maxKである値pi,kおよびqi,kが、以下のように導出される。
- edgeTypeがEDGE_VERに等しい場合、以下が適用される。
qj,k = recPicture[ xCb + xBl + j ][ yCb + yBl + k ] (1355)
pi,k = recPicture[ xCb + xBl - i - 1 ][ yCb + yBl + k ] (1356)
subSampleC = SubHeightC (1357)
- それ以外の場合(edgeTypeがEDGE_HORに等しい場合)、以下が適用される。
qj,k = recPicture[ xCb + xBl + k ][ yCb + yBl + j ] (1358)
pi,k = recPicture[ xCb + xBl + k ][ yCb + yBl - i - 1 ] (1359)
subSampleC = SubWidthC (1360)
変数QpPが、以下のように導出される。
- ルマ位置( xTbP, yTbP )が、ピクチャの左上のルマサンプルを基準とする、サンプルp0,0を含む変換ブロックの左上ルマサンプル位置として設定される。
- TuCResMode[ xTbP ][ yTbP ]が2に等しい場合、QpPは、サンプルp0,0を含む変換ブロックのQp'CbCrに等しいように設定される。
- そうではなく、cIdxが1に等しい場合、QpPは、サンプルp0,0を含む変換ブロックのQp'Cbに等しいように設定される。
- それ以外の場合、QpPは、サンプルp0,0を含む変換ブロックのQp'Crに等しいように設定される。
変数QpQが、以下のように導出される。
- ルマ位置( xTbQ, yTbQ )が、ピクチャの左上のルマサンプルを基準とする、サンプルq0,0を含む変換ブロックの左上ルマサンプル位置として設定される。
- TuCResMode[ xTbQ ][ yTbQ ]が2に等しい場合、QpQは、サンプルq0,0を含む変換ブロックのQp'CbCrに等しいように設定される。
- そうではなく、cIdxが1に等しい場合、QpQは、サンプルq0,0を含む変換ブロックのQp'Cbに等しいように設定される。
- それ以外の場合、QpQは、サンプルq0,0を含む変換ブロックのQp'Crに等しいように設定される。
変数QpCが、以下のように導出される。
QpC = ( QpQ - QpBdOffset + QpP - QpBdOffset + 1 ) >> 1 (1361)
変数β'の値が、以下のように導出される量子化パラメータQに基づいて、表43に規定されるように決定される。
sliceBetaOffsetDiv2 = ( cIdx == 1 ? slice_cb_beta_offset_div2 : slice_cr_beta_offset_div2 )
Q = Clip3( 0, 63, QpC + ( sliceBetaOffsetDiv2 << 1 ) ) (1362)
式中、slice_cb_beta_offset_div2およびslice_cr_beta_offset_div2は、それぞれ、サンプルq0,0を含むスライスに関するシンタックス要素slice_cb_beta_offset_div2およびslice_cr_beta_offset_div2の値である。
変数βが、以下のように導出される。
β=β' * ( 1 << ( BitDepth - 8 ) ) (1363)
変数tC'の値が、以下のように導出されるクロマ量子化パラメータQに基づいて、表43に規定されるように決定される。
sliceTcOffsetDiv2 = ( cIdx == 1 ? slice_cb_tc_offset_div2 : slice_cr_beta_offset_div2 )
Q = Clip3( 0, 65, QpC + 2 * ( bS - 1 ) + ( sliceTcOffsetDiv2 << 1 ) ) (1364)
式中、slice_cb_tc_offset_div2およびslice_cr_beta_offset_div2は、それぞれ、サンプルq0,0を含むスライスに関するシンタックス要素slice_cb_tc_offset_div2およびslice_cr_beta_offset_div2の値である。
変数tCが、以下のように導出される。
tC = ( BitDepth < 10 ) ? ( tC' + 2 ) >> ( 10 - BitDepth ) : tC' * ( 1 << ( BitDepth - 10 ) ) (1365)
maxFilterLengthPとmaxFilterLengthQとの両方が1に等しく、bSが2に等しくないとき、maxFilterLengthPおよびmaxFilterLengthQは、両方とも0に等しいように設定される。
maxFilterLengthQが3に等しいとき、以下の順序付けられたステップが適用される。
1. 変数n1が、以下のように導出される。
n1 = subSampleC == 2 ? 1 : 3 (1366)
2. maxFilterLengthPが1に等しいとき、サンプルp3,0およびp2,0は、両方ともp1,0に等しいように設定され、サンプルp3,n1、p2,n1は、両方ともp1,n1に等しいように設定される。
3. 変数dpq0、dpq1、dp、dq、およびdが、以下のように導出される。
dp0 = Abs( p2,0 - 2 * p1,0 + p0,0 ) (1367)
dp1 = Abs( p2,n1 - 2 * p1,n1 + p0,n1 ) (1368)
dq0 = Abs( q2,0 - 2 * q1,0 + q0,0 ) (1369)
dq1 = Abs( q2,n1 - 2 * q1,n1 + q0,n1 ) (1370)
dpq0 = dp0 + dq0 (1371)
dpq1 = dp1 + dq1 (1372)
dp = dp0 + dp1 (1373)
dq = dq0 + dq1 (1374)
d = dpq0 + dpq1 (1375)
4. 変数dSam0およびdSam1は、両方とも0に等しいように設定される。
5. dがβより小さいとき、以下の順序付けられたステップが適用される。
a. 変数dpqが、2 * dpq0に等しいように設定される。
b. 変数dSam0が、サンプル値p0,0、p3,0、q0,0、およびq3,0、変数dpq、β、およびtCを入力として、サンプル位置( xCb + xBl, yCb + yBl )に関して、8.8.3.6.8項において規定されるクロマサンプルのための判断プロセスを呼び出すことによって導出され、出力が、判断dSam0に割り当てられる。
c. 変数dpqが、2 * dpq1に等しいように設定される。
d. 変数dSam1が、以下のように修正される。
- edgeTypeがEDGE_VERに等しい場合、サンプル位置( xCb + xBl, yCb + yBl + n1 )に関して、8.8.3.6.8項において規定されるクロマサンプルのための判断プロセスが、サンプル値p0,n1、p3,n1、q0,n1、およびq3,n1、変数dpq、β、およびtCを入力として呼び出され、出力が、判断dSam1に割り当てられる。
- それ以外の場合(edgeTypeがEDGE_HORに等しい場合)、サンプル位置( xCb + xBl + n1, yCb + yBl )に関して、8.8.3.6.8項において規定されるクロマサンプルのための判断プロセスが、サンプル値p0,n1、p3,n1、q0,n1、およびq3,n1、変数dpq、β、およびtCを入力として呼び出され、出力が、判断dSam1に割り当てられる。
6. dSam0が0に等しいか、またはdSam1が0に等しいとき、maxFilterLengthPおよびmaxFilterLengthQは、両方とも1に等しいように設定される。
8.8.3.6.4 クロマブロックのエッジのためのフィルタリングプロセス
このプロセスは、ChromaArrayTypeが0に等しくないときにのみ呼び出される。
このプロセスへの入力は、以下である。
- クロマピクチャサンプル配列recPicture
- 現在のピクチャの左上のクロマサンプルを基準として現在のクロマコーディングブロックの左上のサンプルを指定するクロマ位置( xCb, yCb )
- 現在のクロマコーディングブロックの左上のサンプルを基準として現在のクロマブロックの左上のサンプルを指定するクロマ位置( xBl, yBl )
- 垂直(EDGE_VER)エッジがフィルタリングされるのかまたは水平(EDGE_HOR)エッジがフィルタリングされるのかを指定する変数edgeType
- 最大フィルタ長を指定する変数maxFilterLengthP
- 最大フィルタ長を指定する変数maxFilterLengthQ
- 変数tC
このプロセスの出力は、修正されたクロマピクチャサンプル配列recPictureである。
変数maxKが、以下のように導出される。
- edgeTypeがEDGE_VERに等しい場合、以下が適用される。
maxK = ( SubHeightC == 1 ) ? 3 : 1 (1376)
- それ以外の場合(edgeTypeがEDGE_HORに等しい場合)、以下が適用される。
maxK = ( SubWidthC == 1 ) ? 3 : 1 (1377)
i = 0..maxFilterLengthPである値pi、j = 0..maxFilterLengthQである値qj、およびk = 0..maxKが、以下のように導出される。
- edgeTypeがEDGE_VERに等しい場合、以下が適用される。
qj,k = recPicture[ xCb + xBl + j ][ yCb + yBl + k ] (1378)
pi,k = recPicture[ xCb + xBl - i - 1 ][ yCb + yBl + k ] (1379)
- それ以外の場合(edgeTypeがEDGE_HORに等しい場合)、以下が適用される。
qj,k = recPicture[ xCb + xBl + k ][ yCb + yBl + j ] (1380)
pi,k = recPicture[ xCb + xBl + k ][ yCb + yBl - i - 1 ] (1381)
edgeTypeの値に応じて、以下が適用される。
- edgeTypeがEDGE_VERに等しいとき、各サンプル位置( xCb + xBl, yCb + yBl + k )、k = 0..maxKに関して、以下の順序付けられたステップが適用される。
1. 8.8.3.6.9項において規定されるクロマサンプルのためのフィルタリングプロセスが、変数maxFilterLengthPおよびmaxFilterLengthQ、i = 0..maxFilterLengthPおよびj = 0..maxFilterLengthQであるサンプル値pi,k、qj,k、ならびに変数tCを入力とし、i = 0..maxFilterLengthP - 1およびj = 0..maxFilterLengthQ - 1であるフィルタリングされたサンプル値pi'およびqj'を出力として呼び出される。
2. i = 0..maxFilterLengthP - 1およびj = 0..maxFilterLengthQ - 1であるフィルタリングされたサンプル値pi'およびqj'が、以下のようにサンプル配列recPicture内の対応するサンプルを置き換える。
recPicture[ xCb + xBl + j ][ yCb + yBl + k ] = qj' (1382)
recPicture[ xCb + xBl - i - 1 ][ yCb + yBl + k ] = pi' (1383)
- それ以外の場合(edgeTypeがEDGE_HORに等しい場合)、各サンプル位置( xCb + xBl + k, yCb + yBl )、k = 0..maxKに関して、以下の順序付けられたステップが適用される。
1. 8.8.3.6.9項において規定されるクロマサンプルのためのフィルタリングプロセスが、変数maxFilterLengthPおよびmaxFilterLengthQ、i = 0..maxFilterLengthPおよびj = 0..maxFilterLengthQであるサンプル値pi,k、qj,k、ならびに変数tCを入力とし、i = 0..maxFilterLengthP - 1およびj = 0..maxFilterLengthQ - 1であるフィルタリングされたサンプル値pi'およびqj'を出力として呼び出される。
2. i = 0..maxFilterLengthP - 1およびj = 0..maxFilterLengthQ - 1であるフィルタリングされたサンプル値pi'およびqj'が、以下のようにサンプル配列recPicture内の対応するサンプルを置き換える。
recPicture[ xCb + xBl + k ][ yCb + yBl + j ] = qj' (1384)
recPicture[ xCb + xBl + k ][ yCb + yBl - i - 1 ] = pi' (1385)
8.8.3.6.5 ルマサンプルのための判断プロセス
このプロセスへの入力は、以下である。
- サンプル値p0、p3、q0、およびq3
- 変数dpq、sp、sq、spq、sidePisLargeBlk、sideQisLargeBlk、β、およびtC
このプロセスの出力は、判断を含む変数dSamである。
変数spおよびsqが、以下のように修正される。
- sidePisLargeBlkが1に等しいとき、以下が適用される。
sp = ( sp + Abs( p3 - p0 ) + 1 ) >> 1 (1386)
- sideQisLargeBlkが1に等しいとき、以下が適用される。
sq = ( sq + Abs( q3 - q0 ) + 1 ) >> 1 (1387)
変数sThr1およびsThr2が、以下のように導出される。
- sidePisLargeBlkが1に等しいか、またはsideQisLargeBlkが1に等しい場合、以下が適用される。
sThr1 = 3 *β>> 5 (1388)
sThr2 =β>> 4 (1389)
- それ以外の場合、以下が適用される。
sThr1 =β>> 3 (1390)
sThr2 =β>> 2 (1391)
変数dSamが、以下のように指定される。
- 以下の条件のすべてが真である場合、dSamは、1に等しいように設定される。
- dpqが、sThr2より小さい
- sp + sqが、sThr1よりも小さい
- spqが、( 5 * tC + 1 ) >> 1より小さい
- それ以外の場合、dSamは、0に等しいように設定される。
8.8.3.6.6 短いフィルタを使用するルマサンプルのためのフィルタリングプロセス
このプロセスへの入力は、以下である。
- 変数maxFilterLengthPおよびmaxFilterLengthQ
- i = 0..maxFilterLengthPおよびj = 0..maxFilterLengthQであるサンプル値piおよびqj
- 変数dE
- それぞれ、サンプルp1およびq1をフィルタリングするための判断を含む変数dEpおよびdEq
- 変数tC
このプロセスの出力は、以下である。
- フィルタリングされたサンプルの数nDpおよびnDq
- i = 0..nDp - 1、j = 0..nDq - 1であるフィルタリングされたサンプル値pi'およびqj'
dEの値に応じて、以下が適用される。
- 変数dEが2に等しい場合、nDpおよびnDqが、両方とも3に等しいように設定され、以下の強いフィルタリングが適用される。
p0' = Clip3( p0 - 3 * tC, p0 + 3 * tC, ( p2 + 2 * p1 + 2 * p0 + 2 * q0 + q1 + 4 ) >> 3 ) (1392)
p1' = Clip3( p1 - 2 * tC, p1 + 2 * tC, ( p2 + p1 + p0 + q0 + 2 ) >> 2 ) (1993)
p2' = Clip3( p2 - 1 * tC, p2 + 1 * tC, ( 2 * p3 + 3 * p2 + p1 + p0 + q0 + 4 ) >> 3 ) (1394)
q0' = Clip3( q0 - 3 * tC, q0 + 3 * tC, ( p1 + 2 * p0 + 2 * q0 + 2 * q1 + q2 + 4 ) >> 3 ) (1395)
q1' = Clip3( q1 - 2 * tC, q1 + 2 * tC, ( p0 + q0 + q1 + q2 + 2 ) >> 2 ) (1396)
q2' = Clip3( q2 - 1 * tC, q2 + 1 * tC, ( p0 + q0 + q1 + 3 * q2 + 2 * q3 + 4 ) >> 3 ) (1397)
- それ以外の場合、nDpおよびnDqは、両方とも0に等しいように設定され、以下の弱いフィルタリングが適用される。
- 以下が、適用される。
Δ= ( 9 * ( q0 - p0 ) - 3 * ( q1 - p1 ) + 8 ) >> 4 (1398)
- Abs(Δ)がtC * 10より小さいとき、以下の順序付けられたステップが適用される。
- フィルタリングされたサンプル値p0'およびq0'が、以下のように指定される。
Δ= Clip3( -tC, tC,Δ) (1399)
p0' = Clip1( p0 +Δ) (1400)
q0' = Clip1( q0 -Δ) (1401)
- dEpが1に等しいとき、フィルタリングされたサンプル値p1'が、以下のように指定される。
Δp = Clip3( -( tC >> 1 ), tC >> 1, ( ( ( p2 + p0 + 1 ) >> 1 ) - p1 +Δ) >> 1 ) (1402)
p1' = Clip1( p1 +Δp ) (1403)
- dEqが1に等しいとき、フィルタリングされたサンプル値q1'が、以下のように指定される。
Δq = Clip3( -( tC >> 1 ), tC >> 1, ( ( ( q2 + q0 + 1 ) >> 1 ) - q1 -Δ) >> 1 ) (1404)
q1' = Clip1( q1 +Δq ) (1405)
- nDpが、dEp + 1に等しいように設定され、nDqが、dEq + 1に等しいように設定される。
nDpが0より大きく、サンプルp0を含むコーディングブロックを含むコーディングユニットのpred_mode_plt_flagが1に等しいとき、nDpが、0に等しいように設定される。
nDqが0より大きく、サンプルq0を含むコーディングブロックを含むコーディングユニットのpred_mode_plt_flagが1に等しいとき、nDqが、0に等しいように設定される。
8.8.3.6.7 長いフィルタを使用するルマサンプルのためのフィルタリングプロセス
このプロセスへの入力は、以下である。
- 変数maxFilterLengthPおよびmaxFilterLengthQ
- i = 0..maxFilterLengthPおよびj = 0..maxFilterLengthQであるサンプル値piおよびqj
- 変数tC
このプロセスの出力は、以下である。
- i = 0..maxFilterLengthP - 1、j = 0..maxFilterLenghtQ - 1であるフィルタリングされたサンプル値pi'およびqj'
変数refMiddleが、以下のように導出される。
- maxFilterLengthPがmaxFilterLengthQに等しく、maxFilterLengthPが5に等しい場合、以下が適用される。
refMiddle = ( p4 + p3 + 2 * ( p2 + p1 + p0 + q0 + q1 + q2 ) + q3 + q4 + 8 ) >> 4 (1406)
- そうではなく、maxFilterLengthPがmaxFilterLengthQに等しく、maxFilterLengthPが5に等しくない場合、以下が適用される。
refMiddle = ( p6 + p5 + p4 + p3 + p2 + p1 + 2 * ( p0 + q0 ) + q1 + q2 + q3 + q4 + q5 + q6 + 8 ) >> 4 (1407)
- そうではなく、以下の条件のうちの1つが真である場合、
- maxFilterLengthQが7に等しく、maxFilterLengthPが5に等しい。
- maxFilterLengthQが5に等しく、maxFilterLengthPが7に等しい。
以下が、適用される。
refMiddle = ( p5 + p4 + p3 + p2 + 2 * ( p1 + p0 + q0 + q1 ) + q2 + q3 + q4 + q5 + 8 ) >> 4 (1408)
- そうではなく、以下の条件のうちの1つが真である場合、
- maxFilterLengthQが5に等しく、maxFilterLengthPが3に等しい。
- maxFilterLengthQが3に等しく、maxFilterLengthPが5に等しい。
以下が、適用される。
refMiddle = ( p3 + p2 + p1 + p0 + q0 + q1 + q2 + q3 + 4) >> 3 (1409)
- そうではなく、maxFilterLengthQが7に等しく、maxFilterLengthPが3に等しい場合、以下が適用される。
refMiddle = ( 2 * ( p2 + p1 + p0 + q0 ) + p0 + p1 + q1 + q2 + q3 + q4 + q5 + q6 + 8 ) >> 4 (1410)
- それ以外の場合、以下が適用される。
refMiddle = ( p6 + p5 + p4 + p3 + p2 + p1 + 2 *( q2 + q1 + q0 + p0) + q0 + q1 + 8 ) >> 4 (1411)
変数refPおよびrefQが、以下のように導出される。
refP = (pmaxFilterLengtP + pmaxFilterLengthP-1 + 1 ) >> 1 (1412)
refQ = ( qmaxFilterLengtQ + qmaxFilterLengthQ-1 + 1 ) >> 1 (1413)
変数fiおよびtCPDiが、以下のように定義される。
- maxFilterLengthPが7に等しい場合、以下が適用される。
f0..6 = { 59, 50, 41, 32, 23, 14, 5 } (1414)
tCPD0..6 = { 6, 5, 4, 3, 2, 1, 1 } (1415)
- そうではなく、maxFilterLengthPが5に等しい場合、以下が適用される。
f0..4 = { 58, 45, 32, 19, 6 } (1416)
tCPD0..4 = { 6, 5, 4, 3, 2 } (1417)
- それ以外の場合、以下が適用される。
f0..2 = { 53, 32, 11 } (1418)
tCPD0..2 = { 6, 4, 2 } (1419)
変数gjおよびtCQDjが、以下のように定義される。
- maxFilterLengthQが7に等しい場合、以下が適用される。
g0..6 = { 59, 50, 41, 32, 23, 14, 5 } (1420)
tCQD0..6 = { 6, 5, 4, 3, 2, 1, 1 } (1421)
- そうではなく、maxFilterLengthQが5に等しい場合、以下が適用される。
g0..4 = { 58, 45, 32, 19, 6 } (1422)
tCQD0..4 = { 6, 5, 4, 3, 2 } (1423)
- それ以外の場合、以下が適用される。
g0..2 = { 53, 32, 11 } (1424)
tCQD0..2 = { 6, 4, 2 } (1425)
i = 0..maxFilterLengthP - 1およびj = 0..maxFilterLengthQ - 1であるフィルタリングされたサンプル値pi'およびqj'が、以下のように導出される。
pi' = Clip3( pi - ( tC*tCPDi ) >> 1, pi + ( tC*tCPDi ) >> 1, ( refMiddle*fi + refP*( 64 - fi ) + 32) >> 6 ) (1426)
qj' = Clip3( qj - ( tC*tCQDj ) >> 1, qj + ( tC*tCQDj ) >> 1, ( refMiddle*gj + refQ*( 64 - gj ) + 32) >> 6 ) (1427)
サンプルpiを含むコーディングブロックを含むコーディングユニットのpred_mode_plt_flagが1に等しいとき、フィルタリングされたサンプル値pi'は、i = 0..maxFilterLengthP - 1である対応する入力サンプル値piによって置換される。
サンプルqiを含むコーディングブロックを含むコーディングユニットのpred_mode_plt_flagが1に等しいとき、フィルタリングされたサンプル値qi'は、j = 0..maxFilterLengthQ - 1である対応する入力サンプル値qjによって置換される。
8.8.3.6.8 クロマサンプルのための判断プロセス
このプロセスへの入力は、以下である。
- サンプル値p0、p3、q0、およびq3
- 変数dpq、β、およびtC
このプロセスの出力は、判断を含む変数dSamである。
変数dSamが、以下のように指定される。
- 以下の条件のすべてが真である場合、dSamは、1に等しいように設定される。
- dpqが(β>> 2 )未満である。
- Abs( p3 - p0 ) + Abs( q0 - q3 )が(β>> 3 )未満である。
- Abs( p0 - q0 )が( 5 * tC + 1 ) >> 1未満である。
- それ以外の場合、dSamは、0に等しいように設定される。
8.8.3.6.9 クロマサンプルのためのフィルタリングプロセス
このプロセスは、ChromaArrayTypeが0に等しくないときにのみ呼び出される。
このプロセスへの入力は、以下である。
- 変数maxFilterLengthPおよびmaxFilterLengthQ
- i = 0..maxFilterLengthP - 1およびj = 0..maxFilterLengthQ - 1であるクロマサンプル値piおよびqj
- 変数tC
このプロセスの出力は、i = 0..maxFilterLengthP - 1およびj = 0..maxFilterLengthQ - 1であるフィルタリングされたサンプル値pi'およびqj'である。
i = 0..maxFilterLengthP - 1およびj = 0..maxFilterLengthQ - 1であるフィルタリングされたサンプル値pi'およびqj'は、以下のように導出される。
- maxFilterLengthPとmaxFilterLengthQとの両方が3に等しい場合、以下の強いフィルタリングが適用される。
p0' = Clip3( p0 - tC, p0 + tC, ( p3 + p2 + p1 + 2 * p0 + q0 + q1 + q2 + 4 ) >> 3 ) (1428)
p1' = Clip3( p1 - tC, p1 + tC, ( 2 * p3 + p2 + 2 * p1 + p0 + q0 + q1 + 4 ) >> 3 ) (1429)
p2' = Clip3( p2 - tC, p2 + tC, ( 3 * p3 + 2 * p2 + p1 + p0 + q0 + 4 ) >> 3 ) (1430)
q0' = Clip3( q0 - tC, q0 + tC, ( p2 + p1 + p0 + 2 * q0 + q1 + q2 + q3 + 4 ) >> 3 ) (1431)
q1' = Clip3( q1 - tC, q1 + tC, ( p1 + p0 + q0 + 2 * q1 + q2 + 2 * q3 + 4 ) >> 3 ) (1432)
q2' = Clip3( q2 - tC, q2 + tC, ( p0 + q0 + q1 + 2 * q2 + 3 * q3 + 4 ) >> 3 ) (1433)
- そうではなく、変数maxFilterLengthPが1に等しく、maxFilterLengthQが3に等しい場合、以下のフィルタリングが適用される。
p0' = Clip3( p0 - tC, p0 + tC, ( 3 * p1 + 2 * p0 + q0 + q1 + q2 + 4 ) >> 3 ) (1434)
q0' = Clip3( q0 - tC, q0 + tC, ( 2 * p1 + p0 + 2 * q0 + q1 + q2 + q3 + 4 ) >> 3 ) (1435)
q1' = Clip3( q1 - tC, q1 + tC, ( p1 + p0 + q0 + 2 * q1 + q2 + 2 * q3 + 4 ) >> 3 ) (1436)
q2' = Clip3( q2 - tC, q2 + tC, ( p0 + q0 + q1 + 2 * q2 + 3 * q3 + 4 ) >> 3 ) (1437)
- それ以外の場合、以下の弱いフィルタリングが適用される。
Δ= Clip3( -tC, tC, ( ( ( ( q0 - p0 ) << 2 ) + p1 - q1 + 4 ) >> 3 ) ) (1438)
p0' = Clip1( p0 +Δ) (1439)
q0' = Clip1( q0 -Δ) (1440)
サンプルpiを含むコーディングブロックを含むコーディングユニットのpred_mode_plt_flagが1に等しいとき、フィルタリングされたサンプル値pi'は、i = 0..maxFilterLengthP - 1である対応する入力サンプル値piによって置換される。
サンプルqiを含むコーディングブロックを含むコーディングユニットのpred_mode_plt_flagが1に等しいとき、フィルタリングされたサンプル値qi'は、i = 0..maxFilterLengthQ - 1である対応する入力サンプル値qiによって置換される。
現在、CbおよびCrデブロッキング制御パラメータのシグナリングは、たとえば、ChromaArrayTypeの値が0に等しいとき、たとえ符号化されたシーケンスの色形式が4:0:0であっても実行される。入力シーケンスが色成分を持たないとき、色成分のためにデブロッキングを実行するさらなる必要はない。
場合によっては、デブロッキング制御パラメータは、典型的なケースでは、ルマ成分とクロマ成分との両方にまたがって同じである場合がある。
合同Cb-Crメカニズム(Joint Cb-Cr mechanism)を使用してコーディングされたブロックは、異なる量子化誤差特性を示す可能性があり、別々のデブロッキング制御パラメータ(ベータおよびTcオフセット)をシグナリングさせることから恩恵を受ける場合がある。
実施形態1
この実施形態において、CbおよびCrのデブロッキングのベータおよびTcオフセット(簡単にするために、本出願において、我々は、さらに、それらのオフセットをデブロッキング制御パラメータと呼ぶ)は、ChromaArrayTypeの値が0に等しくないときに(のみ)シグナリングされる。
この実施形態のためのシンタックスが、以下のように示される。
Figure 2023512694000009
Figure 2023512694000010
または、
Figure 2023512694000011
または、
Figure 2023512694000012
一部の例においては、ChromaArrayTypeがシーケンスパラメータセットレベル(SPS)でシグナリングされるので、ChromaArrayTypeの値が、PPSシンタックスレベルで取得されない場合がある。PPS内のChromaArrayTypeに基づく条件付きのシグナリングは、SPSとPPSとの間に解析の依存関係を生じる可能性がある。したがって、1つの代替的な解決策は、既存のデブロッキング制御パラメータをPPSレベルからSPSレベルに移すことである。このようにして、SPSとPPSとの間の解析の依存関係が、回避される。
代替的に、デブロッキング制御パラメータは、pps_chroma_tool_offsets_present_flagと呼ばれる既存のシンタックス要素に基づいて条件付きでシグナリングされ得る。
PPSの修正されたシンタックスが、以下に示される。
Figure 2023512694000013
Figure 2023512694000014
上の解決策は、SPSとPPSとの間にいかなる解析の依存関係も生じず、ChromaArrayTypeの値が0に等しくないときに(のみ)Cb成分およびCr成分のためのデブロッキング制御パラメータをシグナリングするという利点を有する。
別の代替的な解決策は、(ChromaArrayTypeに基づいて)PPSレベルではデブロッキング制御パラメータを条件付きでシグナリングせず、(ChromaArrayTypeに基づいて)PHおよびSHレベルでデブロッキング制御パラメータを条件付きでシグナリングすることである。
この実施形態において、表中のこれらのシンタックスの定義は、上記の説明を参照し得る。
実施形態2
この実施形態においては、新しいシンタックス要素が、シグナリングされる。このシンタックスは、ルマおよびクロマのデブロッキング制御パラメータが同じであるか否かを示すために導入される。ルマおよびクロマのデブロッキング制御パラメータの値が異なるとき、CbおよびCrのデブロッキング制御パラメータが、さらにシグナリングされる。この実施形態では、デブロッキングパラメータがルマ成分とクロマ成分とにまたがって同じであるときの冗長なシグナリングを取り除く。
この実施形態のシンタックスおよびセマンティクスは、以下に示される通りである。
Figure 2023512694000015
Figure 2023512694000016
Figure 2023512694000017
新しく導入されたシンタックス要素のセマンティクスは、以下の通りである。
0に等しいslice_chroma_offsets_same_as_lumaは、シンタックス要素slice_cb_beta_offset_div2、slice_cb_tc_offset_div2、slice_cr_beta_offset_div2、およびslice_cr_tc_offset_div2がスライスヘッダ内でさらにシグナリングされることを指定する。
1に等しいslice_chroma_offsets_same_as_lumaは、シンタックス要素slice_cb_beta_offset_div2、slice_cb_tc_offset_div2、slice_cr_beta_offset_div2、およびslice_cr_tc_offset_div2の値がさらにシグナリングされず、それぞれ、slice_beta_offset_div2およびslice_tc_offset_div2と同じであると推測されることを指定する。
0に等しいph_chroma_offsets_same_as_lumaは、シンタックス要素ph_cb_beta_offset_div2、ph_cb_tc_offset_div2、ph_cr_beta_offset_div2、およびph_cr_tc_offset_div2がピクチャヘッダ内でさらにシグナリングされることを指定する。
1に等しいph_chroma_offsets_same_as_lumaは、シンタックス要素ph_cb_beta_offset_div2、ph_cb_tc_offset_div2、ph_cr_beta_offset_div2、およびph_cr_tc_offset_div2の値がシグナリングされず、それぞれ、ph_beta_offset_div2およびph_tc_offset_div2と同じであるとさらに推測されることを指定する。
0に等しいpps_chroma_offsets_same_as_lumaは、シンタックス要素pps_cb_beta_offset_div2、pps_cb_tc_offset_div2、pps_cr_beta_offset_div2、およびpps_cr_tc_offset_div2がPPS内でさらにシグナリングされることを指定する。1に等しいpps_chroma_offsets_same_as_lumaは、シンタックス要素pps_cb_beta_offset_div2、pps_cb_tc_offset_div2、pps_cr_beta_offset_div2、およびpps_cr_tc_offset_div2の値がシグナリングされず、それぞれ、pps_beta_offset_div2およびpps_tc_offset_div2と同じであるとさらに推測されることを指定する。
表中のその他のシンタックスの定義は、上記の説明を参照し得る。
実施形態3
この実施形態においては、合同cb-crコーディングされたブロック(joint cb-cr coded block)のために、別個のβおよびtcオフセットパラメータが導入される。
シンタックスは、以下の通りである。
Figure 2023512694000018
Figure 2023512694000019
Figure 2023512694000020
新しく導入されたシンタックス要素のセマンティクスは、以下の通りである。
pps_cbcr_beta_offset_div2およびpps_cbcr_tc_offset_div2は、デフォルトのデブロッキングパラメータオフセットがPPSを参照するスライスのピクチャヘッダまたはスライスヘッダ内に存在するデブロッキングパラメータオフセットによってオーバーライドされない限り、PPSを参照するスライスの合同Cb-Cr成分に適用される(2で割られた)βおよびtCに関するデフォルトのデブロッキングパラメータオフセットを指定する。pps_cbcr_beta_offset_div2およびpps_cbcr_tc_offset_div2の値は、両方とも、-12および12を含んで-12から12までの範囲内にある。存在しないとき、pps_cbcr_beta_offset_div2およびpps_cbcr_tc_offset_div2の値は、両方とも、0に等しいと推測される。
ph_cbcr_beta_offset_div2およびph_cbcr_tc_offset_div2は、PHに関連するスライスの合同Cb-Cr成分に適用される(2で割られた)βおよびtCに関するデブロッキングパラメータオフセットを指定する。ph_cbcr_beta_offset_div2およびph_cbcr_tc_offset_div2の値は、両方とも、-12および12を含んで-12から12までの範囲内にある。存在しないとき、ph_cbcr_beta_offset_div2およびph_cbcr_tc_offset_div2の値は、pps_cbcr_beta_offset_div2およびpps_cbcr_tc_offset_div2に等しいと推測される。
slice_cbcr_beta_offset_div2およびslice_cbcr_tc_offset_div2は、現在のスライスの合同Cb-Cr成分に適用される(2で割られた)βおよびtCに関するデブロッキングパラメータオフセットを指定する。slice_cbcr_beta_offset_div2およびslice_cbcr_tc_offset_div2の値は、両方とも、-12および12を含んで-12から12までの範囲内にある。存在しないとき、slice_cbcr_beta_offset_div2およびslice_cbcr_tc_offset_div2の値は、それぞれ、ph_cbcr_beta_offset_div2およびph_cbcr_tc_offset_div2に等しいと推測される。
クロマのデブロッキングのためのQP値の導出の必要とされる変更は、以下の通りである。
変数β'の値が、以下のように導出される量子化パラメータQに基づいて、表43に規定されるように決定される。
sliceBetaOffsetDiv2 = ((TuCResMode[ xTbQ ][ yTbQ ] == 2) || (TuCResMode[ xTbp ][ yTbp ] == 2) ? slice_cbcr_beta_offset_div2 : (cIdx == 1 ? slice_cb_beta_offset_div2 : slice_cr_beta_offset_div2 ))
Q = Clip3( 0, 63, QpC + ( sliceBetaOffsetDiv2 << 1 ) ) (1355)
式中、slice_cb_beta_offset_div2、slice_cr_beta_offset_div2、およびslice_cbcr_beta_offset_div2は、それぞれ、サンプルq0,0を含むスライスに関するシンタックス要素slice_cb_beta_offset_div2、slice_cr_beta_offset_div2、およびslice_cbcr_beta_offset_div2の値である。
変数tC'の値が、以下のように導出されるクロマ量子化パラメータQに基づいて、表43に規定されるように決定される。
sliceTcOffsetDiv2 = ((TuCResMode[ xTbQ ][ yTbQ ] || TuCResMode[ xTbp ][ yTbp ] == 2) ? slice_cbcr_tc_offset_div2 : (cIdx == 1 ? slice_cb_tc_offset_div2 : slice_cr_tc_offset_div2 ))
Q = Clip3( 0, 65, QpC + 2 * ( bS - 1 ) + ( sliceTcOffsetDiv2 << 1 ) ) (1357)
式中、slice_cb_tc_offset_div2、slice_cr_beta_offset_div2、およびslice_cr_tc_offset_div2は、それぞれ、サンプルq0,0を含むスライスに関するシンタックス要素slice_cb_tc_offset_div2、slice_cr_tc_offset_div2、およびslice_cbcr_tc_offset_div2の値である。
表中のその他のシンタックスの定義は、上記の説明を参照し得る。
図8に示される実装においては、復号デバイスによって実施されるコーディングの方法が、開示され、方法は、以下を含む。
S801: ビットストリームを取得する。
ビットストリームは、ワイヤレスネットワークまたは有線ネットワークによって取得されてよい。ビットストリームは、同軸ケーブル、光ファイバケーブル、ツイストペア、デジタル加入者線(DSL)、または赤外線、無線、マイクロ波、WiFi、Bluetooth、LTE、もしくは5Gなどのワイヤレステクノロジーを使用して、ウェブサイト、サーバ、またはその他の遠隔のソースから送信される場合がある。
実施形態において、ビットストリームは、1つまたは複数のコーディングビデオシーケンス(CVS: coded video sequence)を形成するアクセスユニット(AU)のシーケンスの表現を形成するネットワーク抽象化レイヤ(NAL: network abstraction layer)ユニットストリームまたはバイトストリームの形態のビットのシーケンスである。
一部の実施形態においては、復号プロセスに関して、デコーダ側が、ビットストリームを読み、ビットストリームから復号されたピクチャを導出し、符号化プロセスに関して、エンコーダ側が、ビットストリームを生成する。
通常、ビットストリームは、シンタックス構造によって形成されるシンタックス要素を含む。
シンタックス要素: ビットストリーム内に表現されるデータの要素。
シンタックス構造: 指定された順序でビットストリーム内に一緒に存在する0個以上のシンタックス要素。
特定の例において、ビットストリームのフォーマットは、ネットワーク抽象化レイヤ(NAL)ユニットストリームとバイトストリームとの間の関係を規定し、ネットワーク抽象化レイヤ(NAL)ユニットストリームおよびバイトストリームのどちらかが、ビットストリームと呼ばれる。
ビットストリームは、2つのフォーマット、すなわち、NALユニットストリームのフォーマットまたはバイトストリームのフォーマットのうちの1つであることが可能である。NALユニットストリームのフォーマットは、概念的に、より「基本的な」タイプである。NALユニットストリームのフォーマットは、NALユニットと呼ばれるシンタックス構造のシーケンスを含む。このシーケンスは、復号順で順序付けられる。NALユニットストリームのNALユニットの復号順(および内容)に対して課される制約が存在する。
バイトストリームのフォーマットは、NALユニットを復号順で順序付け、開始コードプレフィックスおよび0個以上のゼロ値バイトによって各NALユニットにプレフィックスを付けてバイトのストリームを形成することによってNALユニットストリームのフォーマットから構築され得る。NALユニットストリームのフォーマットは、バイトのこのストリーム内の一意の開始コードプレフィックスのパターンの位置を探索することによってバイトストリームのフォーマットから抽出され得る。
この項は、ビットストリームによって与えられる元のピクチャと復号されたピクチャとの間の関係を明示する。
ビットストリームによって表されるビデオソースは、復号順のピクチャのシーケンスである。
元のピクチャおよび復号されたピクチャは、それぞれ、以下の1つまたは複数のサンプル配列によって構成される。
- ルマ(Y)のみ(モノクロ)
- ルマおよび2つのクロマ(YCbCrまたはYCgCo)
- 緑、青、および赤(GBR、RGBとも呼ばれる)
- その他の不特定のモノクロまたは3刺激色サンプリング(たとえば、YZX、XYZとも呼ばれる)を表す配列
これらの配列に関連する変数および項は、使用されている実際の色表現方法に関わらず、ルマ(またはLまたはY)およびクロマと呼ばれ、2つのクロマ配列は、CbおよびCrと呼ばれる。使用されている実際の色表現方法は、ITU-T H.SEI | ISO/IEC 23002-7において規定されたVUIパラメータ内で規定されるシンタックスで示され得る。
S802: ビットストリームからシンタックス要素の値を取得する。
実装において、シンタックス要素の値は、コーディングされたピクチャのスライスのクロマ成分のためのデブロッキング制御パラメータに関連する。たとえば、シンタックス要素の値は、クロマツールオフセットに関連するシンタックス要素がピクチャパラメータセット(PPS)生バイトシーケンスペイロード(RBSP)構造内に存在するか否かを示す。
例において、シンタックスは、pps_chroma_tool_offsets_present_flagによって表される。1に等しいpps_chroma_tool_offsets_present_flagは、クロマツールオフセットに関連するシンタックス要素がPPS RBSPシンタックス構造内に存在し、クロマのデブロッキングのtcおよびβオフセットシンタックス要素がPPSを参照するピクチャのPHシンタックス構造またはSH内に存在する可能性があることを指定する。0に等しいpps_chroma_tool_offsets_present_flagは、クロマツールオフセットに関連するシンタックス要素がPPS RBSPシンタックス構造内に存在せず、クロマのデブロッキングのtcおよびβオフセットシンタックス要素がPPSを参照するピクチャのPHシンタックス構造またはSH内に存在しないことを指定する。sps_chroma_format_idcが0に等しいとき、pps_chroma_tool_offsets_present_flagの値は、0に等しい。
例において、シンタックス要素の値は、PPS内で取得される。
例において、ビデオシーケンスに色成分が存在しないとき、シンタックス要素の値は0に等しい。
例において、シンタックスの値は、コーディングブロックのルマ成分のためのデブロッキング制御パラメータがブロックのクロマ成分のためのデブロッキング制御パラメータと同じであるかどうかを判定するために使用される。
S803: シンタックス要素の値が予め設定された値に等しいとき、ビットストリームからスライスのクロマ成分のためのデブロッキング制御パラメータの値を取得する。
予め設定された値は、整数値である。例において、予め設定された値は、0に等しくない。例において、予め設定された値は、1に等しい。
例において、コーディングブロックのクロマ成分のためのデブロッキング制御パラメータの値は、PPS内で取得される。
例において、スライスのクロマ成分のためのデブロッキング制御パラメータの値は、ピクチャヘッダPH内で取得される。
例において、スライスのクロマ成分のためのデブロッキング制御パラメータの値は、スライスヘッダSH内で取得される。
例において、スライスのクロマ成分のためのデブロッキング制御パラメータは、ビデオシーケンスが色成分を有するときにシグナリングされる。
例においては、PPSレベルで、スライスのクロマ成分のためのデブロッキング制御パラメータは、pps_cb_beta_offset_div2、pps_cb_tc_offset_div2、pps_cr_beta_offset_div2、またはpps_cr_tc_offset_div2によって表される。
一部の実装においては、クロマ成分のためのデブロッキング制御パラメータが1つだけ存在するか、またはこれらのデブロッキング制御パラメータの任意の組合せが存在することは、理解される可能性がある。たとえば、これら4つすべてのデブロッキング制御パラメータが、pps_chroma_tool_offsets_present_flagの値によって条件付きでシグナリングされる。
Figure 2023512694000021
pps_cb_beta_offset_div2およびpps_cb_tc_offset_div2は、デフォルトのデブロッキングパラメータオフセットがPPSを参照するスライスのピクチャヘッダまたはスライスヘッダ内に存在するデブロッキングパラメータオフセットによってオーバーライドされない限り、PPSを参照するスライスのCb成分に適用される(2で割られた)βおよびtCに関するデフォルトのデブロッキングパラメータオフセットを指定する。pps_cb_beta_offset_div2およびpps_cb_tc_offset_div2の値は、両方とも、-12および12を含んで-12から12までの範囲内にある。存在しないとき、pps_cb_beta_offset_div2およびpps_cb_tc_offset_div2の値は、それぞれ、pps_luma_beta_offset_div2およびpps_luma_tc_offset_div2に等しいと推測される。
pps_cr_beta_offset_div2およびpps_cr_tc_offset_div2は、デフォルトのデブロッキングパラメータオフセットがPPSを参照するスライスのピクチャヘッダまたはスライスヘッダ内に存在するデブロッキングパラメータオフセットによってオーバーライドされない限り、PPSを参照するスライスのCr成分に適用される(2で割られた)βおよびtCに関するデフォルトのデブロッキングパラメータオフセットを指定する。pps_cr_beta_offset_div2およびpps_cr_tc_offset_div2の値は、両方とも、-12および12を含んで-12から12までの範囲内にある。存在しないとき、pps_cr_beta_offset_div2およびpps_cr_tc_offset_div2の値は、それぞれ、pps_luma_beta_offset_div2およびpps_luma_tc_offset_div2に等しいと推測される。
pps_luma_beta_offset_div2およびpps_luma_tc_offset_div2は、デフォルトのデブロッキングパラメータオフセットがPPSを参照するスライスのピクチャヘッダまたはスライスヘッダ内に存在するデブロッキングパラメータオフセットによってオーバーライドされない限り、PPSを参照するスライスのルマ成分に適用される(2で割られた)βおよびtCに関するデフォルトのデブロッキングパラメータオフセットを指定する。pps_luma_beta_offset_div2およびpps_luma_tc_offset_div2の値は、両方とも、-12および12を含んで-12から12までの範囲内にある。存在しないとき、pps_luma_beta_offset_div2およびpps_luma_tc_offset_div2の値は、両方とも、0に等しいと推測される。
例においては、PHレベルで、スライスのクロマ成分のためのデブロッキング制御パラメータは、ph_cb_beta_offset_div2、ph_cb_tc_offset_div2、ph_cr_beta_offset_div2、またはph_cr_tc_offset_div2によって表される。一部の実装においては、クロマ成分のためのデブロッキング制御パラメータが1つだけ存在するか、またはこれらのデブロッキング制御パラメータの任意の組合せが存在することは、理解される可能性がある。たとえば、これら4つすべてのデブロッキング制御パラメータが、pps_chroma_tool_offsets_present_flagの値によって条件付きでシグナリングされる。
Figure 2023512694000022
ph_cb_beta_offset_div2およびph_cb_tc_offset_div2は、現在のピクチャ内のスライスのCb成分に適用される(2で割られた)βおよびtCに関するデブロッキングパラメータオフセットを指定する。ph_cb_beta_offset_div2およびph_cb_tc_offset_div2の値は、両方とも、-12および12を含んで-12から12までの範囲内にある。
存在しないとき、ph_cb_beta_offset_div2およびph_cb_tc_offset_div2の値は、以下のように推測される。
pps_chroma_tool_offsets_present_flagが1に等しい場合、ph_cb_beta_offset_div2およびph_cb_tc_offset_div2の値は、それぞれ、pps_cb_beta_offset_div2およびpps_cb_tc_offset_div2に等しいと推測される。
それ以外の場合(pps_chroma_tool_offsets_present_flagが0に等しい場合)、ph_cb_beta_offset_div2およびph_cb_tc_offset_div2の値は、それぞれ、ph_luma_beta_offset_div2およびph_luma_tc_offset_div2に等しいと推測される。
ph_cr_beta_offset_div2およびph_cr_tc_offset_div2は、現在のピクチャ内のスライスのCr成分に適用される(2で割られた)βおよびtCに関するデブロッキングパラメータオフセットを指定する。ph_cr_beta_offset_div2およびph_cr_tc_offset_div2の値は、両方とも、-12および12を含んで-12から12までの範囲内にある。
存在しないとき、ph_cr_beta_offset_div2およびph_cr_tc_offset_div2の値は、以下のように推測される。
pps_chroma_tool_offsets_present_flagが1に等しい場合、ph_cr_beta_offset_div2およびph_cr_tc_offset_div2の値は、それぞれ、pps_cr_beta_offset_div2およびpps_cr_tc_offset_div2に等しいと推測される。
それ以外の場合(pps_chroma_tool_offsets_present_flagが0に等しい場合)、ph_cr_beta_offset_div2およびph_cr_tc_offset_div2の値は、それぞれ、ph_luma_beta_offset_div2およびph_luma_tc_offset_div2に等しいと推測される。
ph_luma_beta_offset_div2およびph_luma_tc_offset_div2は、現在のピクチャ内のスライスのルマ成分に適用される(2で割られた)βおよびtCに関するデブロッキングパラメータオフセットを指定する。ph_luma_beta_offset_div2およびph_luma_tc_offset_div2の値は、両方とも、-12および12を含んで-12から12までの範囲内にある。存在しないとき、ph_luma_beta_offset_div2およびph_luma_tc_offset_div2の値は、それぞれ、pps_luma_beta_offset_div2およびpps_luma_tc_offset_div2に等しいと推測される。
例においては、スライスヘッダレベルで、スライスのクロマ成分のためのデブロッキング制御パラメータは、sh_cb_beta_offset_div2、sh_cb_tc_offset_div2、sh_cr_beta_offset_div2、またはsh_cr_tc_offset_div2によって表される。
一部の実装においては、クロマ成分のためのデブロッキング制御パラメータが1つだけ存在するか、またはこれらのデブロッキング制御パラメータの任意の組合せが存在することは、理解される可能性がある。たとえば、これら4つすべてのデブロッキング制御パラメータが、pps_chroma_tool_offsets_present_flagの値によって条件付きでシグナリングされる。
Figure 2023512694000023
sh_cb_beta_offset_div2およびsh_cb_tc_offset_div2は、現在のスライスのCb成分に適用される(2で割られた)βおよびtCに関するデブロッキングパラメータオフセットを指定する。sh_cb_beta_offset_div2およびsh_cb_tc_offset_div2の値は、両方とも、-12および12を含んで-12から12までの範囲内にある。
存在しないとき、sh_cb_beta_offset_div2およびsh_cb_tc_offset_div2の値は、以下のように推測される。
pps_chroma_tool_offsets_present_flagが1に等しい場合、sh_cb_beta_offset_div2およびsh_cb_tc_offset_div2の値は、それぞれ、ph_cb_beta_offset_div2およびph_cb_tc_offset_div2に等しいと推測される。
それ以外の場合(pps_chroma_tool_offsets_present_flagが0に等しい場合)、sh_cb_beta_offset_div2およびsh_cb_tc_offset_div2の値は、それぞれ、sh_luma_beta_offset_div2およびsh_luma_tc_offset_div2に等しいと推測される。
sh_cr_beta_offset_div2およびsh_cr_tc_offset_div2は、現在のスライスのCr成分に適用される(2で割られた)βおよびtCに関するデブロッキングパラメータオフセットを指定する。sh_cr_beta_offset_div2およびsh_cr_tc_offset_div2の値は、両方とも、-12および12を含んで-12から12までの範囲内にある。
存在しないとき、sh_cr_beta_offset_div2およびsh_cr_tc_offset_div2の値は、以下のように推測される。
pps_chroma_tool_offsets_present_flagが1に等しい場合、sh_cr_beta_offset_div2およびsh_cr_tc_offset_div2の値は、それぞれ、ph_cr_beta_offset_div2およびph_cr_tc_offset_div2に等しいと推測される。
それ以外の場合(pps_chroma_tool_offsets_present_flagが0に等しい場合)、sh_cr_beta_offset_div2およびsh_cr_tc_offset_div2の値は、それぞれ、sh_luma_beta_offset_div2およびsh_luma_tc_offset_div2に等しいと推測される。
sh_luma_beta_offset_div2およびsh_luma_tc_offset_div2は、現在のスライスのルマ成分に適用される(2で割られた)βおよびtCに関するデブロッキングパラメータオフセットを指定する。sh_luma_beta_offset_div2およびsh_luma_tc_offset_div2の値は、両方とも、-12および12を含んで-12から12までの範囲内にある。存在しないとき、sh_luma_beta_offset_div2およびsh_luma_tc_offset_div2の値は、それぞれ、ph_luma_beta_offset_div2およびph_luma_tc_offset_div2に等しいと推測される。
実装において、方法は、シンタックス要素の値が予め設定された値に等しくないとき、スライスのルマ成分のためのデブロッキング制御パラメータの値に等しいスライスのクロマ成分のためのデブロッキング制御パラメータの値を設定することをさらに含む。
S804: デブロッキング制御パラメータの値に従ってスライス内のブロックに対してデブロッキングプロセスを実行する。
概して、デブロッキングフィルタプロセスに関して、デブロッキングフィルタプロセスへの入力は、デブロッキング前の再構築されたピクチャ、たとえば、配列recPictureL、ならびに、sps_chroma_format_idcが0に等しくないときには、配列recPictureCbおよびrecPictureCrである。
このプロセスの出力は、デブロッキング後の修正された再構築されたピクチャ、配列recPictureL、ならびに、sps_chroma_format_idcが0に等しくないときには、配列recPictureCbおよびrecPictureCrである。
ピクチャ内の垂直エッジが、最初にフィルタリングされる。それから、垂直エッジのフィルタリングプロセスによって修正されたサンプルを入力として、ピクチャ内の水平エッジがフィルタリングされる。各CTUのCTB内の垂直エッジおよび水平エッジが、コーディングユニット単位で別々に処理される。コーディングユニット内のコーディングブロックの垂直エッジは、コーディングブロックの左側のエッジから開始して、コーディングブロックの右側に向かってエッジをそれらの幾何学的順序で進みながらフィルタリングされる。コーディングユニット内のコーディングブロックの水平エッジは、コーディングブロックの上部のエッジから開始して、コーディングブロックの下部に向かってエッジをそれらの幾何学的順序で進みながらフィルタリングされる。
デブロッキングプロセスに関する詳細は、上記の説明を参照する可能性がある。
図11に示される実装においては、ビデオ復号装置900が、開示され、装置900は、
ビットストリームを取得するように構成される受信モジュール901を含み、
解析モジュール902が、ビットストリームからシンタックス要素の値を取得するように構成され、シンタックス要素の値が、コーディングされたピクチャのスライスのクロマ成分のためのデブロッキング制御パラメータに関連し(たとえば、シンタックス要素の値は、クロマツールオフセットに関連するシンタックス要素がピクチャパラメータセットPPS生バイトシーケンスペイロードRBSP構造内に存在するか否かを示す)、解析モジュール902は、シンタックス要素の値が予め設定された値に等しいとき、ビットストリームからスライスのクロマ成分のためのデブロッキング制御パラメータの値を取得するように構成され、予め設定された値は、整数値である。
ビットストリームは、ワイヤレスネットワークまたは有線ネットワークによって取得されてよい。ビットストリームは、同軸ケーブル、光ファイバケーブル、ツイストペア、デジタル加入者線(DSL)、または赤外線、無線、マイクロ波、WiFi、Bluetooth、LTE、もしくは5Gなどのワイヤレステクノロジーを使用して、ウェブサイト、サーバ、またはその他の遠隔のソースから送信される場合がある。
実施形態において、ビットストリームは、1つまたは複数のコーディングビデオシーケンス(CVS)を形成するアクセスユニット(AU)のシーケンスの表現を形成するネットワーク抽象化レイヤ(NAL)ユニットストリームまたはバイトストリームの形態のビットのシーケンスである。
一部の実施形態においては、復号プロセスに関して、デコーダ側が、ビットストリームを読み、ビットストリームから復号されたピクチャを導出し、符号化プロセスに関して、エンコーダ側が、ビットストリームを生成する。
通常、ビットストリームは、シンタックス構造によって形成されるシンタックス要素を含む。
シンタックス要素: ビットストリーム内に表現されるデータの要素。
シンタックス構造: 指定された順序でビットストリーム内に一緒に存在する0個以上のシンタックス要素。
特定の例において、ビットストリームのフォーマットは、ネットワーク抽象化レイヤ(NAL)ユニットストリームとバイトストリームとの間の関係を規定し、ネットワーク抽象化レイヤ(NAL)ユニットストリームおよびバイトストリームのどちらかが、ビットストリームと呼ばれる。
ビットストリームは、2つのフォーマット、すなわち、NALユニットストリームのフォーマットまたはバイトストリームのフォーマットのうちの1つであることが可能である。NALユニットストリームのフォーマットは、概念的に、より「基本的な」タイプである。NALユニットストリームのフォーマットは、NALユニットと呼ばれるシンタックス構造のシーケンスを含む。このシーケンスは、復号順で順序付けられる。NALユニットストリームのNALユニットの復号順(および内容)に対して課される制約が存在する。
バイトストリームのフォーマットは、NALユニットを復号順で順序付け、開始コードプレフィックスおよび0個以上のゼロ値バイトによって各NALユニットにプレフィックスを付けてバイトのストリームを形成することによってNALユニットストリームのフォーマットから構築され得る。NALユニットストリームのフォーマットは、バイトのこのストリーム内の一意の開始コードプレフィックスのパターンの位置を探索することによってバイトストリームのフォーマットから抽出され得る。
この項は、ビットストリームによって与えられる元のピクチャと復号されたピクチャとの間の関係を明示する。
ビットストリームによって表されるビデオソースは、復号順のピクチャのシーケンスである。
元のピクチャおよび復号されたピクチャは、それぞれ、以下の1つまたは複数のサンプル配列によって構成される。
- ルマ(Y)のみ(モノクロ)
- ルマおよび2つのクロマ(YCbCrまたはYCgCo)
- 緑、青、および赤(GBR、RGBとも呼ばれる)
- その他の不特定のモノクロまたは3刺激色サンプリング(たとえば、YZX、XYZとも呼ばれる)を表す配列
これらの配列に関連する変数および項は、使用されている実際の色表現方法に関わらず、ルマ(またはLまたはY)およびクロマと呼ばれ、2つのクロマ配列は、CbおよびCrと呼ばれる。使用されている実際の色表現方法は、ITU-T H.SEI | ISO/IEC 23002-7において規定されたVUIパラメータ内で規定されるシンタックスで示され得る。
受信モジュール901および解析モジュール902のさらなる詳細は、上記の方法の例および実装を参照する可能性がある。
復号デバイスによって実施されるコーディングの方法であって、
コーディングブロックに関するビットストリームを取得するステップと、
ビットストリームからシンタックスの値を取得するステップと、
シンタックスの値が予め設定された値に等しいとき(例において、予め設定された値は0に等しくない)、ビットストリームからデブロッキング制御パラメータの値を取得するステップとを含む、方法。
シンタックスの値が、シーケンスパラメータセットレベルで取得される実施例1の方法。
シンタックスの値が、ピクチャパラメータセットに従って取得される実施例1の方法。
シンタックスの値が、ピクチャヘッダに従って取得される実施例1の方法。
シンタックスの値が、スライスヘッダに従って取得される実施例1の方法。
デブロッキング制御パラメータの値が、ピクチャパラメータセットに従って取得される実施例1から5のいずれか1つの方法。
デブロッキング制御パラメータの値が、ピクチャヘッダに従って取得される実施例1から5のいずれか1つの方法。
デブロッキング制御パラメータの値が、スライスヘッダに従って取得される実施例1から5のいずれか1つの方法。
デブロッキング制御パラメータの値が、シーケンスパラメータセットレベルで取得される実施例1から5のいずれか1つの方法。
シンタックスの値が、ビデオシーケンスに色成分が存在しないことを示すために使用される実施例1から9のいずれか1つの方法。
ビデオシーケンスが色成分を有するときにのみ、デブロッキング制御パラメータがシグナリングされる実施例1から10のいずれか1つの方法。
シンタックスの値が、ブロックのルマ成分のためのデブロッキング制御パラメータがブロックのクロマ成分のためのデブロッキング制御パラメータと同じであるか否かを判定するために使用される実施例1から9のいずれか1つの方法。
デブロッキング制御パラメータの値が、ブロックの合同Cb-Cr成分に適用される予め設定されたデブロッキングパラメータオフセットである実施例1から12のいずれか1つの方法。
実施例1から13のいずれか1つによる方法を実行するための処理回路を含むデコーダ(30)。
コンピュータまたはプロセッサ上で実行されるときに実施例1から14のいずれか1つによる方法を実行するためのプログラムコードを含むコンピュータプログラム製品。
1つまたは複数のプロセッサと、
プロセッサに結合され、プロセッサによる実行のためにプログラミングを記憶する非一時的コンピュータ可読ストレージ媒体であって、プログラミングが、プロセッサによって実行されるときに、実施例1から15のいずれか1つによる方法を実行するようにデコーダを構成する、非一時的コンピュータ可読ストレージ媒体とを含むデコーダ。
コンピュータデバイスによって実行されるとき、コンピュータデバイスに実施例1から16のいずれか1つの方法を実行させるプログラムコードを運ぶ非一時的コンピュータ可読媒体。
以下は、上述の実施形態において示された符号化方法および復号方法の適用例ならびにそれらを使用するシステムの説明である。
図6は、コンテンツ配信サービスを実現するためのコンテンツ供給システム3100を示すブロック図である。このコンテンツ供給システム3100は、キャプチャデバイス3102、端末デバイス3106を含み、任意選択でディスプレイ3126を含む。キャプチャデバイス3102は、通信リンク3104を介して端末デバイス3106と通信する。通信リンクは、上述の通信チャネル13を含む可能性がある。通信リンク3104は、WIFI、イーサネット、ケーブル、ワイヤレス(3G/4G/5G)、USB、またはこれらの任意の種類の組合せなどを含むがこれらに限定されない。
キャプチャデバイス3102は、データを生成し、上の実施形態に示された符号化方法によってデータを符号化する可能性がある。代替的に、キャプチャデバイス3102は、データをストリーミングサーバ(図示せず)に配信する可能性があり、サーバが、データを符号化し、符号化されたデータを端末デバイス3106に送信する。キャプチャデバイス3102は、カメラ、スマートフォンもしくはスマートパッド、コンピュータもしくはラップトップ、テレビ会議システム、PDA、車載デバイス、またはこれらのいずれかの組合せなどを含むがこれらに限定されない。たとえば、キャプチャデバイス3102は、上述の送信元デバイス12を含む可能性がある。データがビデオを含むとき、キャプチャデバイス3102に含まれるビデオエンコーダ20が、ビデオ符号化処理を実際に実行する可能性がある。データがオーディオ(つまり、声)を含むとき、キャプチャデバイス3102に含まれるオーディオエンコーダが、オーディオ符号化処理を実際に実行する可能性がある。いくつかの実際のシナリオに関して、キャプチャデバイス3102は、符号化されたビデオおよびオーディオデータを一緒に多重化することによってそれらのデータを配信する。その他の実際のシナリオに関して、たとえば、テレビ会議システムにおいて、符号化されたオーディオデータおよび符号化されたビデオデータは、多重化されない。キャプチャデバイス3102は、符号化されたオーディオデータおよび符号化されたビデオデータを端末デバイス3106に別々に配信する。
コンテンツ供給システム3100において、端末デバイス310は、符号化されたデータを受信し、再生する。端末デバイス3106は、上述の符号化されたデータを復号することができるスマートフォンもしくはスマートパッド3108、コンピュータもしくはラップトップ3110、ネットワークビデオレコーダ(NVR)/デジタルビデオレコーダ(DVR)3112、TV 3114、セットトップボックス(STB)3116、テレビ会議システム3118、ビデオ監視システム3120、携帯情報端末(PDA)3122、車載デバイス3124、またはこれらのいずれかの組合せなどの、データ受信および復元能力を有するデバイスであることが可能である。たとえば、端末デバイス3106は、上述の送信先デバイス14を含む可能性がある。符号化されたデータがビデオを含むとき、端末デバイスに含まれるビデオデコーダ30が、ビデオの復号を実行するために優先される。符号化されたデータがオーディオを含むとき、端末デバイスに含まれるオーディオデコーダが、オーディオ復号処理を実行するために優先される。
ディスプレイを有する端末デバイス、たとえば、スマートフォンもしくはスマートパッド3108、コンピュータもしくはラップトップ3110、ネットワークビデオレコーダ(NVR)/デジタルビデオレコーダ(DVR)3112、TV 3114、携帯情報端末(PDA)、または車載デバイス3124に関して、端末デバイスは、復号されたデータをその端末デバイスのディスプレイに供給することができる。ディスプレイを備えていない端末デバイス、たとえば、STB 3116、テレビ会議システム3118、またはビデオ監視システム3120に関しては、外部ディスプレイ3126に連絡を取り、復号されたデータが受信され示される。
このシステムの各デバイスが符号化または復号を実行するとき、上述の実施形態において示されたピクチャ符号化デバイスまたはピクチャ復号デバイスが、使用され得る。
図7は、端末デバイス3106の例の構造を示す図である。端末デバイス3106がキャプチャデバイス3102からストリームを受信した後、プロトコル進行ユニット3202が、ストリームの送信プロトコルを分析する。プロトコルは、リアルタイムストリーミングプロトコル(RTSP)、ハイパーテキスト転送プロトコル(HTTP)、HTTPライブストリーミングプロトコル(HLS)、MPEG-DASH、リアルタイムトランスポートプロトコル(RTP)、リアルタイムメッセージングプロトコル(RTMP)、またはこれらの任意の種類の組合せなどを含むがこれらに限定されない。
プロトコル進行ユニット3202がストリームを処理した後、ストリームファイルが生成される。ファイルは、多重分離ユニット3204に出力される。多重分離ユニット3204は、多重化されたデータを符号化されたオーディオデータおよび符号化されたビデオデータに分離することができる。上述のように、いくつかの実際のシナリオに関して、たとえば、テレビ会議システムにおいて、符号化されたオーディオデータおよび符号化されたビデオデータは、多重化されない。この状況では、符号化されたデータは、多重分離ユニット3204を通さずにビデオデコーダ3206およびオーディオデコーダ3208に送信される。
多重分離処理によって、ビデオエレメンタリストリーム(ES)、オーディオES、および任意選択で字幕が生成される。上述の実施形態において説明されたビデオデコーダ30を含むビデオデコーダ3206は、上述の実施形態において示された復号方法によってビデオESを復号してビデオフレームを生成し、このデータを同期ユニット3212に供給する。オーディオデコーダ3208は、オーディオESを復号してオーディオフレームを生成し、このデータを同期ユニット3212に供給する。代替的に、ビデオフレームは、そのビデオフレームを同期ユニット3212に供給する前に、(図7に示されていない)バッファに記憶される可能性がある。同様に、オーディオフレームは、そのオーディオフレームを同期ユニット3212に供給する前に、(図7に示されていない)バッファに記憶される可能性がある。
同期ユニット3212は、ビデオフレームとオーディオフレームとを同期し、ビデオ/オーディオをビデオ/オーディオディスプレイ3214に供給する。たとえば、同期ユニット3212は、ビデオ情報およびオーディオ情報の提示を同期する。情報は、コーディングされたオーディオデータおよびビジュアルデータの提示に関するタイムスタンプならびにデータストリームの配信自体に関するタイムスタンプを使用するシンタックスにおいてコーディングし得る。
字幕がストリームに含まれる場合、字幕デコーダ3210が、字幕を復号し、その字幕をビデオフレームおよびオーディオフレームと同期し、ビデオ/オーディオ/字幕をビデオ/オーディオ/字幕ディスプレイ3216に供給する。
本発明は、上述のシステムに限定されず、上述の実施形態のピクチャ符号化デバイスかまたはピクチャ復号デバイスかのどちらかが、その他のシステム、たとえば、自動車のシステムに組み込まれ得る。
数学演算子
本出願において使用される数学演算子は、Cプログラミング言語において使用される数学演算子に似ている。しかし、整数の除算および算術シフト演算の結果は、より厳密に定義され、累乗および実数値の除算などの追加の演算が、定義される。付番およびカウントの規則は、概して0から始まり、たとえば、「第1」は、0番と等価であり、「第2」は、1番と等価であり、以下同様である。
算術演算子
以下の算術演算子が、以下の通り定義される。
+ 加算
- 減算(2引数の演算子として)または否定(単項前置演算子として)
* 行列の乗算を含む乗算
xy 累乗。xのy乗を規定する。その他の文脈で、そのような表記は、累乗として解釈されるように意図されない上付きの書き込みのために使用される。
/ 結果のゼロへの切り捨てを行う整数の除算。たとえば、7 / 4および-7 / -4は、1に切り捨てられ、-7 / 4および7 / -4は、-1に切り捨てられる。
÷ 切り捨てまたは丸めが意図されない数学的方程式の除算を表すために使用される。
Figure 2023512694000024
切り捨てまたは丸めが意図されない数学的方程式の除算を表すために使用される。
Figure 2023512694000025
iがxからyを含んでyまでのすべての整数値を取るf( i )の総和。
x % y 法。x >= 0およびy > 0である整数xおよびyに関してのみ定義されるx割るyの余り。
論理演算子
以下の論理演算子が、以下の通り定義される。
x && y xおよびyのブール論理「積」
x || y xおよびyのブール論理「和」
! ブール論理「否定」
x ? y : z xが真であるかまたは0に等しくない場合、値yと評価され、そうでない場合、値zと評価される。
関係演算子
以下の関係演算子が、以下の通り定義される。
> より大きい
>= 以上
< 未満
<= 以下
== 等しい
!= 等しくない
関係演算子が値「na」(該当なし)を割り当てられたシンタックス要素または変数に適用されるとき、値「na」は、シンタックス要素または変数に関する異なる値として扱われる。値「na」は、いかなるその他の値とも等しくないとみなされる。
ビット演算子
以下のビット演算子が、以下の通り定義される。
& ビット毎の「論理積」。整数引数に対する演算のとき、整数値の2の補数表現に対して作用する。別の引数よりも少ないビットを含む2進数引数に対する演算のとき、より短い引数が、0に等しいさらに上位桁のビットを追加することによって拡張される。
ビット毎の「論理和」。整数引数に対する演算のとき、整数値の2の補数表現に対して作用する。別の引数よりも少ないビットを含む2進数引数に対する演算のとき、より短い引数が、0に等しいさらに上位桁のビットを追加することによって拡張される。
^ ビット毎の「排他的論理和」。整数引数に対する演算のとき、整数値の2の補数表現に対して作用する。別の引数よりも少ないビットを含む2進数引数に対する演算のとき、より短い引数が、0に等しいさらに上位桁のビットを追加することによって拡張される。
x>>y xの2の補数による整数の表現の、2進数のy桁分の算術右シフト。この関数は、yの非負の整数値に対してのみ定義される。右シフトの結果として最上位ビット(MSB)にシフトされるビットは、シフト演算の前のxのMSBに等しい値を有する。
x<<y xの2の補数による整数の表現の、2進数のy桁分の算術左シフト。この関数は、yの非負の整数値に対してのみ定義される。左シフトの結果として最下位ビット(LSB)にシフトされるビットは、0に等しい値を有する。
代入演算子
以下の算術演算子が、以下の通り定義される。
= 代入演算子
++ インクリメント、つまり、x++は、x = x + 1と等価であり、配列のインデックスに使用されるとき、インクリメント演算の前に変数の値と評価される。
-- デクリメント、つまり、x--は、x = x - 1と等価であり、配列のインデックスに使用されるとき、デクリメント演算の前に変数の値と評価される。
+= 指定された量のインクリメント、つまり、x += 3は、x = x + 3と等価であり、x += (-3)は、x = x + (-3)と等価である。
-= 指定された量のデクリメント、つまり、x -= 3は、x = x - 3と等価であり、x -= (-3)は、x = x - (-3)と等価である。
範囲の表記
以下の表記が、値の範囲を指定するために使用される。
x = y..z xは、x、y、およびzが整数値であり、zがyよりも大きいものとして、yおよびzを含んでyからzまでの整数値を取る。
数学関数
以下の数学関数が、定義される。
Figure 2023512694000026
Asin( x ) -1.0および1.0を含んで-1.0から1.0までの範囲内の引数xに作用し、ラジアンを単位として-π÷2およびπ÷2を含んで-π÷2からπ÷2までの範囲の出力値を有する三角法の逆正弦関数
Atan( x ) 引数xに作用し、ラジアンを単位として-π÷2およびπ÷2を含んで-π÷2からπ÷2までの範囲の出力値を有する三角法の逆正接関数
Figure 2023512694000027
Ceil( x ) x以上の最小の整数。
Clip1Y( x ) = Clip3( 0, ( 1 << BitDepthY ) - 1, x )
Clip1C( x ) = Clip3( 0, ( 1 << BitDepthC ) - 1, x )
Figure 2023512694000028
Cos( x ) ラジアンを単位とする引数xに作用する三角法の余弦関数。
Floor(x) x以下の最大の整数。
Figure 2023512694000029
Ln( x ) xの自然対数(eを底とする対数であり、eは、自然対数の底の定数2.718281828...である)。
Log2( x ) xの2を底とする対数。
Log10( x ) xの10を底とする対数。
Figure 2023512694000030
Round( x ) = Sign( x ) * Floor( Abs( x ) + 0.5 )
Figure 2023512694000031
Sin( x ) ラジアンを単位とする引数xに作用する三角法の正弦関数
Figure 2023512694000032
Swap( x, y ) = ( y, x )
Tan( x ) ラジアンを単位とする引数xに作用する三角法の正接関数
演算の優先順位
式中の優先順位が括弧を使用して明示されないとき、以下の規則が、適用される。
より高い優先度の演算は、より低い優先度のいかなる演算よりも前に評価される。
同じ優先度の演算は、左から右に順に評価される。
下の表は、最も高い方から最も低い方へ演算の優先度を明示し、表のより上の位置は、より高い優先度を示す。
Cプログラミング言語においても使用される演算子に関して、本明細書において使用される優先順位は、Cプログラミング言語において使用されるのと同じである。
Figure 2023512694000033
論理演算のテキストの記述
本文中、以下の形態で、すなわち、
if( 条件0 )
ステートメント0
else if( 条件1 )
ステートメント1
else /* 残りの条件に関する情報を伝えるコメント */
ステートメントn
の形態で数学的に記述される論理演算のステートメントは、以下のように記述される可能性がある。
以下のように / ...以下が適用される。
- 条件0の場合、ステートメント0
- そうではなく、条件1の場合、ステートメント1
- ...
- それ以外の場合(残りの条件に関する情報を伝えるコメント)、ステートメントn
本文中のそれぞれの「...の場合、...、そうではなく...の場合、...、それ以外の場合、...」のステートメントは、「...の場合、...」が直後に続く「以下のように...」または「...以下が適用される」によって導入される。「...の場合、...、そうではなく...の場合、...、それ以外の場合、...」の最後の条件は、常に「それ以外の場合、...」である。交互に挿入された「...の場合、...、そうではなく...の場合、...、それ以外の場合、...」のステートメントは、「以下のように...」または「...以下が適用される」を終わりの「それ以外の場合、...」とマッチングすることによって特定され得る。
本文中、以下の形態で、すなわち、
if( 条件0a && 条件0b )
ステートメント0
else if( 条件1a || 条件1b )
ステートメント1
...
else
ステートメントn
の形態で数学的に記述される論理演算のステートメントは、以下のようにして記述される可能性がある。
以下のように.../...以下が適用される。
- 以下の条件のすべてが真である場合、ステートメント0
- 条件0a
- 条件0b
- そうではなく、以下の条件のうちの1つまたは複数が真である場合、ステートメント1
- 条件1a
- 条件1b
- ...
- それ以外の場合、ステートメントn
本文中、以下の形態で、すなわち、
if( 条件0 )
ステートメント0
if( 条件1 )
ステートメント1
の形態で数学的に記述される論理演算のステートメントは、以下のように記述される可能性がある。
条件0のとき、ステートメント0
条件1のとき、ステートメント1
本発明の実施形態が主にビデオコーディングに基づいて説明されたが、コーディングシステム10、エンコーダ20、およびデコーダ30(およびそれに対応してシステム10)の実施形態、ならびに本明細書において説明されたその他の実施形態は、静止ピクチャの処理またはコーディング、つまり、ビデオコーディングと同様のいかなる先行するまたは連続するピクチャからも独立した個々のピクチャの処理またはコーディングのために構成されてもよいことに留意されたい。概して、ピクチャの処理のコーディングが単一のピクチャ17に制限される場合、インター予測ユニット244(エンコーダ)および344(デコーダ)のみが、利用可能でない可能性がある。ビデオエンコーダ20およびビデオデコーダ30のすべてのその他の機能(ツールまたはテクノロジーとも呼ばれる)、たとえば、残差計算204/304、変換206、量子化208、逆量子化210/310、(逆)変換212/312、区分け262/362、イントラ予測254/354、および/またはループフィルタリング220、320、およびエントロピーコーディング270、およびエントロピー復号304が、静止ピクチャの処理のために等しく使用される場合がある。
たとえば、エンコーダ20およびデコーダ30、ならびにたとえばエンコーダ20およびデコーダ30に関連して本明細書において説明された機能の実施形態は、ハードウェア、ソフトウェア、ファームウェア、またはこれらの任意の組合せで実装されてよい。ソフトウェアで実装される場合、機能は、1つまたは複数の命令またはコードとしてコンピュータ可読媒体上に記憶されるかまたは通信媒体上で送信され、ハードウェアに基づく処理ユニットによって実行されてよい。コンピュータ可読媒体は、データストレージ媒体などの有形の媒体に対応するコンピュータ可読ストレージ媒体、またはたとえば通信プロトコルによるある場所から別の場所へのコンピュータプログラムの転送を容易にする任意の媒体を含む通信媒体を含む可能性がある。このようにして、概して、コンピュータ可読媒体は、(1)非一時的である有形のコンピュータ可読ストレージ媒体または(2)信号もしくは搬送波などの通信媒体に対応する可能性がある。データストレージ媒体は、本開示において説明された技術の実装のための命令、コード、および/またはデータ構造を取り出すために1つもしくは複数のコンピュータまたは1つもしくは複数のプロセッサによってアクセスされ得る任意の利用可能な媒体である可能性がある。コンピュータプログラム製品は、コンピュータ可読媒体を含む可能性がある。
限定ではなく例として、そのようなコンピュータ可読ストレージ媒体は、RAM、ROM、EEPROM、CD-ROMもしくはその他の光ディスクストレージ、磁気ディスクストレージもしくはその他の磁気ストレージデバイス、フラッシュメモリ、または命令もしくはデータ構造の形態で所望のプログラムコードを記憶するために使用されることが可能であり、コンピュータによってアクセスされることが可能である任意のその他の媒体を含み得る。また、任意の接続が、適切にコンピュータ可読媒体と呼ばれる。たとえば、命令が、同軸ケーブル、光ファイバケーブル、ツイストペア、デジタル加入者線(DSL)、または赤外線、ラジオ波、およびマイクロ波などのワイヤレステクノロジーを用いてウェブサイト、サーバ、またはその他のリモートソースから送信される場合、同軸ケーブル、光ファイバケーブル、ツイストペア、DSL、または赤外線、ラジオ波、およびマイクロ波などのワイヤレステクノロジーは、媒体の定義に含まれる。しかし、コンピュータ可読ストレージ媒体およびデータストレージ媒体は、接続、搬送波、信号、またはその他の一時的媒体を含まず、その代わりに、非一時的な有形のストレージ媒体を対象とすることを理解されたい。本明細書において使用されるとき、ディスク(disk)およびディスク(disc)は、コンパクトディスク(CD: compact disc)、レーザディスク(laser disc)、光ディスク(optical disc)、デジタルバーサタイルディスク(DVD: digital versatile disc)、フロッピーディスク(floppy disk)、およびブルーレイディスク(Blu-ray disc)を含み、ディスク(disk)が、通常、磁気的にデータを再生する一方、ディスク(disc)は、レーザを用いて光学的にデータを再生する。上記のものの組合せも、コンピュータ可読媒体の範囲に含まれるべきである。
命令は、1つまたは複数のデジタル信号プロセッサ(DSP)、汎用マイクロプロセッサ、特定用途向け集積回路(ASIC)、フィールドプログラマブルロジックアレイ(FPGA)、またはその他の等価な集積もしくはディスクリート論理回路などの1つまたは複数のプロセッサによって実行される可能性がある。したがって、用語「プロセッサ」は、本明細書において使用されるとき、上述の構造または本明細書において説明された技術の実装に好適な任意のその他の構造のいずれかを指す可能性がある。加えて、一部の態様において、本明細書において説明された機能は、符号化および復号のために構成された専用のハードウェアおよび/もしくはソフトウェアモジュール内に提供されるか、または組み合わされたコーデックに組み込まれる可能性がある。また、技術は、1つまたは複数の回路または論理要素にすべて実装される可能性がある。
本開示の技術は、ワイヤレスハンドセット、集積回路(IC)、または1組のIC(たとえば、チップセット)を含む多種多様なデバイスまたは装置に実装される可能性がある。様々な構成要素、モジュール、またはユニットが、開示された技術を実行するように構成されたデバイスの機能の態様を強調するために本開示において説明されているが、異なるハードウェアユニットによる実現を必ずしも必要としない。むしろ、上述のように、様々なユニットが、コーデックハードウェアユニットにおいて組み合わされるか、または好適なソフトウェアおよび/もしくはファームウェアと連携した、上述の1つもしくは複数のプロセッサを含む相互運用性のあるハードウェアユニットの集合によって提供される可能性がある。
10 ビデオコーディングシステム、コーディングシステム
12 送信元デバイス
13 通信チャネル
14 送信先デバイス
16 ピクチャソース
17 ピクチャ、ピクチャデータ、生ピクチャ、生ピクチャデータ、モノクロピクチャ、カラーピクチャ、現在のピクチャ
18 プリプロセッサ、前処理ユニット、ピクチャプリプロセッサ
19 前処理されたピクチャ、前処理されたピクチャデータ
20 ビデオエンコーダ、エンコーダ
21 符号化されたピクチャデータ、符号化されたビットストリーム
22 通信インターフェース、通信ユニット
28 通信インターフェース、通信ユニット
30 デコーダ、ビデオデコーダ
31 復号されたピクチャデータ、復号されたピクチャ
32 ポストプロセッサ、後処理ユニット
33 後処理されたピクチャデータ、後処理されたピクチャ
34 ディスプレイデバイス
46 処理回路
100 ビデオエンコーダ
201 入力、入力インターフェース
203 ピクチャブロック、元のブロック、現在のブロック、現在のピクチャブロック、CTU
204 残差計算ユニット、残差計算
205 残差ブロック、残差
206 変換処理ユニット、変換
207 変換係数
208 量子化ユニット、量子化
209 量子化された係数、量子化された変換係数、量子化された残差係数
210 逆量子化ユニット、逆量子化
211 量子化解除された係数、量子化解除された残差係数
212 逆変換処理ユニット、(逆)変換
213 再構築された残差ブロック
214 再構築ユニット、加算器、合算器
215 再構築されたブロック
216 バッファ
220 ループフィルタユニット、ループフィルタ、ループフィルタリング
221 フィルタリングされたブロック、フィルタリングされた再構築されたブロック
230 復号ピクチャバッファ(DPB)
231 復号されたピクチャ
244 インター予測ユニット(エンコーダ)
254 イントラ予測ユニット、インター予測ユニット、イントラ予測
260 モード選択ユニット
262 区分けユニット、区分け
265 予測ブロック、予測子
266 シンタックス要素
270 エントロピー符号化ユニット
272 出力、出力インターフェース
304 エントロピー復号ユニット、残差計算
309 量子化された係数
310 逆量子化ユニット、逆量子化
311 量子化解除された係数、変換係数
312 逆変換処理ユニット、(逆)変換、出力
313 再構築された残差ブロック
314 再構築ユニット、合算器、加算器
315 再構築されたブロック
320 ループフィルタ、ループフィルタユニット、ループフィルタリングユニット、ループフィルタリング
321 フィルタリングされたブロック、復号されたビデオブロック
330 復号ピクチャバッファ(DPB)
331 復号されたピクチャ
344 インター予測ユニット(デコーダ)
354 イントラ予測ユニット、イントラ予測
360 モード適用ユニット
362 区分け
365 予測ブロック
400 ビデオコーディングデバイス
410 着信ポート、入力ポート
420 受信機ユニット(Rx)
430 プロセッサ、論理ユニット、中央演算処理装置(CPU)
440 送信機ユニット(Tx)
450 発信ポート、出力ポート
460 メモリ
470 コーディングモジュール
500 装置
502 プロセッサ
504 メモリ
506 データ
508 オペレーティングシステム
510 アプリケーションプログラム
512 バス
514 二次ストレージ
518 ディスプレイ
900 ビデオ復号装置
901 受信モジュール
902 解析モジュール
3100 コンテンツ供給システム
3102 キャプチャデバイス
3104 通信リンク
3106 端末デバイス
3108 スマートフォン、スマートパッド
3110 コンピュータ、ラップトップ
3112 ネットワークビデオレコーダ(NVR)/デジタルビデオレコーダ(DVR)
3114 TV
3116 セットトップボックス(STB)
3118 テレビ会議システム
3120 ビデオ監視システム
3122 携帯情報端末(PDA)
3124 車載デバイス
3126 ディスプレイ
3202 プロトコル進行ユニット
3204 多重分離ユニット
3206 ビデオデコーダ
3208 オーディオデコーダ
3210 字幕デコーダ
3212 同期ユニット
3214 ビデオ/オーディオディスプレイ
3216 ビデオ/オーディオ/字幕ディスプレイ

Claims (14)

  1. 復号デバイスによって実施されるコーディングの方法であって、
    ビットストリームからシンタックス要素の値を取得するステップであって、前記シンタックス要素の前記値が、コーディングされたピクチャのスライスのクロマ成分のためのデブロッキング制御パラメータに関連する、ステップと、
    前記シンタックス要素の前記値が予め設定された値に等しいとき、前記ビットストリームから前記スライスの前記クロマ成分のための前記デブロッキング制御パラメータの値を解析するステップであって、前記予め設定された値が、整数値である、ステップと、
    前記デブロッキング制御パラメータの前記値に従って前記スライス内のブロックに対してデブロッキングプロセスを実行するステップとを含む、方法。
  2. 前記シンタックス要素の前記値が、ピクチャパラメータセットPPSから取得される請求項1に記載の方法。
  3. 前記スライスのクロマ成分のための前記デブロッキング制御パラメータの前記値が、前記PPSから取得される請求項1または2に記載の方法。
  4. 前記スライスのクロマ成分のための前記デブロッキング制御パラメータの前記値が、ピクチャヘッダPHから取得される請求項1または2に記載の方法。
  5. 前記スライスのクロマ成分のための前記デブロッキング制御パラメータの前記値が、スライスヘッダSHから取得される請求項1または2に記載の方法。
  6. ビデオシーケンスに色成分が存在しないとき、前記シンタックス要素の前記値が0に等しい請求項1から5のいずれか一項に記載の方法。
  7. 前記ビデオシーケンスが色成分を有するときに、前記スライスのクロマ成分のための前記デブロッキング制御パラメータがシグナリングされる請求項1から6のいずれか一項に記載の方法。
  8. 前記シンタックス要素の前記値が、前記スライスのルマ成分のためのデブロッキング制御パラメータが前記スライスのクロマ成分のための前記デブロッキング制御パラメータと同じであるかどうかを判定するために使用される請求項1から7のいずれか一項に記載の方法。
  9. 前記シンタックス要素の前記値が前記予め設定された値に等しくないとき、前記スライスのルマ成分のためのデブロッキング制御パラメータの値に等しい前記スライスのクロマ成分のための前記デブロッキング制御パラメータの前記値を設定するステップをさらに含む請求項1から8のいずれか一項に記載の方法。
  10. 前記デブロッキング制御パラメータの前記値が、前記スライスの合同Cb-Cr成分に適用される予め設定されたデブロッキングパラメータオフセットである請求項1から9のいずれか一項に記載の方法。
  11. 請求項1から10のいずれか一項に記載の方法を実行するための処理回路を含むデコーダ(30)。
  12. コンピュータまたはプロセッサ上で実行されるときに請求項1から10のいずれか一項に記載の方法を実行するためのプログラムコードを含むコンピュータプログラム製品。
  13. 1つまたは複数のプロセッサと、
    前記プロセッサに結合され、前記プロセッサによって実行するためのプログラミングを記憶する非一時的コンピュータ可読ストレージ媒体であって、前記プログラミングが、前記プロセッサによって実行されるときに、請求項1から10のいずれか一項に記載の方法を実行するようにデコーダを構成する、非一時的コンピュータ可読ストレージ媒体とを含むデコーダ。
  14. コンピュータデバイスによって実行されるとき、前記コンピュータデバイスに請求項1から10のいずれか一項に記載の方法を実行させるプログラムコードを運ぶ非一時的コンピュータ可読媒体。
JP2022547752A 2020-02-04 2021-01-15 高レベルシンタックスのシグナリングについてのエンコーダ、デコーダ、および対応する方法 Pending JP2023512694A (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
EPPCT/EP2020/052682 2020-02-04
EP2020052682 2020-02-04
EPPCT/EP2020/059031 2020-03-31
EP2020059031 2020-03-31
PCT/CN2021/071969 WO2021155740A1 (en) 2020-02-04 2021-01-15 An encoder, a decoder and corresponding methods about signaling high level syntax

Publications (1)

Publication Number Publication Date
JP2023512694A true JP2023512694A (ja) 2023-03-28

Family

ID=77199145

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022547752A Pending JP2023512694A (ja) 2020-02-04 2021-01-15 高レベルシンタックスのシグナリングについてのエンコーダ、デコーダ、および対応する方法

Country Status (11)

Country Link
US (1) US20220394247A1 (ja)
EP (1) EP4088465A4 (ja)
JP (1) JP2023512694A (ja)
KR (1) KR20220127351A (ja)
CN (2) CN115023953A (ja)
AU (1) AU2021215741A1 (ja)
BR (1) BR112022015242A2 (ja)
CA (1) CA3167088A1 (ja)
CL (1) CL2022002087A1 (ja)
MX (1) MX2022009555A (ja)
WO (1) WO2021155740A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115152235A (zh) * 2020-02-26 2022-10-04 寰发股份有限公司 图像或视频处理系统中传送回路滤波器参数的方法及装置
JP2021158633A (ja) * 2020-03-30 2021-10-07 Kddi株式会社 画像復号装置、画像復号方法及びプログラム
WO2021201551A1 (ko) * 2020-04-02 2021-10-07 엘지전자 주식회사 비디오 또는 영상 코딩 시스템에서의 흑백 영상에 대한 크로마 디블록킹 파라미터 정보에 기반한 영상 코딩 방법
EP4128763A4 (en) 2020-04-29 2023-08-30 ByteDance Inc. REPORTING FILTER PARAMETERS IN VIDEO IMAGE HEADER

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9001899B2 (en) * 2006-09-15 2015-04-07 Freescale Semiconductor, Inc. Video information processing system with selective chroma deblock filtering
JP5818800B2 (ja) * 2009-10-05 2015-11-18 トムソン ライセンシングThomson Licensing 符号化方法及び復号化方法
US9872019B2 (en) * 2010-07-20 2018-01-16 Sk Telecom Co., Ltd. Method and device for deblocking-filtering, and method and device for encoding and decoding using same
US9185404B2 (en) * 2011-10-07 2015-11-10 Qualcomm Incorporated Performing transform dependent de-blocking filtering
US9451252B2 (en) * 2012-01-14 2016-09-20 Qualcomm Incorporated Coding parameter sets and NAL unit headers for video coding
JP2013229865A (ja) * 2012-03-30 2013-11-07 Jvc Kenwood Corp 画像符号化装置、画像符号化方法、画像符号化プログラム、送信装置、送信方法、及び送信プログラム
CN107509078B (zh) * 2012-04-16 2021-07-20 韩国电子通信研究院 用于解码视频信号的方法
WO2013159335A1 (en) * 2012-04-27 2013-10-31 Mediatek Singapore Pte. Ltd. Modifications related to sao and deblocking in hevc
US9414054B2 (en) * 2012-07-02 2016-08-09 Microsoft Technology Licensing, Llc Control and use of chroma quantization parameter values
US9591302B2 (en) * 2012-07-02 2017-03-07 Microsoft Technology Licensing, Llc Use of chroma quantization parameter offsets in deblocking
US20140044168A1 (en) * 2012-08-13 2014-02-13 Qualcomm Incorporated Device and method for scalable coding of video information
US20140079135A1 (en) * 2012-09-14 2014-03-20 Qualcomm Incoporated Performing quantization to facilitate deblocking filtering
CN104704824B (zh) * 2012-10-04 2018-05-11 瑞典爱立信有限公司 分层去块参数适配
WO2014107709A2 (en) * 2013-01-07 2014-07-10 Vid Scale, Inc. Enhanced deblocking filters for video coding
US10412419B2 (en) * 2013-07-12 2019-09-10 Qualcomm Incorporated Adaptive filtering in video coding
US9762927B2 (en) * 2013-09-26 2017-09-12 Qualcomm Incorporated Sub-prediction unit (PU) based temporal motion vector prediction in HEVC and sub-PU design in 3D-HEVC
FR3018417B1 (fr) * 2014-03-04 2017-07-28 Sagemcom Broadband Sas Procede de modification d'un flux video binaire.
KR102073930B1 (ko) * 2014-03-14 2020-02-06 브이아이디 스케일, 인크. Rgb 비디오 코딩 향상을 위한 시스템 및 방법
US10404988B2 (en) * 2014-03-16 2019-09-03 Vid Scale, Inc. Method and apparatus for the signaling of lossless video coding
JP2016046641A (ja) * 2014-08-21 2016-04-04 三菱電機株式会社 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法
WO2016056398A1 (ja) * 2014-10-06 2016-04-14 ソニー株式会社 画像処理装置および方法
CN107251555B (zh) * 2015-02-17 2020-02-07 寰发股份有限公司 编解码视频数据的方法和装置
TW201642655A (zh) * 2015-04-21 2016-12-01 Vid衡器股份有限公司 基於藝術意向之視訊編碼
US20160360234A1 (en) * 2015-06-03 2016-12-08 Apple Inc. Techniques For Resource Conservation During Performance Of Intra Block Copy Prediction Searches
US10136146B1 (en) * 2016-03-23 2018-11-20 Amazon Technologies, Inc. Metadata optimizations for encoding of media content
US11575885B2 (en) * 2016-10-11 2023-02-07 Electronics And Telecommunications Research Institute Image encoding/decoding method and apparatus and recording medium for storing bitstream
WO2018122092A1 (en) * 2016-12-30 2018-07-05 Telefonaktiebolaget Lm Ericsson (Publ) Methods, apparatus, and computer programs for decoding media
JP2020072277A (ja) * 2017-03-03 2020-05-07 シャープ株式会社 動画像符号化装置及び動画像復号装置
US10708591B2 (en) * 2017-03-20 2020-07-07 Qualcomm Incorporated Enhanced deblocking filtering design in video coding
US10708592B2 (en) * 2018-04-02 2020-07-07 Qualcomm Incorporated Deblocking filter for video coding and processing
GB2573797A (en) * 2018-05-17 2019-11-20 Canon Kk A filter
CN115567707A (zh) * 2019-05-30 2023-01-03 抖音视界有限公司 色度分量的自适应环路滤波
US20210058620A1 (en) * 2019-08-23 2021-02-25 Qualcomm Incorporated Chroma quantization parameter (qp) derivation for video coding
EP4047933A4 (en) * 2019-11-18 2022-12-14 LG Electronics Inc. APPARATUS AND METHOD FOR FILTER BASED IMAGE CODING
CN114930818A (zh) * 2020-01-01 2022-08-19 字节跳动有限公司 用于色度编解码的比特流语法

Also Published As

Publication number Publication date
CL2022002087A1 (es) 2023-01-27
US20220394247A1 (en) 2022-12-08
CN115023953A (zh) 2022-09-06
EP4088465A1 (en) 2022-11-16
BR112022015242A2 (pt) 2022-09-20
CA3167088A1 (en) 2021-08-12
WO2021155740A1 (en) 2021-08-12
MX2022009555A (es) 2022-11-16
AU2021215741A1 (en) 2022-09-08
CN116233470B (zh) 2024-01-09
EP4088465A4 (en) 2023-11-29
CN116233470A (zh) 2023-06-06
KR20220127351A (ko) 2022-09-19

Similar Documents

Publication Publication Date Title
JP7343573B2 (ja) 逆量子化のための装置及び方法
KR102628895B1 (ko) 조인트 크로마 코딩을 사용하는 블록에 대해 크로마 디블로킹을 수행하기 위한 인코더, 디코더 및 대응 방법
WO2021129690A1 (en) Cross-component adaptive loop filtering for video coding
JP7391991B2 (ja) イントラ平滑化のための方法および装置
CA3131311A1 (en) An encoder, a decoder and corresponding methods for inter prediction
WO2021155740A1 (en) An encoder, a decoder and corresponding methods about signaling high level syntax
JP2022541700A (ja) イントラ予測モードに関連するエンコーダ、デコーダ、および対応する方法
US11729391B2 (en) Encoder, a decoder and corresponding methods simplifying signaling slice header syntax elements
JP2022552727A (ja) シーケンスパラメータセット内でのサブピクチャのシグナリングのためのエンコーダ、デコーダ、および対応する方法
JP2023515626A (ja) エンコーダ、デコーダ、および対応するシグナリングの方法、ならびにパラメータセット内のセマンティクス
US11973953B2 (en) Method and apparatus of still picture and video coding with shape-adaptive resampling of residual blocks
JP7328446B2 (ja) クロミナンス量子化パラメータのシグナリングのための方法及び装置
KR20220059549A (ko) 향상된 보간 필터로써 하나의 블록 행의 처리 동안 페치되는 참조 라인의 수를 감소시키는 아핀 모션 모델 제약
KR20220065880A (ko) 아핀 모션 보상에서 dct 기반 보간 필터 및 향상된 쌍선형 보간 필터의 사용
JP2023100701A (ja) イントラ予測のためのイントラモードコーディングを使用するエンコーダ、デコーダ、および対応する方法
WO2021063389A1 (en) Encoder, decoder and corresponding methods using interpolation filtering
JP2023515189A (ja) スライス用のピクチャパーティション情報をシグナリングするためのデコーダ及び対応する方法
KR20220109464A (ko) 유연한 프로파일 구성의 인코더, 디코더 및 대응하는 방법들
WO2021025597A1 (en) Method and apparatus of sample adaptive offset in-loop filter with application region size constraint
US20220217346A1 (en) Method and Apparatus for Chrominance QP Offsets Tables Signaling and Derivation
WO2021008470A1 (en) An encoder, a decoder and corresponding methods
JP2023509052A (ja) エンコーダ、デコーダ、および対応する方法
JP2022550989A (ja) エンコーダ、デコーダ、および、対応する方法
WO2020085953A1 (en) An encoder, a decoder and corresponding methods for inter prediction

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220922

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220922

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20231108

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231120

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240220

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240513