JP7454042B2 - 適応ループ・フィルタリングにおける利用可能でないサンプル位置でのパディング・プロセス - Google Patents

適応ループ・フィルタリングにおける利用可能でないサンプル位置でのパディング・プロセス Download PDF

Info

Publication number
JP7454042B2
JP7454042B2 JP2022521190A JP2022521190A JP7454042B2 JP 7454042 B2 JP7454042 B2 JP 7454042B2 JP 2022521190 A JP2022521190 A JP 2022521190A JP 2022521190 A JP2022521190 A JP 2022521190A JP 7454042 B2 JP7454042 B2 JP 7454042B2
Authority
JP
Japan
Prior art keywords
samples
sample
equal
boundary
boundaries
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022521190A
Other languages
English (en)
Other versions
JP2022550998A (ja
Inventor
リュウ,ホンビン
ザン,リー
ザン,カイ
ワン,ユエ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing ByteDance Network Technology Co Ltd
ByteDance Inc
Original Assignee
Beijing ByteDance Network Technology Co Ltd
ByteDance Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing ByteDance Network Technology Co Ltd, ByteDance Inc filed Critical Beijing ByteDance Network Technology Co Ltd
Publication of JP2022550998A publication Critical patent/JP2022550998A/ja
Application granted granted Critical
Publication of JP7454042B2 publication Critical patent/JP7454042B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117Filters, e.g. for pre-processing or post-processing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

関連出願への相互参照
本願は、2020年10月10日に出願された国際特許出願PCT/CN2020/120063に基づき、同出願は2019年10月10日に出願された国際特許出願第PCT/CN2019/110489号、2019年10月11日に出願された国際特許出願第PCT/CN2019/110681号、2019年10月14日に出願された国際特許出願第PCT/CN2019/111114号の優先権および利益を適時に主張するために行われる。前述の特許出願のすべては、ここに参照によりその全体において組み
技術分野
この特許文献は、概括的には、ビデオコーディングおよび復号技術に向けられる。
ビデオコーディング規格は、主に、よく知られたITU-TおよびISO/IEC規格の開発を通じて発展してきた。ITU-TはH.261とH.263を、ISO/IECはMPEG-1とMPEG-4 Visualを、両組織は合同でH.262/MPEG-2 VideoとH.264/MPEG-4 Advanced Video Coding(AVC)とH.265/High Efficiency Video Coding(HEVC)規格を作成した。H.262以来、ビデオコーディング規格は、時間的予測と変換コーディングが利用されるハイブリッド・ビデオコーディング構造に基づいている。HEVCを越えた将来のビデオコーディング技術を探求するため、2015年にVCEGとMPEGによって合同で、合同ビデオ探査チーム(JVET)が設立された。それ以来、JVETによって多くの新しい方法が採用され、JEM(Joint Exploration Model[合同探査モデル])と名付けられた参照ソフトウェアに入れられた。2018年4月には、HEVCと比較して50%のビットレート低減を目標とした次世代の多用途ビデオコーディング(VVC)規格に取り組むために、VCEG(Q6/16)とISO/IEC JTC1 SC29/WG11(MPEG)の間でJVETが作成された。
開示されたビデオコーディング、トランスコーディングまたは復号技術を使用して、ビデオ・エンコーダまたはデコーダの実施形態は、より良好な圧縮効率と、コーディングまたは復号ツールのより単純な実装とを提供するよう、コーディングツリー・ブロックの仮想境界を処理することができる。
ある例示的な側面では、ビデオ処理の方法が開示される。この方法は、現在のブロックの外側のサンプルにアクセスするコーディングツールを使用する、ビデオの現在のブロックとビデオのビットストリーム表現との間の変換について、変換のために使用される近傍サンプルが利用可能でないことを判別するステップを含む。ビデオのビデオ単位の境界を横切って位置する諸サンプルは、利用可能でないサンプルとみなされる。本方法はまた、前記判別に基づいて、利用可能でない近傍サンプルの代わりにパディング・サンプルによって前記変換を実行することを含む。パディング・サンプルは、現在のブロックに関連する現在の処理単位内にあるように制限されたサンプルを使用して決定される。
別の例示的側面では、ビデオ処理の方法が開示される。この方法は、現在のブロックの外側のサンプルにアクセスするコーディングツールを使用する、ビデオの現在のブロックとビデオのビットストリーム表現の変換について、現在のブロックの近傍サンプルが現在のブロックと同じビデオ単位内にあるかどうかを判定するステップを含む。この方法はまた、前記判定に基づいて前記変換を実行することを含む。
別の例示的側面では、ビデオ処理の方法が開示される。この方法は、現在のブロックの外側のサンプルにアクセスするコーディングツールを使用する、ビデオの現在のブロックと、ビデオのビットストリーム表現との変換を実行することを含む。該変換中に、現在のブロックの左上、右上、左下、または右下の領域における近傍サンプルの利用可能性は、現在のブロックの上、左、右、または下の近傍領域におけるサンプルから独立して決定される。ビデオのビデオ単位の境界を横切って位置する諸サンプルは、利用可能でないサンプルとみなされる。
別の例示的側面では、ビデオ処理の方法が開示される。この方法は、現在の処理単位の外側のサンプルにアクセスするコーディングツールを使用して、ビデオの現在の処理単位と、ビデオのビットストリーム表現との変換を実行することを含む。変換の間、現在の処理単位の利用可能でない近傍サンプルは、所定の順序でパディングされ、ビデオのビデオ単位の境界を横切って位置する諸サンプルは、利用可能でないサンプルとみなされる。
別の例示的な側面では、ビデオ処理の方法が開示される。この方法は、ビデオ・ピクチャーのビデオ・ブロックとそのビットストリーム表現との間の変換を実行することを含む。ここで、ビデオ・ブロックはコーディングツリー・ブロックの論理的なグループ化を用いて処理され、コーディングツリー・ブロックは、下部コーディングツリー・ブロックの下部境界がそのビデオ・ピクチャーの下部境界の外側にあるかどうかに基づいて処理される。
別の例示的な側面では、別のビデオ処理方法が開示される。この方法は、現在のビデオ・ブロックのコーディングツリー・ブロックの条件に基づいて、ループ内フィルタリング中の仮想サンプルの使用状態を決定し、仮想サンプルの該使用状態と整合する、そのビデオ・ブロックとそのビデオ・ブロックのビットストリーム表現との間の変換を実行することを含む。
さらに別の例示的な側面では、別のビデオ処理方法が開示される。本方法は、一つまたは複数のビデオ・スライスまたはビデオ・ブリックに論理的にグループ化されたビデオ・ピクチャーと、そのビデオ・ピクチャーのビットストリーム表現との間の変換中に、適応ループ・フィルタ・プロセスにおける別のスライスまたはブリックでのサンプルの使用を無効にすることを決定し、該決定と整合する前記変換を実行することを含む。
さらに別の例示的な側面では、別のビデオ処理方法が開示される。この方法は、ビデオ・ピクチャーの現在のビデオ・ブロックと現在のビデオ・ブロックのビットストリーム表現との間の変換の間に、現在のビデオ・ブロックが、ビデオ・ピクチャーのビデオ単位の境界に位置するサンプルを含むことを決定し、前記決定に基づいて前記変換を実行することを含み、前記変換を実行することは、前記ビデオ・ピクチャーにおけるすべての境界タイプについて同じである統一された方法を使用して、ループ内フィルタリング・プロセスのための仮想サンプルを生成することを含む。
さらに別の例示的な側面では、ビデオ処理の別の方法が開示される。この方法は、ビデオ・ピクチャーの現在のビデオ・ブロックとそのビットストリーム表現との間の変換中に、該変換中にそのビデオ・ピクチャーのために利用可能な複数の適応ループ・フィルタ(ALF)サンプル選択方法のうちの1つを適用することを決定し、複数のALFサンプル選択方法のうちの該1つを適用することによって前記変換を実行することを含む。
さらに別の例示的な側面では、ビデオ処理の別の方法が開示される。この方法は、境界規則に基づいて、現在のビデオ・ブロックと現在のビデオ・ブロックのビットストリーム表現との間の変換中に、ビデオ・ピクチャーの現在のビデオ・ブロックの諸サンプルに対してループ内フィルタリング動作を実行する段階であって、前記境界規則は、ビデオ・ピクチャーの仮想パイプライン・データ単位(virtual pipeline data unit、VPDU)を横断するサンプルを使用することを無効にする、段階と、前記ループ内フィルタリング動作の結果を使用して前記変換を実行する段階とを含む。
さらに別の例示的な側面では、ビデオ処理の別の方法が開示される。この方法は、境界規則に基づいて、現在のビデオ・ブロックと現在のビデオ・ブロックのビットストリーム表現との間の変換中に、ビデオ・ピクチャーの現在のビデオ・ブロックの諸サンプルに対してループ内フィルタリング動作を実行する段階であって、前記境界規則は、ビデオ単位境界をまたぐ現在のビデオ・ブロックの諸位置について、パディングを使用することなく生成されたサンプルを使用することを指定する、段階と、前記ループ内フィルタリング動作の結果を使用して前記変換を実行する段階とを含む。
さらに別の例示的な側面では、ビデオ処理の別の方法が開示される。この方法は、境界規則に基づいて、現在のビデオ・ブロックと現在のビデオ・ブロックのビットストリーム表現との間の変換中に、ビデオ・ピクチャーの現在のビデオ・ブロックの諸サンプルに対してループ内フィルタリング動作を実行する段階であって、前記境界規則は、前記ループ内フィルタリング動作のために、該ループ内フィルタリングの間に使用される現在のビデオ・ブロックの諸サンプルが前記ビデオ・ピクチャーのビデオ単位の境界をまたがないような寸法を有するフィルタを選択することを指定する、段階と、前記ループ内フィルタリング動作の結果を使用して前記変換を実行する段階とを含む。
さらに別の例示的な側面では、ビデオ処理の別の方法が開示される。この方法は、境界規則に基づいて、現在のビデオ・ブロックと現在のビデオ・ブロックのビットストリーム表現との間の変換中に、ビデオ・ピクチャーの現在のビデオ・ブロックの諸サンプルに対してループ内フィルタリング動作を実行する段階であって、前記境界規則は、前記ループ内フィルタリング動作について、パディングされたサンプルが該ループ内フィルタリングのために必要とされるかどうかに基づいて、クリッピング・パラメータまたはフィルタ係数を選択することを指定する、段階と、前記ループ内フィルタリング動作の結果を使用して前記変換を実行する段階とを含む。
さらに別の例示的な側面では、ビデオ処理の別の方法が開示される。この方法は、境界規則に基づいて、現在のビデオ・ブロックと現在のビデオ・ブロックのビットストリーム表現との間の変換中に、ビデオ・ピクチャーの現在のビデオ・ブロックの諸サンプルに対してループ内フィルタリング動作を実行する段階であって、前記境界規則は、現在のビデオ・ブロックの色成分素性に依存する、段階と、前記ループ内フィルタリング動作の結果を使用して前記変換を実行する段階とを含む。
さらに別の例示的な側面では、上述の方法を実行するように構成されたビデオ・エンコード装置が開示される。
さらに別の例示的な側面では、上述の方法を実行するように構成されたビデオ・デコーダが開示される。
さらに別の例示的な側面では、機械読み取り可能媒体が開示される。媒体は、実行時に、プロセッサに、上述した方法の一つまたは複数を実施させるコードを格納する。
開示された技術の上記および他の側面および特徴は、図面、明細書および特許請求の範囲において、より詳細に記載される。
12個のタイルと3個のラスタ走査スライスに分割された18×12のルーマコーディングツリー単位CTUをもつピクチャーの例を示す。
24個のタイルと9個の長方形スライスに分割された18×12のルーマCTUをもつピクチャーの例を示す。
4個のタイル、11個のブリック、および4個の長方形スライスに分割されたピクチャーの例を示す。
K=M、L<Nの場合に、ピクチャー境界をまたぐコーディングツリー・ブロックCTBの例を示す。
K<M、L=Nの場合に、ピクチャー境界をまたぐコーディングツリー・ブロックCTBの例を示す。
K<M、L<Nの場合に、ピクチャー境界をまたぐコーディングツリー・ブロックCTBの例を示す。
エンコーダ・ブロック図の例を示す。
8×8グリッド上のピクチャー・サンプルと水平および垂直ブロック境界、ならびに並列にブロッキング解除できる、8×8サンプルの重複しないブロックの図解である。
フィルタのオン/オフ決定および強/弱フィルタの選択に関わるピクセルの例を示す。
4つの1-D方向パターンを示す。
幾何学的適応ループ・フィルタリング(GALF)フィルタ形状(左:5×5ダイヤモンド、中央:7×7ダイヤモンド、右:9×9ダイヤモンド)の例を示す。
5×5ダイヤモンド・フィルタ・サポートについての相対座標を示す。
5×5ダイヤモンド・フィルタ・サポートについての相対座標の例を示す。
サブサンプリングされたラプラシアン計算のための例示的な配置を示す。
サブサンプリングされたラプラシアン計算のための別の例示的な配置を示す。
サブサンプリングされたラプラシアン計算のための別の例示的な配置を示す。
サブサンプリングされたラプラシアン計算のためのさらに別の例示的な配置を示す。
ルーマ成分についてのVTM-4.0におけるループ・フィルタ・ラインバッファ要件の例を示す。
クロマ成分についてのVTM-4.0におけるループ・フィルタ・ラインバッファ要件の例を示す。
N=4の場合の仮想境界におけるALFブロック分類の例を示す。
N=4の場合の仮想境界におけるALFブロック分類の別の例を示す。
仮想境界における修正されたルーマALFフィルタリングの例を示す。
仮想境界における修正されたルーマALFフィルタリングの別の例を示す。
仮想境界における修正されたルーマALFフィルタリングのさらに別の例を示す。
仮想境界における修正されたクロマALFフィルタリングの例を示す。
仮想境界における修正されたクロマALFフィルタリングの別の例を示す。
水平方向ラップラウンド動き補償の例を示す。
水平方向ラップラウンド動き補償の別の例を示す。
修正された適応ループ・フィルタの例を示す。
ビデオ・ピクチャー内のCTUを処理する例を示す。
修正された適応ループ・フィルタ境界の例を示す。
ビデオ処理装置の例のブロック図である。
ビデオ処理の例示的方法のためのフローチャートである。
3×2レイアウトにおけるHECの画像の例を示す。
2種類の境界のサンプルのためのパディングされたラインの数の例を示す。
ピクチャー内のCTUの処理の例を示す。
ピクチャー内のCTUの処理の別の例を示す。
現在のサンプルおよびアクセスが要求されるサンプルの別の例を示す。
「利用可能でない」近傍サンプルのパディングの別の例を示す。
ALF分類プロセスにおいて利用される必要があるサンプルの例を示す。
「利用可能でない」サンプル・パディングの例を示す。
図32Aは、現在の処理単位内のサンプルを使用する「利用可能でない」サンプル・パディングの例を示す。
図32Bは、現在の処理単位内のサンプルを使用する「利用不可能な」サンプル・パディングの別の例を示す。
図32Cは、現在の処理単位内のサンプルを使用する「利用不可能な」サンプル・パディングの別の例を示す。
図32Dは、現在の処理単位内のサンプルを使用する「利用可能でない」サンプル・パディングのさらに別の例を示す。
図33Aは、現在の処理単位内のサンプルを使用して、現在の処理単位の「利用可能でない」サンプルをパディングするための例を示す。
図33Bは、現在の処理単位内のサンプルを使用して、現在の処理単位の「利用可能でない」サンプルをパディングする別の例を示す。
図33Cは、現在の処理単位内のサンプルを使用して、現在の処理単位の「利用可能でない」サンプルをパディングする別の例を示す。
図33Dは、現在の処理単位内のサンプルを使用して、現在の処理単位の「利用可能でない」サンプルをパディングするさらに別の例を示す。
現在の処理単位内のサンプルを使用して、現在の処理単位の「利用可能でない」サンプルをパディングする例を示す。
開示された技術が実装されうる例示的なビデオ処理システムのブロック図である。
例示的なビデオコーディングシステムを示すブロック図である。
本開示のいくつかの実施形態によるエンコーダを図示するブロック図である。
本開示のいくつかの実施形態によるデコーダを図示するブロック図である。
本技術によるビデオ処理方法のフローチャート表現である。
本技術によるビデオ処理のための別の方法のフローチャート表現である。
本技術によるビデオ処理のための別の方法のフローチャート表現である。
本技術によるビデオ処理のためのさらに別の方法のフローチャート表現である。
セクション見出しは、理解を容易にするために本文書で使用されており、セクションにおいて開示される実施形態をそのセクションのみに限定するものではない。さらに、ある種の実施形態が、多用途ビデオコーディングまたは他の特定のビデオ・コーデックを参照して記述されているが、開示された技法は、他のビデオコーディング技術にも適用可能である。さらに、いくつかの実施形態は、ビデオコーディングステップを詳細に記述するが、コーディングを元に戻す対応する復号ステップがデコーダによって実装されることが理解されるであろう。さらに、ビデオ処理という用語は、ビデオコーディングまたは圧縮、ビデオ復号または圧縮解除、およびビデオ・ピクセルがある圧縮フォーマットから別の圧縮フォーマットに、または別の圧縮されたビットレートで表現されるビデオ・トランスコードを包含する。
1. 概要
本文書は、ビデオコーディング技術に関する。具体的には、特に非線形適応ループ・フィルタについての、ピクチャー/スライス/タイル/ブリック境界および仮想境界コーディングに関連する。これは、HEVCのような既存のビデオコーディング規格、またはこれから最終化される規格(多用途ビデオコーディング)に適用されうる。これは、将来のビデオコーディング規格またはビデオ・コーデックにも適用可能でありうる。
2. 最初の議論
ビデオコーディング規格は、主に、よく知られたITU-TおよびISO/IEC規格の開発を通じて発展してきた。ITU-TはH.261とH.263を、ISO/IECはMPEG-1とMPEG-4 Visualを、両組織は合同でH.262/MPEG-2 VideoとH.264/MPEG-4 Advanced Video Coding(AVC)とH.265/HEVC規格を作成した。H.262以来、ビデオコーディング規格は、時間的予測と変換コーディングが利用されるハイブリッド・ビデオコーディング構造に基づいている。HEVCを越えた将来のビデオコーディング技術を探求するため、2015年にVCEGとMPEGによって合同で、合同ビデオ探査チーム(JVET)が設立された。それ以来、JVETによって多くの新しい方法が採用され、合同探査モデル(JEM)と名付けられた参照ソフトウェアに入れられた。2018年4月には、HEVCと比較して50%のビットレート低減を目標とした次世代のVVC規格に取り組むために、VCEG(Q6/16)とISO/IEC JTC1 SC29/WG11(MPEG)の間でJVETが作成された。
2.1 色空間およびクロマ・サブサンプリング
色モデル(または色系)としても知られている色空間は、単に色の範囲を数字のタプルとして、典型的には3つまたは4つの値または色成分(たとえば、RGB)として記述する抽象的な数学モデルである。基本的には、色空間は座標系と部分空間の精緻化である。
ビデオ圧縮のために、最も頻繁に使用される色空間は、YCbCrとRGBである。
YCbCr、Y'CbCr、またはY Pb/Cb Pr/Crは、YCBCRまたはY'CBCRとも書かれ、ビデオおよびデジタル写真システムにおけるカラー画像パイプラインの一部として使用される色空間のファミリーである。Y'はルーマ成分であり、CBとCRは青色差と赤色差クロマ成分である。Y'(プライム付き)は、ルミナンスであるYとは区別される。これは、光強度がガンマ補正されたRGB原色に基づいて非線形にエンコードされることを意味する。
クロマ・サブサンプリングは、ヒト視覚系がルミナンスについてよりも色差について鋭敏さが低いことを利用して、ルーマ情報よりもクロマ情報について、より低い解像度を実装することによって画像をエンコードする慣行である。
2.1.1 カラー・フォーマット4:4:4
3つのY'CbCr成分のそれぞれは同じサンプル・レートをもつので、クロマ・サブサンプリングはない。このスキームは、ハイエンドのフィルムスキャナーや映画ポストプロダクションで使用されることがある。
2.1.2 カラー・フォーマット4:2:2
2つのクロマ成分はルーマのサンプル・レートの半分でサンプリングされる:水平クロマ分解能が半分にされる。これにより、視覚的な差はほとんどまたは全くなしに、圧縮されていないビデオ信号の帯域幅が3分の1減少する。
2.1.3 カラー・フォーマット4:2:0
4:2:0では、水平方向のサンプリングは4:1:1に比べて2倍になるが、CbとCrチャネルはこのスキームではそれぞれの交互のラインでのみサンプリングされるため、垂直方向の解像度は半分になる。よって、データレートは同じである。CbとCrは、それぞれ水平方向と垂直方向の両方で、2倍サブサンプリングされる。4:2:0スキームの3つの変形があり、異なる水平方向および垂直方向の位置割りをもつ。
MPEG-2では、CbとCrは水平方向に同じ位置にされている(cosited)。CbとCrは垂直方向においてピクセル間に位置する(間隙に位置する)。
JPEG/JFIF、H.261、MPEG-1では、CbとCrは、交互のルーマ・サンプルの中間で、間隙に位置する。
4:2:0 DVでは、CbとCrは水平方向に同じ位置にされる。垂直方向では、それらは交互の線上で同じ位置にされる。
2.2 さまざまなビデオ単位
ピクチャーは、一つまたは複数のタイル行および一つまたは複数のタイル列に分割される。タイルは、ピクチャーの長方形領域をカバーするCTUのシーケンスである。
タイルは、一つまたは複数のブリックに分割され、各ブリックは、タイル内のいくつかのCTU行から構成される。
複数のブリックに分割されないタイルもブリックと呼ばれる。しかしながら、タイルの真のサブセットであるブリックはタイルとは呼ばれない。
スライスは、ピクチャーのいくつかのタイル、またはタイルのいくつかのブリックを含む。
スライスの2つのモード、すなわち、ラスタ走査スライス・モードと長方形スライス・モードがサポートされる。ラスタ走査スライス・モードでは、スライスは、ピクチャーのタイル・ラスタ走査におけるタイルのシーケンスを含む。長方形スライス・モードでは、スライスは、まとまってピクチャーの長方形領域をなす、ピクチャーのいくつかのブリックを含む。長方形スライス内のブリックは、スライスのブリック・ラスタ走査の順である。
図1は、ピクチャーが12個のタイルと3個のラスタ走査スライスに分割される、ピクチャーのラスタ走査スライス分割の例を示している。
図2は、ピクチャーを24個のタイル(6個のタイル列および4個のタイル行)および9個の長方形スライスに分割される、ピクチャーの長方形スライス分割の例を示している。
図3は、タイル、ブリック、長方形スライスに分割されたピクチャーの例を示しており、ここではピクチャーは4つのタイル(2つのタイル列および2つのタイル行)、11のブリック(左上のタイルは1つのブリックを含み、右上のタイルは5つのブリックを含み、左下のタイルは2つのブリックを含み、右下のタイルは3つのブリックを含む)、および4つの長方形スライスに分割される。
2.2.1 CTU/CTBサイズ
VVCでは、構文要素log2_ctu_size_minus2によってSPSにおいて信号伝達されるCTUサイズは、4×4のように小さくてもよい。
7.3.2.3 シーケンスパラメータセットRBSPシンタックス
Figure 0007454042000001
Figure 0007454042000002
log2_ctu_size_minus2に2を加えたものは、各CTUのルーマコーディングツリー・ブロック・サイズを指定する。
log2_min_luma_coding_block_size_minus2に2を加えたものは、最小ルーマ・コーディング・ブロック・サイズを指定する。
変数CtbLog2SizeY、CtbSizeY、MinCbLog2SizeY、MinCbSizeY、MinTbLog2SizeY、MaxTbLog2SizeY、MinTbSizeY、MaxTbSizeY、PicWidthInCtbsY、PicHeightInCtbsY、PicSizeInCtbsY、PicWidthInMinCbsY、PicHeightInMinCbsY、PicSizeInMinCbsY、PicSizeInSamplesY、PicWidthInSamplesCおよびPicHeightInSamplesCは、次のように導出される:
Figure 0007454042000003
2.2.2 ピクチャーにおけるCTU
CTB/LCUサイズがM×Nによって示され(典型的には、Mは、HEVC/VVCで定義されるようにNに等しい)、ピクチャー(または、タイルまたはスライスまたは他の種類のタイプ、ピクチャー境界が例にとられる)境界に位置するCTBについて、K×L個のサンプルがピクチャー境界内にあり、K<MまたはL<Nのいずれかであるとする。図4A~4Cに示されるようなCTBについて、CTBサイズは依然としてM×Nに等しいが、CTBの下部境界/右境界はピクチャーの外側にある。
図4Aは、下部ピクチャー境界をまたぐCTBを示している。図4Bは、右ピクチャー境界をまたぐCTBを示している。図4Cは、右下のピクチャーの境界をまたぐCTBを示している。
図4A~4Cは、ピクチャー境界をまたぐCTBの例を示している。(a)K=M、L<N、(b)K<M、L=N、(c)K<M、L<Nである。
2.3 典型的なビデオ・コーデックのコーディングフロー
図5は、3つのループ内フィルタリング・ブロック、すなわち、ブロッキング解除フィルタ(deblocking filter、DF)、サンプル適応オフセット(sample adaptive offset、SAO)、およびALFを含む、VVCのエンコーダ・ブロック図の例を示す。あらかじめ定義されたフィルタを使用するDFとは異なり、SAOおよびALFは、それぞれオフセットを加えることおよび有限インパルス応答(FIR)フィルタを適用することにより、現在ピクチャーのもとのサンプルを使用して、もとのサンプルと再構成されたサンプルとの間の平均二乗誤差を減少させる。コーディングされたサイド情報が、オフセットおよびフィルタ係数を信号伝達する。ALFは、各ピクチャーの最終処理ステージに位置し、前の諸ステージによって生成されたアーチファクトを捕捉し修正しようとするツールと見なすことができる。
2.4 ブロッキング解除フィルタ(DB)
DBの入力は、ループ内フィルタ前の再構成されたサンプルである。
ピクチャーにおける垂直エッジがまずフィルタリングされる。次いで、垂直エッジ・フィルタリング・プロセスによって修正されたサンプルを入力として、ピクチャーにおける水平エッジがフィルタリングされる。各CTUのCTBにおける垂直エッジおよび水平エッジは、コーディング単位ベースで別個に処理される。コーディング単位内のコーディングブロックの垂直エッジは、コーディングブロックの左側のエッジで始まって、幾何学的順序でコーディングブロックの右側に向かって諸エッジを通じて進むように、フィルタリングされる。コーディング単位内のコーディングブロックの水平エッジは、コーディングブロックの上のエッジで始まって、幾何学的順序でコーディングブロックの底部に向かって諸エッジを通じて進むように、フィルタリングされる。
図6は、8×8グリッド上のピクチャー・サンプルと水平および垂直ブロック境界、および並列にブロッキング解除できる8×8サンプルの重複しないブロックの図解である。
2.4.1. 境界決定
フィルタリングは、8×8ブロック境界に適用される。さらに、それは変換ブロック境界またはコーディングサブブロック境界でなければならない(たとえば、アフィン動き予測、ATMVPの使用による)。そのような境界ではないものについては、フィルタは無効にされる。
2.4.1 境界強度計算
変換ブロック境界/コーディングサブブロック境界について、8×8グリッド内に位置する場合、それはフィルタリングされてもよく、このエッジについてのbS[xDi][yDj]([xDi][yDj]は座標を示す)の設定は、それぞれテーブル1およびテーブル2において定義される。
テーブル1 境界強度(SPS IBCが無効の場合)
Figure 0007454042000004
テーブル2 境界強度(SPS IBCが有効の場合)
Figure 0007454042000005
2.4.3 ルーマ成分についてのブロッキング解除決定
このサブセクションでは、ブロッキング解除決定プロセスが記載される。
図7は、フィルタのオン/オフ決定および強/弱フィルタの選択に関わるピクセルの例を示す。
条件1、条件2、および条件3のすべてが真である場合にのみ、より幅広く、より強いフィルタが使用される。
条件1は「大ブロック条件」である。この条件は、P側とQ側にあるサンプルが、それぞれ変数bSidePisLargeBlkおよびbSideQisLargeBlkで表される大きなブロックに属するかどうかを検出する。bSidePisLargeBlkおよびbSideQisLargeBlkは以下のように定義される。
bSidePisLargeBlk=((エッジ・タイプが垂直であり、かつ、p0がCUに属し、幅>=32)||(エッジ・タイプが水平であり、かつ、p0がCUに属し、高さ>=32)) ? TRUE:FALSE
bSideQisLargeBlk=((エッジ・タイプが垂直であり、かつ、q0がCUに属し、幅>=32)||(エッジ・タイプが水平であり、かつ、q0がCUに属し、高さ>=32)) ? TRUE:FALSE
bSidePisLargeBlkおよびbSideQisLargeBlkに基づき、条件1は次のように定義される。
条件1=(bSidePisLargeBlk||bSidePisLargeBlk) ? TRUE:FALSE
次に、条件1が真(true)である場合は、条件2がさらにチェックされる。まず、次の変数が導出される。
Figure 0007454042000006
条件2=(d<β) ? TRUE:FALSE
ここで、d=dp0+dq0+dp3+dq3である。
条件1と条件2が有効である場合、ブロックのいずれかがサブブロックを使用するかどうかがさらにチェックされる。
Figure 0007454042000007
最後に、条件1と条件2の両方が有効である場合、提案されるブロッキング解除方法は条件3(大ブロック強フィルタ条件)をチェックし、これは以下のように定義される。
条件3 StrongFilterCondition〔強フィルタ条件〕では、次の変数が導出される:
Figure 0007454042000008
HEVCと同様に、StrongFilterCondition=(dpqが(β>>2)より小さく、sp3+sq3が(3*β>>5)より小さく、Abs(p0-q0)が(5*tC+1)>>1より小さい) ? TRUE:FALSE
2.4.4 ルーマについての、より強いブロッキング解除フィルタ(より大きなブロックのために設計)
双線形フィルタは、境界のいずれか一方の側のサンプルが大きなブロックに属する場合に使用される。大きなブロックに属するサンプルは、垂直エッジについては幅≧32である場合、水平エッジについては高さ≧32である場合として定義される。
双線形フィルタは、下記に掲げられる。
i=0からSp-1のブロック境界サンプルpiと、j=0からSq-1のブロック境界サンプルqi(piおよびqiは、上述のHEVCブロッキング解除における、垂直エッジをフィルタリングするための行内のi番目のサンプル、または水平エッジをフィルタリングするための列内のi番目のサンプル)は、次いで、次のように線形補間によって置き換えられる:
Figure 0007454042000009
ここで、tcPDiおよびtcPDjの項は、セクション2.4.7で説明されている位置依存のクリッピングであり、gj、fi、Middles,t、PsおよびQsは下記で与えられる。
2.4.5 クロマについてのブロッキング解除制御
クロマ強フィルタは、ブロック境界の両側で使用される。ここで、クロマ・フィルタは、クロマ・エッジの両側が8(クロマ位置)以上であり、3つの条件に関する以下の判定が満たされる場合に選択される:第1の条件は、境界強度と大きなブロックの決定のためのものである。提案されるフィルタは、ブロック・エッジを直交して横切るブロック幅または高さがクロマ・サンプル領域において8以上である場合に適用できる。第2および第3の条件は、基本的にHEVCルーマ・ブロッキング解除決定の場合と同じであり、それぞれオン/オフ決定および強フィルタ決定である。
第1の決定では、境界強度(boundary strength、bS)がクロマ・フィルタリングのために修正され、諸条件が逐次的にチェックされる。ある条件が満たされる場合、より低い優先度の残りの条件はスキップされる。
クロマ・ブロッキング解除は、bSが2に等しい場合、または大きなブロック境界が検出された場合にbSが1に等しい場合に実行される。
第2および第3の条件は、基本的に、次のようなHEVCルーマ強フィルタ決定と同じである。
第2の条件では:
次いで、dはHEVCルーマ・ブロッキング解除のように導出される。
dがβより小さいとき、第2の条件は真になる。
第3の条件では、StrongFilterConditionは次のように導出される:
dpqは、HEVCと同様に導出される。
sp3=Abs(p3-p0), HEVCと同様に導出される
sq3=Abs(q0-q3), HEVCと同様に導出される
HEVC設計と同様に、StrongFilterCondition=(dpqは(β>>2)より小さく、sp3+sq3は(β>>3)より小さく、Abs(p0-q0)は(5*tC+1)>>1より小さい。
2.4.6 クロマについての強いブロッキング解除フィルタ
次のクロマについての強いブロッキング解除フィルタが定義される:
Figure 0007454042000010
提案されるクロマ・フィルタは、4×4クロマ・サンプル・グリッド上でブロッキング解除を実行する。
2.4.7 位置依存クリッピング
位置依存クリッピングtcPDは、境界にある7個、5個および3個のサンプルを修正する強く、長いフィルタに関わるルーマ・フィルタリング・プロセスの出力サンプルに適用される。量子化誤差分布を仮定して、より高い量子化ノイズを有することが期待され、よって、再構成されたサンプル値の、真のサンプル値からの、より高い偏差を有することが期待されるサンプルについて、クリッピング値を増加させることが提案される。
非対称フィルタでフィルタリングされる各PまたはQ境界について、セクション2.4.2における判断プロセスの結果に依存して、位置依存閾値テーブルは、サイド情報としてデコーダに提供される2つのテーブル(たとえば、以下に表に示されるTc7およびTc3)から選択される:
Figure 0007454042000011
短い対称フィルタでフィルタリングされるPまたはQ境界については、より低い絶対値の位置依存閾値が適用される:
Tc3={3,2,1};
閾値を定義した後、フィルタリングされたp'iおよびq'iのサンプル値は、tcPおよびtcQクリッピング値に従ってクリッピングされる:
p"i=Clip3(p'i+tcPi,p'i-tcPi,p'i);
q"j=Clip3(q'j+tcQj,q'j-tcQj,q'j);
ここで、p'iとq'iはフィルタリングされたサンプル値、p"iとq"jはクリッピング後の出力サンプル値、tcPi はVVC tcパラメータとtcPDとtcQDから導出されたクリッピング閾値である。関数Clip3は、VVCで指定されるクリッピング関数である。
2.4.8 サブブロックのブロッキング解除調整
長いフィルタとサブブロック・ブロッキング解除の両方を用いた並列フレンドリーなブロッキング解除を可能にするために、長いフィルタは、長いフィルタのルーマ・コントロールに示されるように、サブブロック・ブロッキング解除(アフィン、ATMVP、DMVR)を使用する側で、高々5つのサンプルで修正するように制限される。さらに、サブブロック・ブロッキング解除は、CUまたは暗黙的なTU境界に近い8×8グリッド上のサブブロック境界が、それぞれの側の高々2つのサンプルを修正するように制限されるように調整される。
以下は、CU境界と整列していないサブブロック境界に適用される。
Figure 0007454042000012
ここで、0に等しいエッジはCU境界に対応し、2に等しいまたはorthogonalLength-2に等しいエッジは、CU境界から8サンプルのサブブロック境界に対応する、などとなる。ここで、implicitTUは、TUの暗黙的な分割が用いられる場合に真である。
2.5 SAO
SAOの入力は、DB後の再構成されたサンプルである。SAOの概念は、まず、選択された分類器を用いて領域サンプルを複数のカテゴリーに分類し、各カテゴリーについてオフセットを得て、次いで、該オフセットをカテゴリーの各サンプルに加えることによって、領域の平均サンプル歪みを低減することであり、ここで、分類器インデックスおよび領域のオフセットは、ビットストリームにおいてコーディングされる。HEVCおよびVVCでは、領域(SAOパラメータ信号伝達のための単位)はCTUであると定義されている。
低複雑性の要求を満たすことができる2つのSAOタイプがHEVCにおいて採用される。それらの2つのタイプは、エッジ・オフセット(edge offset、EO)およびバンド・オフセット(band offset、BO)であり、これらは以下でさらに詳細に論じられる。SAOタイプのインデックスはコーディングされる(これは[0,2]の範囲である)。EOについては、サンプル分類は、水平、垂直、135°対角方向、45°対角方向の1-D方向パターンに従っての、現在サンプルと近傍サンプルとの比較に基づく。
図8は、EOサンプル分類のための4つの1-D方向パターンを示している:水平(EOクラス=0)、垂直(EOクラス=1)、135°対角(EOクラス=2)、45°対角(EOクラス=3)。
与えられたEOクラスについて、CTB内の各サンプルは5つのカテゴリーの1つに分類される。「c」とラベル付けされた現在のサンプル値が、選択された1-Dパターンに沿った、その2つの近傍サンプル値と比較される。各サンプルについての分類規則がテーブルIにまとめられている。カテゴリー1および4はそれぞれ、選択された1-Dパターンに沿った局所的な谷および局所的なピークに関連している。カテゴリー2および3は、それぞれ、選択された1-Dパターンに沿った凹状および凸状のコーナー(concave and convex corners)に関連する。現在のサンプルがEOカテゴリー1~4に属さない場合は、カテゴリー0であり、SAOは適用されない。
テーブル3:エッジ・オフセットについてのサンプル分類規則
Figure 0007454042000013
2.6 幾何変換ベースの適応ループ・フィルタ
DBの入力は、DBおよびSAO後の再構成されたサンプルである。サンプル分類およびフィルタリング・プロセスは、DBおよびSAO後の再構成されたサンプルに基づく。
いくつかの実施形態では、ブロック・ベースのフィルタ適応のある幾何変換ベースの適応ループ・フィルタ(geometry transformation-based adaptive loop filter、GALF)が適用される。ルーマ成分については、局所的な勾配の方向および活性に基づいて、各2×2ブロックについて、25個のフィルタのうちの1つが選択される。
2.6.1 フィルタ形状
いくつかの実施形態では、(図9に示すような)3つまでのダイヤモンド・フィルタ形状が、ルーマ成分について選択できる。ルーマ成分について使用されるフィルタの形状を示すために、インデックスがピクチャー・レベルで信号伝達される。それぞれの四角はサンプルを表し、Ci(iは0~6(左)、0~12(中央)、0~20(右))は、そのサンプルに適用される係数を表す。ピクチャーにおけるクロマ成分については、常に5×5のダイヤモンド形状が使用される。
2.6.1.1 ブロック分類
各ブロックは、25個のクラスのうちの1つにカテゴリー分けされる。分類インデックスCは、その方向性Dと活性
Figure 0007454042000014
〔^Aとも記す〕の量子化された値とに基づいて、次のように導出される:
Figure 0007454042000015
Dおよび^Aを計算するために、まず、1-Dラプラシアンを用いて、水平方向、垂直方向、および2つの対角方向の勾配が計算される:
Figure 0007454042000016
インデックスiおよびjは、2×2ブロック内の左上のサンプルの座標を指し、R(i,j)は座標(i,j)における再構成されたサンプルを示す。
次いで、水平方向と垂直方向の勾配のD最大および最小値が
Figure 0007454042000017
として設定され、2つの対角方向の勾配の最大および最小値は
Figure 0007454042000018
として設定される。
方向性の値Dを導出するために、これらの値は互いと、また2つの閾値t1およびt2と比較される:
Figure 0007454042000019
活性値Aは次のように計算される:
Figure 0007454042000020
Aはさらに0から4の範囲(両端含む)に量子化され、量子化された値は
Figure 0007454042000021
と表される。
ピクチャー内の両方のクロマ成分については、分類方法は適用されない。たとえば、ALF係数の単一の集合が各クロマ成分に適用される。
2.6.1.2 フィルタ係数の幾何学的変換
図10は、5×5ダイヤモンド・フィルタ・サポートについての相対的なコーディネーターを示す:左は対角方向、中央は垂直反転、右は回転である。
それぞれの2×2ブロックをフィルタリングする前に、回転または対角方向および垂直方向の反転のような幾何学的変換が、フィルタ係数f(k,l)に適用される。f(k,l)は、そのブロックについて計算された勾配値に依存して、座標(k,l)に関連付けられる。これは、フィルタ・サポート領域内のサンプルにこれらの変換を適用することと等価である。発想は、ALFが適用される異なるブロックを、それらの方向性を整列させることによって、より類似させることである。
対角方向、垂直方向反転、回転を含む3つの幾何学的変換が導入される:
Figure 0007454042000022
ここで、Kはフィルタのサイズであり、0≦k,l≦K-1は、位置(0,0)が左上隅に、位置(K-1,K-1)が右下隅になるような係数座標である。変換は、そのブロックについて計算された勾配値に依存してフィルタ係数f(k,l)に適用される。変換と4方向の4つの勾配との関係がテーブル4にまとめられている。図9は、5×5ダイヤモンドに基づく各位置についての変換された係数を示す。
テーブル4:あるブロックについて計算された勾配と変換のマッピング
Figure 0007454042000023
2.6.1.3 フィルタ・パラメータ信号伝達
いくつかの実施形態では、GALFフィルタ・パラメータは、第1のCTUについて、たとえば、スライス・ヘッダの後、第1のCTUのSAOパラメータの前に信号伝達される。ルーマ・フィルタ係数の25個までの集合が信号伝達されることができる。ビット・オーバーヘッドを減らすために、異なる分類のフィルタ係数がマージされることができる。また、参照ピクチャーのGALF係数が記憶され、現在ピクチャーのGALF係数として再利用されることが許容される。現在ピクチャーは、参照ピクチャーについて記憶されているGALF係数を使用し、GALF係数信号伝達をバイパスすることを選択することができる。この場合、参照ピクチャーの1つに対するインデックスのみが信号伝達され、示された参照ピクチャーの記憶されたGALF係数が現在ピクチャーのために継承される。
GALF時間的予測をサポートするために、GALFフィルタ集合の候補リストが維持される。新しいシーケンスのデコードの開始時には、候補リストは空である。一つのピクチャーをデコードした後、対応するフィルタの集合が候補リストに追加されてもよい。候補リストのサイズが最大の許容される値(たとえば、6)に達すると、新しいフィルタの集合がデコード順で最も古い集合を上書きする、すなわち、候補リストを更新するために先入れ先出し(FIFO)規則が適用される。重複を避けるために、対応するピクチャーがGALF時間的予測を使用しない場合にのみ、集合がリストに追加できる。時間的スケーラビリティをサポートするために、フィルタ集合の複数の候補リストがあり、各候補リストは時間的層〔レイヤー〕に関連付けられる。より具体的には、時間的層インデックス(TempIdx)によって割り当てられた各アレイは、より低いTempIdxと等しい、以前にデコードされたピクチャーのフィルタ集合を構成することができる。たとえば、k番目のアレイは、kに等しいTempIdxに関連付けられるように割り当てられ、k以下のTempIdxをもつピクチャーからのフィルタ集合のみを含む。あるピクチャーをコーディングした後、そのピクチャーに関連付けられた諸フィルタ集合は、等しいまたはより高いTempIdxに関連付けられたアレイを更新するために使用される。
信号伝達オーバーヘッドを最小化するために、インターコーディングされるフレームについてはGALF係数の時間的予測が使用される。イントラフレームについては、時間的予測は利用可能ではなく、16個の固定されたフィルタの集合が各クラスに割り当てられる。固定されたフィルタの使用法を示すために、各クラスについてのフラグが信号伝達され、必要であれば、選択された固定されたフィルタのインデックスが示される。固定されたフィルタが所与のクラスについて選択されている場合でも、適応フィルタの係数は依然としてこのクラスについて送られることができ、その場合、再構成されたピクチャーに適用されるフィルタの係数は、係数の両方の集合の和である。
ルーマ成分のフィルタリング・プロセスは、CUレベルで制御できる。GALFがCUのルーマ成分に適用されるかどうかを示すために、フラグが信号伝達される。クロマ成分については、GALFを適用されるか否かは、ピクチャー・レベルのみで指示される。
2.6.1.4 フィルタリング・プロセス
デコーダ側では、あるブロックについてGALFが有効にされていると、そのブロック内の各サンプルがフィルタリングされ、以下に示されるようなサンプル値R'(i,j)が得られる。ここで、Lはフィルタ長を表し、fm,nはフィルタ係数を表し、f(k,l)はデコードされたフィルタ係数を表す。
Figure 0007454042000024
図11は、現在のサンプルの座標(i,j)を(0,0)と仮定した場合の、5×5ダイヤモンド・フィルタ・サポートについて使用される相対座標の例を示す。同じ色で満たされた異なる座標におけるサンプルは、同じフィルタ係数で乗算される。
2.7 幾何変換ベースの適応ループ・フィルタ(GALF)
2.7.1 例示的なGALF
いくつかの実施形態では、適応ループ・フィルタのフィルタリング・プロセスは、以下のように実行される:
Figure 0007454042000025
ここで、サンプルI(x+i,y+j)は入力サンプルであり、O(x,y)はフィルタリングされた出力サンプル(たとえば、フィルタ結果)であり、w(i,j)はフィルタ係数を表す。実際上は、VTM4.0では、それは、固定小数点精度計算のために整数算術を使用して実装される:
Figure 0007454042000026
ここで、Lはフィルタ長を表し、w(i,j)は固定小数点精度でのフィルタ係数である。
VVCにおけるGALFの現在の設計には、以下のような大きな変化がある:
(1)適応フィルタ形状が除去される。ルーマ成分については7×7のフィルタ形状、クロマ成分については5×5のフィルタ形状のみが許容される。
(2)スライス/ピクチャー・レベルからCTUレベルにALFパラメータの信号伝達が除去される。
(3)クラス・インデックスの計算は、2×2ではなく、4×4レベルで実行される。さらに、いくつかの実施形態では、ALF分類のためのサブサンプリングされたラプラシアン計算が利用される。より具体的には、1つのブロック内の各サンプルについて、水平/垂直/45対角/135度の勾配を計算する必要はない。代わりに、1:2サブサンプリングが使用される。
図12A~12Dは、CE2.6.2についてのサブサンプリングされたラプラシアン計算を示す。図12Aは、垂直勾配のためのサブサンプリングされた位置を示し、図12は、水平勾配のためのサブサンプリングされた位置を示し、図12Cは、対角勾配のためのサブサンプリングされた位置を示し、図12Dは、対角勾配のためのサブサンプリングされた位置を示す。
2.8 非線形ALF
2.8.1 フィルタリング再定式化
式(11)は、コーディング効率の影響なしに、次の式で再定式化できる:
Figure 0007454042000027
ここで、w(i,j)は式(11)と同じフィルタ係数である[ただし、w(0,0)は式(13)では1に等しいが式(11)では
Figure 0007454042000028
に等しい]。
(13)のこのフィルタ公式を用いて、VVCは、近傍サンプル値(I(x+i,y+j))がフィルタリングされている現在のサンプル値(I(x,y))とあまりにも異なる場合には該近傍サンプル値の影響を減らす単純なクリッピング関数を用いて、ALFをより効率的にするために非線形性を導入する。
より具体的には、ALFフィルタは次のように修正される:
Figure 0007454042000029
ここで、K(d,b)=min(b,max(-b,d))はクリッピング関数であり、k(i,j)は(i,j)フィルタ係数に依存するクリッピング・パラメータである。エンコーダは最良のk(i,j)を見出すために最適化を実行する。
いくつかの実施形態では、クリッピング・パラメータk(i,j)は、各ALFフィルタについて指定され、フィルタ係数ごとに1つのクリッピング値が信号伝達される。これは、ルーマ・フィルタごとに12個までのクリッピング値が、クロマ・フィルタについては6個までのクリッピング値がビットストリームにおいて信号伝達されることができることを意味する。
信号伝達コストおよびエンコーダの複雑さを制限するために、インターおよびイントラ・スライスについて同じである4つの固定値のみが使用される。
局所差の分散は、しばしばクロマについてよりもルーマについてのほうが大きいため、ルーマおよびクロマ・フィルタについての2つの異なる集合が適用される。各集合における最大サンプル値(ここでは10ビットのビット深さについて1024)も導入され、必要がなければクリッピングを無効にすることができる。
いくつかの実施形態で使用されるクリッピング値の集合は、テーブル5において与えられる。4つの値は、ルーマについてはサンプル値(10ビットでコーディング)の全範囲を、クロマについては4~1024の範囲を、対数領域でほぼ均等に分割することによって選択された。
より精密には、クリッピング値のルーマ・テーブルは、次の公式によって得られたものである。
Figure 0007454042000030
同様に、クリッピング値の「クロマ」テーブルは、次の公式に従って得られる。
Figure 0007454042000031
Figure 0007454042000032
選択されたクリッピング値は、上のテーブル5におけるクリッピング値のインデックスに対応するゴロムコーディング方式を使用して、「alf_data」構文要素においてコーディングされる。このコーディング方式は、フィルタ・インデックスについてのコーディング方式と同じである。
2.9 仮想境界
ハードウェアおよび組み込みソフトウェアでは、ピクチャー・ベースの処理は、その高いピクチャー・バッファ要件のため、事実上受け入れられない。オンチップ・ピクチャー・バッファの使用は非常に高価であり、オフチップ・ピクチャー・バッファの使用は、外部メモリ・アクセス、電力消費、およびデータ・アクセス・レイテンシーを著しく増加させる。よって、DF、SAO、ALFは、実際の製品ではピクチャー・ベースからLCUベースのデコードへと変更される。LCUベースの処理がDF、SAO、ALFに使用される場合、デコード・プロセス全体は、複数のLCUの並列処理のために、LCUパイプライン式のラスタスキャンでLCUごとにできる。この場合、1つのLCU行を処理するには、上のLCU行からのピクセルが必要となるため、DF、SAO、およびALFのためにラインバッファが必要となる。オフチップ・ラインバッファ(たとえば、DRAM)が使用される場合、外部メモリ帯域幅および電力消費が増加し、オンチップ・ラインバッファ(たとえば、SRAM)が使用される場合、チップ面積が増加する。よって、ラインバッファはすでにピクチャー・バッファよりもはるかに小さいが、ラインバッファを減らすことが望ましい。
いくつかの実施形態では、図13に示されるように、必要とされるラインバッファの総数は、ルーマ成分について11.25ラインである。ラインバッファ要件の説明は次のとおり:CTUエッジと重複する水平エッジのブロッキング解除は、決定およびフィルタリングが最初のCTUからのラインK、L、M、Mおよび下のCTUからのラインO、Pを必要とするため、実行できない。よって、CTU境界と重なる水平エッジのブロッキング解除は、より下のCTUが来るまで延期される。よって、ラインK、L、M、Nについては、再構成されたルーマ・サンプルがラインバッファ(4ライン)に格納される必要がある。すると、SAOフィルタリングは、ラインAからJまで実行できる。ラインJは、ブロッキング解除によってラインK内のサンプルが変化しないので、SAOフィルタリングされることができる。ラインKのSAOフィルタリングについては、エッジ・オフセット分類決定はラインバッファ(0.25ルーマ・ライン)にのみ格納される。ALFフィルタリングは、ラインA~Fについてのみ実行できる。図13に示されるように、ALF分類は、4×4ブロックごとに実行される。各4×4ブロック分類は、サイズ8×8の活性窓を必要とし、それは、勾配を決定するために1dラプラシアンを計算するために9×9窓を必要とする。
よって、線G、H、I、Jと重複する4×4ブロックのブロック分類のためには、仮想境界の下にSAOフィルタリングされたサンプルが必要である。さらに、ALF分類のためには、ラインD、E、FのSAOフィルタリングされたサンプルが必要である。さらに、ラインGのALFフィルタリングには、上の諸ラインから3つのSAOフィルタリングされたラインD、E、Fが必要である。したがって、ラインバッファ要件は全部で次のようになる:
・ラインK~N(水平DFピクセル):4ライン
・ラインD~J(SAOフィルタリングされたピクセル):7ライン
・ラインJとラインKの間のSAOエッジ・オフセット分類子値:0.25ライン
したがって、必要なルーマ・ラインの総数は、7+4+0.25=11.25となる。
同様に、クロマ成分のラインバッファ要件が図14に示されている。クロマ成分についてのラインバッファ要件は6.25ラインと評価される。
SAOおよびALFのラインバッファ要求をなくすために、仮想境界(VB)の概念が最新のVVCに導入される。図13に示されるように、VBは、Nピクセルだけ上方にシフトされた水平LCU境界である。各LCUについて、SAOおよびALFは、下のLCUが来る前にVBより上のピクセルを処理することができるが、下のLCUが来るまでVBより下のピクセルを処理することはできない。これは、DFに起因する。ハードウェア実装コストを考慮して、提案されたVBと水平LCU境界との間のスペースは、ルーマについては4ピクセル(たとえば、図13ではN=4)、クロマについては2ピクセル(たとえば、図9ではN=2)として設定される。
2.9.1 VBサイズNが4の場合の修正されたALFブロック分類
図15A~15Bは、仮想境界がCTU境界より4ライン上にある場合(N=4)についての修正されたブロック分類を示す。図15Aに示されているように、行Gで始まる4×4ブロックについては、ブロック分類は、ラインEからJまでのみを使用するが、ラインJに属するサンプルについてのラプラシアン勾配計算は、もう1つ下のライン(ラインK)をさらに必要とする。したがって、ラインKはラインJでパディングされる。
同様に、図15Bに示されているように、ラインKで始まる4×4ブロックについては、ブロック分類は、ラインKからPまでのみを使用するが、ラインKに属するサンプルについてのラプラシアン勾配計算は、もう1つ上のライン(ラインJ)を必要とする。したがって、ラインJはラインKでパディングされる。
2.9.2 仮想境界を越えたサンプルのための両側パディング
図16A~16Cに示されるように、仮想境界に近いラインに属するルーマ・サンプルをフィルタリングするために、フィルタの打ち切りされたバージョンが使用される。図16Aを例に取ると、図13に示されるようにラインMをフィルタリングするとき、たとえば、7×7ダイヤモンド・サポートの中心サンプルはラインMにあり、VB(太線で示される)の上の1つのラインにアクセスする必要がある。この場合、VBより上のサンプルはVBより下の、すぐ下のサンプルからコピーされる。たとえば、実線のP0サンプルが上の破線位置にコピーされる。対称的に、実線のP3サンプルも、すぐ下の破線の位置にコピーされる。たとえその位置のためのサンプルが利用可能であってもである。コピーされたサンプルは、ルーマ・フィルタリング・プロセスにおいてのみ使用される。
ALF仮想境界のために使用されるパディング方法は、「両側パディング(Two-side Padding)」と表されてもよく、図16A~16Cおよび図17A~17Bに示されるように、(i,j)に位置する1つのサンプル(たとえば、図16Bにおける破線のP0A)がパディングされた場合、同じフィルタ係数を共有する(m,n)に位置する対応するサンプル(たとえば、図16Bにおける破線のP3B)も、たとえサンプルが利用可能であっても、パディングされる。図16A~16Cにおいて、7×7ダイヤモンド・フィルタ・サポート、中心は、フィルタリングされるべき現在のサンプルである。図16Aは、VBの上/下の1つの要求されるラインがパディングされる必要があることを示す。図16Bは、VBの上/下の2つの要求されるラインがパディングされる必要があることを示す。図16Cは、VBの上/下の3つの要求されるラインがパディングされる必要があることを示す。
同様に、図17A~17Bに示されるように、両側パディング方法は、クロマALFフィルタリングについても使用される。図17A~17Bは、仮想境界における修正されたクロマALFフィルタリングを示す(5×5ダイヤモンド・フィルタ・サポート、中心は、フィルタリングされるべき現在のサンプルである)。図17Aは、VBの上/下の1つの要求されるラインがパディングされる必要があることを示す。図17Bは、VBの上/下の2つの要求されるラインがパディングされる必要があることを示す。
2.9.3 非線形ALFが無効にされる場合の両側パディングの代替的な実装法
非線形ALFがあるCTBについて無効にされている場合、たとえば式(14)のクリッピング・パラメータが(1<<Bitdepth)に等しい場合、パディング・プロセスは、フィルタ係数を修正することによって置き換えることができる(修正係数に基づくALF[modified-coeff based ALF]、MALFとしても知られる)。たとえば、ラインL/I内のサンプルをフィルタリングするとき、フィルタ係数c5はc5'に修正され、この場合、実線のP0Aから破線のP0Aに、および実線のP3Bから破線のP3Bにルーマ・サンプルをコピーする必要はない。図18A。この場合、フィルタリングされるべき現在のサンプルが(x,y)に位置すると仮定すると、両側パディングおよびMALFは同じ結果を生成する。
Figure 0007454042000033
パディングのため、K(d,b)=d、I(x-1,y-1)=I(x-1,y-2)だからである。
しかしながら、非線形ALFが有効にされている場合、MALFおよび両側パディングは、異なるフィルタリング結果を生成する可能性がある。なぜなら、非線形パラメータは、フィルタ係数c5およびc1の場合のように、各係数に関連付けられるため、クリッピング・パラメータが異なるからである。したがって、
Figure 0007454042000034
パディングのためI(x-1,y-1)=I(x-1,y-2)であっても、K(d,b)!=dだからである。
2.10 ALFフィルタリングに関する仕様
新たに追加された部分は、太字のイタリック体の下線付きテキストで示される。削除された部分は[[]]を使って示される。
7.3.2.4 ピクチャーパラメータセットRBSP構文
Figure 0007454042000035
Figure 0007454042000036
Figure 0007454042000037
loop_filter_across_bricks_enabled_flagが1に等しいことは、PPSを参照するピクチャーにおいて、ループ内フィルタリング動作がブリック境界をまたいで実行されうることを指定する。loop_filter_across_bricks_enabled_flagが0に等しいことは、PPSを参照するピクチャーにおいて、ループ内フィルタリング動作がブリック境界をまたいで実行されないことを指定する。ループ内フィルタリング動作は、ブロッキング解除フィルタ、サンプル適応オフセット・フィルタ、および適応ループ・フィルタ動作を含む。存在しない場合、loop_filter_across_bricks_enabled_flagの値は1に等しいと推定される。
loop_filter_across_slices_enabled_flagが1に等しいことは、PPSを参照するピクチャーにおいて、ループ内フィルタリング動作がスライス境界をまたいで実行されうることを指定する。loop_filter_across_slices_enabled_flagが0に等しいことは、PPSを参照するピクチャーにおいて、ループ内フィルタリング動作がスライス境界をまたいで実行されないことを指定する。ループ内フィルタリング動作は、ブロッキング解除フィルタ、サンプル適応オフセット・フィルタ、および適応ループ・フィルタ動作を含む。存在しない場合、loop_filter_across_slices_enabled_flagの値は0に等しいと推定される。
pps_loop_filter_across_virtual_boundaries_disabled_flagが1に等しいことは、PPSを参照するピクチャーにおいて、仮想境界をまたいでのループ内フィルタリング動作が無効にされることを指定する。pps_loop_filter_across_virtual_boundaries_disabled_flagが0に等しいことは、PPSを参照するピクチャーにおいて、ループ内フィルタリング動作のそのような無効化が適用されないことを指定する。ループ内フィルタリング動作は、ブロッキング解除フィルタ、サンプル適応オフセット・フィルタ、および適応ループ・フィルタ動作を含む。存在しない場合、pps_loop_filter_across_virtual_boundaries_disabled_flagの値は0に等しいと推定される。
pps_num_ver_virtual_boundariesは、PPSに存在するpps_virtual_boundaries_pos_x[i]構文要素の数を指定する。pps_num_ver_virtual_boundariesが存在しない場合、0に等しいと推定される。
8.8.5.2 ルーマ・サンプルについてのコーディングツリー・ブロック・フィルタリング・プロセス
このプロセスの入力は以下の通り:
・適応ループ・フィルタリング・プロセスの前の再構成されたルーマ・ピクチャー・サンプル・アレイrecPictureL
・フィルタ処理され再構成されたルーマ・ピクチャー・サンプル・アレイalfPictureL
・現在ピクチャーの左上のサンプルに対して現在のルーマコーディングツリー・ブロックの左上のサンプルを指定するルーマ位置(xCtb,yCtb)。
このプロセスの出力は、修正されたフィルタリングされた再構築されたルーマ・ピクチャー・サンプル・アレイalfPictureLである。
節8.8.5.3のフィルタ・インデックスについての導出プロセスが呼び出される。位置(xCtb,yCtb)と再構成されたルーマ・ピクチャー・サンプル・アレイrecPictureLが入力とされ、x,y=0..CtbSizeY-1としてfiltIdx[x][y]およびtransposeIdx[x][y]が出力である。
フィルタリングされた再構成されたルーマ・サンプルalfPictureL[x][y]の導出のために、現在のルーマコーディングツリー・ブロック内の各再構成されたルーマ・サンプルrecPictureL[x][y]は、x,y=0..CtbSizeY-1として、次のようにフィルタリングされる
・filtIdx[x][y]によって指定されたフィルタに対応するルーマ・フィルタ係数の配列f[j]およびルーマ・クリッピング値の配列c[j]は、j=0..11として、次のように導出される:
Figure 0007454042000038
・ルーマ・フィルタ係数およびクリッピング値インデックスidxは、transposeIdx[x][y]に依存して、次のように導出される:
Figure 0007454042000039
・i,j=-3..3として、ルーマ・サンプルの所与の配列recPicture内の対応するルーマ・サンプル(x,y)のそれぞれについての位置(hx+i,vy+j)は次のように導出される:
Figure 0007454042000040
Figure 0007454042000041
〔表15の内容をテキストでも記載しておく:
・変数applyVirtualBoundaryは次のように導出される:
・以下の条件のうち一つまたは複数が真の場合、applyVirtualBoundaryは0に等しく設定される:
・現在のコーディングツリー・ブロックの下部境界がピクチャーの下部境界である。
・現在のコーディングツリー・ブロックの下部境界がブリックの下部境界であり、loop_filter_across_bricks_enabled_flagが0に等しい。
・現在のコーディングツリー・ブロックの下部境界がスライスの下部境界であり、loop_filter_across_slices_enabled_flagが0に等しい。
・現在のコーディングツリー・ブロックの下部境界は、ピクチャーの下部の仮想境界の1つであり、pps_loop_filter_across_virtual_boundries_disabled_flagが1に等しい。
・それ以外の場合、applyVirtualBoundaryは1に等しく設定される。〕
・再構成されたサンプル・オフセットr1、r2、およびr3は、水平方向ルーマ・サンプル位置yとapplyVirtualBoundaryに従ってテーブル8-22において指定される。
・変数currは次のように導出される:
curr=recPictureL[hx,vy] (8-1188)
・変数sumは次のように導出される:
Figure 0007454042000042
・修正されたフィルタリングされた再構成されたルーマ・ピクチャー・サンプルalfPictureL[xCtb+x][yCtb+y]は、次のように導出される:
Figure 0007454042000043
Figure 0007454042000044
8.8.5.4 クロマ・サンプルについてのコーディングツリー・ブロック・フィルタリング・プロセス
このプロセスの入力は以下の通り:
・適応ループ・フィルタリング・プロセスの前の再構成されたクロマ・ピクチャー・サンプル・アレイrecPicture、
・フィルタリングされた再構成されたクロマ・ピクチャー・サンプル・アレイalfPicture、
・現在ピクチャーの左上のサンプルに対して現在のクロマコーディングツリー・ブロックの左上のサンプルを指定するクロマ位置(xCtbC,yCtbC)。
このプロセスの出力は、修正されたフィルタリングされた再構成されたクロマ・ピクチャー・サンプル・アレイalfPictureである。
現在のクロマコーディングツリー・ブロックの幅および高さctbWidthCおよびctbHeightCは、次のように導出される:
ctbWidthC=CtbSizeY/SubWidthC (8-1230)
ctbHeightC=CtbSizeY/SubHeightC (8-1231)
フィルタ処理された再構成されたクロマ・サンプルalfPicture[x][y]の導出のために、現在のクロマコーディングツリー・ブロック内の各再構成されたクロマ・サンプルrecPicture[x][y]は、x=0..ctbWidthC-1、y=0..ctbHeightC-1として、次のようにフィルタリングされる:
・i,j=-2..2として、クロマ・サンプルの所与の配列recPicture内の対応する各クロマ・サンプル(x,y)についての位置(hx+i,vy+j)は、次のように導出される:
Figure 0007454042000045
・変数applyVirtualBoundaryは次のように導出される:
Figure 0007454042000046
〔表20の内容をテキストでも記載しておく:
・以下の条件のうち一つまたは複数が真の場合、applyVirtualBoundaryは0に等しく設定される:
・現在のコーディングツリー・ブロックの下部境界がピクチャーの下部境界である。
・現在のコーディングツリー・ブロックの下部境界がブリックの下部境界であり、loop_filter_across_bricks_enabled_flagが0に等しい。
・現在のコーディングツリー・ブロックの下部境界がスライスの下部境界であり、loop_filter_across_slices_enabled_flagが0に等しい。
・現在のコーディングツリー・ブロックの下部境界は、ピクチャーの下部の仮想境界の1つであり、pps_loop_filter_across_virtual_boundries_disabled_flagが1に等しい。
・それ以外の場合、applyVirtualBoundaryは1に等しく設定される。〕
・再構成されたサンプル・オフセットr1、r2は、水平方向ルーマ・サンプル位置yとapplyVirtualBoundaryに従ってテーブル8-22において指定される。
・変数currは次のように導出される:
curr=recPictureL[hx,vy] (8-1238)
・クロマ・フィルタ係数の配列f[j]とクロマクリッピング値の配列c[j]は、j=0..5として次のように導出される:
f[j]=AlfCoeffC[slice_alf_aps_id_chroma][j]
c[j]=AlfClipC[slice_alf_aps_id_chroma][j]
・変数sumは次のように導出される:
Figure 0007454042000047
・修正されたフィルタリングされた再構成されたクロマ・ピクチャー・サンプルalfPicture[xCtbC+x][yCtbC+y]は、次のように導出される:
Figure 0007454042000048
2.11 CTU処理の例
現在のVVC設計によれば、あるCTBの下部境界がスライス/ブリックの下部境界である場合、ALF仮想境界処理方法は無効にされる。たとえば、図19に示されるように、1つのピクチャーが複数のCTUおよび2つのスライスに分割される。
CTUサイズがM×M(たとえば、M=64)であるとすると、仮想境界定義によれば、CTB内の最後の4ラインは仮想境界より下で扱われる。ハードウェア実装では、以下が適用される。
・CTBの下部境界がピクチャーの下部境界である場合(たとえばCTU-D)、上のCTU行からの4ラインと現在のCTUにおける全ラインを含む(M+4)×Mブロックを処理する。
・そうではなく、CTBの下部境界がスライス(またはブリック)の下部境界であり(たとえばCTU-C)、loop_filter_across_slice_enabled_flag(またはloop_filter_across_bricks_enabled_flag)が0に等しい場合、上のCTU行からの4ラインと現在のCTUにおける全ラインを含む(M+4)×Mブロックを処理する。
・そうではなく、スライス/ブリック/タイルにおける最初のCTU行のCTU/CTBの場合(たとえば、CTU-A)、最後の4ラインを除くM×(M-4)ブロックを処理する。
・そうではなく、スライス/ブリック/タイルの最初のCTU行内ではなく(たとえばCTU-B)、スライス/ブリック/タイルの最後のCTU行内ではないCTU/CTBの場合、上のCTU行からの4ラインを含み、現在のCTU内の最後の4ラインを除くM×Mブロックを処理する。
図19は、ピクチャー内のCTUの処理の例を示す。
2.12 360度ビデオコーディング
VTM5における水平ラップアラウンド動き補償は、正距円筒図法(ERP)投影フォーマットでの再構成された360度ビデオの視覚的品質を改善するために設計された360固有のコーディングツールである。従来の動き補償では、動きベクトルが参照ピクチャーのピクチャー境界を越えるサンプルを参照する場合、対応するピクチャー境界の最も近い近傍からコピーすることによって境界外サンプルの値を導出するために、反復的なパディングが適用される。360度ビデオでは、この反復的パディング方法は適当ではなく、再構成されたビューポート・ビデオにおいて「シーム・アーチファクト」と呼ばれる視覚的アーチファクトを引き起こす可能性がある。360度ビデオは球面上で捕捉され、本来的に「境界」をもたないため、投影ドメインにおいて参照ピクチャーの境界外にある参照サンプルは、球面ドメインにおいては近傍サンプルから常に得ることができる。一般的な投影フォーマットについては、2D-3D座標変換および3D-2D座標変換、ならびに端数サンプル位置についてのサンプル補間に関わるので、球面ドメインでは対応する近傍サンプルを導出することが難しいことがある。この問題は、ERP投影フォーマットの左と右の境界については、ずっと単純である。なぜなら、左のピクチャー境界の外側の球面近傍は右のピクチャー境界の内側のサンプルから得られ、その逆も同様であるからである。
図20は、VVCにおける水平ラップアラウンド動き補償の例を示す。
水平方向のラップアラウンド動き補償プロセスは、図20に示すとおりである。参照ブロックの一部が、投影ドメインにおいて参照ピクチャーの左(または右)境界の外側にある場合、反復的なパディングの代わりに、「境界外」部分は、投影ドメインにおける右(または左)境界のほうの、参照ピクチャーの対応する球面近傍から取られる。反復的パディングは、上下のピクチャー境界のみに使用される。図20に示されるように、水平ラップアラウンド動き補償は、360度のビデオコーディングにおいてしばしば使用される非規範的なパディング方法と組み合わせることができる。VVCでは、これは、ラップアラウンド・オフセットを示すために、高レベルの構文要素を信号伝達することによって達成され、それは、パディングの前のERPピクチャー幅に設定されるべきである;この構文は、水平ラップアラウンドの位置をそれに応じて調整するために使用される。この構文は、左右のピクチャー境界上の特定の量のパディングによっては影響されないため、たとえば左右のパディングが異なる場合、ERPピクチャーの非対称なパディングを自然にサポートする。参照サンプルが参照ピクチャーの左右の境界の外側にある場合、水平方向ラップアラウンド動き補償は、動き補償のための、より有意義な情報を提供する。
複数の面から構成される投影フォーマットについては、どのようなコンパクト・フレーム・パッキング構成が使用されようとも、フレームパックされたピクチャー内の2つ以上の隣接する面の間に不連続が現れる。たとえば、図24に示される3×2フレーム・パッキング構成を考えると、上半分の3面は3D幾何において連続であり、下半分の3面は3D幾何において連続であるが、フレームパックされたピクチャーの上半分と下半分は3D幾何において不連続である。ループ内フィルタリング動作がこの不連続部をまたいで実行される場合、再構成されたビデオにおいて面シーム・アーチファクトが、見えるようになる可能性がある。
面シーム・アーチファクトを軽減するために、ループ内フィルタリング動作は、フレームパックされたピクチャーの不連続部をまたぐところでは無効にされてもよい。その境界をまたぐループ内フィルタリング動作が無効にされる垂直および/または水平方向の仮想境界を信号伝達するための構文が提案された。連続する面の各集合について1つずつ、2つのタイルを使用し、タイルをまたぐループ内フィルタリング動作を無効にすることに比べて、提案された信号伝達方法は、面サイズがCTUサイズの倍数である必要がないため、より柔軟性がある。
2.13 例示的なサブピクチャー・ベースの動き制約された独立領域
いくつかの実施形態では、以下の特徴が含まれる。
1)ピクチャーは、サブピクチャーに分割されうる。
2)サブピクチャーの存在の指示は、サブピクチャーの他のシーケンス・レベル情報とともに、SPSの中で示される。
3)サブピクチャーがデコード処理(ループ内フィルタリング動作を除く)においてピクチャーとして扱われるかどうかは、ビットストリームによって制御できる。
4)サブピクチャー境界をまたぐループ内フィルタリングが無効にされるかどうかは、ビットストリームによって、各サブピクチャーについて制御できる。DBF、SAO、およびALFプロセスは、サブピクチャー境界をまたぐループ内フィルタリング動作を制御するために更新される。
5)簡単のために、出発点として、サブピクチャー幅、高さ、水平オフセット、および垂直オフセットは、SPSにおいて、ルーマ・サンプルの単位で信号伝達される。サブピクチャー境界は、スライス境界であるように制約される。
6)サブピクチャーをデコード・プロセス(ループ内フィルタリング動作を除く)においてピクチャーとして扱うことは、coding_tree_unit()構文を若干更新することによって指定され、以下の諸デコード・プロセスに更新される:
○(高度な)時間的ルーマ動きベクトル予測のための導出プロセス
○ルーマ・サンプル双線形補間プロセス
○ルーマ・サンプル8タップ補間フィルタリング・プロセス
○クロマ・サンプル補間プロセス。
7)VCL NAL単位を変更する必要なくサブピクチャー・シーケンスの抽出を可能にするために、サブピクチャーIDはSPSにおいて明示的に指定され、タイル・グループ・ヘッダに含まれる。
出力サブピクチャー集合(output sub-picture sets、OSPS)は、サブピクチャーとその諸集合のための規範的な抽出と適合性点を指定するために提案される。
3. 本稿において提供される解決策によって解決される技術的問題
現在のVVC設計には以下のような問題がある。
1. ALF仮想境界を有効にする現在の設定は、CTBの下部境界がピクチャーの下部境界であるかどうかに依存する。もしそれが真ならば、ALF仮想境界は、図19のCTU-Dのように、無効にされる。しかしながら、CTBの下部境界がピクチャーの下部境界の外側にあることがある。たとえば、256×240ピクチャーが4つの128×128ピクチャーに分割され、この場合、ALF仮想境界は、下部境界の外側にサンプルをもつ最後の2つのCTUについて、間違って真に設定される可能性がある。
2. ALF仮想境界を扱う方法は、下部のピクチャー境界およびスライス/タイル/ブリック境界について無効にされる。スライス/ブリック境界に沿ったVBを無効にすると、パイプライン・バブルが発生したり、LCUサイズが64×64であるとして、仮想パイプライン・データ単位(VPDU、VVCでは64×64)ごとに68ラインの処理が必要になったりすることがある。たとえば:
a. スライス/ブリック/タイル境界を前もって知らないデコーダ(w.e.低遅延アプリケーション)については、ALFラインバッファが復元される必要がある。ラインバッファ内のコンテンツがALFフィルタリングに使用されるか否かは、現在のCTUがスライス/ブリック/タイル境界CTUでもあるかどうかに依存するが、この情報は、次のスライス/ブリック/タイルがデコードされるまでは不明である。
b. スライス/ブリック/タイル境界を前もって知っているデコーダについては、ALFラインバッファの使用を避けるために、デコーダは、パイプライン・バブルを我慢するか(可能性が非常に低い)、常時64×64 VDPUあたり68ラインの速度でALFを実行する(過剰な備え)必要がある。
3. 仮想境界およびビデオ単位境界を扱うための種々の方法、たとえば種々のパディング方法が存在する。一方、複数の境界にあるラインについて、複数のパディング方法が実行されることがある。
a. 一例では、ブロックの下部境界が360度仮想境界であり、ALF仮想境界がこのブロックにも適用される場合、この場合、360度仮想境界のためのパディング方法は、まず、360度仮想境界の下の仮想サンプルを生成するために適用されうる。その後、360度仮想境界の下に位置するこれらの仮想サンプルは、利用可能なものとして扱われる。また、図16A~Cに従って、ALF 両側パディング方法がさらに適用されてもよい。一例が図25に示される。
4. 仮想境界を取り扱う方法は、それほど効率的ではないかもしれないパディングされたサンプルが利用されるので、最善ではない可能性がある。
5. 非線形ALFが無効にされる場合、MALFおよび両側パディング方法は、サンプルをフィルタリングするために同じ結果を生成することができるであろう。これは、仮想境界を越えるサンプルにアクセスすることを必要とする。しかしながら、非線形ALFが有効にされる場合、2つの方法は異なる結果をもたらすであろう。2つのケースを整列させることが有益であろう。
6. スライスは、図28に示すように、長方形のもの、または長方形でないものであってもよい。この場合、CTUについて、それはどの境界とも一致しないことがある(たとえば、画像/スライス/タイル/ブリック)。ただし、現在のスライスの外側にあるサンプルにアクセスする必要がある場合がある。スライス境界を越えるフィルタリング(たとえば、loop_filter_across_slices_enabled_flagが偽)が無効になっている場合、ALF分類およびフィルタリング・プロセスをどのように実行するかは不明である。
7. サブピクチャーは、ピクチャー内の一つまたは複数のスライスの矩形領域である。サブピクチャーは、ピクチャーの矩形領域を集団的にカバーする一つまたは複数のスライスを含む。構文テーブルは、サブピクチャーの概念を含むように次のように変更される(ボールドイタリックで下線付き)。
7.3.2.3 シーケンスパラメータセットRBSP構文
Figure 0007454042000049
サブピクチャーをまたぐフィルタリングを有効にすることが、各サブピクチャーごとに制御されることに注意されたい。しかし、スライス/タイル/ブリックをまたぐフィルタリングを有効にすることの制御は、ピクチャー・レベルで制御され、一つのピクチャー内のすべてのスライス/タイル/ブリックを制御するために一度、信号伝達される。
8. ALF分類は、4×4単位において実行される。すなわち、1つの4×4単位内のすべてのサンプルが同じ分類結果を共有する。しかしながら、より正確にするためには、現在の4×4ブロックを含む8×8窓内のサンプルは、それらの勾配を計算する必要がある。この場合、図30に示すように、10×10のサンプルにアクセスする必要がある。サンプルの一部が異なるビデオ単位(たとえば、異なるスライス/タイル/ブリック/サブピクチャー/上または左または右または下の「360仮想境界」/上または下の「ALF仮想境界」)にある場合、どのように分類を計算するかを定義する必要がある。
9. VVC設計では、4つの境界位置(たとえば左垂直/右垂直/上水平/下水平)が特定される。サンプルが該4つの境界位置内にある場合、それは利用可能とマークされる。しかし、VVCでは、図28に示すように、スライスが非矩形領域を覆うことができる。これらの4つの境界位置をチェックすることで、誤った利用可能性結果をマークする可能性がある。たとえば、図28(左上の点)の青色の位置については、現在のブロック(たとえば、赤色の位置をカバーするブロック(右下の点))とは異なるスライス内にあり、loop_filter_across_slices_enabled_flagが偽である場合(たとえば、スライスをまたいだサンプルはALFにおいて使用が許容されない)、「利用可能でない」としてマークされる。ただし、現在のブロックの左垂直/右垂直/上水平/下水平の境界のみをチェックすると、青色の位置が誤って「利用可能」としてマークされることになる。
4. 技法および実施形態の例
以下のリストは、一般的な概念を説明するための例として考慮されるべきである。リストされた技法は、狭義に解釈されるべきではない。さらに、これらの技法は、任意の仕方で組み合わせることができる。
ALF仮想境界に使用されるパディング方法は、「両側パディング」と記されてもよい。ここで、(i,j)に位置する1つのサンプルがパディングされる場合、同じフィルタ係数を共有する(m,n)に位置する対応するサンプルも、たとえ該サンプルが利用可能であっても、パディングされる。このことは、図12~図13に示される。
ピクチャー境界/360度ビデオ仮想境界、通常境界(たとえば、上部および下部の境界)のために使用されるパディング方法は、「片側パディング」と記されてもよい。ここでは、使用されるあるサンプルが境界の外側にある場合、それはピクチャー内の利用可能なサンプルからコピーされる。
360度ビデオの左右の境界に使用されるパディング方法は、「ラッピングベースのパディング」と記されてもよい。ここでは、使用されるあるサンプルが境界の外側にある場合、それは動き補償された結果を使用してコピーされる。
以下の議論では、サンプルが「ビデオ単位の境界にある」とは、そのサンプルとビデオ単位の境界との距離が閾値未満または以下であることを意味する。「ライン」は、同一の水平位置にある諸サンプルまたは同一の垂直位置にある諸サンプルを指しうる(たとえば、同じ行のサンプルおよび/または同じ列のサンプル)。関数Abs(x)は次のように定義される:
Figure 0007454042000050
以下の議論では、「仮想サンプル」とは、再構成されたサンプルとは異なっていてもよい(ブロッキング解除および/またはSAOによって処理されてもよい)生成されたサンプルを指す。仮想サンプルは、別のサンプルについてALFを実施するために使用されてもよい。仮想サンプルは、パディングによって生成されてもよい。
「ALF処理単位」とは、2つの水平境界と2つの垂直境界で区切られた単位をいう。2つの水平境界は、2つのALF仮想境界、または1つのALF仮想境界と1つのピクチャー境界を含むことができる。2つの垂直境界は、2つの垂直CTU境界または1つの垂直CTU境界と1つのピクチャー境界を含むことができる。一例を図32A~図32Dに示す。
「狭いALF処理単位」とは、2つの水平境界と2つの垂直境界で区切られた単位をいう。一方の水平境界は、1つのALF仮想境界または1つの360度仮想境界を含んでいてもよく、他方の水平境界は、1つのスライス/ブリック/タイル/サブピクチャー境界または1つの360度仮想境界または1つのピクチャー境界を含んでいてもよい。垂直境界は、CTU境界、ピクチャー境界、または360度仮想境界とすることができる。一例を図34に示す。
「ALF仮想境界処理方法があるブロックに対して有効にされる」とは、仕様のapplyVirtualBoundaryが真に設定されることを示してもよい。「仮想境界を有効にする」とは、現在のブロックが仮想境界によって少なくとも2つの部分に分割され、フィルタリング・プロセス(たとえば、ALF)において、一方の部分に位置するサンプルが他方の部分にあるサンプルを利用することが許されないことを示してもよい。仮想境界は、1つのブロックの下部境界のK行上であってもよい。
以下の議論では、近傍サンプル(neighboring samples)は、フィルタ分類および/またはフィルタリング・プロセスに必要とされるものであってもよい。
本開示において、近傍サンプルが「利用不能」とは、それが現在ピクチャー、または現在のサブピクチャー、または現在のタイル、または現在のスライス、または現在のCTU、または現在の処理単位(ALF処理単位または狭いALF処理単位など)、または他の任意の現在のビデオ単位の外である場合である。
1. 「現在のコーディングツリー・ブロックの下部境界は、ピクチャーの下部境界である」ことの判別は、「現在のコーディングツリー・ブロックの下部境界は、ピクチャーの下部境界であるか、ピクチャーの外側である」に置き換えられる。
a. あるいはまた、さらに、この場合、ALF仮想境界処理方法は無効にされてもよい。
2. ループ内フィルタリング・プロセスにおいて仮想サンプルの使用を有効にするかどうか(たとえば、仮想境界を有効にするかどうか(たとえば、applyVirtualBoundaryを真に設定するか偽に設定するか))は、CTBサイズに依存してもよい。
a. 一例では、applyVirtualBoundaryは、所与のCTU/CTBサイズについて、たとえばK×Lに等しいCTU/CTBサイズ(たとえば、K=L=4)について常に偽に設定される。
b.一例では、applyVirtualBoundaryは、K×L以下の、またはK×Lより小さいあるCTU/CTBサイズ(たとえば、K=L=8)について常に偽に設定される。
c. あるいはまた、ALFは、4×4、8×8などのある種のCTU/CTBサイズについて無効にされる。
3. ループ内フィルタリング・プロセス(たとえば、ALF)における(たとえば再構成されたサンプルからパディングされた)仮想サンプルの使用を有効にするかどうかは、ブロックの下部境界が、ピクチャーと比較してより細かい粒度にあるビデオ単位(たとえば、スライス/タイル/ブリック)の下部境界または仮想境界であるかどうかに依存する。
a. 一例では、CTBの下部境界が当該ビデオ単位の境界または仮想境界である場合、コーディングツリー・ブロック(CTB)についてALF仮想境界処理方法が有効にされてもよい(たとえば、applyVirtualBoundaryが真に設定される)。
i. あるいはまた、さらに、下部境界が下部ピクチャー境界でない場合、または下部境界がピクチャー外である場合は、上記の方法が有効にされる。
b. 現在のコーディングツリー・ブロックの下部境界がピクチャーの下部仮想境界の1つであり、pps_loop_filter_across_virtual_boundaries_disabled_flagが1に等しい場合、ALF仮想境界処理メソッドはやはり有効にされてもよい(たとえば、applyVirtualBoundaryが真に設定される)。
c. 一例では、CTBについてのALF仮想境界処理方法(たとえばapplyVirtualBoundaryの値)を有効にするかどうかは、CTBの下部境界とピクチャーの下部境界の間の関係のみに依存してもよい。
i. 一例では、applyVirtualBoundaryが偽に設定されるのは、CTBの下部境界がCTBを含むピクチャーの下部境界である場合、または下部境界がピクチャーの外側である場合のみである。
ii. 一例では、applyVirtualBoundaryは、CTBの下部境界がCTBを含むピクチャーの下部境界ではない場合に真に設定される。
d. 一例では、図18A~18CにおけるCTU-Cをデコードする場合、M×Mサンプルは、上のCTUからのK個のラインを用い、仮想境界より下のK個のラインを除外してフィルタリングされてもよい。
4. ブリック/スライス境界をまたぐループ・フィルタについての信号伝達された使用制御フラグ(たとえば、loop_filter_across_bricks_enabled_flag/roop_filter_across_slices_enabled_flag)が真であっても、フィルタリング・プロセス(たとえば、ALF)におけるブリック/スライス境界を越えるサンプルの使用を無効にすることが提案される。
a. あるいはまた、信号伝達されたloop_filter_across_bricks_enabled_flag/loop_filter_across_slices_enabled_flagは、ALFを除いてブロッキング解除フィルタおよびSAOのフィルタリング・プロセスのみを制御してもよい。
b. 一例では、別のサンプルについてALFを行うために、対応する位置にある再構成されたサンプルの代わりに、仮想サンプルが使用されてもよい。
5. 1つのブロック(たとえば、CTB)がビデオ単位の境界(たとえば、スライス/ブリック/タイル/360度ビデオの仮想もしくは通常の境界/ピクチャー境界)に位置するサンプルを含む場合、ALFのようなループ内フィルタリングのためにビデオ単位内外で仮想サンプルを生成する方法(たとえば、パディング方法)は、異なる種類の境界について統一されてもよい。
a. あるいはまた、さらに、ループ内フィルタリングのために境界にあるサンプルを処理するために、仮想境界の方法(たとえば、両側パディング方法)がブロックに適用されてもよい。
b. あるいはまた、さらに、上記の諸方法は、ブロックがビデオ単位の下部境界に位置するサンプルを含む場合に適用されてもよい。
c. 一例では、1つのブロックのK個のラインをデコードする際に、K個のラインがブロックの仮想境界の下であり(たとえば、図17A~17BのCTU-Bにおける最後のK個のライン)、ブロックの下部境界がビデオ単位の下部境界である場合、これらのK個のラインの外の他のサンプルの使用を回避するために、ALF分類/フィルタリング・プロセスにおいて仮想サンプルが生成されてもよく、たとえば、両側パディング方法が適用されてもよい。
i. あるいはまた、それら最後のK行についてALFが無効にされてもよい。
d. 一例では、1つのブロックが複数の境界にある場合、ALF分類のために使用されるピクセル/サンプルは、これらの複数の境界のいずれにもまたがらないように制限されうる。
i. 一例では、あるサンプルについて、そのある近傍サンプルが「利用可能でない」(たとえば、複数の境界のいずれかを横切る)場合、単独で、またはすべての種類の勾配/方向性が、そのサンプルについて計算されないことがある。
1. 一例では、サンプルの勾配は、ゼロとして扱われてもよい。
2. 一例では、サンプルの勾配は、「利用可能でない」として扱われてもよく、ALF分類プロセスで導かれる活性(activity)(たとえば、セクション2.6.1.1の式(8)で定義される)に加えられなくてもよい。
ii. 一例では、ALF分類プロセスで使用される部分的サンプルのみが「利用可能」である場合(たとえば、これらの境界のどれも越えていない場合)、ALF分類プロセスで導かれる活性/方向性は、ある因子によってスケーリングされてもよい。
iii. 一例では、境界ブロックについて、ALF分類プロセスにおいてN個のサンプルについて勾配/方向性が計算される必要があり、M個のサンプルについてのみ勾配を計算することができると仮定する(たとえば、サンプルのある近傍サンプルが「利用可能」でない場合、勾配はそれについて計算できない)。その場合、活性にN/Mを乗算されてもよい。
1. あるいはまたは、N/Mに依存する因子を乗算されてもよい。たとえば、数はMN(Nは整数)であってもよく、たとえば、M=2であってもよい。
e. 一例では、M×N(たとえば、現在の設計ではM=N=8、M列およびN行)窓内の部分サンプルの勾配が、分類のために使用されうる。
i. たとえば、現在のN1*N2(現在の設計ではN1=N2=4)ブロックについては、M*NはN1*N2ブロックを中心としている。
ii. 一例では、いずれかの境界を越えてサンプルにアクセスする必要のないサンプルの勾配が使用されてもよい。
1. あるいはまた、さらに、一つまたは複数の境界に位置するサンプルの勾配を計算する場合、現在のサンプルのいくつかの近傍サンプルが「利用可能でない」ならば、パディング(たとえば、片側パディング(1-side padding))が実行されてもよい。
2. あるいはまた、現在のサンプルがビデオ単位の上部境界(スライス/ブリック/タイル/360度ビデオ仮想境界またはALF仮想境界など)に位置する場合、上のK個の利用可能でないライン(たとえば、K=1,2)がパディングされてもよい。
3. あるいはまた、さらに、現在のサンプルがビデオ単位の左境界に位置する場合、左のK個(たとえば、K=1,2)の利用可能でないカラムがパディングされてもよい。
4. あるいはまた、さらに、現在のサンプルがビデオ単位の右境界に位置する場合、右のK個(たとえば、K=1,2)の利用可能でないカラムがパディングされてもよい。
5. あるいはまた、さらに、現在のサンプルがビデオ単位の底部境界に位置する場合、底部のK個(たとえば、K=1,2)の利用可能でないラインがパディングされてもよい。
6. あるいはまた、さらに、現在のサンプルがビデオ単位の上の境界および左の境界に位置するならば、上のK1個(たとえば、K1=1、2)の利用可能でないラインがまずパディングされてM*(N+K1)窓を生成してもよく、次いで、左のK2個(たとえば、K2=1、2)の利用可能でないカラムがパディングされて(M+K2)*(N+K1)窓を生成してもよい。
a. あるいはまた、左のK2個(たとえば、K2=1,2)の利用可能でないカラムがまずパディングされて、(M+K2)*N窓を生成してもよく、次いで、上のK1個(たとえば、K1=1,2)の利用可能でない行がパディングされて、(M+K2)*(N+K1)窓を生成してもよい。
7. あるいはまた、さらに、現在のサンプルがビデオ単位の上の境界および右の境界に位置するならば、上のK1個(たとえば、K1=1、2)の利用可能でないラインがまずパディングされて、M*(N+K1)窓を生成してもよく、その後、右のK2個(たとえば、K2=1、2)の利用可能でないカラムがパディングされて、(M+K2)*(N+K1)窓を生成してもよい。
a. あるいはまた、右のK2個(たとえば、K2=1,2)の利用可能でない列がまずパディングされて、(M+K2)*N窓を生成してもよく、次いで、上のK1個(たとえば、K1=1,2)の利用可能でない行がパディングされて、(M+K2)*(N+K1)窓を生成してもよい。
8. あるいはまた、さらに、現在のサンプルがビデオ単位の底部境界および右の境界に位置するならば、下部のK1個(たとえば、K1=1、2)の利用可能でないラインがまずパディングされて、M*(N+K1)窓を生成してもよく、次いで、右のK2個(たとえば、K2=1、2)の利用可能でないカラムがパディングされて、(M+K2)*(N+K1)窓を生成してもよい。
a. あるいはまた、右のK2個(たとえば、K2=1,2)の利用可能でない列がまずパディングされて、(M+K2)*N窓を生成してもよく、次いで、下部のK1個(たとえば、K1=1,2)の利用可能でない行がパディングされて、(M+K2)*(N+K1)窓を生成してもよい。
9. あるいはまた、現在のサンプルがビデオ単位の底部境界および左の境界に位置するならば、下部のK1個(たとえば、K1=1、2)の利用可能でないラインがまずパディングされてM*(N+K1)窓を生成してもよく、次いで、左のK2個(たとえば、K2=1、2)の利用可能でないカラムがパディングされて、(M+K2)*(N+K1)窓を生成してもよい。
a. あるいはまた、左のK2個(たとえば、K2=1,2)の利用可能でない列がまずパディングされて、(M+K2)*N窓を生成してもよく、次きで、下部のK1個(たとえば、K1=1,2)の利用可能でない行がパディングされて、(M+K2)*(N+K1)窓を生成してもよい。
10. あるいはまた、さらに、パディングされたサンプルが、勾配を計算するために使用されてもよい。
iii. 一例では、ビデオ単位の上/下の境界(たとえば、スライス/ブリック/タイル/360度ビデオ仮想境界またはALF仮想境界)におけるブロックについて、M*(N-C1)窓におけるサンプルの勾配が、そのブロックの分類のために使用されてもよい。
1. あるいはまた、M*N窓の上/下のC1個のラインの勾配は、分類において使用されない。
iv. 一例では、ビデオ単位の左/右境界におけるブロックについて、(M-C1)*N窓におけるサンプルの勾配が、そのブロックの分類のために使用されてもよい。
1. あるいはまた、M*N窓の左/右のC1列の勾配は、分類において使用されない。
v. 一例では、ビデオ単位の上部境界および下部境界におけるブロックについて、M*(N-C1-C2)窓におけるサンプルの勾配が、そのブロックの分類のために使用されてもよい。
1. あるいはまた、M*N窓の上部のC1行および下部のC2行の勾配は、分類において使用されない。
vi. 一例では、ビデオ単位の上部境界および左の境界におけるブロックについて、(M-C1)*(N-C2)窓におけるサンプルの勾配が、そのブロックの分類のために使用されてもよい。
1. あるいはまた、さらに、M*N窓の上部のC1行および左のC2列の勾配は、分類において使用されない。
vii. 一例では、ビデオ単位の上部境界および右の境界におけるブロックについて、(M-C1)*(N-C2)窓におけるサンプルの勾配が、そのブロックの分類のために使用されてもよい。
1. あるいはまた、さらに、M*N窓の上部のC1行および右のC2列の勾配は、分類において使用されない。
viii. 一例では、ビデオ単位の底部境界および左境界におけるブロックについて、(M-C1)*(N-C2)窓におけるサンプルの勾配が、ブロックの分類のために使用されてもよい。
1. あるいはまた、M*N窓の下部のC1行および左のC2列の勾配は、分類において使用されない。
ix. 一例では、ビデオ単位の底部境界および右の境界におけるブロックについて、(M-C1)*(N-C2)窓におけるサンプルの勾配が、ブロックの分類のために使用されてもよい。
1. あるいはまた、さらに、M*N窓の下部のC1行および右のC2列の勾配は、分類において使用されない。
x. 一例では、ビデオ単位の左境界および右境界におけるブロックについて、(M-C1-C2)*N窓におけるサンプルの勾配が、ブロックの分類のために使用されてもよい。
1. あるいはまた、さらに、M*N窓の左のC1列および右のC2列の勾配は、分類において使用されない。
xi. 一例では、ビデオ単位の上部境界、下部境界および左境界におけるブロックについて、(M-C3)*(N-C1-C2)窓におけるサンプルの勾配が、ブロックの分類のために使用されてもよい。
1. あるいはまた、M*N窓の上部C1行、下部C2行、左C3列の勾配は、分類において使用されない。
xii. 一例では、ビデオ単位の上部境界、下部境界および右境界におけるブロックについて、(M-C3)*(N-C1-C2)窓におけるサンプルの勾配が、ブロックの分類のために使用されてもよい。
1. あるいはまた、M*N窓の上部のC1行、下部のC2行および右C3列の勾配は、分類において使用されない。
xiii. 一例では、ビデオ単位の左境界、右境界、および上部境界におけるブロックについて、(M-C1-C2)*(N-C3)窓におけるサンプルの勾配が、ブロックの分類のために使用されてもよい。
1. あるいはまた、さらに、M*N窓の左のC1列、右のC2列、および上部C3行の勾配は、分類において使用されない。
xiv. 一例では、ビデオ単位の左境界、右境界および下部境界におけるブロックについて、(M-C1-C2)*(N-C3)窓におけるサンプルの勾配が、ブロックの分類のために使用されてもよい。
1. あるいはまた、M*N窓の左のC1列、右のC2列および下部のC3行の勾配は、分類において使用されない。
xv. 一例では、ビデオ単位の左境界、右境界、上部境界、および下部境界におけるブロックについて、(M-C1-C2)*(N-C3-C4)窓におけるサンプルの勾配が、ブロックの分類のために使用されてもよい。
1. あるいはまた、M*N窓の左のC1列および右のC2列、上部のC3行および下部のC4行の勾配は、分類において使用されない。
xvi. 一例では、C1、C2、C3およびC4は、2に等しい。
xvii. 一例では、勾配計算において必要とされる「利用可能でない」近傍サンプルがないサンプルの勾配が使用されうる。
f. 一例では、1つのラインが複数の境界にある場合(たとえば、ラインから境界までの間の距離が閾値未満)、パディング・プロセスは、それが何個の境界に属しうるかに関係なく、1回だけ実行される。
i. あるいはまた、何個の近傍ラインがパディングされるかは、すべての境界に対する現在のラインの位置に依存する。
ii. たとえば、何個の近傍ラインがパディングされるかは、たとえば現在のラインが2つの境界内にあり、該2つの境界が上および下にある場合、現在のラインと2つの境界との間の距離によって決定されてもよい。
iii. たとえば、何個の近傍ラインがパディングされるかは、たとえば現在のラインが2つの境界内にあり、それら2つの境界が上および下にある場合、現在の行と最も近い境界との間の距離によって決定されてもよい。
iv. たとえば、何個の近傍ラインがパディングされるかは、各境界について独立して計算されてもよく、最大のものが最終的なパディングされるライン数として選択される。
v. 一例では、何個の近傍ラインがパディングされるかは、ラインの各側(たとえば、上側および下側)について決定されてもよい。
vi. 一例では、両側パディング方法について、何個の近傍ラインがパディングされるかは、両側について合同で決定されてもよい。
vii. あるいはまた、さらに、ALFによって使用される両側パディング方法が適用される。
g. 一例では、1つのラインが複数の境界にあり、ラインの各側(たとえば、上側と下側)に少なくとも1つの境界がある場合、ALFはそれについて無効にされてもよい。
h. 一例では、現在のラインによって必要とされるパディングされたラインの数が閾値よりも大きい場合、ALFは現在のラインについて無効にされてもよい。
i. 一例では、任意の側のパディングされたラインの数が閾値よりも大きい場合、ALFは現在のラインについて無効にされてもよい。
ii. 一例では、両側におけるパディングされたラインの合計数が閾値よりも大きい場合、ALFは現在のラインについて無効にされてもよい。
i. あるいはまた、上記の諸方法は、ブロックがビデオ単位の下部境界に位置するサンプルを含み、ALFのようなループ内フィルタリングがブロックについて有効にされている場合に適用されてもよい。
j. あるいはまた、さらに、上記の諸方法は、たとえば、ブロックがビデオ単位の下部境界に位置するサンプルを含み、境界をまたぐフィルタリングが許可されない(たとえば、pps_loop_filter_across_virtual_boundaries_disabled_flag/loop_filter_across_slices_enabled_flag/loop_filter_across_slices_enabled_flagが真である)場合のようなある種の条件下で適用されてもよい。
k. 提案される方法は、垂直境界に位置するサンプル/ブロックにも適用可能である。
6. サンプルが1つのブロックの少なくとも2つの境界の場合(たとえば、現在のラインの上にある少なくとも1つがALF仮想境界であり、下に他方の境界がある場合)、何個のラインがパディングされるかは、ALF仮想境界に対する現在のラインの間の距離だけでは決定されない。その代わりに、2つの境界に対する現在のラインの間の距離によって決定される。
a. 一例では、片側パディングのためのライン数は、(M-min(D0,D1))に設定される。
b. 一例では、片側パディングのためのライン数は、(M-max(D0,D1))に設定される。
c. 上記の例については、D0、D1は、現在のラインと上/下の境界との間の距離を示す。
d. 上記の例については、Mは、ALF仮想境界が1つのCTUの底部から何ライン目かを示す。
7. ALF分類および/またはALF線形または非線形フィルタリング・プロセスにおけるサンプル選択の少なくとも2つの仕方が定義されてもよく、そのうちの1つは、何らかのループ内フィルタリング方法が適用される前にサンプルを選択し、もう1つは、一つまたは複数のループ内フィルタリング方法が適用された後、ただしALFが適用される前にサンプルを選択する。
a. 一例では、異なる仕方の選択は、フィルタリングされるサンプルの位置に依存してもよい。
b. 一例では、ビデオ単位(たとえばCTB)の下部境界におけるサンプルは、それが別のサンプルのためにALFにおいて使用される場合、第1の方法で選択されてもよい。そうでない場合(境界にない場合)、第2の方法が選択される。
8. フィルタリング・プロセスにおいてVPDU境界(たとえば64×64領域)を越えるサンプルの使用を無効にすることが提案される。
a. 一例では、ALF分類プロセスによって必要とされるサンプルがVPDU境界の外側または仮想境界より下にある場合、それは仮想サンプルによって置き換えられてもよく、または、そのサンプルについての分類結果が、利用可能なサンプルからパディングされたものなど、他のサンプルに関連付けられた結果からコピーされてもよい。
b. 一例では、フィルタリング・プロセスによって必要とされるサンプルがVPDU境界の外側または仮想境界より下にある場合、それは、利用可能なサンプルからパディングされたものなど、仮想サンプルによって置き換えられてもよい。
c. 一例では、あるブロックについて、それがVPDUの境界に位置するサンプルを含む場合、そのブロックについてALF仮想境界処理方法が有効にされてもよい(たとえば、applyVirtualBoundaryが真に設定される)。
d. あるいはまた、水平VPDU境界を越えるサンプルの使用は、フィルタリング・プロセスにおいて無効にされてもよい。
i. 一例では、フィルタリング・プロセスによって必要とされるサンプルが水平VPDU境界より下にある、または仮想境界より下にある場合、それは、利用可能なサンプルからパディングされたもののような仮想サンプルによって置き換えられてもよい。
e. あるいはまた、垂直VPDU境界を越えるサンプルの使用は、フィルタリング・プロセスにおいて無効にされてもよい。
i. 一例では、フィルタリング・プロセスによって必要とされるサンプルが垂直VPDU境界の外側、または仮想境界より下にある場合、それは、利用可能なサンプルからパディングされたもののような仮想サンプルによって置き換えられてもよい。
9. ALF分類/フィルタリング・プロセスにおいて、パディングされたサンプル(たとえば、利用不能でない、仮想境界より上/下の、ビデオ単位の境界より上/下の)を使用する代わりに、すべてのループ内フィルタの前に、再構成されたサンプルを使用することが提案される。
a. あるいはまた、さらに、両側パディングの概念は、すべてのループ内フィルタの前に、再構成されたサンプルからサンプルをパディングすることを介して適用される。
i. 一例では、フィルタ・サポート内のサンプルがすべてのループ内フィルタの前の再構成されたサンプルからである場合、フィルタ・サポート内の対称な(たとえば、原点、たとえば現在のサンプルに関して対称な)サンプルもまた、すべてのループ内フィルタの前の再構成されたサンプルを使用するものとする。
1. フィルタリングされるべき現在のサンプルの座標が(0,0)であり、(i,j)に位置するサンプルがすべてのループ内フィルタの前の再構成されたサンプルであるとすれば、(-i,-j)に位置するサンプルは、すべてのループ内フィルタの前の再構成されたサンプルである。
2. フィルタリングされるべき現在のサンプルの座標が(x,y)であり、(x+i,y+j)に位置するサンプルがすべてのループ内フィルタの前の再構成されたサンプルであるとすれば、(x-i,y-j)に位置するサンプルはすべてのループ内フィルタの前の再構成されたサンプルである。
b. あるいはまた、さらに、ループ内再整形(In-loop reshaping、LMCSとしても知られる)が有効にされる場合、すべてのループ内フィルタ前の再構成されたサンプルは、再整形されたドメインから変換されたもとのドメイン内のものである。
10. ALFフィルタリング・プロセスにおいてパディングされたサンプル(たとえば、利用不能でない、仮想境界の上/下の、ビデオ単位の境界の上/下の)を使用する代わりに、異なるALFフィルタ・サポートを使用することが提案される。
a. 一例では、サンプルが上記の方法においてパディングされる必要があるとする。パディングを実行する代わりに、そのサンプルに関連するフィルタ係数がゼロに設定される。
i. この場合、フィルタ・サポートは、パディングされることを必要とするサンプルを除外することによって修正される。
ii. あるいはまた、さらに、現在のサンプルを除く他のサンプルに適用されるフィルタ係数は不変に保たれるが、現在のサンプルに適用されるフィルタ係数は、((1<<C_BD)-パディングされる必要のないサンプルに適用されるすべてのフィルタ係数の和)のように修正されてもよく、ここで、C_BDはフィルタ係数のビット深さを示す。
1. 図18A~18Bを例に取ると、ラインLおよびIをフィルタリングするとき、現在のサンプルに適用されるフィルタ係数c12は、((1<<C_BD)-2*(c4+c5+c6+c7+c8+c9+c10+c11))に修正される。
b. 一例では、上記の方法においてサンプル(x1,y1)が(x2,y2)からパディングされるとする。パディングを実行する代わりに、非線形フィルタが有効にされているか無効にされているかにかかわらず、(x1,y1)に関連するフィルタ係数が位置(x2,y2)のフィルタ係数に加算される。
i. あるいはまた、(x2,y2)についてのクリッピング・パラメータがオンザフライで導出されてもよい。
1. 一例では、(x2,y2)についてのデコードされたクリッピング・パラメータと等しく設定されてもよい。
2. あるいはまた、(x1,y1)および(x2,y2)についてのデコードされたクリッピング・パラメータを入力とする関数の戻り値に、たとえば大きいほうの値または小さいほうの値に設定されてもよい。
11. クリッピング・パラメータ/フィルタ係数/フィルタ・サポートの選択は、サンプルをフィルタリングすることがパディングされたサンプル(たとえば、利用不能でない、仮想境界より上/下の、ビデオ単位の境界より上/下の)にアクセスすることを必要とするかどうかに依存してもよい。
a. 一例では、異なるクリッピング・パラメータ/フィルタ係数/フィルタ・サポートが、同じクラス・インデックスを有するサンプルに使用されてもよいが、それらのいくつかは、パディングされたサンプルにアクセスすることを必要とし、他のものは必要としない。
b. 一例では、パディングされたサンプルにアクセスすることを必要とするサンプルをフィルタリングするためのクリッピング・パラメータ/フィルタ係数/フィルタ・サポートは、CTU/領域/スライス/タイル・レベルで信号伝達されてもよい。
c. 一例では、パディングされたサンプルにアクセスすることを必要とするサンプルをフィルタリングするためのクリッピング・パラメータ/フィルタ係数/フィルタ・サポートは、パディングされたサンプルにアクセスすることを必要としないサンプルをフィルタリングするために使用されるものから導出されてもよい。
i. 一例では、ブレット9aまたは9bが適用されてもよい。
12. ループ内フィルタリング(ALFなど)についての境界におけるサンプルの扱い方は、色成分および/またはカラー・フォーマットに依存してもよい。
a. たとえば、「境界にある」の定義は、異なる色成分については異なることがある。一例では、ルーマ・サンプルは、該サンプルと下部境界との間の距離がT1未満であれば下部境界にあり;クロマ・サンプルは、該サンプルと下部境界との間の距離がT2未満であれば下部境界にある。T1とT2は異なっていてもよい。
i. 一例では、カラー・フォーマットが4:4:4でない場合、T1とT2は異なっていてもよい。
13. 1つのCTU/VPDUの下/上/左/右境界が独立したコーディングを用いるスライス/タイル/ブリック/サブ領域の境界でもある場合、複数パディング・プロセスの固定された順序が適用される。
a. 一例では、第1段階で、スライス/タイル/ブリックのパディング方法(たとえば、片側パディング)がまず適用される。その後、ALF仮想境界を処理するためのパディング方法(たとえば、両側パディング方法)が、第2段階の間にさらに適用される。この場合、第1段階の後のパディングされたサンプルは、利用可能であるとマークされ、ALF仮想境界プロセスにおいて何個のラインがパディングされるべきかを決定するために使用されてもよい。それらの境界に位置しないCTUを扱うための同じ規則(たとえば、図16A~C)が利用される。
14. 提案される諸方法は、2つのサブピクチャーの間の一つまたは複数の境界に適用されてもよい。
a. 提案された諸方法を適用する境界は、水平境界であってもよい。
b. 提案された諸方法を適用する境界は、垂直境界であってもよい。
15. 上記の提案される方法は、垂直境界におけるサンプル/ブロックに適用されてもよい。
16. 提案される方法が「360仮想境界」で適用されるかどうか、および/またはどのように適用されるかは、「360仮想境界」の位置に依存してもよい。
a. 一例では、「360仮想境界」がCTU境界と一致する場合、提案される方法が適用されてもよい。たとえば、「360仮想境界」におけるサンプルについては、両側パディング(2-side padding)のみがALFにおいて適用されうる。
b. 一例では、「360仮想境界」がCTU境界と一致しない場合、提案される方法は適用されなくてもよい。たとえば、「360仮想境界」のサンプルについては、片側パディングのみがALFにおいて適用されうる。
c. 一例では、「360仮想境界」の位置に関係なく、「360仮想境界」のサンプルについて同じパディング方法がALFにおいて適用されてもよい。
i. たとえば、「360仮想境界」におけるサンプルについては、片側パディングがALFにおいて適用されてもよい。
ii. たとえば、「360仮想境界」におけるサンプルについては、両側パディングがALFにおいて適用されてもよい。
d. 一例では、少なくとも1つの境界が「360仮想境界」であり、該「360仮想境界」の少なくとも1つがCTU境界と一致しない場合の複数の境界におけるサンプルについて、提案された方法は適用されなくてもよい。
i. たとえば、これらの複数の境界のいずれかを横切るサンプルは、片側パディングによってパディングされてもよい。
1. あるいはまた、さらに、「仮想境界」がある場合、片側パディング後にALFにおいて両側パディングが適用されてもよい。
e. 一例では、2種類の境界の間に位置するサンプルについて、その一方が「360仮想境界」であり、他方がそうでない場合、ALFプロセスにおいて1回だけ、パディングが呼び出される。
i. 一例では、ALF仮想境界を処理するためのパディング方法(たとえば、両側パディング方法)が呼び出されてもよい。
1. あるいはまた、ピクチャー(またはスライス/タイル/ブリック/サブピクチャー)境界を処理するためのパディング方法(たとえば、片側パディング)が呼び出されてもよい。
ii. あるいはまた、2つまたは複数のパディング・プロセスが順番に適用されてもよい。
1. 一例では、ピクチャー(またはスライス/タイル/ブリック/サブピクチャー)境界を処理するためのパディング方法(たとえば、片側パディング)がまず適用されてもよく、その後、ALF仮想境界を処理するためのパディング方法(たとえば、両側パディング方法)がさらに呼び出されてもよい。
a. あるいはまた、さらに、第1のパディング後のパディングされたサンプルは、第2のパディング・プロセスにおいて利用可能なものとして扱われる。
iii. 一例では、2種類以上の境界(たとえば、スライス境界/タイル境界/ブリック境界/360仮想境界/ALF仮想境界/サブピクチャー境界)の間に位置するサンプルについて、境界の一方のみが「360仮想境界」である(たとえば、図24に示されるように、第1の境界は「360仮想境界」であり、第2の境界は「ALF仮想境界」またはスライス/ブリック/タイル境界/サブピクチャー境界;またはその逆)場合、提案される方法が適用されてもよい。たとえば、これらのサンプルについては、両側パディングがALFにおいて適用されてもよい。
1. あるいはまた、これらの複数種類の境界が「360仮想境界」またはピクチャー境界のいずれかである場合、提案される方法は適用されなくてもよい。たとえば、これらのサンプルについては、ALFにおいて片側パディングのみが適用されてもよい。
f. 一例では、2種類以上の境界の間に位置するサンプルについて、それらの境界の少なくとも1つが「360仮想境界」であり、CTU境界と一致しない場合、提案される方法は適用されなくてもよい。
i. この場合、「360仮想境界」でのみサンプルを取り扱うが、他の種類の境界では取り扱わないために先行技術のよう扱われてもよい。
ii. 一例では、これらのサンプルについては、ALFにおいて片側パディングのみが適用されうる。
g. 一例では、2種類以上の境界の間に位置するサンプルについて、それらの境界の少なくとも1つが「360仮想境界」である場合、提案される方法は適用されなくてもよい。
i. この場合、「360仮想境界」でのみサンプルを取り扱うが、他の種類の境界では取り扱わないために先行技術のように扱われてもよい。
ii. 一例では、これらのサンプルについては、ALFにおいて片側パディングのみが適用されてもよい。
17. ALFフィルタリング・プロセス(たとえばP0i、ここで、iは現在のサンプルP0をフィルタリングする際の図16CにおけるA/B/C/D)または/およびALF分類プロセスにおいて必要とされる参照サンプルが、たとえば、サンプルが現在のサンプルとは異なるビデオ単位(たとえば、スライス/ブリック/タイル/サブピクチャー)に位置し、ビデオ単位(たとえば、スライス/ブリック/タイル/サブピクチャー境界)を横切るサンプルを用いたフィルタリングが禁止されていることに起因して、「利用可能でない」場合、「利用可能でない」サンプルは、「利用可能な」サンプル(たとえば、現在のサンプルと同じスライス/ブリック/タイル/サブピクチャー内のサンプル)でパディングされてもよい。
a. 一例では、「利用可能でない」参照サンプルは、まずその最も近い「利用可能な」水平位置にクリップされ、次いで、「利用可能でない」参照サンプルは、必要であれば、その最も近い「利用可能な」垂直位置にクリップされる。
b. 一例では、「利用可能でない」参照サンプルは、まずその最も近い「利用可能な」垂直位置にクリップされ、次いで、「利用可能でない」サンプルは、必要であれば、その最も近い「利用可能な」水平位置にクリップされる。
c. 一例では、「利用可能でない」参照サンプルの座標は、水平方向においてその最も近い「利用可能な」サンプル(たとえば、最小距離)の座標にクリップされる。
i. 一例では、座標(x1,y1)および(x2,y2)をもつ2つのサンプルについて、それらの間の水平距離はAbs(x1-x2)として計算されうる。
d. 一例では、「利用可能でない」参照サンプルの座標が、垂直方向におけるその最も近い「利用可能な」サンプル(たとえば、最小の距離)の座標にクリップされる。
i. 一例では、座標(x1,y1)および(x2,y2)をもつ2つのサンプルについて、それらの間の垂直距離はAbs(y1-y2)として計算されうる。
e. 一例では、「利用可能でない」サンプルは、その最も近い「利用可能な」サンプル(たとえば、最小の距離)にクリップされる。
i. 一例では、座標(x1,y1)および(x2,y2)をもつ2つのサンプルについて、それらの間の距離は、(x1-x2)*(x1-x2)+(y1-y2)*(y1-y2)として計算されてもよい。
ii. あるいはまた、2つのピクセル間の距離は、Abs(x1-x2)+Abs(y1-y2)として計算されてもよい。
f. 一例では、「利用可能でない」サンプルは、「利用可能な」サンプルが見つかるまで、あらかじめ定義された順序でパディングされうる。図31に例が示されている。ここで、Curは現在のブロック/CU/PU/CTUである。
i. たとえば、垂直方向の「利用可能な」サンプルがまずチェックされ、次いで、水平方向の「利用可能な」サンプルがチェックされてもよい。
ii. たとえば、水平方向の「利用可能な」サンプルがまずチェックされ、次いで、垂直方向の「利用可能な」サンプルがチェックされてもよい。
iii. たとえば、「利用可能でない」左上の近傍サンプル(たとえば、領域「1」内)については、まず、現在のブロック/CU/PU/CTUの左の近傍サンプル(たとえば、領域「4」内)がチェックされ、「利用可能な」サンプルがない場合は、次に、上の近傍サンプル(たとえば、領域「2」内)がチェックされる。左の近傍サンプルにも上の近傍サンプルにも「利用可能な」サンプルがない場合は、現在のブロック/CU/PU/CTUの左上のサンプルが、「利用可能でない」サンプルをパディングするために使用される。
1. あるいはまた、「利用可能でない」左上の近傍サンプルについて、現在のブロック/CU/PU/CTUの上の近傍サンプルがチェックされ、「利用可能な」サンプルがない場合は、左の近傍サンプルがチェックされる。上の近傍サンプルにも左の近傍サンプルにも「利用可能な」サンプルが存在しない場合、現在のブロック/CU/PU/CTUの左上のサンプルが、「利用可能でない」サンプルをパディングするために使用される。
iv. たとえば、「利用可能でない」右上の近傍サンプル(たとえば、領域「3」内)については、まず、現在のブロック/CU/PU/CTUの右の近傍サンプル(たとえば、領域「5」内)がチェックされ、「利用可能な」サンプルがない場合は、次に、上の近傍サンプル(たとえば、領域「2」内)がチェックされる。右の近傍サンプルにも上の近傍サンプルにも「利用可能な」サンプルがない場合、現在のブロック/CU/PU/CTUの右上のサンプルが、「利用可能でない」サンプルをパディングするために使用される。
1. あるいはまた、「利用可能でない」右上の近傍サンプルについて、まず、現在のブロック/CU/PU/CTUの上の近傍サンプルがチェックされ、「利用可能な」サンプルがない場合は、次に右の近傍サンプルがチェックされる。上の近傍サンプルにも右の近傍サンプルにも「利用可能な」サンプルがない場合は、現在のブロック/CU/PU/CTUの右上のサンプルが「利用可能でない」サンプルをパディングするために使用される。
v. たとえば、「利用可能でない」左下の近傍サンプル(たとえば、領域「6」内)について、まず、現在のブロック/CU/PU/CTUの左の近傍サンプル(たとえば、領域「4」内)がチェックされ、「利用可能な」サンプルがない場合は、次に、下の近傍サンプル(たとえば、領域「7」内)がチェックされる。左の近傍サンプルにも下の近傍サンプルにも「利用可能な」サンプルがない場合は、現在のブロック/CU/PU/CTUの左下のサンプルが、「利用可能でない」サンプルをパディングするために使用される。
1. あるいはまた、「利用可能でない」左下の近傍サンプルについて、まず、現在のブロック/CU/PU/CTUの下の近傍サンプルがチェックされ、「利用可能な」サンプルがない場合、次いで、左の近傍サンプルがチェックされる。下の近傍サンプルにも左の近傍サンプルにも「利用可能な」サンプルがない場合は、現在のブロック/CU/PU/CTUの左下のサンプルが、「利用可能でない」サンプルをパディングするために使用される。
vi. たとえば、「利用可能でない」右下の近傍サンプルについて、まず、現在のブロック/CU/PU/CTUの右の近傍サンプル(たとえば、領域「5」内)がチェックされ、「利用可能な」サンプルがない場合は、次に、下の近傍サンプル(たとえば、領域「7」内)がチェックされる。右の近傍サンプルにも下の近傍サンプルにも「利用可能な」サンプルがない場合は、現在のブロック/CU/PU/CTUの右下のサンプルが「利用可能でない」サンプルをパディングするために使用される。
1. たとえば、「利用可能でない」右下の近傍サンプルについては、まず、現在のブロック/CU/PU/CTUの下の近傍サンプルがチェックされ、「使用可能」なサンプルがない場合は、次に右の近傍サンプルがチェックされる。下の近傍サンプルにも右の近傍サンプルにも「利用可能な」サンプルがない場合は、現在のブロック/CU/PU/CTUの右下のサンプルが「利用可能でない」サンプルをパディングするために使用される。
vii. 一例では、各近傍領域について、一つまたは複数のサンプルが順番にチェックされうる。あるいはまた、1つだけがチェックされてもよい。
viii. あるいはまた、さらに、チェックのいずれも利用可能なサンプルを見つけることができない場合には、フィルタリングされるべき現在のサンプルの値が代わりに使用されてもよい。
ix. 一例では、「利用可能でない」左上/右上/左下/右下の近傍サンプルについて、それらは常に現在のブロック/CU/PU/CTU内のサンプルによってパディングされてもよい。
1. 一例では、「利用可能でない」左上の近傍サンプル(たとえば、図31の領域「1」内)については、現在のブロック/CU/PU/CTUの左上のサンプルが、「利用可能でない」サンプルをパディングするために使用される。
2. 一例では、「利用可能でない」右上の近傍サンプル(たとえば、図31の領域「3」内)については、現在のブロック/CU/PU/CTUの右上のサンプルが、「利用可能でない」サンプルをパディングするために使用される。
3. 一例では、「利用可能でない」左下の近傍サンプル(たとえば、図31の領域「6」内)については、現在のブロック/CU/PU/CTUの左下のサンプルが、「利用可能でない」サンプルをパディングするために使用される。
4. 一例では、「利用可能でない」右下の近傍サンプル(たとえば、図31の領域「8」内)については、現在のブロック/CU/PU/CTUの右下のサンプルが、「利用可能でない」サンプルをパディングするために使用される。
g. あるいはまた、現在のサンプルについて、フィルタリング・プロセスが無効にされる。
h. あるいはまた、ALFにおける分類プロセス(たとえば、現在のサンプルについての勾配計算)は、利用可能でない参照サンプルを使用することを許可されなくてもよい。
18. 利用可能でない参照サンプルのパディングされたサンプルをどのように導出するかは、CTUがいずれかの境界と一致するかどうかに依存する。
a. 一例では、現在のCTUがいかなる種類の境界とも一致しないが、現在のサンプルについてのフィルタリング・プロセス(たとえば、ALF分類/ALFフィルタリング・プロセス)が、異なるビデオ単位(たとえば、スライス)内の参照サンプルにアクセスする必要がある場合、項目16に記載された方法が適用されてもよい。
i. あるいはまた、さらに、現在のCTUがいかなる種類の境界とも一致しないが、現在のサンプルについてのフィルタリング・プロセス(たとえば、ALF分類/ALFフィルタリング・プロセス)が、異なるビデオ単位(たとえば、スライス)内の参照サンプルにアクセスする必要があり、スライス境界をまたぐフィルタリングが許可されない場合、項目16に記載される方法が適用されてもよい。
ii. あるいはまた、さらに、現在のCTUがいかなる種類の境界とも一致しないが、現在のサンプルについてのフィルタリング・プロセス(たとえば、ALF分類/ALFフィルタリング・プロセス)が、異なるビデオ単位(たとえば、スライス)内の参照サンプルおよび同じビデオ単位内の参照サンプルにアクセスする必要があり、スライス境界をまたぐフィルタリングが禁止される場合、項目16に記載された方法が適用されてもよい。
b. 一例では、現在のCTUが少なくとも1種類の境界と一致する場合、統一されたパディング方法(たとえば、両側または片側パディング)が適用されうる。
i. あるいはまた、現在のCTUが複数種類の境界と一致し、それらの境界を越えるフィルタリングが許容されない場合、統一されたパディング方法(たとえば、両側または片側パディング)が適用されうる。
c. 一例では、両側パディングまたは/および片側パディングによってパディングできない「利用可能でない」サンプルのみが、項目16に記載された方法を用いてパディングされてもよい。
19. フィルタリング・プロセス(たとえば、ブロッキング解除、SAO、ALF、バイラテラルフィルタリング、アダマール(Hadamard)変換フィルタリングなど)が、ビデオ単位の境界(たとえば、スライス/ブリック/タイル/サブピクチャー境界)を越えてサンプルにアクセスできるかどうかは、シーケンス/ピクチャー内のすべてのビデオ単位について制御されるのではなく、自分自身によって制御されるなど、異なるレベルで制御されてもよい。
a. あるいはまた、あるスライスについて、フィルタリング・プロセスが該スライスについてのスライス境界をまたぐことができるかどうかを示すために、PPS/スライス・ヘッダ内で、1つの構文要素が信号伝達されてもよい。
b. あるいはまた、あるブリック/タイルについて、フィルタリング・プロセスが該ブリック/タイルの境界をまたぐことができるかどうかを示すために、PPSにおいて、1つの構文要素が信号伝達されてもよい。
c. 一例では、構文要素はSPS/PPSにおいて信号伝達されて、フィルタリング・プロセスが、ビデオ/ピクチャーのブリック境界または/およびタイル境界または/およびスライス境界または/および「360度仮想境界」をまたぐことができるかどうかを示すことができる。
i. 一例では、異なる種類の境界について別々の構文要素が信号伝達されてもよい。
ii. 一例では、すべての種類の境界について1つの構文要素が信号伝達されてもよい。
iii. 一例では、いくつかの種類の境界について1つの構文要素が信号伝達されてもよい。
1. たとえば、1つの構文要素が、ブリック境界とタイル境界の両方について信号伝達されてもよい。
d. 一例では、フィルタリング・プロセスに関してPPS/スライス・レベルの指示があるかどうかを示すために、SPSにおいて構文要素が信号伝達されてもよい。
i. 一例では、異なる種類の境界について別々の構文要素が信号伝達されてもよい。
ii. 一例では、すべての種類の境界について1つの構文要素が信号伝達されてもよい。
iii. 一例では、いくつかの種類の境界について1つの構文要素が信号伝達されてもよい。
1. たとえば、1つの構文要素が、ブリック境界とタイル境界の両方について信号伝達されてもよい。
iv. フィルタリング・プロセスがスライス/ブリック/タイル/サブピクチャー境界をまたぐことができるかどうかに関する指示は、SPSにおける対応する構文要素がある値に等しい場合にのみ、PPS/スライス・ヘッダにおいて信号伝達されてもよい。
1. あるいはまた、フィルタリング・プロセスがスライス/ブリック/タイル/サブピクチャー境界をまたぐことができるかどうかに関する指示は、SPSにおける対応する構文要素がある値に等しい場合には、PPS/スライス・ヘッダにおいて信号伝達されなくてもよい。
a. この場合、SPSにおける指示がある値に等しい場合、フィルタリング・プロセスは、スライス/ブリック/タイル/サブピクチャー境界をまたぐことは許されなくてもよい。
b. この場合、フィルタリング・プロセスは、SPSにおける前記指示がある値に等しい場合、スライス/ブリック/タイル/サブピクチャー境界をまたいでもよい。
20. 現在のブロックの左上/右上/左下/右下の近傍領域に位置するサンプルが、ALFプロセス(たとえば、分類および/またはフィルタリング・プロセス)における現在のブロックと同じビデオ単位(たとえば、スライス/ブリック/タイル/サブピクチャー/360仮想境界)にあるかどうかをチェックすることを提案する。現在のピクチャーの左上のサンプルに対する現在のルーマコーディングツリー・ブロックの左上のサンプルを(x0,y0)で表し、CTUの幅と高さをそれぞれctbXSizeとctbYSizeと表す。
a. 一例では、(x0-offsetX0,y0-offsetY0)のような左上の領域に位置する代表的なサンプルがチェックされてもよい。
i. 一例では、(offsetX0,offsetY0)は、(1,1)、(2,1)または(1,2)と等しくてもよい。
b. 一例では、(x0+offsetX1,y0-offsetY1)のような右上の領域に位置する代表的なサンプルがチェックされてもよい。
i. 一例では、(offsetX1,offsetY1)は(ctbXSize,1)、(ctbXSize+1,1)または(ctbXSize,2)と等しくてもよい。
c. 一例では、(x0-offsetX2,y0+offsetY2)のような左下の領域に位置する代表的なサンプルがチェックされてもよい。
i. 一例では、(offsetX2,offsetY2)は、(1,ctbYSize)、(2,ctbYSize)または(1,ctbYSize+1)と等しくてもよい。
d. 一例では、(x0+offsetX3,y0+offsetY3)のような右下の領域に位置する代表的なサンプルがチェックされてもよい。
i. 一例では、(offsetX2,offsetY2)は、(ctbXSize,ctbYSize)、(ctbXSize+1,ctbYSize)または(ctbXSize,ctbYSize+1)と等しくてもよい。
e. 一例では、ある領域内の代表的なサンプルが異なるビデオ単位内にあり、異なるビデオ単位のまたがるフィルタリングが許可されない場合、その領域内でアクセスされるサンプルは利用可能でないとしてマークされる。
i. 一例では、ある領域内の代表的なサンプルが異なるスライス内にあり、loop_filter_across_slices_enabled_flagが0に等しい場合、その領域内でアクセスされるサンプルは利用可能でないとしてマークされる。
ii. 一例では、ある領域内の代表的なサンプルが異なるブリック内にあり、loop_filter_across_bricks_enabled_flagが0に等しい場合、その領域内でアクセスされるサンプルは利用可能でないとしてマークされる。
iii. 一例では、ある領域内の代表的なサンプルが異なるサブピクチャー内にあり、loop_filter_across_subpic_enabled_flag[SubPicIdx]が0に等しい場合、その領域内でアクセスされるサンプルは利用可能でないとしてマークされる。一例では、SubPicIdxは現在のブロックを含む現在のサブピクチャーのインデックスである。
f. 一例では、K個の領域内のK個の代表的なサンプルのうちのM個が現在のCTUとは異なるビデオ単位にあり、異なるビデオ単位にまたがるフィルタリングが許可されない場合、K個の領域内でアクセスされるサンプルはすべて利用可能でないとしてマークされる。
i. 一例では、Mは1に等しく、Kは2に等しい。
1. たとえば、K個の領域は、左上の近傍領域および右上の近傍領域を含みうる。
2. たとえば、K個の領域は、左上の近傍領域および左下の近傍領域を含みうる。
3. たとえば、K個の領域は、右上の近傍領域および右下の近傍領域を含みうる。
4. たとえば、K個の領域は、左下の近傍領域および右下の近傍領域を含みうる。
5. あるいはまた、Mは2に等しくてもよい。
ii. 一例では、Mは1に等しく、Kは3に等しい。
1. たとえば、K個の領域は、左上、右上および左下の近傍領域を含みうる。
2. たとえば、K個の領域は、左上、右上および右下の近傍領域を含みうる。
3. たとえば、K個の領域は、右上、左下および右下の近傍領域を含みうる。
4. たとえば、K個の領域は、左上、左下および右下の近傍領域を含みうる。
5. あるいはまた、Mは2または3に等しい。
iii. 一例では、Mは1に等しく、Kは4に等しい。たとえば、K個の領域は、左上、右上、左下および右下の近傍領域を含みうる。
1. あるいはまた、Mは1または2または3に等しくてもよい。
iv. 一例では、K個の代表的サンプルのうちのN個(M<=N<=K)をチェックして、現在のCTUとは異なるビデオ単位内に、該N個の代表的サンプルのうちのM個があるかどうかを判定する。
1. 一例では、NはMに等しく、M個の事前に定義された代表的なサンプルのみがチェックされる。
2. たとえば、Mが1に等しく、Kが2に等しい場合、K個の領域は、左上および右上の近傍領域を含んでいてもよく、左上の近傍領域の代表的なサンプルのみがチェックされる。
a. あるいはまた、右上の近傍領域の代表的なサンプルのみがチェックされる。
3. たとえば、Mが1に等しく、Kが2に等しい場合、K個の領域は、左下および右下の近傍領域を含んでいてもよく、左下の近傍領域の代表的なサンプルのみがチェックされる。
a. あるいはまた、右下の近傍領域の代表的なサンプルのみがチェックされる。
4. たとえば、Mが1に等しく、Kが2に等しい場合、K個の領域は左上および左下の近傍領域であり、左上の近傍領域の代表的なサンプルのみがチェックされる。
a. あるいはまた、左下の近傍領域の代表的なサンプルのみがチェックされる。
5. たとえば、Mが1に等しく、Kが2に等しい場合、K個の領域は右上および右下の近傍領域であり、右上の近傍領域の代表的なサンプルのみがチェックされる。
a. あるいはまた、右下の近傍領域の代表的なサンプルのみがチェックされる。
6. たとえば、Mが1に等しく、Kが4に等しい場合、K領個の域は左上、右上、左下、右下の近傍領域であり、左上の近傍領域の代表的なサンプルのみがチェックされる。
a. あるいはまた、右下の近傍領域の代表的なサンプルのみがチェックされる。
b. あるいはまた、左下の近傍領域の代表的なサンプルのみがチェックされる。
c. あるいはまた、右上の近傍領域の代表的なサンプルのみがチェックされる。
v. 一例では、ある領域内の代表的なサンプルが異なるスライス内にあり、loop_filter_across_slices_enabled_flagが0に等しい場合、その領域内でアクセスされるサンプルは利用可能でないとしてマークされる。
vi. 一例では、ある領域内の代表的なサンプルが異なるブリック内にあり、loop_filter_across_bricks_enabled_flagが0に等しい場合、その領域内でアクセスされるサンプルは利用可能でないとしてマークされる。
vii. 一例では、ある領域内の代表的なサンプルが異なるサブピクチャー内にあり、loop_filter_across_subpic_enabled_flag[SubPicIdx]が0に等しい場合、その領域内でアクセスされるサンプルは利用可能でないとしてマークされる。一例では、SubPicIdxは現在のブロックを含む現在のサブピクチャーのインデックスである。
g. 上記の例では、offsetXi/offsetYi(ここで、iは0~3)は整数である。
i. あるいはまた、さらに、offsetXi/offsetYi(ここで、iは0~3)は、CTUの幅/高さに等しく設定されてもよい。
h. 一例では、現在のブロックはCTUであってもよい。
i. 一例では、現在のブロックはALF処理単位であってもよい。
j. 一例では、現在ブロックは狭いALF処理単位であってもよい。
21. CTUの左上/右上/左下/右下の近傍領域の「利用可能性」の判定は、CTUの上/左/右/下の近傍領域とは独立していてもよい。
a. ALFフィルタリングまたは/および分類プロセスにおいて、左上の近傍領域に対してパディングを実行するかどうか、および、上の近傍領域に対してパディングを実行するかどうかは、異なる仕方で決定されうる。
i. 一例では、上の近傍領域が「利用可能でない」としてマークされ、左上の近傍領域が「利用可能」としてマークされる場合、パディングは、上の近傍領域に対しては実行されるが、左上の近傍領域に対しては実行されない。
ii. 一例では、左上の近傍領域が「利用可能でない」としてマークされ、上の近傍領域が「利用可能」としてマークされる場合、パディングは、左上の近傍領域に対しては実行されるが、上の近傍領域に対しては実行されない。
b. ALFフィルタリングまたは/および分類プロセスにおいて、右上の近傍領域に対してパディングを実行するかどうか、および上の近傍領域に対してパディングを実行するかどうかは、異なる仕方で決定されうる。
c. ALFフィルタリングまたは/および分類プロセスにおいて、左上の近傍領域に対してパディングを実行するかどうか、および左の近傍領域に対してパディングを実行するかどうかは、異なる仕方で決定されうる。
d. ALFフィルタリングまたは/および分類プロセスにおいて、左下の近傍領域に対してパディングを実行するかどうか、および左の近傍領域に対してパディングを実行するかどうかは、異なる仕方で決定されうる。
e. ALFフィルタリングまたは/および分類プロセスにおいて、右下の近傍領域に対してパディングを実行するかどうか、および右の近傍領域に対してパディングを実行するかどうかは、異なる仕方で決定されうる。
f. ALFフィルタリングまたは/および分類プロセスにおいて、右上の近傍領域に対してパディングを実行するかどうか、および右の近傍領域に対してパディングを実行するかどうかは、異なる仕方で決定されうる。
g. ALFフィルタリングまたは/および分類プロセスにおいて、右下の近傍領域に対してパディングを実行するかどうか、および下の近傍領域に対してパディングを実行するかどうかは、異なる仕方で決定されうる。
h. ALFフィルタリングまたは/および分類プロセスにおいて、左下の近傍領域に対してパディングを実行するかどうか、および下の近傍領域に対してパディングを実行するかどうかは、異なる仕方で決定されうる。
i. 一例では、左上または/および右上の近傍領域内のサンプルが「利用可能でない」と判定される場合、上の近傍領域内のサンプルは、依然として「利用可能」と判定されうる(たとえば、現在のCTUと同じビデオ単位内にある場合)。たとえば、サンプル・パディングは、ALFフィルタリングまたは/および分類プロセスにおいて上の近傍領域について実行されないことがある。
j. 一例では、左下または/および右下の近傍領域のサンプルが「利用可能でない」と判定される場合、下の近傍領域のサンプルは、依然として「利用可能」と判定されうる(たとえば、現在のCTUと同じビデオ単位内にある場合)。たとえば、ALFフィルタリングまたは/および分類プロセスにおいて、下の近傍領域についてサンプル・パディングが実行されないことがある。
k. 一例では、左上または/および左下の近傍領域内のサンプルが「利用可能でない」と判定される場合、左の近傍領域内のサンプルは、依然として「利用可能」と判定されうる(たとえば、現在のCTUと同じビデオ単位内にある場合)。たとえば、ALFフィルタリングまたは/および分類プロセスにおいて、左の近傍領域についてサンプル・パディングが実行されないことがある。
l. 一例では、右上または/および右下の近傍領域のサンプルが「利用可能でない」と判定される場合、右の近傍領域のサンプルが依然として「利用可能」と判定されることがある(たとえば、現在のCTUと同じビデオ単位内にある場合)。たとえば、サンプル・パディングは、ALFフィルタリングまたは/および分類プロセスにおいて、右の近傍領域について実行されないことがある。
m. 一例では、「利用可能性」チェック方法は、ALF処理単位に適用されてもよい。
n. 一例では、「利用可能性」チェック方法は、狭いALF処理単位に適用されてもよい。
22. 現在のCTU/ブロック/処理単位の「利用可能でない」近傍サンプルをパディングするために、現在の処理単位(たとえば、2つのALF仮想境界によって境界されたALF処理単位(ALF処理単位の例が図32に示されている)、または「狭いALF処理単位」)内のサンプルのみが使用されうることが提案される。
a. 一例では、現在の処理単位内のサンプルが「利用可能でない」(たとえば、現在のCTUとは異なる「ビデオ単位」内にある)場合、それらは、現在のCTU内のサンプルによってパディングされてもよい。
b. 一例では、現在の処理単位の左/右の列が、左/右の近傍サンプルが「利用可能でない」場合に、それらをパディングするために使用されてもよい。
c. 一例では、現在の処理単位の最上行/最下行が、上/下の近傍サンプルが「利用可能でない」場合に、それらをパディングするために使用されてもよい。
d. 一例では、現在の処理単位の左上/右上/左下/右下コーナーサンプルは、左上/右上/左下/右下の近傍サンプルが「利用可能でない」場合に、左上/右上/左下/右下の近傍サンプルをパディングするために使用されてもよい。
e. 一例では、現在のCTUの左上の近傍サンプルが「利用可能でなく」、かつ現在のCTUの上の近傍サンプルが「利用可能」である場合、図32Aに示されるように、上の近傍サンプルが、左上の近傍サンプルをパディングするために使用されてもよい。
f. 一例では、現在のCTUの左上および上の近傍サンプルが両方とも「利用可能でない」場合、図32Cに示されるように、現在のCTUの最上行のサンプルが、まず、上の近傍サンプルをパディングするために使用され、次いで、パディングされた上の近傍サンプルが、左上の近傍サンプルをパディングするために使用されてもよい。
g. 一例では、左上、上および左の近傍サンプルがすべて「利用可能でない」場合は、図32Dに示されるように、現在のCTUの最上段のサンプルがまず、上の近傍サンプルをパディングするために使用されてもよく、次いで、パディングされた上の近傍サンプルが、左上の近傍サンプルをパディングするために使用されてもよい。現在のCTUの左の列が、左の近傍サンプルをパディングするために使用されてもよい。
h. ループフィルタリング(たとえば、ALF)のためのパディングをどのように適用するかは、処理単位(たとえば、ALF処理単位または狭いALF処理単位)に対する、必要とされるサンプル位置が、利用可能でないことに依存しうる。
i. 一例では、現在の処理単位の利用可能でない近傍サンプルは、現在の処理単位内のサンプルにのみ依存してパディングされる。換言すれば、現在の処理単位の利用可能でない近傍サンプルのためのパディング・プロセスは、現在の処理単位の外のどのサンプルからも切り離される。
ii. 一例では、現在の処理単位の左上の近傍サンプルが「利用可能でない」場合、現在の処理単位の左上のサンプルが、そのような「利用可能でない」サンプルをパディングするために使用されてもよい。一例を図33a~dおよび図34に示す。
iii. 一例では、現在の処理単位の右上の近傍サンプルが「利用可能でない」場合、図33a~dおよび図34に示されるように、現在の処理単位の右上のサンプルが、そのような「利用可能でない」サンプルをパディングするために使用されてもよい。
iv. 一例では、現在の処理単位の左下の近傍サンプルが「利用可能でない」場合、図33a~dおよび図34に示されるように、現在の処理単位の左下のサンプルが、そのような「利用可能でない」サンプルをパディングするために使用されてもよい。
v. 一例では、現在の処理単位の右上の近傍サンプルが「利用可能でない」場合、図33a~dおよび図34に示されるように、現在の処理単位の右上のサンプルが、そのような「利用可能でない」サンプルをパディングするために使用されてもよい。
i. 一例では、近傍サンプルが異なるスライス/タイル/ブリック/サブピクチャー/360ビデオ仮想境界内にある場合、またはピクチャー境界の外側にある場合、そのサンプルは利用可能でないとしてマークされる。
i. あるいはまた、利用可能でないサンプルの決定は、上記の諸項目を用いて定義されてもよい。
j. 一例では、上記の方法は、フィルタリング・プロセス中に適用されるが、分類プロセス中には適用されないのでもよい。
i. あるいはまた、上記の方法は、フィルタリング・プロセスおよび分類プロセスの間に適用されてもよい。
ii. あるいはまた、上記の方法は、フィルタリング・プロセスおよび分類プロセスの間に適用されてもよい。
23. 処理単位(たとえば、ALF処理単位または/および狭いALF処理単位または/およびCTU)の利用可能でない近傍サンプルは、以下のように、あらかじめ定義された順序でパディングされうる。
a. 処理単位の上の近傍サンプルが利用可能でない場合、それらは処理単位の最上段を用いてパディングされてもよい。
i. あるいはまた、さらに、左上の近傍サンプルは、処理単位の左上のサンプルをパディングされてもよい。
ii. あるいはまた、さらに、右上の近傍サンプルは、処理単位の右上のサンプルをパディングされてもよい。
b. 処理単位の下の近傍サンプルが利用可能でない場合、それらは、処理単位の最下行をパディングされてもよい。
i. あるいはまた、さらに、左下の近傍サンプルは、処理単位の左下のサンプルをパディングされてもよい。
ii. あるいはまた、さらに、右下の近傍サンプルは、処理単位の右下のサンプルをパディングされてもよい。
c. 処理単位の左近傍サンプルが利用可能でない場合、それらは、処理単位の左列をパディングされてもよい。
d. 処理単位の右の近傍サンプルが利用可能でない場合、それらは処理単位の右列をパディングされてもよい。
e. 処理単位の左の近傍サンプルおよび上の近傍サンプルが利用可能であり、処理単位の左上の近傍サンプルが利用可能でないである場合、左上の近傍サンプルは、処理単位の左上のサンプルをパディングされてもよい。
f. 処理単位の右の近傍サンプルおよび下の近傍サンプルが利用可能であり、処理単位の右下の近傍サンプルが利用可能でないである場合、右の近傍サンプルは、処理単位の右下のサンプルをパディングされてもよい。
g. 処理単位は、ctuUpで示されるCTUのN個(Nは整数、たとえばN=4)行と、前記ctuUPの下のctuDownで示されるCtbSize-M(Mは整数、たとえばM=N)行とを含むことができる。処理単位の近傍サンプルが利用可能であるかどうかをチェックするときは、ctuDownが使用されてもよい。
i. 一例では、近傍サンプルがctuDownとは異なるビデオ単位内にあり(たとえば、近傍サンプルとctuDownが異なるブリック/タイル/スライス/サブピクチャーに属するか、またはそれらが360の仮想境界の異なる側にある)、そのようなビデオ単位を横切るフィルタリングが許可されない場合、それは「利用可能でない」とみなされる。
ii. あるいはまた、近傍サンプルの利用可能性をチェックするために、ctuUpが使用されてもよい。
h. 繰り返しパディングが、ALF仮想境界を除くすべての境界に適用されてもよい。
i. あるいはまた、繰り返しパディングが、すべての境界に適用されてもよい。
ii. あるいはまた、繰り返しパディングが、すべての水平境界に適用されてもよい。
iii. あるいはまた、繰り返しパディングが、すべての垂直境界に適用されてもよい。
iv. あるいはまた、ミラーリングされたパディングが、すべての水平境界に適用されてもよい。
v. あるいはまた、ミラーリングされたパディングが、すべての垂直境界に適用されてもよい。
i. 一例では、処理単位は、一つまたは複数のブリック/スライス/タイル/サブピクチャー境界または/および360仮想境界がこれに交差し、そのような境界を横切るフィルタリングが許されない場合、その処理単位は、複数の処理単位に(水平にまたは垂直に)分割されてもよい。
i. あるいはまた、さらに、分割プロセスは、どんなブリック/スライス/タイル/サブピクチャー境界または/および360仮想境界またはALF仮想境界もどの処理単位にも交差しなくなるまで、リクルーシブに(reclusively)実行されてもよく、ここで、そのような境界を横断するフィルタリング・プロセスは禁止される。たとえば、そのような境界は処理単位の境界でしかありえない。そのような処理単位は、以下、「基本ALF処理単位」と呼ぶ。
ii. あるいはまた、さらに、ALFプロセスは、そのような分割プロセスが終了した後に実行される、たとえば、ALFプロセスは、「基本ALF処理単位」に対して実行される。
iii. あるいはまた、さらに、上記のパディング方法が、「基本ALF処理単位」に対して実行されてもよい。
24. 上記の提案される諸方法は、ALFだけでなく、現在ブロック外のサンプルにアクセスすることを必要とする他の種類のフィルタリング方法にも適用されうる。
a. あるいはまた、上記の提案される諸方法は、現在ブロック外のサンプルにアクセスすることを必要とする他のコーディングツール(非フィルタリング方法)に適用されうる。
b. 上記の提案される諸方法はCC-ALF(cross-component adaptive loop filter[成分横断適応ループ・フィルタ])に適用されうる。
25. CC-ALFまたは/およびALFまたは/およびSAOまたは/およびDB(ブロッキング除去)などのフィルタリング・プロセスは、ピクチャー全体ではなく、考慮ピクチャー(または出力ピクチャー/適合窓/スケーリング窓)内の諸サンプルにのみ適用されうる。
a. 一例では、考慮ピクチャー(または出力ピクチャー/適合窓/スケーリング窓)の外側のサンプルは、フィルタ・オン/オフ・フラグの信号伝達される値にかかわらず、フィルタリングされることが禁止されてもよい。
26. 上記の諸方法を適用するかどうか、および/または、どのように適用するかは、下記によって決定されうる:
a. DPS/SPS/VPS/PPS/APS/ピクチャーヘッダ/スライス・ヘッダ/タイル・グループ・ヘッダ/最大コーディング単位(Largest coding unit、LCU)/コーディング単位(CU)/LCU行/LCUのグループ/TU/PUブロック/ビデオコーディング単位において信号伝達されるメッセージ
b. CU/PU/TU/ブロック/ビデオコーディング単位の位置
c. 現在ブロックおよび/またはその近傍ブロックのブロック寸法
d. 現在ブロックおよび/またはその近傍ブロックのブロック形状
e. 現在ブロックおよび/またはその近傍ブロックのコーディングされた情報
f. カラー・フォーマットの指示(4:2:0、4:4:4など)
g. コーディングツリー構造
h. スライス/タイルグループタイプおよび/またはピクチャータイプ
i. 色成分(たとえば、クロマ成分またはルーマ成分にのみ適用されることがある)
j. 時間レイヤーID
k. 規格のプロファイル/レベル/階層
5. 実施形態
以下の諸セクションでは、開示された技術のいくつかの実施形態を受け入れるように、VVC規格の現行バージョンがどのように修正されるかのいくつかの例が記載される。新たに追加された部分は、太字のイタリック体の下線付きテキストで示される〔便宜上、単に下線で示すこともある〕。削除された部分は[[]]を使って示される。
5.1 実施形態#1
loop_filter_across_bricks_enabled_flagが1に等しいことは、PPSを参照するピクチャーにおいて、ループ内フィルタリング動作がブリック境界をまたいで実行されうることを指定する。loop_filter_across_bricks_enabled_flagが0に等しいことは、PPSを参照するピクチャーにおいて、ループ内フィルタリング動作がブリック境界をまたいで実行されないことを指定する。ループ内フィルタリング動作は、ブロッキング解除フィルタ、サンプル適応オフセット・フィルタ[[、および適応ループ・フィルタ]]動作を含む。存在しない場合、loop_filter_across_bricks_enabled_flagの値は1に等しいと推定される。
loop_filter_across_slices_enabled_flagが1に等しいことは、PPSを参照するピクチャーにおいて、ループ内フィルタリング動作がスライス境界をまたいで実行されうることを指定する。loop_filter_across_slices_enabled_flagが0に等しいことは、PPSを参照するピクチャーにおいて、ループ内フィルタリング動作がスライス境界をまたいで実行されないことを指定する。ループ内フィルタリング動作は、ブロッキング解除フィルタ、サンプル適応オフセット・フィルタ[[、および適応ループ・フィルタ]]動作を含む。存在しない場合、loop_filter_across_slices_enabled_flagの値は0に等しいと推定される。
5.2 実施形態#2
図21は、ピクチャーにおけるCTUの処理を示す。図19と比べた相違は、破線でハイライトされている。
5.3 実施形態#3
8.8.5.2 ルーマ・サンプルについてのコーディングツリー・ブロック・フィルタリング・プロセス
このプロセスの入力は以下の通り:
・適応ループ・フィルタリング・プロセスの前の再構成されたルーマ・ピクチャー・サンプル・アレイrecPictureL
・フィルタ処理され再構成されたルーマ・ピクチャー・サンプル・アレイalfPictureL
・現在ピクチャーの左上のサンプルに対して現在のルーマコーディングツリー・ブロックの左上のサンプルを指定するルーマ位置(xCtb,yCtb)。
このプロセスの出力は、修正されたフィルタリングされた再構築されたルーマ・ピクチャー・サンプル・アレイalfPictureLである。
節8.8.5.3のフィルタ・インデックスについての導出プロセスが呼び出される。位置(xCtb,yCtb)と再構成されたルーマ・ピクチャー・サンプル・アレイrecPictureLが入力とされ、x,y=0..CtbSizeY-1としてfiltIdx[x][y]およびtransposeIdx[x][y]が出力である。
フィルタリングされた再構成されたルーマ・サンプルalfPictureL[x][y]の導出のために、現在のルーマコーディングツリー・ブロック内の各再構成されたルーマ・サンプルrecPictureL[x][y]は、x,y=0..CtbSizeY-1として、次のようにフィルタリングされる
・filtIdx[x][y]によって指定されたフィルタに対応するルーマ・フィルタ係数の配列f[j]およびルーマ・クリッピング値の配列c[j]は、j=0..11として、次のように導出される:
・……
・ルーマ・フィルタ係数およびクリッピング値インデックスidxは、transposeIdx[x][y]に依存して、次のように導出される:
・……
・i,j=-3..3として、ルーマ・サンプルの所与の配列recPicture内の対応するルーマ・サンプル(x,y)のそれぞれについての位置(hx+i,vy+j)は次のように導出される:
・……
・変数applyVirtualBoundaryは次のように導出される:
・以下の条件[[のうち一つまたは複数]]が真の場合、applyVirtualBoundaryは0に等しく設定される:
・現在のコーディングツリー・ブロックの下部境界がピクチャーの下部境界である。
[[・現在のコーディングツリー・ブロックの下部境界がブリックの下部境界であり、loop_filter_across_bricks_enabled_flagが0に等しい。
・現在のコーディングツリー・ブロックの下部境界がスライスの下部境界であり、loop_filter_across_slices_enabled_flagが0に等しい。
・現在のコーディングツリー・ブロックの下部境界は、ピクチャーの下部の仮想境界の1つであり、pps_loop_filter_across_virtual_boundries_disabled_flagが1に等しい。]]
・それ以外の場合、applyVirtualBoundaryは1に等しく設定される。
・再構成されたサンプル・オフセットr1、r2、およびr3は、水平方向ルーマ・サンプル位置yとapplyVirtualBoundaryに従ってテーブル8-22において指定される。
・……
8.8.5.4 クロマ・サンプルについてのコーディングツリー・ブロック・フィルタリング・プロセス
このプロセスの入力は以下の通り:
・適応ループ・フィルタリング・プロセスの前の再構成されたクロマ・ピクチャー・サンプル・アレイrecPicture、
・フィルタリングされた再構成されたクロマ・ピクチャー・サンプル・アレイalfPicture、
・現在ピクチャーの左上のサンプルに対して現在のクロマコーディングツリー・ブロックの左上のサンプルを指定するクロマ位置(xCtbC,yCtbC)。
このプロセスの出力は、修正されたフィルタリングされた再構成されたクロマ・ピクチャー・サンプル・アレイalfPictureである。
現在のクロマコーディングツリー・ブロックの幅および高さctbWidthCおよびctbHeightCは、次のように導出される:
ctbWidthC=CtbSizeY/SubWidthC (8-1230)
ctbHeightC=CtbSizeY/SubHeightC (8-1231)
フィルタ処理された再構成されたクロマ・サンプルalfPicture[x][y]の導出のために、現在のクロマコーディングツリー・ブロック内の各再構成されたクロマ・サンプルrecPicture[x][y]は、x=0..ctbWidthC-1、y=0..ctbHeightC-1として、次のようにフィルタリングされる:
・i,j=-2..2として、クロマ・サンプルの所与の配列recPicture内の対応する各クロマ・サンプル(x,y)についての位置(hx+i,vy+j)は、次のように導出される:
Figure 0007454042000051
・変数applyVirtualBoundaryは次のように導出される:
・以下の条件[[のうち一つまたは複数]]が真の場合、applyVirtualBoundaryは0に等しく設定される:
・現在のコーディングツリー・ブロックの下部境界がピクチャーの下部境界である。
・[[現在のコーディングツリー・ブロックの下部境界がブリックの下部境界であり、loop_filter_across_bricks_enabled_flagが0に等しい。
・現在のコーディングツリー・ブロックの下部境界がスライスの下部境界であり、loop_filter_across_slices_enabled_flagが0に等しい。
・現在のコーディングツリー・ブロックの下部境界は、ピクチャーの下部の仮想境界の1つであり、pps_loop_filter_across_virtual_boundries_disabled_flagが1に等しい。]]
・それ以外の場合、applyVirtualBoundaryは1に等しく設定される。
・再構成されたサンプル・オフセットr1、r2は、水平方向ルーマ・サンプル位置yとapplyVirtualBoundaryに従ってテーブル8-22において指定される。
……
あるいはまた、「現在のコーディングツリー・ブロックの下部境界は、ピクチャーの下部境界である」という条件は、「現在のコーディングツリー・ブロックの下部境界は、ピクチャーの下部境界であるか、ピクチャーの外側である」という条件に置き換えられてもよい。
5.4 実施形態#4
この実施形態は、ALF分類プロセス(セクション4におけるブレット7に対応)において、VPDU領域より下のサンプルを使用することを禁止する例を示す。
8.8.5.3 ルーマ・サンプルについてのALF転置およびフィルタ・インデックスについての導出プロセス
このプロセスの入力は以下の通り:
・現在ピクチャーの左上のサンプルに対して現在のルーマコーディングツリー・ブロックの左上のサンプルを指定するルーマ位置(xCtb,yCtb)、
・適応ループ・フィルタリング・プロセスの前の再構成されたルーマ・ピクチャー・サンプル・アレイrecPictureL
このプロセスの出力は以下の通り:
・x,y=0..CtbSizeY-1として、分類フィルタ・インデックス配列filtIdx[x][y]
・x,y=0..CtbSizeY-1として、転置インデックス配列transposeIdx[x][y]。
i,j=-2..5として、ルーマ・サンプルの所与の配列recPicture内の対応するルーマ・サンプル(x,y)のそれぞれの位置(hx+i,vy+j)は、次のように導出される:
Figure 0007454042000052
分類フィルタ・インデックス・アレイfiltIdxおよび転置インデックス・アレイtransposeIdxは、以下の順序付けられたステップによって導出される:
1. x,y=-2..CtbSizeY+1として、変数filtH[x][y]、filtV[x][y]、filtD0[x][y]、およびfiltD1[x][y]は次のように導出される:
・xとyの両方が偶数であるか、またはxとyの両方が不均一な数である場合、次が適用される:
Figure 0007454042000053
・それ以外の場合は、filtH[x][y]、filtV[x][y]、filtD0[x][y]、filtD1[x][y]は0に設定される。
2. 変数minY、maxYおよびacは次のように導出される:
Figure 0007454042000054
3. 変数varTempH1[x][y]、varTempV1[x][y]、varTempD01[x][y]、varTempD11[x][y]およびvarTemp[x][y]は、x,y=0..(CtbSizeY-1)>>2として、次のように導出される:
Figure 0007454042000055
4. 変数dir1[x][y]、dir2[x][y]およびdirS[x][y]は、x,y=0..CtbSizeY-1として、次のように導出される:
・変数hv1、hv0およびdirHVは次のように導出される:
……
・変数d1、d0およびdirDは次のように導出される:
……
5. 変数avgVar[x][y]は、x,y=0..CtbSizeY-1として、次のように導出される:
Figure 0007454042000056
6. 分類フィルタ・インデックス配列filtIdx[x][y]および転置インデックス配列transposeIdx[x][y]は、x=y=0..CtbSizeY-1として、次のように導出される:
Figure 0007454042000057
5.5 実施形態#5
複数の種類の境界(たとえば、スライス/ブリック境界、360度の仮想境界)に位置するサンプルについて、パディング・プロセスは1回だけ呼び出される。そして、1つの側あたり何個のラインがパディングされるかは、境界に対する現在のサンプルの位置に依存する。
一例では、ALF両側パディング方法が適用される。あるいはまた、さらに、対称的な両側パディング方法では、サンプルが2つの境界、たとえば、上側の1つの境界と下側の1つの境界にある場合、何個のサンプルがパディングされるかは、図27に示されるように、近いほうの境界によって決定される。一方、分類情報を導出する場合、図27の2つの境界間の4つのラインのみが使用される。
図26は、4ラインのサンプルが2つの境界のものである場合のパディング方法の例を示す。一例では、図26の第1の境界は、ALF仮想境界であってもよく、図25の第2の境界は、スライス/タイル/ブリック境界または360度仮想境界であってもよい。
5.6 実施形態#6
8.8.5.2 ルーマ・サンプルについてのコーディングツリー・ブロック・フィルタリング・プロセス
このプロセスの入力は以下の通り:
・適応ループ・フィルタリング・プロセスの前の再構成されたルーマ・ピクチャー・サンプル・アレイrecPictureL
・フィルタ処理され再構成されたルーマ・ピクチャー・サンプル・アレイalfPictureL
・現在ピクチャーの左上のサンプルに対して現在のルーマコーディングツリー・ブロックの左上のサンプルを指定するルーマ位置(xCtb,yCtb)。
このプロセスの出力は、修正されたフィルタリングされた再構築されたルーマ・ピクチャー・サンプル・アレイalfPictureLである。
節8.8.5.3のフィルタ・インデックスについての導出プロセスが呼び出される。位置(xCtb,yCtb)と再構成されたルーマ・ピクチャー・サンプル・アレイrecPictureLが入力とされ、x,y=0..CtbSizeY-1としてfiltIdx[x][y]およびtransposeIdx[x][y]が出力である。
・i,j=-3..3として、ルーマ・サンプルの所与の配列〔アレイ〕recPicture内の対応するルーマサンプル(x,y)のそれぞれの位置(hx+i,vy+j)は以下のように導かれる:
・pps_loop_filter_across_virtual_boundises_disabled_flagが1に等しく、xCtb+x-PpsVirtualBoundariesPosX[n]が任意のn=0..pps_num_ver_virtual_boundies-1について0以上3未満である場合、以下が適用される:
hx+i=Clip3(PpsVirtualBoundariesPosX[n],pic_width_in_luma_samples-1,xCtb+x+i) (8-1197)
・それ以外の場合、pps_loop_filter_across_virtual_boundises_disabled_flagが1に等しく、かつ任意のn=0..pps_num_ver_virtual_boundies-1についてPpsVirtualBoundariesPox[n]-xCtb-xが0より大きく4未満である場合、次が適用される:
hx+i=Clip3(0,PpsVirtualBoundariesPosX[n]-1,xCtb+x+i) (8-1198)
・それ以外の場合、次が適用される:
hx+i=Clip3(0,pic_width_in_luma_samples-1,xCtb+x+i) (8-1199)
・[[pps_loop_filter_across_virtual_boundaries_disabled_flagが1に等しく、任意のn=0..pps_num_hor_virtual_boundaries-1についてyCtb+y-PpsVirtualBoundariesPosY[n]が0以上3未満である場合、次が適用される:
vy+j=Clip3(PpsVirtualBoundariesPosY[n],pic_height_in_luma_samples-1,yCtb+y+j) (8-1200)
・それ以外の場合、pps_loop_filter_across_virtual_boundaries_disabled_flagが1に等しく、任意のn=0..pps_num_hor_virtual_boundaries-1についてPpsVirtualBoundariesPosY[n]-yCtb-yが0より大きく4より小さい場合、次が適用される:
vy+j=Clip3(0,PpsVirtualBoundariesPosY[n]-1,yCtb+y+j) (8-1201)]]
・[[それ以外の場合、]]次が適用される:
vy+j=Clip3(0,pic_height_in_luma_samples-1,yCtb+y+j) (8-1202)
・[[変数applyVirtualBoundaryは次のように導出される:
・以下の条件の一つまたは複数が真である場合、applyVirtualBoundaryは0に設定される:
・現在のコーディングツリー・ブロックの下部境界がピクチャーの下部境界である。
・現在のコーディングツリー・ブロックの下部境界がブリックの下部境界であり、loop_filter_across_bricks_enabled_flagが0に等しい。
・現在のコーディングツリー・ブロックの下部境界がスライスの下部境界であり、loop_filter_across_slices_enabled_flagは0に等しい。
・現在のコーディングツリー・ブロックの下部境界がピクチャーの下部仮想境界の1つであり、pps_loop_filter_across_virtual_boundaries_disabled_flagが1に等しい。
・それ以外の場合、applyVirtualBoundaryは1に設定される。]]
・変数boundaryPos1およびboundaryPos2は、yCtbはyCtbに等しく、yはyに等しいとして8.8.5.5で指定されているルーマ・サンプルについての垂直境界位置導出プロセスを呼び出すことによって導出される。
Figure 0007454042000058
8.8.5.3 ルーマ・サンプルについてのALF転置およびフィルタ・インデックスについての導出プロセス
このプロセスの入力は以下の通り:
・現在ピクチャーの左上のサンプルに対して現在のルーマコーディングツリー・ブロックの左上のサンプルを指定するルーマ位置(xCtb,yCtb)、
・適応ループ・フィルタリング・プロセスの前の再構成されたルーマ・ピクチャー・サンプル・アレイrecPictureL
このプロセスの出力は以下の通り:
・x,y=0..CtbSizeY-1として、分類フィルタ・インデックス配列filtIdx[x][y]
・x,y=0..CtbSizeY-1として、転置インデックス配列transposeIdx[x][y]。
i,j=-2..5として、ルーマ・サンプルの所与の配列recPicture内の対応するルーマ・サンプル(x,y)のそれぞれの位置(hx+i,vy+j)は、次のように導出される:
・pps_loop_filter_across_virtual_boundaries_disabled_flagが1に等しく、任意のn=0..pps_num_ver_virtual_boundies-1についてxCtb+x-PpsVirtualBoundariesPosX[n]が0以上2未満である場合、次が適用される:
hx+i=Clip3(PpsVirtualBoundariesPosX[n],pic_width_in_luma_samples-1,xCtb+x+i) (8-1208)
・それ以外の場合、pps_loop_filter_across_virtual_boundaries_disabled_flagが1に等しく、任意のn=0..pps_num_ver_virtual_boundies-1についてPpsVirtualBoundariesPosX[n]-xCtb-xが0より大きく6より小さい場合、次が適用される:
hx+i=Clip3(0,PpsVirtualBoundariesPosX[n]-1,xCtb+x+i) (8-1209)
・それ以外の場合、次が適用される:
hx+i=Clip3(0,pic_width_in_luma_samples-1,xCtb+x+i) (8-1210)
・[[pps_loop_filter_across_virtual_boundaries_disabled_flagが1に等しく、任意のn=0..pps_num_hor_virtual_boundies-1についてyCtb+y-PpsVirtualBoundariesPosY[n]が0以上2未満である場合、次が適用される:
vy+j=Clip3(PpsVirtualBoundariesPosY[n],pic_height_in_luma_samples-1,yCtb+y+j) (8-1211)
・それ以外の場合、pps_loop_filter_across_virtual_boundaries_disabled_flagが1に等しく、任意のn=0..pps_num_hor_virtual_boundies-1についてPpsVirtualBoundariesPosY[n]-yCtb-yが0より大きく6未満である場合、次が適用される:
vy+j=Clip3(0,PpsVirtualBoundariesPosY[n]-1,yCtb+y+j) (8-1212)
・それ以外の場合、次が適用される:
・yCtb+CtbSizeYがpic_height_in_luma_samples以上である場合、次が適用される:
vy+j=Clip3(0,pic_height_in_luma_samples-1,yCtb+y+j) (8-1213)
・それ以外の場合、yがCtbSizeY-4より小さい場合、次が適用される:
vy+j=Clip3(0,yCtb+CtbSizeY-5,yCtb+y+j) (8-1214)
・それ以外の場合、次が適用される:
vy+j=Clip3(yCtb+CtbSizeY-4,pic_height_in_luma_samples-1,yCtb+y+j) (8-1215)]]
・変数boundaryPos1およびboundaryPos2は、yCtbはyCtbに等しく、yはyに等しいとして8.8.5.5で指定されているルーマ・サンプルについての垂直境界位置導出プロセスを呼び出すことによって導出される。
・boundaryPos1が-1に等しく、boundaryPos2が-1に等しい場合、次が適用される:
h x+i =Clip3(0,pic_width_in_luma_samples-1,xCtb+x+i) (8-1211)
・それ以外の場合、boundaryPos1が-1に等しくなく、boundaryPos2が-1に等しい場合、次が適用される:
・yがboundaryPos1より小さい場合、次が適用される:
v y+j =Clip3(0,yCtb+boundaryPos1-1,yCtb+y+j) (8-1215)
・それ以外の場合、yがboundaryPos1以上である場合、次が適用される:
v y+j =Clip3(yCtb+boundaryPos1,pic_height_in_luma_samples-1,yCtb+y+j) (8-1216)
・それ以外の場合(boundaryPos1が-1に等しくなく、boundaryPos2が-1に等しくない場合)、次が適用される:
・yがboundaryPos1より小さい場合、次が適用される:
v y+j =Clip3(0,yCtb+boundaryPos1-1,yCtb+y+j) (8-1215)
・それ以外の場合、yがboundaryPos2以上である場合、次が適用される:
v y+j =Clip3(yCtb+boundaryPos2,pic_height_in_luma_samples-1,yCtb+y+j) (8-1216)
・それ以外の場合(yがboundaryPos1より大きくboundaryPos2以下)、次が適用される:
v y+j =Clip3(yCtb+boundaryPos1,yCtb+boundaryPos2-1,yCtb+y+j) (8-1216)
分類フィルタ・インデックス・アレイfiltIdxおよび転置インデックス・アレイtransposeIdxは、以下の順序付けられたステップによって導出される:
1. x,y=-2..CtbSizeY+1として、変数filtH[x][y]、filtV[x][y]、filtD0[x][y]、およびfiltD1[x][y]は次のように導出される:
・xとyの両方が偶数であるか、またはxとyの両方が非偶数である場合、次が適用される:
Figure 0007454042000059
・それ以外の場合は、filtH[x][y]、filtV[x][y]、filtD0[x][y]、filtD1[x][y]は0に設定される。
2. 変数minY、maxYおよびacは次のように導出される:
・(y<<2)が(CtbSizeY-8)に等しく、(yCtb+CtbSizeY)がpic_height_in_luma_samples-1より小さい場合、minYは-2に設定され、maxYは3に設定され、acは96に等しく設定される。
・それ以外の場合、(y<<2)が(CtbSizeY-4)に等しく、(yCtb+CtbSizeY)がpic_height_in_luma_samples-1より小さい場合、minYは0に等しく設定され、maxYは5に等しく設定され、acは96に等しく設定される。
・変数boundaryPos1およびboundaryPos2は、yCtbはyCtbに等しく、yはyに等しいとして、8.8.5.5で指定されているルーマ・サンプルについての垂直境界位置導出プロセスを呼び出すことによって導出される。
・boundaryPos1が-1に等しくなく、boundaryPos2が-1に等しい場合、次が適用される:
・yがboundaryPos1-4に等しい場合、minYは-2に等しく設定され、maxYは3に等しく設定され、acは96に等しく設定される。
・それ以外の場合、yがboundaryPos1に等しい場合、minYは0に等しく設定され、maxYは5に等しく設定され、acは96に等しく設定される。
・それ以外の場合、minYは-2に等しく設定され、maxYは5に等しく設定され、acは64に等しく設定される。
・それ以外の場合、boundaryPos1が-1に等しくなく、boundaryPos2が-1に等しくない場合、次が適用される:
・yがboundaryPos1-4に等しい場合、minYは-2に等しく設定され、maxYは3に等しく設定され、acが96に等しく設定される。
・それ以外の場合、yがboundaryPos2に等しい場合、minYは0に等しく設定され、maxYは5に等しく設定され、acは96に等しく設定される。
・それ以外の場合、yがboundaryPos1に等しく、boundaryPos2がboundaryPos2+8以上である場合、minYは0に等しく設定され、maxYは5に等しく設定され、acは96に等しく設定される。
・それ以外の場合、yがboundaryPos1に等しく、boundaryPos2がboundaryPos2+4に等しい場合、minYは0に等しく設定され、maxYは3に等しく設定され、acは128に等しく設定される。
・それ以外の場合、yがboundaryPos2-4に等しく、boundaryPos2がboundaryPos2+8より大きい場合、minYは-2に等しく設定され、maxYは3に等しく設定され、acは96に等しく設定される。
・それ以外の場合、minYは-2に等しく設定され、maxYは5に等しく設定され、acは64に等しく設定される。
・それ以外の場合(boundaryPos1は-1に等しく、boundaryPos2は-1に等しい)、minYは-2に等しく設定され、maxYは5に等しく設定され、acは64に等しく設定される。
・[[それ以外の場合、minYは-2に等しく設定され、maxYは5に等しく設定され、acは64に等しく設定される。]]
3. x、y=0..(CtbSizeY-1)>>2として、変数sumH[x][y]、sumV[x][y]、sumD0[x][y]、sumD1[x][y]、sumOfHV[x][y]は次のように導出される:
Figure 0007454042000060
……
8.8.5.4 クロマ・サンプルのためのコーディングツリー・ブロック・フィルタリング・プロセス
このプロセスの入力は以下の通り:
・適応ループ・フィルタリング・プロセスの前の再構成されたクロマ・ピクチャー・サンプル・アレイrecPicture、
・フィルタリングされ再構成されたクロマ・ピクチャー・サンプル・アレイalfPicture、
・現在ピクチャーの左上のサンプルに対して現在のクロマコーディングツリー・ブロックの左上のサンプルを指定するクロマ位置(xCtbC,yCtbC)。
このプロセスの出力は、修正されたフィルタリングされた再構成されたクロマ・ピクチャー・サンプル・アレイalfPictureである。
現在のクロマコーディングツリー・ブロックの幅および高さctbWidthCおよびctbHeightCは次のように導出される:
ctbWidthC=CtbSizeY/SubWidthC (8-1245)
ctbHeightC=CtbSizeY/SubHeightC (8-1246)
フィルタリングされた再構成されたクロマ・サンプルalfPicture[x][y]の導出のために、x=0..ctbWidthC-1、y=0..ctbHeightC-1として、現在のクロマコーディングツリー・ブロックrecPicture[x][y]内のそれぞれの再構成されたクロマ・サンプルは、次のようにフィルタリングされる:
・i,j=-2..2として、クロマ・サンプルの所与の配列recPicture内の対応するクロマ・サンプル(x,y)のそれぞれについての位置(hx+i,vy+j)は以下のように導出される:
・pps_loop_filter_across_virtual_boundaries_disabled_flagが1に等しく、任意のn=0..pps_num_ver_virtual_boundaries-1についてxCtbC+x-PpsVirtualBoundariesPosX[n]/SubWidthCが0以上2未満である場合、次が適用される:
hx+i=Clip3(PpsVirtualBoundariesPosX[n]/SubWidthC,pic_width_in_luma_samples/SubWidthC-1,xCtbC+x+i) (8-1247)
・それ以外の場合、pps_loop_filter_across_virtual_boundaries_disabled_flagが1に等しく、任意のn=0..pps_num_ver_virtual_boundaries-1についてPpsVirtualBoundariesPosX[n]/SubWidthC-xCtbC-xが0より大きく3より小さい場合、次が適用される:
hx+i=Clip3(0,PpsVirtualBoundariesPosX[n]/SubWidthC-1,xCtbC+x+i) (8-1248)
・それ以外の場合、次が適用される:
hx+i=Clip3(0,pic_width_in_luma_samples/SubWidthC-1,xCtbC+x+i) (8-1249)
・[[pps_loop_filter_across_virtual_boundaries_disabled_flagが1に等しく、任意のn=0..pps_num_hor_virtual_boundaries-1についてyCtb+y-PpsVirtualBoundariesPosY[n]/SubHeightCが0以上2未満である場合、次が適用される:
vy+j=Clip3(PpsVirtualBoundariesPosY[n]/SubHeightC,pic_height_in_luma_samples/SubHeightC-1,yCtbC+y+j) (8-1250)
・それ以外の場合、pps_loop_filter_across_virtual_boundaries_disabled_flagが1に等しく、任意のn=0..pps_num_hor_virtual_boundaries-1についてPpsVirtualBoundariesPosY[n]/SubHeightC-yCtbC-yが0より大きく3より小さい場合、次が適用される:
vy+j=Clip3(0,PpsVirtualBoundariesPosY[n]/SubHeightC-1,yCtbC+y+j) (8-1251)
・それ以外の場合、]]次が適用される:
vy+j=Clip3(0,pic_height_in_luma_samples/SubHeightC-1,yCtbC+y+j) (8-1252)
・[[変数applyVirtualBoundaryは次のように導出される:
・以下の条件の一つまたは複数が真である場合、applyVirtualBoundaryは0に設定される:
・現在のコーディングツリー・ブロックの下部境界がピクチャーの下部境界である。
・現在のコーディングツリー・ブロックの下部境界がブリックの下部境界であり、loop_filter_across_bricks_enabled_flagが0に等しい。
・現在のコーディングツリー・ブロックの下部境界がスライスの下部境界であり、loop_filter_across_slices_enabled_flagは0に等しい。
・現在のコーディングツリー・ブロックの下部境界がピクチャーの下部仮想境界の1つであり、pps_loop_filter_across_virtual_boundaries_disabled_flagが1に等しい。
・それ以外の場合、applyVirtualBoundaryは1に設定される。]]
・変数boundaryPos1およびboundaryPos2は、yCtbはyCtbに等しく、yはyに等しいとして、8.8.5.5で指定されているルーマ・サンプルについての垂直境界位置導出プロセスを呼び出すことによって導出される。
・変数boundaryPos1は、boundaryPos1/SubWidthCに等しく設定される。
・変数boundaryPos2は、boundaryPos2/SubWidthCに等しく設定される。
・再構成されたサンプル・オフセットr1およびr2は、水平ルーマ・サンプル位置yおよびapplyVirtualBoundaryに従ってテーブル8-24において指定される。
・変数currは次のように導出される:
curr=recPicture[hx,vy] (8-1253)
・クロマ・フィルタ係数の配列f[j]とクロマ・クリッピング値の配列c[j]は、j=0..5として、次のように導出される:
f[j]=AlfCoeffC[slice_alf_aps_id_chroma][j] (8-1254)
c[j]=AlfClipC[slice_alf_aps_id_chroma][j] (8-1255)
・変数sumは次のように導出される:
Figure 0007454042000061
・修正されたフィルタリングされた再構成されたクロマ・ピクチャー・サンプルalfPicture[xCtbC+x][yCtbC+y]は、以下のように導出される:
・pcm_loop_filter_disabled_flagおよびpcm_flag[(xCtbC+x)*SubWidthC][(yCtbC+y)*SubHeightC]がどちらも1に等しい場合、次が適用される:
alfPicture[xCtbC+x][yCtbC+y]=recPictureL[hx,vy] (8-1258)
・それ以外の場合(pcm_loop_filter_disabled_flagが0に等しい、またはpcm_flag[x][y]が0に等しい)、次が適用される:
alfPicture[xCtbC+x][yCtbC+y]=Clip3(0,(1<<BitDepthC)-1,sum) (8-1259)
Figure 0007454042000062
8.8.5.5 ルーマ・サンプルについての垂直境界位置導出プロセス
このプロセスの入力は以下の通り:
・現在のピクチャーの左上のサンプルに対する現在のルーマコーディングツリー・ブロックの左上のサンプルの垂直位置を指定するルーマ位置yCtb。
・現在のルーマコーディングツリー・ブロックの左上のサンプルに対する現在のピクセルの垂直位置を指定するルーマ位置y。
このプロセスの出力は以下の通り:
・上の垂直境界位置boundaryPos1。
・下の垂直境界位置boundaryPos2。
・変数boundaryPos1は次のように導出される:
・変数boundaryPos1が-1に設定される。
・pps_loop_filter_across_virtual_boundaries_disabled_flagが1に等しく、任意のn=0..pps_num_hor_virtual_boundaries-1についてyCtb+y-PpsVirtualBoundariesPosY[n]が0以上3未満である場合、次が適用される:
boundaryPos1=PpsVirtualBoundariesPosY[n] (8-1201)
・それ以外の場合、pps_loop_filter_across_virtual_boundaries_disabled_flagが1に等しく、任意のn=0..pps_num_hor_virtual_boundaries-1についてPpsVirtualBoundariesPosY[n]-yCtb-yが0より大きく4より小さい場合、次が適用される:
boundaryPos1=PpsVirtualBoundariesPosY[n] (8-1201)
・変数boundaryPos2は次のように導出される:
・変数boundaryPos2が-1に設定される。
・現在のコーディングツリー・ブロックの下部境界がブリックの下部境界であり、loop_filter_across_bricks_enabled_flagが0に等しい場合、次が適用される:
・CtbSizeY-yが4より小さい場合、変数boundaryPos2はCtbSizeYに等しく設定される。
・それ以外の場合、現在のコーディングツリー・ブロックの下部境界がスライスの下部境界であり、loop_filter_across_slices_enabled_flagが0に等しい場合、次が適用される:
・CtbSizeY-yが4より小さい場合、変数boundaryPos2はCtbSizeYに等しく設定される。
・それ以外の場合、現在のコーディングツリー・ブロックの上部境界がブリックの上部境界であり、loop_filter_across_bricks_enabled_flagが0に等しい場合、次が適用される:
・yが3より小さい場合、変数boundaryPos2は0に設定される。
・それ以外の場合、現在のコーディングツリー・ブロックの上部境界がスライスの上部境界であり、loop_filter_across_slices_enabled_flagが0に等しい場合、次が適用される:
・yが3より小さい場合、変数boundaryPos2は0に設定される。
・変数boundaryPos1が-1に等しい場合、次が適用される:
・変数boundaryPos1は、boundaryPos2に等しい。
・変数boundaryPos2は-1に等しい。
・変数applyVirtualBoundaryは次のように導出される:
・以下の条件のうち一つまたは複数が真である場合、applyVirtualBoundaryは0に等しく設定される:
・現在のコーディングツリー・ブロックの下部境界がピクチャーの下部境界である。
・それ以外の場合、applyVirtualBoundaryは1に設定される。
・applyVirtualBoundaryが1に等しい場合、次が適用される:
・boundaryPos1が-1に等しい場合、boundaryPos1はCtbSizeY-4に等しく設定される。
・それ以外の場合、boundaryPos2が-1に等しい場合、boundaryPos2はCtbSizeY-4に等しく設定される。
・boundaryPos1が-1に等しくなく、boundaryPos1が-1に等しくない場合、次が適用される:
・boundaryPos1がboundaryPos2に等しい場合、boundaryPos2は-1に等しく設定される。
・それ以外の場合、boundaryPos1がboundaryPos2より大きい場合、次が適用される:
・変数tmpPosは、boundaryPos2に等しく設定される。
・変数boundaryPos2は、boundaryPos1に等しく設定される。
変数boundaryPos1は、tmpPosに等しく設定される。
5.7 実施形態#7
CTUについて、いかなる境界(たとえば、ピクチャー/スライス/タイル/ブリック/サブピクチャー境界)とも一致しないことがある。しかしながら、現在の単位(ピクチャー/スライス/タイル/ブリック/サブピクチャーなど)の外側のサンプルにアクセスする必要があることがある。スライス境界をまたぐフィルタリング(たとえば、loop_filter_across_slices_enabled_flagが偽)が無効にされている場合は、現在の単位の外側のサンプルをパディングする必要がある。
たとえば、図28におけるサンプル2801(ルーマ・サンプルを例にとる)については、ALFフィルタリング・プロセスにおいて使用されるサンプルは、図29のようにパディングされてもよい。
5.8 実施形態#8
この実施形態では、以下の主な考え方が適用される:
ALF仮想境界を有効にすることについて:
・ピクチャーにおける最後のCTU行に位置しないCTU(たとえば、CTUの下部境界がピクチャーの下部境界ではない、またはピクチャーの下部境界を越える)については、ALF仮想境界が有効にされる。すなわち、1つのCTUが2つ以上の部分に分割されてもよく、1つの部分のサンプルが別の部分のサンプルを使用することはできない。
・ピクチャーにおける最後のCTU行に位置するCTU(たとえば、CTUの下部境界がピクチャーの下部境界である、またはピクチャーの下部境界を越える)については、ALF仮想境界が有効にされる。すなわち、1つのCTUが2つ以上の部分に分割されてもよく、1つの部分のサンプルが別の部分のサンプルを使用することはできない。
分類プロセスにおける境界(ALF仮想境界、スライス/タイル/ブリック/サブピクチャー境界、「360仮想境界」を含む)のパディングについて:
・1つの境界(または複数種類の境界)におけるサンプルについて、その境界を越えた近傍サンプルが使用されることが禁止される場合、そのような近傍サンプルをパディングするために、片側パディングが実行される。
ALFフィルタリング・プロセスにおける境界(ALF仮想境界、スライス/タイル/ブリック/サブピクチャー境界、「360仮想境界」を含む)のパディングについて:
・CTU境界と一致するスライス/タイル/ブリック/サブピクチャー境界または「360仮想境界」である1つの境界(または複数種類の境界)におけるサンプルについては、境界を越えた近傍サンプルが使用されることが禁止される場合、そのような近傍サンプルをパディングするために両側パディングが実行される。
・CTU境界と一致しないピクチャー境界または「360仮想境界」である1つの境界(または複数種類の境界)におけるサンプルについては、境界を越えた近傍サンプルが使用されることが禁止される場合、そのような近傍サンプルをパディングするために片側パディングが実行される。
8.8.5.2 ルーマ・サンプルについてのコーディングツリー・ブロック・フィルタリング・プロセス
このプロセスの入力は以下の通り:
・適応ループ・フィルタリング・プロセスの前の再構成されたルーマ・ピクチャー・サンプル・アレイrecPictureL
・フィルタリングされ再構成されたルーマ・ピクチャー・サンプル・アレイalfPictureL
・現在ピクチャーの左上のサンプルに対して現在のルーマコーディングツリー・ブロックの左上のサンプルを指定するルーマ位置(xCtb,yCtb)。
このプロセスの出力は、修正されたフィルタリングされた再構成されたルーマ・ピクチャー・サンプル・アレイalfPictureLである。
節8.8.5.3のフィルタ・インデックスについての導出プロセスが呼び出される。位置(xCtb,yCtb)と再構成されたルーマ・ピクチャー・サンプル・アレイrecPictureLが入力とされ、x,y=0..CtbSizeY-1としてfiltIdx[x][y]およびtransposeIdx[x][y]が出力である。
フィルタリングされた再構成されたルーマ・サンプルalfPictureL[x][y]の導出のために、現在のルーマコーディングツリー・ブロック内の各再構成されたルーマ・サンプルrecPictureL[x][y]は、x,y=0..CtbSizeY-1として、次のようにフィルタリングされる
・filtIdx[x][y]によって指定されたフィルタに対応するルーマ・フィルタ係数の配列f[j]およびルーマ・クリッピング値の配列c[j]は、j=0..11として、次のように導出される:
Figure 0007454042000063
・ルーマ・フィルタ係数およびクリッピング値インデックスidxは、transposeIdx[x][y]に依存して、次のように導出される:
Figure 0007454042000064
・i,j=-3..3として、ルーマ・サンプルの所与の配列recPicture内の対応するルーマ・サンプル(x,y)のそれぞれについての位置(hx+i,vy+j)は次のように導出される:
Figure 0007454042000065
[[-位置(hx,vy)におけるルーマ・サンプルを含むサブピクチャーのについてのloop_filter_across_sub_pic_enabled_flag[SubPicIdx]が0に等しい場合、次が適用される:
vy+j=Clip3(SubPicTopBoundaryPos,SubPicBotBoundaryPos,vy+j) (8-1184)
・変数applyVirtualBoundaryは次のように導出される:
・以下の条件のうちの一つまたは複数が真である場合、applyVirtualBoundaryは0に設定される:
・現在のコーディングツリー・ブロックの下部境界がピクチャーの下部境界である。
・現在のコーディングツリー・ブロックの下部境界はブリックの下部境界であり、loop_filter_across_bricks_enabled_flagは0に等しい。
・現在のコーディングツリー・ブロックの下部境界はスライスの下部境界であり、loop_filter_across_slices_enabled_flagは0に等しい。
・現在のコーディングツリー・ブロックの下部境界はサブピクチャーの下部境界であり、位置(hx,vy)におけるルーマ・サンプルを含むサブピクチャーについてのloop_filter_across_sub_pic_enabled_flag[SubPicIdx]は0に等しい。
・現在のコーディングツリー・ブロックの下部境界は、ピクチャーの下部仮想境界の1つであり、pps_loop_filter_across_virtual_boundries_disabled_flagは1に等しい。
・それ以外の場合、applyVirtualBoundaryは1に等しく設定される。]]
変数clipLeftPos,clipRightPos,clipTopPos,clipBottomPosは、(xCtb,yCtb)および(x,y)を入力として、8.8.5.5において指定されるルーマ・サンプルについての水平境界位置導出プロセスを呼び出すことによって導出される。
・再構成されたサンプル・オフセットr1,r2,r3は、水平ルーマ・サンプル位置yおよびclipTopPosおよびclipBottomPos[[applyVirtualBoundary]]に従って、テーブル8-24において指定される。
・再構成されたサンプル・オフセットc1,c2,c3は、垂直ルーマ・サンプル位置xおよびclipLeftPosおよびclipRightPosに従って、テーブル8-25において指定される。
・変数currは次のように導出される:
curr=recPictureL[hx,vy] (8-1203)
・変数sumは次のように導出される:
Figure 0007454042000066
・修正されたフィルタリングされた再構成されたルーマ・ピクチャー・サンプルalfPictureL[xCtb+x][yCtb+y]は、次のように導出される:
Figure 0007454042000067
Figure 0007454042000068
8.8.5.3 ルーマ・サンプルについてのALF転置およびフィルタ・インデックスについての導出プロセス
このプロセスの入力は以下の通り:
・現在ピクチャーの左上のサンプルに対して現在のルーマコーディングツリー・ブロックの左上のサンプルを指定するルーマ位置(xCtb,yCtb)、
・適応ループ・フィルタリング・プロセスの前の再構成されたルーマ・ピクチャー・サンプル・アレイrecPictureL
このプロセスの出力は以下の通り:
・x,y=0..CtbSizeY-1として、分類フィルタ・インデックス配列filtIdx[x][y]
・x,y=0..CtbSizeY-1として、転置インデックス配列transposeIdx[x][y]。
i,j=-2..5として、ルーマ・サンプルの所与の配列recPicture内の対応するルーマ・サンプル(x,y)のそれぞれの位置(hx+i,vy+j)は、次のように導出される:
・pps_loop_filter_across_virtual_boundaries_disabled_flagが1に等しく、PpsVirtualBoundariesPosX[n]%CtbSizeYが0に等しくなく、任意のn=0..pps_num_ver_virtual_boundies-1についてxCtb+x-PpsVirtualBoundariesPosX[n]が0以上2未満である場合、次が適用される:
hx+i=Clip3(PpsVirtualBoundariesPosX[n],pic_width_in_luma_samples-1,xCtb+x+i) (8-1208)
・それ以外の場合、pps_loop_filter_across_virtual_boundaries_disabled_flagが1に等しく、PpsVirtualBoundariesPosX[n]%CtbSizeYが0に等しくなく、任意のn=0..pps_num_ver_virtual_boundies-1についてPpsVirtualBoundariesPosX[n]-xCtb-xが0より大きく6より小さい場合、次が適用される:
hx+i=Clip3(0,PpsVirtualBoundariesPosX[n]-1,xCtb+x+i) (8-1209)
・それ以外の場合、次が適用される:
hx+i=Clip3(0,pic_width_in_luma_samples-1,xCtb+x+i) (8-1210)
・[[位置(hx,vy)におけるルーマ・サンプルを含むサブピクチャーのについてのloop_filter_across_sub_pic_enabled_flag[SubPicIdx]が0に等しい場合、次が適用される:
hx+i=Clip3(SubPicLeftBoundaryPos,SubPicRightBoundaryPos,hx+i) (8-1184)]]
・pps_loop_filter_across_virtual_boundaries_disabled_flagが1に等しく、PpsVirtualBoundariesPosX[n]%CtbSizeYが0に等しくなく、任意のn=0..pps_num_hor_virtual_boundies-1についてyCtb+y-PpsVirtualBoundariesPosY[n]が0以上2未満である場合、次が適用される:
vy+j=Clip3(PpsVirtualBoundariesPosY[n],pic_height_in_luma_samples-1,yCtb+y+j) (8-1211)
・それ以外の場合、pps_loop_filter_across_virtual_boundaries_disabled_flagが1に等しく、PpsVirtualBoundariesPosX[n]%CtbSizeYが0に等しくなく、任意のn=0..pps_num_hor_virtual_boundies-1についてPpsVirtualBoundariesPosY[n]-yCtb-yが0より大きく6未満である場合、次が適用される:
vy+j=Clip3(0,PpsVirtualBoundariesPosY[n]-1,yCtb+y+j) (8-1212)
・それ以外の場合、次が適用される:
・yCtb+CtbSizeYがpic_height_in_luma_samples以上である場合、次が適用される:
vy+j=Clip3(0,pic_height_in_luma_samples-1,yCtb+y+j) (8-1213)
・[[それ以外の場合、yがCtbSizeY-4より小さい場合、次が適用される:
vy+j=Clip3(0,yCtb+CtbSizeY-5,yCtb+y+j) (8-1214)
・それ以外の場合、次が適用される:
vy+j=Clip3(yCtb+CtbSizeY-4,pic_height_in_luma_samples-1,yCtb+y+j) (8-1215)
・位置(hx,vy)におけるルーマ・サンプルを含むサブピクチャーのについてのloop_filter_across_sub_pic_enabled_flag[SubPicIdx]が0に等しい場合、次が適用される:
vy+j=Clip3(SubPicTopBoundaryPos,SubPicBotBoundaryPos,vy+j) (8-1184)]]
・変数clipLeftPos、clipRightPos、clipTopPos、clipBottomPosは、節8.8.5.5.で指定されるルーマ・サンプルについての水平境界位置導出プロセスを(xCtb,yCtb)および(x,y)を用いて呼び出すことによって導出される。
・clipTopPosが-128に等しくない場合、次が適用される:
v y+j =Clip3(clipTopPos,pic_height_in_luma_samples-1,yCtb+y+j) (8-1213)
・clipBottomPosが-128に等しくない場合、次が適用される:
v y+j =Clip3(0,clipBottomPos-1,yCtb+y+j) (8-1213)
・clipLeftPosが-128に等しくない場合、次が適用される:
h x+i =Clip3(clipLeftPos,pic_width_in_luma_samples-1,xCtb+x+i) (8-1213)
・clipRightPosが-128に等しくない場合、次が適用される:
h x+i =Clip3(0,clipRightPos-1,xCtb+x+i) (8-1213)
分類フィルタ・インデックス・アレイfiltIdxおよび転置インデックス・アレイtransposeIdxは、以下の順序付けられたステップによって導出される:
1. x,y=-2..CtbSizeY+1として、変数filtH[x][y]、filtV[x][y]、filtD0[x][y]、およびfiltD1[x][y]は次のように導出される:
・xとyの両方が偶数であるか、またはxとyの両方が不均一な数である場合、次が適用される:
Figure 0007454042000069
・それ以外の場合は、filtH[x][y]、filtV[x][y]、filtD0[x][y]、filtD1[x][y]は0に等しく設定される。
2. [[変数minY、maxYおよびacは次のように導出される:
・(y<<2)が(CtbSizeY-8)に等しく、(yCtb+CtbSizeY)がpic_height_in_luma_samples-1より小さい場合、minYは-2に等しく設定され、maxYは3に等しく設定され、acは96に等しく設定される。
・それ以外の場合、(y<<2)が(CtbSizeY-4)に等しく、(yCtb+CtbSizeY)がpic_height_in_luma_samples-1より小さい場合、minYは0に等しく設定され、maxYは5に等しく設定され、acは96に等しく設定される。]]
3. 変数sumH[x][y]、sumV[x][y]、sumD0[x][y]、sumD1[x][y]、sumOfHV[x][y]は、x、y=0..(CtbSizeY-1)>>2として、次のように導出される:
Figure 0007454042000070
Figure 0007454042000071
4. 変数dir1[x][y]、dir2[x][y]およびdirS[x][y]は、x,y=0..CtbSizeY-1として、次のように導出される:
Figure 0007454042000072
5. 変数avgVar[x][y]は、x,y=0..CtbSizeY-1として、次のように導出される:
varTab[]={0,1,2,2,2,2,2,3,3,3,3,3,3,3,3,4} (8-1242)
avgVar[x][y]=varTab[Clip3(0,15,(sumOfHV[x>>2][y>>2]*ac)>>(3+BitDepthY))] (8-1243)
6. 分類フィルタ・インデックス配列filtIdx[x][y]および転置インデックス配列transposeIdx[x][y]は、x=y=0..CtbSizeY-1として、次のように導出される:
transposeTable[ ]={0,1,0,2,2,3,1,3}
transposeIdx[x][y]=transposeTable[dir1[x][y]*2+(dir2[x][y]>>1)]
filtIdx[x][y]=avgVar[x][y]
dirS[x][y]が0に等しくない場合、filtIdx[x][y]は次のように修正される:
filtIdx[x][y]+=(((dir1[x][y]&0x1)<<1)+dirS[x][y])*5 (8-1244)
8.8.5.4 クロマ・サンプルについてのコーディングツリー・ブロックフィルタリング・プロセス
このプロセスの入力は以下の通り:
・適応ループ・フィルタリング・プロセスの前の再構成されたクロマ・ピクチャー・サンプル・アレイrecPicture、
・フィルタリングされた再構成されたクロマ・ピクチャー・サンプル・アレイalfPicture、
・現在ピクチャーの左上のサンプルに対して現在のクロマコーディングツリー・ブロックの左上のサンプルを指定するクロマ位置(xCtbC,yCtbC)。
このプロセスの出力は、修正されたフィルタリングされた再構成されたクロマ・ピクチャー・サンプル・アレイalfPictureである。
現在のクロマコーディングツリー・ブロックの幅および高さctbWidthCおよびctbHeightCは、次のように導出される:
ctbWidthC=CtbSizeY/SubWidthC (8-1245)
ctbHeightC=CtbSizeY/SubHeightC (8-1246)
フィルタリングされた再構成されたクロマ・サンプルalfPicture[x][y]の導出のために、現在のクロマコーディングツリー・ブロック内の各再構成されたクロマ・サンプルrecPicture[x][y]は、x=0..ctbWidthC-1、y=0..ctbHeightC-1として、次のようにフィルタリングされる:
・i,j=-2..2として、クロマ・サンプルの所与の配列recPicture内の対応する各クロマ・サンプル(x,y)についての位置(hx+i,vy+j)は、次のように導出される:
Figure 0007454042000073
Figure 0007454042000074
・[[位置(hx,vy)におけるルーマ・サンプルを含むサブピクチャーのについてのloop_filter_across_sub_pic_enabled_flag[SubPicIdx]が0に等しい場合、次が適用される:
vy+j=Clip3(SubPicTopBoundaryPos/SubWidthC,SubPicBotBoundaryPos/SubWidthC,vy+j) (8-1184)
・変数applyVirtualBoundaryは次のように導出される:
・以下の条件のうち一つまたは複数が真の場合、applyVirtualBoundaryは0に等しく設定される:
・現在のコーディングツリー・ブロックの下部境界がピクチャーの下部境界である。
・現在のコーディングツリー・ブロックの下部境界がブリックの下部境界であり、loop_filter_across_bricks_enabled_flagが0に等しい。
・現在のコーディングツリー・ブロックの下部境界がスライスの下部境界であり、loop_filter_across_slices_enabled_flagが0に等しい。
・現在のコーディングツリー・ブロックの下部境界がサブピクチャーの下部境界であり、位置(hx,vy)におけるルーマ・サンプルを含むサブピクチャーのについてのloop_filter_across_sub_pic_enabled_flag[SubPicIdx]が0に等しい。
・現在のコーディングツリー・ブロックの下部境界は、ピクチャーの下部の仮想境界の1つであり、pps_loop_filter_across_virtual_boundries_disabled_flagが1に等しい。
・それ以外の場合、applyVirtualBoundaryは1に等しく設定される。]]
・変数clipLeftPos、clipRightPos、clipTopPos、clipBottomPosは、(xCtbC*SubWidthC,yCtbC*SubWidthC)および(x*SubWidthC,y*SubWidthC)を入力として、節8.8.5.5において指定されるルーマ・サンプルについての水平境界位置導出プロセスを呼び出すことによって導出される。
・変数clipTopPosは、clipLeftPos/SubWidthCに等しく設定される。
・変数clipBottomPosは、clipRightPos/SubWidthCに等しく設定される。
・変数clipTopPosは、clipTopPos/SubWidthCに等しく設定される。
・変数clipBottomPosは、clipBottomPos/SubWidthCに等しく設定される。
・再構成されたサンプル・オフセットr1およびr2は、水平ルーマ・サンプル位置y、clipTopPosおよびclipBottomPos[[およびapplyVirtualBoundary]]に従ってテーブル8-27において指定される。
再構成されたサンプル・オフセットc1およびc2は、垂直ルーマ・サンプル位置x、clipLeftPosおよびclipRightPosに従ってテーブル8-28において指定される。
・変数currは次のように導出される:
curr=recPicture[hx,vy] (8-1253)
・クロマ・フィルタ係数の配列f[j]とクロマ・クリッピング値の配列c[j]は、j=0..5として、次のように導出される:
f[j]=AlfCoeffC[slice_alf_aps_id_chroma][j] (8-1254)
c[j]=AlfClipC[slice_alf_aps_id_chroma][j] (8-1255)
・変数sumは次のように導出される:
Figure 0007454042000075
・修正されたフィルタリングされた再構成されたクロマ・ピクチャー・サンプルalfPicture[xCtbC+x][yCtbC+y]は、以下のように導出される:
・pcm_loop_filter_disabled_flagおよびpcm_flag[(xCtbC+x)*SubWidthC][(yCtbC+y)*SubHeightC]が両方とも1に等しい場合、次が適用される:
alfPicture[xCtbC+x][yCtbC+y]=recPictureL[hx,vy] (8-1258)
・それ以外の場合(pcm_loop_filter_disabled_flagが0に等しい、またはpcm_flag[x][y]が0に等しい)、次が適用される:
alfPicture[xCtbC+x][yCtbC+y]=Clip3(0,(1<<BitDepthC)-1,sum) (8-1259)
Figure 0007454042000076
8.8.5.5 サンプルについてのALF境界位置導出プロセス
このプロセスの入力は以下の通り:
・現在のピクチャーの左上のサンプルに対する現在のルーマコーディングツリー・ブロックの左上のサンプルを指定するルーマ位置(xCtb,yCtb)。
・現在のルーマコーディングツリー・ブロックの左上のサンプルに対して現在のサンプルを指定するルーマ位置(x,y)。
このプロセスの出力は以下の通り:
・左垂直境界位置clipLeftPos
・右垂直境界位置clipRightPos
・上水平境界位置clipTopPos
・下水平境界位置clipBottomPos
変数clipLeftPos、clipRightPos、clipTopPos、clipBottomPosは-128に設定される。
変数clipTopPosは次のように修正される:
・現在のコーディングツリー・ブロックの下部境界がピクチャーの下部境界ではなく、y-(CtbSizeY-4)が0以上である場合、変数clipTopPosはyCtb+CtbSizeY-4に等しく設定される。
・それ以外の場合、pps_loop_filter_across_virtual_boundaries_disabled_flagが1に等しく、PpsVirtualBoundariesPosY[n]%CtbSizeYが0に等しく、PpsVirtualBoundariesPosY[n]がpic_height_in_luma_samples-1または0に等しくなく、yCtb+y-PpsVirtualBoundariesPosY[n]が任意のn=0..pps_num_hor_virtual_boundaries-1について0以上3未満である場合、次が適用される:
clipTopPos=PpsVirtualBoundariesPosY[n] (8-1201)
・それ以外の場合、yが3未満であり、現在のコーディングツリー・ブロックの上部境界がピクチャーの上部境界ではなく、次の条件のいずれかが真である場合、変数clipTopPosはyCtbに等しく設定される:
・現在のコーディングツリー・ブロックの上部境界がブリックの上部境界である場合、loop_filter_across_bricks_enabled_flagは0に等しい。
・現在のコーディングツリー・ブロックの上部境界がスライスの上部境界である場合、loop_filter_across_slices_enabled_flagは0に等しい。
・現在のコーディングツリー・ブロックの上部境界が、サブピクチャーの上部境界に等しい場合、loop_filter_across_sub_pic_enabled_flagは0に等しい。
変数clipBottomPosは次のように修正される:
・現在のコーディングツリー・ブロックの下部境界がピクチャーの下部境界ではなく、CtbSizeY-4-yが0より大きく4より小さい場合、変数clipBottomPosはyCtb+CtbSizeY-4に等しく設定される。
・それ以外の場合、pps_loop_filter_across_virtual_boundaries_disabled_flagが1に等しく、PpsVirtualBoundariesPosY[n]%CtbSizeYが0に等しく、PpsVirtualBoundariesPosY[n]がpic_height_in_luma_samples-1または0に等しくなく、PpsVirtualBoundariesPosY[n]-yCtb-yが任意のn=0..pps_num_hor_virtual_boundaries-1について0より大きく4より小さい場合、次が適用される:
clipBottomPos=PpsVirtualBoundariesPosY[n] (8-1201)
・それ以外の場合、CtbSizeY-yが4未満であり、現在のコーディングツリー・ブロックの下部境界がピクチャーの下部境界ではなく、次の条件のうちの1つが真である場合、変数clipBottomPosはyCtb+CtbSizeYに等しく設定される。
・現在のコーディングツリー・ブロックの下部境界がブリックの下部境界であり、loop_filter_across_bricks_enabled_flagが0に等しい場合。
・現在のコーディングツリー・ブロックの下部境界がスライスの下部境界であり、loop_filter_across_slices_enabled_flagが0に等しい場合。
・現在のコーディングツリー・ブロックの下部境界がサブピクチャーの下部境界であり、loop_filter_across_sub_pic_enabled_flagが0に等しい場合。
変数clipLeftPosは次のように修正される:
・pps_loop_filter_across_virtual_boundaries_disabled_flagが1に等しく、PpsVirtualBoundariesPosX[n]%CtbSizeYは0に等しく、PpsVirtualBoundariesPosX[n]はpic_width_in_luma_samples-1または0に等しくなく、xCtb+x-PpsVirtualBoundariesPosX[n]は任意のn=0..pps_num_ver_virtual_boundaries-1について0以上3未満である場合、次が適用される:
clipLeftPos=PpsVirtualBoundariesPosX[n] (8-1201)
・それ以外の場合、xが3未満であり、現在のコーディングツリー・ブロックの左境界がピクチャーの左境界ではなく、次の条件のうちいずれかが真である場合、変数clipLeftPosはxCtbに等しく設定される。
・現在のコーディングツリー・ブロックの左境界がブリックの左境界であり、loop_filter_across_bricks_enabled_flagが0に等しい場合。
・現在のコーディングツリー・ブロックの左境界がスライスの左境界であり、loop_filter_across_slices_enabled_flagが0に等しい場合。
・現在のコーディングツリー・ブロックの左境界がサブピクチャーの左境界であり、loop_filter_across_sub_pic_enabled_flagが0に等しい場合。
変数clipRightPosは次のように修正される:
・pps_loop_filter_across_virtual_boundaries_disabled_flagが1に等しく、PpsVirtualBoundariesPosX[n]%CtbSizeYは0に等しく、PpsVirtualBoundariesPosX[n]はpic_width_in_luma_samples-1または0に等しくなく、PpsVirtualBoundariesPosX[n]-xCtb-xは任意のn=0..pps_num_ver_virtual_boundaries-1について0より大きく4より小さい場合、次が適用される:
clipRightPos=PpsVirtualBoundariesPosX[n] (8-1201)
・それ以外の場合、CtbSizeY-xが4未満であり、現在のコーディングツリー・ブロックの右境界がピクチャーの右境界ではなく、次の条件のうちの1つが真である場合、変数clipRightPosはxCtb+CtbSizeYに等しく設定される。
・現在のコーディングツリー・ブロックの右境界がブリックの右境界であり、loop_filter_across_bricks_enabled_flagが0に等しい場合。
・現在のコーディングツリー・ブロックの右境界がスライスの右境界であり、loop_filter_across_slices_enabled_flagが0に等しい場合。
・現在のコーディングツリー・ブロックの右境界がサブピクチャーの右境界であり、loop_filter_across_sub_pic_enabled_flagが0に等しい場合。
上記の実施形態で使用される特定の値-128は、-Kのような他の値で置き換えられてもよく、ここで、Kは、CTUの下部境界からシフトされたライン数より大きいか、または小さくない(たとえば、K=-5)。
あるいはまた、「PpsVirtualBoundariesPosY[n]がpic_height_in_luma_samples-1または0に等しくない」との条件チェックはPpsVirtualBoundariesPosY[n]が1からCeil(pic_height_in_luma_samples÷8)-1の範囲である(両端含む)ことに基づいて、さらに除去されてもよい。
あるいはまた、各サンプルがビデオ単位の境界に位置する場合に異なる仕方で扱われる必要があるかどうかをマークするために、1つのフラグが使用されてもよい。
5.9 実施形態#9
この実施形態では、以下の主な考え方が適用される:
ALF仮想境界を有効にすることについて:
・ピクチャーにおける最後のCTU行に位置しないCTU(たとえば、CTUの下部境界がピクチャーの下部境界ではない、またはピクチャーの下部境界を越える)については、ALF仮想境界が有効にされる。すなわち、1つのCTUが2つ以上の部分に分割されてもよく、1つの部分のサンプルが別の部分のサンプルを使用することはできない。
・ピクチャーにおける最後のCTU行に位置するCTU(たとえば、CTUの下部境界がピクチャーの下部境界である、またはピクチャーの下部境界を越える)については、ALF仮想境界が有効にされる。すなわち、1つのCTUが2つ以上の部分に分割されてもよく、1つの部分のサンプルが別の部分のサンプルを使用することはできない。
分類プロセスにおける境界(ALF仮想境界、スライス/タイル/ブリック/サブピクチャー境界、「360仮想境界」を含む)のパディングについて:
・1つの境界(または複数種類の境界)におけるサンプルについて、その境界を越えた近傍サンプルが使用されることが禁止される場合、そのような近傍サンプルをパディングするために、片側パディングが実行される。
ALFフィルタリング・プロセスにおける境界(ALF仮想境界、スライス/タイル/ブリック/サブピクチャー境界、「360仮想境界」を含む)のパディングについて:
・CTU境界と一致するスライス/タイル/ブリック/サブピクチャー境界または「360仮想境界」である1つの境界(または複数種類の境界)におけるサンプルについては、境界を越えた近傍サンプルが使用されることが禁止される場合、そのような近傍サンプルをパディングするために両側パディングが実行される。
・CTU境界と一致しないピクチャー境界または「360仮想境界」である1つの境界(または複数種類の境界)におけるサンプルについては、境界を越えた近傍サンプルが使用されることが禁止される場合、そのような近傍サンプルをパディングするために片側パディングが実行される。
8.8.5.2 ルーマ・サンプルについてのコーディングツリー・ブロック・フィルタリング・プロセス
このプロセスの入力は以下の通り:
・適応ループ・フィルタリング・プロセスの前の再構成されたルーマ・ピクチャー・サンプル・アレイrecPictureL
・フィルタリングされ再構成されたルーマ・ピクチャー・サンプル・アレイalfPictureL
・現在ピクチャーの左上のサンプルに対して現在のルーマコーディングツリー・ブロックの左上のサンプルを指定するルーマ位置(xCtb,yCtb)。
このプロセスの出力は、修正されたフィルタリングされた再構成されたルーマ・ピクチャー・サンプル・アレイalfPictureLである。
節8.8.5.3のフィルタ・インデックスについての導出プロセスが呼び出される。位置(xCtb,yCtb)と再構成されたルーマ・ピクチャー・サンプル・アレイrecPictureLが入力とされ、x,y=0..CtbSizeY-1としてfiltIdx[x][y]およびtransposeIdx[x][y]が出力である。
フィルタリングされた再構成されたルーマ・サンプルalfPictureL[x][y]の導出のために、現在のルーマコーディングツリー・ブロック内の各再構成されたルーマ・サンプルrecPictureL[x][y]は、x,y=0..CtbSizeY-1として、次のようにフィルタリングされる
・filtIdx[x][y]によって指定されたフィルタに対応するルーマ・フィルタ係数の配列f[j]およびルーマ・クリッピング値の配列c[j]は、j=0..11として、次のように導出される:
Figure 0007454042000077
・ルーマ・フィルタ係数およびクリッピング値インデックスidxは、transposeIdx[x][y]に依存して、次のように導出される:
Figure 0007454042000078
・i,j=-3..3として、ルーマ・サンプルの所与の配列recPicture内の対応するルーマ・サンプル(x,y)のそれぞれについての位置(hx+i,vy+j)は次のように導出される:
Figure 0007454042000079
・変数applyVirtualBoundaryは次のように導出される:
・以下の条件のうちの一つまたは複数が真である場合、applyVirtualBoundaryは0に設定される:
・現在のコーディングツリー・ブロックの下部境界がピクチャーの下部境界である。
・現在のコーディングツリー・ブロックの下部境界はブリックの下部境界であり、loop_filter_across_bricks_enabled_flagは0に等しい。
・現在のコーディングツリー・ブロックの下部境界はスライスの下部境界であり、loop_filter_across_slices_enabled_flagは0に等しい。
・現在のコーディングツリー・ブロックの下部境界はサブピクチャーの下部境界であり、位置(hx,vy)におけるルーマ・サンプルを含むサブピクチャーについてのloop_filter_across_sub_pic_enabled_flag[SubPicIdx]は0に等しい。
・現在のコーディングツリー・ブロックの下部境界は、ピクチャーの下部仮想境界の1つであり、pps_loop_filter_across_virtual_boundries_disabled_flagは1に等しい。
・それ以外の場合、applyVirtualBoundaryは1に等しく設定される。]]
Figure 0007454042000080
・変数currは次のように導出される:
curr=recPictureL[hx,vy] (8-1203)
・変数sumは次のように導出される:
Figure 0007454042000081
・修正されたフィルタリングされた再構成されたルーマ・ピクチャー・サンプルalfPictureL[xCtb+x][yCtb+y]は、次のように導出される:
Figure 0007454042000082
Figure 0007454042000083
8.8.5.3 ルーマ・サンプルについてのALF転置およびフィルタ・インデックスについての導出プロセス
このプロセスの入力は以下の通り:
・現在ピクチャーの左上のサンプルに対して現在のルーマコーディングツリー・ブロックの左上のサンプルを指定するルーマ位置(xCtb,yCtb)、
・適応ループ・フィルタリング・プロセスの前の再構成されたルーマ・ピクチャー・サンプル・アレイrecPictureL
このプロセスの出力は以下の通り:
・x,y=0..CtbSizeY-1として、分類フィルタ・インデックス配列filtIdx[x][y]
・x,y=0..CtbSizeY-1として、転置インデックス配列transposeIdx[x][y]。
i,j=-2..5として、ルーマ・サンプルの所与の配列recPicture内の対応するルーマ・サンプル(x,y)のそれぞれの位置(hx+i,vy+j)は、次のように導出される:
・pps_loop_filter_across_virtual_boundaries_disabled_flagが1に等しく、PpsVirtualBoundariesPosX[n]%CtbSizeYが0に等しくなく、任意のn=0..pps_num_ver_virtual_boundies-1についてxCtb+x-PpsVirtualBoundariesPosX[n]が0以上2未満である場合、次が適用される:
hx+i=Clip3(PpsVirtualBoundariesPosX[n],pic_width_in_luma_samples-1,xCtb+x+i) (8-1208)
・それ以外の場合、pps_loop_filter_across_virtual_boundaries_disabled_flagが1に等しく、PpsVirtualBoundariesPosX[n]%CtbSizeYが0に等しくなく、任意のn=0..pps_num_ver_virtual_boundies-1についてPpsVirtualBoundariesPosX[n]-xCtb-xが0より大きく6より小さい場合、次が適用される:
hx+i=Clip3(0,PpsVirtualBoundariesPosX[n]-1,xCtb+x+i) (8-1209)
・それ以外の場合、次が適用される:
hx+i=Clip3(0,pic_width_in_luma_samples-1,xCtb+x+i) (8-1210)
・[[位置(hx,vy)におけるルーマ・サンプルを含むサブピクチャーのについてのloop_filter_across_sub_pic_enabled_flag[SubPicIdx]が0に等しい場合、次が適用される:
hx+i=Clip3(SubPicLeftBoundaryPos,SubPicRightBoundaryPos,hx+i) (8-1184)]]
・pps_loop_filter_across_virtual_boundaries_disabled_flagが1に等しく、PpsVirtualBoundariesPosY[n]%CtbSizeYが0に等しくなく、任意のn=0..pps_num_hor_virtual_boundies-1についてyCtb+y-PpsVirtualBoundariesPosY[n]が0以上2未満である場合、次が適用される:
vy+j=Clip3(PpsVirtualBoundariesPosY[n],pic_height_in_luma_samples-1,yCtb+y+j) (8-1211)
・それ以外の場合、pps_loop_filter_across_virtual_boundaries_disabled_flagが1に等しく、PpsVirtualBoundariesPosY[n]%CtbSizeYが0に等しくなく、PpsVirtualBoundariesPosY[n]-yCtb-yが0より大きく6未満である場合、次が適用される:
vy+j=Clip3(0,PpsVirtualBoundariesPosY[n]-1,yCtb+y+j) (8-1212)
・それ以外の場合、次が適用される:
・[[yCtb+CtbSizeYがpic_height_in_luma_samples以上である場合、次が適用される:]]
vy+j=Clip3(0,pic_height_in_luma_samples-1,yCtb+y+j) (8-1213)
・[[それ以外の場合、yがCtbSizeY-4より小さい場合、次が適用される:
vy+j=Clip3(0,yCtb+CtbSizeY-5,yCtb+y+j) (8-1214)
・それ以外の場合、次が適用される:
vy+j=Clip3(yCtb+CtbSizeY-4,pic_height_in_luma_samples-1,yCtb+y+j) (8-1215)
・位置(hx,vy)におけるルーマ・サンプルを含むサブピクチャーのについてのloop_filter_across_sub_pic_enabled_flag[SubPicIdx]が0に等しい場合、次が適用される:
vy+j=Clip3(SubPicTopBoundaryPos,SubPicBotBoundaryPos,vy+j) (8-1184)]]
・変数clipLeftPos、clipRightPos、clipTopPos、clipBottomPosは、ALF境界位置導出プロセスを(xCtb,yCtb)および(x,y)を用いて呼び出すことによって導出される。
・clipTopPosが-128に等しくない場合、次が適用される:
v y+j =Clip3(clipTopPos,pic_height_in_luma_samples-1,yCtb+y+j) (8-1213)
・clipBottomPosが-128に等しくない場合、次が適用される:
v y+j =Clip3(0,clipBottomPos-1,yCtb+y+j) (8-1213)
・clipLeftPosが-128に等しくない場合、次が適用される:
h x+i =Clip3(clipLeftPos,pic_width_in_luma_samples-1,xCtb+x+i) (8-1213)
・clipRightPosが-128に等しくない場合、次が適用される:
h x+i =Clip3(0,clipRightPos-1,xCtb+x+i) (8-1213)
分類フィルタ・インデックス・アレイfiltIdxおよび転置インデックス・アレイtransposeIdxは、以下の順序付けられたステップによって導出される:
1. x,y=-2..CtbSizeY+1として、変数filtH[x][y]、filtV[x][y]、filtD0[x][y]、およびfiltD1[x][y]は次のように導出される:
・xとyの両方が偶数であるか、またはxとyの両方が不均一な数である場合、次が適用される:
Figure 0007454042000084
・それ以外の場合は、filtH[x][y]、filtV[x][y]、filtD0[x][y]、filtD1[x][y]は0に等しく設定される。
2. [[変数minY、maxYおよびacは次のように導出される:
・(y<<2)が(CtbSizeY-8)に等しく、(yCtb+CtbSizeY)がpic_height_in_luma_samples-1より小さい場合、minYは-2に等しく設定され、maxYは3に等しく設定され、acは96に等しく設定される。
・それ以外の場合、(y<<2)が(CtbSizeY-4)に等しく、(yCtb+CtbSizeY)がpic_height_in_luma_samples-1より小さい場合、minYは0に等しく設定され、maxYは5に等しく設定され、acは96に等しく設定される。]]
3. x,y=0..(CtbSizeY-1)>>2として、変数sumH[x][y]、sumV[x][y]、sumD0[x][y]、sumD1[x][y]、sumOfHV[x][y]は、次のように導出される:
・変数minYおよびmaxYは次のように導出される:
・clipTopPosが-128に等しくなく、clipBottomPosが-128に等しい場合は、次が適用される:
■(y<<2)がclipTopPosに等しい場合、minYは0に等しく、maxYは5に等しく設定される。
・それ以外の場合、clipTopPosが-128に等しく、clipBottomPosが-128に等しくない場合は、次が適用される:
■(y<<2)が(clipBottomPos-4)に等しい場合、minYは-2に等しく設定され、maxYは3に等しく設定される。
・それ以外の場合、clipTopPosが-128に等しくなく、clipBottomPosが-128に等しくない場合は、次が適用される:
■minYは0に等しく設定され、maxYは3に等しく設定される。
・それ以外の場合、minYは-2に等しく設定され、maxYは5に等しく設定され[[acは64に等しく設定され]]る。
・変数minX、maxXおよびacは、次のように導出される:
・clipLeftPosが-128に等しくない場合は、次が適用される:
■(x<<2)がclipLeftPosに等しい場合、minXは0に等しく設定され、maxXは5に等しく設定される。
・それ以外の場合、clipRightPosが-128と等しくない場合、次が適用される:
■(x<<2)が(clipRightPos-4)に等しい場合、minXは-2に等しく設定され、maxXは3に等しく設定される。
・それ以外の場合、minXは-2に等しく設定され、maxXは5に等しく設定される。
・変数acは次のように導出される:
Figure 0007454042000085
・[[変数sumH[x][y]、sumV[x][y]、sumD0[x][y]、sumD1[x][y]、sumOfHV[x][y]は、x、y=0..(CtbSizeY-1)>>2として、次のように導出される:]]
Figure 0007454042000086
4. 変数dir1[x][y]、dir2[x][y]およびdirS[x][y]は、x,y=0..CtbSizeY-1として、次のように導出される:
Figure 0007454042000087
5. 変数avgVar[x][y]は、x,y=0..CtbSizeY-1として、次のように導出される:
varTab[]={0,1,2,2,2,2,2,3,3,3,3,3,3,3,3,4} (8-1242)
avgVar[x][y]=varTab[Clip3(0,15,(sumOfHV[x>>2][y>>2]*ac)>>(3+BitDepthY))] (8-1243)
6. 分類フィルタ・インデックス配列filtIdx[x][y]および転置インデックス配列transposeIdx[x][y]は、x=y=0..CtbSizeY-1として、次のように導出される:
transposeTable[ ]={0,1,0,2,2,3,1,3}
transposeIdx[x][y]=transposeTable[dir1[x][y]*2+(dir2[x][y]>>1)]
filtIdx[x][y]=avgVar[x][y]
dirS[x][y]が0に等しくない場合、filtIdx[x][y]は次のように修正される:
filtIdx[x][y]+=(((dir1[x][y]&0x1)<<1)+dirS[x][y])*5 (8-1244)
8.8.5.4 クロマ・サンプルについてのコーディングツリー・ブロックフィルタリング・プロセス
このプロセスの入力は以下の通り:
・適応ループ・フィルタリング・プロセスの前の再構成されたクロマ・ピクチャー・サンプル・アレイrecPicture、
・フィルタリングされた再構成されたクロマ・ピクチャー・サンプル・アレイalfPicture、
・現在ピクチャーの左上のサンプルに対して現在のクロマコーディングツリー・ブロックの左上のサンプルを指定するクロマ位置(xCtbC,yCtbC)。
このプロセスの出力は、修正されたフィルタリングされた再構成されたクロマ・ピクチャー・サンプル・アレイalfPictureである。
現在のクロマコーディングツリー・ブロックの幅および高さctbWidthCおよびctbHeightCは、次のように導出される:
ctbWidthC=CtbSizeY/SubWidthC (8-1245)
ctbHeightC=CtbSizeY/SubHeightC (8-1246)
フィルタリングされた再構成されたクロマ・サンプルalfPicture[x][y]の導出のために、現在のクロマコーディングツリー・ブロック内の各再構成されたクロマ・サンプルrecPicture[x][y]は、x=0..ctbWidthC-1、y=0..ctbHeightC-1として、次のようにフィルタリングされる:
・i,j=-2..2として、クロマ・サンプルの所与の配列recPicture内の対応する各クロマ・サンプル(x,y)についての位置(hx+i,vy+j)は、次のように導出される:
・pps_loop_filter_across_virtual_boundaries_disabled_flagが1に等しく、PpsVirtualBoundariesPosX[n]%CtbSizeYが0に等しくなく、任意のn=0..pps_num_ver_virtual_boundaries-1についてxCtbC+x-PpsVirtualBoundariesPosX[n]/SubWidthCが0以上2未満である場合、次が適用される:
hx+i=Clip3(PpsVirtualBoundariesPosX[n]/SubWidthC,pic_width_in_luma_samples/SubWidthC-1,xCtbC+x+i) (8-1247)
・それ以外の場合、pps_loop_filter_across_virtual_boundaries_disabled_flagが1に等しく、PpsVirtualBoundariesPosX[n]%CtbSizeYが0に等しく、任意のn=0..pps_num_ver_virtual_boundaries-1についてPpsVirtualBoundariesPosX[n]/SubWidthC-xCtbC-xが0より大きく3より小さい場合、次が適用される:
hx+i=Clip3(0,PpsVirtualBoundariesPosX[n]/SubWidthC-1,xCtbC+x+i) (8-1248)
・それ以外の場合、次が適用される:
hx+i=Clip3(0,pic_width_in_luma_samples/SubWidthC-1,xCtbC+x+i) (8-1249)
・[[位置(hx,hy)におけるルーマ・サンプルを含むサブピクチャーについてのloop_filter_across_sub_pic_enabled_flag[SubPicIdx]が0に等しい場合、次が適用される:
hx+i=Clip3(SubPicLeftBoundaryPos/SubWidthC,SubPicRightBoundaryPos/SubWidthC,h{x+i}) (8-1184)]]
・pps_loop_filter_across_virtual_boundaries_disabled_flagが1に等しく、PpsVirtualBoundariesPosY[n]%CtbSizeYが0に等しくなく、任意のn=0..pps_num_hor_virtual_boundaries-1についてyCtbC+y-PpsVirtualBoundariesPosY[n]/SubHeightCが0以上2未満である場合、次が適用される:
vy+j=Clip3(PpsVirtualBoundariesPosY[n]/SubHeightC,pic_height_in_luma_samples/SubHeightC-1,yCtbC+y+j) (8-1250)
・それ以外の場合、pps_loop_filter_across_virtual_boundaries_disabled_flagが1に等しく、PpsVirtualBoundariesPosY[n]%CtbSizeYが0に等しくなく、任意のn=0..pps_num_hor_virtual_boundaries-1についてPpsVirtualBoundariesPosY[n]/SubHeightC-yCtbC-yが0より大きく3より小さい場合、次が適用される:
vy+j=Clip3(0,PpsVirtualBoundariesPosY[n]/SubHeightC-1,yCtbC+y+j) (8-1251)
・それ以外の場合、次が適用される:
vy+j=Clip3(0,pic_height_in_luma_samples/SubHeightC-1,yCtbC+y+j) (8-1252)
・[[位置(hx,hy)におけるルーマ・サンプルを含むサブピクチャーについてのloop_filter_across_sub_pic_enabled_flag[SubPicIdx]が0に等しい場合、次が適用される:
vy+j=Clip3(SubPicTopBoundaryPos/SubWidthC,SubPicBotBoundaryPos/SubWidthC,vy+j) (8-1184)
・変数applyVirtualBoundaryは次のように導出される:
・以下の条件のうち一つまたは複数が真の場合、applyVirtualBoundaryは0に等しく設定される:
・現在のコーディングツリー・ブロックの下部境界がピクチャーの下部境界である。
・現在のコーディングツリー・ブロックの下部境界がブリックの下部境界であり、loop_filter_across_bricks_enabled_flagが0に等しい。
・現在のコーディングツリー・ブロックの下部境界がスライスの下部境界であり、loop_filter_across_slices_enabled_flagが0に等しい。
・現在のコーディングツリー・ブロックの下部境界がサブピクチャーの下部境界であり、位置(hx,vy)におけるルーマ・サンプルを含むサブピクチャーのについてのloop_filter_across_sub_pic_enabled_flag[SubPicIdx]が0に等しい。
・現在のコーディングツリー・ブロックの下部境界は、ピクチャーの下部の仮想境界の1つであり、pps_loop_filter_across_virtual_boundries_disabled_flagが1に等しい。
・それ以外の場合、applyVirtualBoundaryは1に等しく設定される。]]
・変数clipLeftPos、clipRightPos、clipTopPos、clipBottomPosは、(xCtbC*SubWidthC,yCtbC*SubWidthC)および(x*SubWidthC,y*SubWidthC)を入力として、ルーマ・サンプルについての水平境界位置導出プロセスを呼び出すことによって導出される。
・変数clipLeftPosは、clipLeftPos/SubWidthCに等しく設定される。
・変数clipRightPosは、clipRightPos/SubWidthCに等しく設定される。
・変数clipTopPosは、clipTopPos/SubWidthCに等しく設定される。
・変数clipBottomPosは、clipBottomPos/SubWidthCに等しく設定される。
・再構成されたサンプル・オフセットr1およびr2は、[[水平ルーマ]]垂直クロマ・サンプル位置y、clipTopPosおよびclipBottomPos[[およびapplyVirtualBoundary]]に従ってテーブル8-27において指定される。
・サンプル位置オフセットc1およびc2は、水平クロマ・サンプル位置x、cxlipLeftPosおよびclipRightPosに従ってテーブル8-28において指定される。
・変数currは次のように導出される:
curr=recPicture[hx,vy] (8-1253)
・クロマ・フィルタ係数の配列f[j]とクロマ・クリッピング値の配列c[j]は、j=0..5として、次のように導出される:
f[j]=AlfCoeffC[slice_alf_aps_id_chroma][j] (8-1254)
c[j]=AlfClipC[slice_alf_aps_id_chroma][j] (8-1255)
・変数sumは次のように導出される:
Figure 0007454042000088
・修正されたフィルタリングされた再構成されたクロマ・ピクチャー・サンプルalfPicture[xCtbC+x][yCtbC+y]は、以下のように導出される:
・pcm_loop_filter_disabled_flagおよびpcm_flag[(xCtbC+x)*SubWidthC][(yCtbC+y)*SubHeightC]が両方とも1に等しい場合、次が適用される:
alfPicture[xCtbC+x][yCtbC+y]=recPictureL[hx,vy] (8-1258)
・それ以外の場合(pcm_loop_filter_disabled_flagが0に等しい、またはpcm_flag[x][y]が0に等しい)、次が適用される:
alfPicture[xCtbC+x][yCtbC+y]=Clip3(0,(1<<BitDepthC)-1,sum) (8-1259)
Figure 0007454042000089
8.8.5.5 ALF境界位置導出プロセス
このプロセスの入力は以下の通り:
・現在のピクチャーの左上のサンプルに対する現在のルーマコーディングツリー・ブロックの左上のサンプルを指定するルーマ位置(xCtb,yCtb)。
・現在のルーマコーディングツリー・ブロックの左上のサンプルに対して現在のサンプルを指定するルーマ位置(x,y)。
このプロセスの出力は以下の通り:
・左垂直境界位置clipLeftPos
・右垂直境界位置clipRightPos
・上水平境界位置clipTopPos
・下水平境界位置clipBottomPos
変数clipLeftPos、clipRightPos、clipTopPos、clipBottomPosは-128に設定される。
変数clipTopPosは次のように修正される:
・現在のコーディングツリー・ブロックの下部境界がピクチャーの下部境界ではなく、y-(CtbSizeY-4)が0以上である場合、変数clipTopPosはyCtb+CtbSizeY-4に等しく設定される。
・それ以外の場合、pps_loop_filter_across_virtual_boundaries_disabled_flagが1に等しく、PpsVirtualBoundariesPosY[n]%CtbSizeYが0に等しく、yCtb+y-PpsVirtualBoundariesPosY[n]が任意のn=0..pps_num_hor_virtual_boundaries-1について0以上3未満である場合、次が適用される:
clipTopPos=PpsVirtualBoundariesPosY[n] (8-1201)
・それ以外の場合、yが3未満であり、現在のコーディングツリー・ブロックの上部境界がピクチャーの上部境界ではなく、次の条件のいずれかが真である場合、変数clipTopPosはyCtbに等しく設定される:
・現在のコーディングツリー・ブロックの上部境界がブリックの上部境界である場合、loop_filter_across_bricks_enabled_flagは0に等しい。
・現在のコーディングツリー・ブロックの上部境界がスライスの上部境界である場合、loop_filter_across_slices_enabled_flagは0に等しい。
・現在のコーディングツリー・ブロックの上部境界が、サブピクチャーの上部境界に等しい場合、loop_filter_across_sub_pic_enabled_flagは0に等しい。
変数clipBottomPosは次のように修正される:
・現在のコーディングツリー・ブロックの下部境界がピクチャーの下部境界ではなく、CtbSizeY-4-yが0より大きく4より小さい場合、変数clipBottomPosはyCtb+CtbSizeY-4に等しく設定される。
・それ以外の場合、pps_loop_filter_across_virtual_boundaries_disabled_flagが1に等しく、PpsVirtualBoundariesPosY[n]%CtbSizeYが0に等しく、PpsVirtualBoundariesPosY[n]-yCtb-yが任意のn=0..pps_num_hor_virtual_boundaries-1について0より大きく4より小さい場合、次が適用される:
clipBottomPos=PpsVirtualBoundariesPosY[n] (8-1201)
・それ以外の場合、CtbSizeY-yが4未満であり、現在のコーディングツリー・ブロックの下部境界がピクチャーの下部境界ではなく、次の条件のうちの1つが真である場合、変数clipBottomPosはyCtb+CtbSizeYに等しく設定される。
・現在のコーディングツリー・ブロックの下部境界がブリックの下部境界であり、loop_filter_across_bricks_enabled_flagが0に等しい場合。
・現在のコーディングツリー・ブロックの下部境界がスライスの下部境界であり、loop_filter_across_slices_enabled_flagが0に等しい場合。
・現在のコーディングツリー・ブロックの下部境界がサブピクチャーの下部境界であり、loop_filter_across_sub_pic_enabled_flagが0に等しい場合。
変数clipLeftPosは次のように修正される:
・pps_loop_filter_across_virtual_boundaries_disabled_flagが1に等しく、PpsVirtualBoundariesPosX[n]%CtbSizeYは0に等しく、xCtb+x-PpsVirtualBoundariesPosX[n]は任意のn=0..pps_num_ver_virtual_boundaries-1について0以上3未満である場合、次が適用される:
clipLeftPos=PpsVirtualBoundariesPosX[n] (8-1201)
・それ以外の場合、xが3未満であり、現在のコーディングツリー・ブロックの左境界がピクチャーの左境界ではなく、次の条件のうち一つまたは複数が真である場合、変数clipLeftPosはxCtbに等しく設定される。
・現在のコーディングツリー・ブロックの左境界がブリックの左境界であり、loop_filter_across_bricks_enabled_flagが0に等しい場合。
・現在のコーディングツリー・ブロックの左境界がスライスの左境界であり、loop_filter_across_slices_enabled_flagが0に等しい場合。
・現在のコーディングツリー・ブロックの左境界がサブピクチャーの左境界であり、loop_filter_across_sub_pic_enabled_flagが0に等しい場合。
変数clipRightPosは次のように修正される:
・pps_loop_filter_across_virtual_boundaries_disabled_flagが1に等しく、PpsVirtualBoundariesPosX[n]%CtbSizeYは0に等しく、PpsVirtualBoundariesPosX[n]-xCtb-xは任意のn=0..pps_num_ver_virtual_boundaries-1について0より大きく4より小さい場合、次が適用される:
clipRightPos=PpsVirtualBoundariesPosX[n] (8-1201)
・それ以外の場合、CtbSizeY-xが4未満であり、現在のコーディングツリー・ブロックの右境界がピクチャーの右境界ではなく、次の条件のうちの一つまたは複数が真である場合、変数clipRightPosはxCtb+CtbSizeYに等しく設定される。
・現在のコーディングツリー・ブロックの右境界がブリックの右境界であり、loop_filter_across_bricks_enabled_flagが0に等しい場合。
・現在のコーディングツリー・ブロックの右境界がスライスの右境界であり、loop_filter_across_slices_enabled_flagが0に等しい場合。
・現在のコーディングツリー・ブロックの右境界がサブピクチャーの右境界であり、loop_filter_across_sub_pic_enabled_flagが0に等しい場合。
上記の実施形態で使用される具体的な値-128は、-Kのような他の値で置き換えることができ、ここで、Kは、CTU下部境界からシフトされたラインの数より大きい、または小さくない(たとえば、K=-5)。
あるいはまた、各サンプルがビデオ単位の境界に配置されている場合、各サンプルが異なる仕方で処理される必要があるかどうかをマークするために、1つのフラグが使用されてもよい。
5.10 実施形態#10
8.8.5.2 ルーマ・サンプルについてのコーディングツリー・ブロック・フィルタリング・プロセス
このプロセスの入力は以下の通り:
・適応ループ・フィルタリング・プロセスの前の再構成されたルーマ・ピクチャー・サンプル・アレイrecPictureL
・フィルタ処理され再構成されたルーマ・ピクチャー・サンプル・アレイalfPictureL
・現在ピクチャーの左上のサンプルに対して現在のルーマコーディングツリー・ブロックの左上のサンプルを指定するルーマ位置(xCtb,yCtb)。
このプロセスの出力は、修正されたフィルタリングされた再構築されたルーマ・ピクチャー・サンプル・アレイalfPictureLである。
節8.8.5.3のフィルタ・インデックスについての導出プロセスが呼び出される。位置(xCtb,yCtb)と再構成されたルーマ・ピクチャー・サンプル・アレイrecPictureLが入力とされ、x,y=0..CtbSizeY-1としてfiltIdx[x][y]およびtransposeIdx[x][y]が出力である。
フィルタリングされた再構成されたルーマ・サンプルalfPictureL[x][y]の導出のために、現在のルーマコーディングツリー・ブロック内の各再構成されたルーマ・サンプルrecPictureL[x][y]は、x,y=0..CtbSizeY-1として、次のようにフィルタリングされる
……
・i,j=-3..3として、ルーマ・サンプルの所与の配列recPicture内の対応するルーマ・サンプル(x,y)のそれぞれについての位置(hx+i,vy+j)は次のように導出される:
・pps_loop_filter_across_virtual_boundaries_disabled_flagが1に等しく、PpsVirtualBoundariesPosX[n]%CtbSizeYが0に等しくなく、任意のn=0..pps_num_ver_virtual_boundaries-1について、xCtb+x-PpsVirtualBoundariesPosX[n]が0以上3未満である場合:
hx+i=Clip3(PpsVirtualBoundariesPosX[n],pic_width_in_luma_samples-1,xCtb+x+i) (8-1229)
・それ以外の場合、pps_loop_filter_across_virtual_boundaries_disabled_flagが1に等しく、PpsVirtualBoundariesPosX[n]%CtbSizeYが0に等しくなく、任意のn=0..pps_num_ver_virtual_boundaries-1について、PpsVirtualBoundariesPosX[n]-xCtb-xが0より大きく4未満である場合:
hx+i=Clip3(0,PpsVirtualBoundariesPosX[n]-1,xCtb+x+i) (8-1230)
・それ以外の場合は、次が適用される:
hx+i=Clip3(0,pic_width_in_luma_samples-1,xCtb+x+i) (8-1231)
・pps_loop_filter_across_virtual_boundaries_disabled_flagが1に等しく、かつPpsVirtualBoundariesPosY[n]%CtbSizeYが0に等しくなく、かつ任意のn=0..pps_num_hor_virtual_boundaries-1について、yCtb+y-PpsVirtualBoundariesPosY[n]が0以上3未満である場合、次が適用される:
vy+j=Clip3(PpsVirtualBoundariesPosY[n],pic_height_in_luma_samples-1,yCtb+y+j) (8-1232)
・それ以外の場合、pps_loop_filter_across_virtual_boundaries_disabled_flagが1に等しく、PpsVirtualBoundariesPosY[n]%CtbSizeYが0に等しくなく、任意のn=0..pps_num_hor_virtual_bourdariesについてPpsVirtualBoundariesPosY[n]-yCtb-yが0より大きく4未満である場合、次が適用される:
vy+j=Clip3(0,PpsVirtualBoundariesPosY[n]-1,yCtb+y+j) (8-1233)
・それ以外の場合、次が適用される:
vy+j=Clip3(0,pic_height_in_luma_samples-1,yCtb+y+j) (8-1234)
・変数clipLeftPos、clipRightPos、clipTopPos、clipBottomPos、clipTopLeftFlag、clipTopRightFlag、clipBottomLeftFlag、clipBottomRightFlagは、8.8.5.5項で指定したALF境界位置導出プロセスを(xCtb,yCtb)と(x,y)を入力として呼び出すことにより導出される。
Figure 0007454042000090
・垂直サンプル位置オフセットy1、y2、y3は、垂直ルーマ・サンプル位置y、clipLeftPos、clipRightPosに従ってテーブル8-20において指定される。
・水平サンプル位置オフセットx1、x2、x3は、水平ルーマ・サンプル位置x、clipLeftPos、およびclipRightPosに応じてテーブル8-21において指定される。
……
8.8.5.3 ルーマ・サンプルについてのALF転置およびフィルタ・インデックスについての導出プロセス
このプロセスの入力は以下の通り:
・現在のピクチャーの左上のサンプルに対する現在のルーマコーディングツリー・ブロックの左上のサンプルを指定するルーマ位置(xCtb,yCtb)
・適応ループ・フィルタリング・プロセスの前の再構成されたルーマ・ピクチャー・サンプルアレイrecPictureL
このプロセスの出力は以下の通り:
・x,y=0..CtbSizeY-1として、分類フィルタ・インデックス配列filtIdx[x][y]
・x,y=0..CtbSizeY-1として、転置インデックス配列transposeIdx[x][y]
i,j=-2..5として、ルーマ・サンプルの所与の配列recPicture内の対応するルーマサンプル(x,y)のそれぞれの位置(hx+i,vy+j)は、次のように導出される:
・pps_loop_filter_across_virtual_boundaries_disabled_flagが1に等しく、PpsVirtualBoundariesPosX[n]%CtbSizeYが0に等しくなく、xCtb+x-PpsVirtualBoundariesPosX[n]が0以上2未満である場合、任意のn=0..pps_num_ver_virtual_boundaries-1について、次が適用される:
hx+i=Clip3(PpsVirtualBoundariesPosX[n],pic_width_in_luma_samples-1,xCtb+x+i) (8-1239)
・それ以外の場合で、pps_loop_filter_across_virtual_boundaries_disabled_flagが1に等しく、PpsVirtualBoundariesPosX[n]%CtbSizeYが0に等しくなく、PpsVirtualBoundariesPosX[n]-xCtbが0より大きく6未満である場合、任意のn=0..pps_num_ver_virtual_boundaries-1について、次が適用される:
hx+i=Clip3(0,PpsVirtualBoundariesPosX[n]-1,xCtb+x+i) (8-1240)
・それ以外の場合、次が適用される:
hx+i=Clip3(0,pic_width_in_luma_samples-1,xCtb+x+i) (8-1241)
・pps_loop_filter_across_virtual_boundaries_disabled_flagが1に等しく、PpsVirtualBoundariesPosY[n]%CtbSizeYが0に等しくなく、yCtb+y-PpsVirtualBoundariesPosY[n]が0以上2未満である場合、任意のn=0..pps_num_hor_virtual_boundaries-1について、次が適用される:
vy+j=Clip3(PpsVirtualBoundariesPosY[n],pic_height_in_luma_samples-1,yCtb+y+j) (8-1242)
・それ以外の場合で、pps_loop_filter_across_virtual_boundaries_disabled_flagが1に等しく、PpsVirtualBoundariesPosY[n]%CtbSizeYが0に等しくなく、PpsVirtualBoundariesPosY[n]-yCtb-yが0より大きく6未満である場合、任意のn=0..pps_num_hor_virtual_boundaries-1について、次が適用される:
vy+j=Clip3(0,PpsVirtualBoundariesPosY[n]-1,yCtb+y+j) (8-1243)
・それ以外の場合、次が適用される:
vy+j=Clip3(0,pic_height_in_luma_samples-1,yCtb+y+j) (8-1244)
・変数clipLeftPos、clipRightPos、clipTopPos、clipBottomPos、clipTopLeftFlag、clipTopRightFlag、clipBottomLeftFlag、clipBottomRightFlagは、8.8.5.5項で指定したALF境界位置導出プロセスを(xCtb,yCtb)と(x,y)を入力として呼び出すことにより導出される。
・clipTopPosが-128に等しくない場合は、次が適用される:
vy+j=Clip3(clipTopPos,pic_height_in_luma_samples-1,yCtb+y+j) (8-1245)
・clipBottomPosが-128に等しくない場合は、次が適用される:
vy+j=Clip3(0,clipBottomPos-1,yCtb+y+j) (8-1246)
・clipLeftPosが-128に等しくない場合は、次が適用される:
hx+i=Clip3(clipLeftPos,pic_width_in_luma_samples-1,xCtb+x+i) (8-1247)
・clipRightPosが-128と等しくない場合は、次が適用される:
hx+i=Clip3(0,clipRightPos-1,xCtb+x+i) (8-1248)
・clipTopLeftFlagが真(true)に等しい場合、(h x+i <xCtb)&&(v y+j <yCtb)であれば、次が適用される:
h x+i =xCtb (8-1245)
v y+j =yCtb (8-1245)
・clipTopRightFlagが真に等しい場合、(h x+i >=xCtb+CtbLog2SizeY)&&(v y+j <yCtb)であれば、次が適用される:
h x+i =xCtb+CtbLog2SizeY-1 (8-1245)
v y+j =yCtb (8-1245)
・clipBottomLeftFlagが真に等しい場合、(h x+i <xCtb)&&(v y+j >=yCtb+CtbLog2SizeY)であれば、次が適用される:
h x+i =xCtb (8-1245)
v y+j =yCtb+CtbLog2SizeY-1 (8-1245)
・clipBottomRightFlagが真に等しい場合、(h x+i >=xCtb+CtbLog2SizeY)&&(v y+j >=yCtb+CtbLog2SizeY)であれば、次が適用される:
h x+i =xCtb+CtbLog2SizeY-1 (8-1245)
v y+j =yCtb+CtbLog2SizeY-1 (8-1245)
分類フィルタ・インデックス・アレイfiltIdxおよび転置インデックス・アレイtransposeIdxは、以下の順序付けられたステップによって導出される:
1. x,y=-2..CtbSizeY+1として、変数filtH[x][y]、filtV[x][y]、filtD0[x][y]、およびfiltD1[x][y]は次のように導出される:
・xとyの両方が偶数であるか、xとyの両方が偶数ではない場合、次が適用される:
Figure 0007454042000091
・それ以外の場合、filtH[x][y]、filtV[x][y]、filtD0[x][y]、filtD1[x][y]は0に設定される。
……
8.8.5.4 クロマ・サンプルについてのコーディングツリー・ブロック・フィルタリング・プロセス
このプロセスの入力は以下の通り:
・適応ループ・フィルタリング・プロセスの前の再構成されたクロマ・ピクチャー・サンプル・アレイrecPicture、
・フィルタリングされた再構成されたクロマ・ピクチャー・サンプル・アレイalfPicture、
・現在ピクチャーの左上のサンプルに対して現在のクロマコーディングツリー・ブロックの左上のサンプルを指定するクロマ位置(xCtbC,yCtbC)。
このプロセスの出力は、修正されたフィルタリングされた再構成されたクロマ・ピクチャー・サンプル・アレイalfPictureである。
現在のクロマコーディングツリー・ブロックの幅および高さctbWidthCおよびctbHeightCは、次のように導出される:
ctbWidthC=CtbSizeY/SubWidthC (8-1278)
ctbHeightC=CtbSizeY/SubHeightC (8-1279)
フィルタ処理された再構成されたクロマ・サンプルalfPicture[x][y]の導出のために、現在のクロマコーディングツリー・ブロック内の各再構成されたクロマ・サンプルrecPicture[x][y]は、x=0..ctbWidthC-1、y=0..ctbHeightC-1として、次のようにフィルタリングされる:
・i,j=-2..2として、クロマ・サンプルの所与の配列recPicture内の対応する各クロマ・サンプル(x,y)についての位置(hx+i,vy+j)は、次のように導出される:
・pps_loop_filter_across_virtual_boundaries_disabled_flagが1に等しく、PpsVirtualBoundariesPosX[n]%CtbSizeYが0に等しくなく、xCtbC+x-PpsVirtualBoundariesPosX[n]/SubWidthCが0以上2未満である場合、任意のn=0..pps_num_ver_virtual_boundaries-1について、次が適用される:
hx+i=Clip3(PpsVirtualBoundariesPosX[n]/SubWidthC,
pic_width_in_luma_samples/SubWidthC-1,xCtbC+x+i) (8-1280)
・それ以外の場合で、pps_loop_filter_across_virtual_boundaries_disabled_flagが1に等しく、PpsVirtualBoundariesPosX[n]%CtbSizeYが0に等しくなく、PpsVirtualBoundariesPosX[n]/SubWidthC-xCtbC-xが0より大きく3未満である場合、任意のn=0..pps_num_ver_virtual_boundaries-1について、次が適用される:
hx+i=Clip3(0,PpsVirtualBoundariesPosX[n]/SubWidthC-1,xCtbC+x+i) (8-1281)
・それ以外の場合は、次が適用される:
hx+i=Clip3(0,pic_width_in_luma_samples/SubWidthC-1,xCtbC+x+i) (8-1282)
・pps_loop_filter_across_virtual_boundaries_disabled_flagが1に等しく、PpsVirtualBoundariesPosY[n]%CtbSizeYが0に等しくなく、yCtbC+y-PpsVirtualBoundariesPosY[n]/SubHeightCが0以上2未満である場合、任意のn=0..pps_num_hor_virtual_boundaries-1について、次が適用される:
vy+j=Clip3(PpsVirtualBoundariesPosY[n]/SubHeightC,
pic_height_in_luma_samples/SubHeightC-1,yCtbC+y+j) (8-1283)
・それ以外の場合で、pps_loop_filter_across_virtual_boundaries_disabled_flagが1に等しく、PpsVirtualBoundariesPosY[n]%CtbSizeYが0に等しくなく、PpsVirtualBoundariesPosY[n]/SubHeightC-yCtbC-yが0より大きく3より小さい場合、任意のn=0..pps_num_hor_virtual_boundaries-1について、次が適用される:
vy+j=Clip3(0,PpsVirtualBoundariesPosY[n]/SubHeightC-1,yCtbC+y+j) (8-1284)
・それ以外の場合は、次が適用される:
vy+j=Clip3(0,pic_height_in_luma_samples/SubHeightC-1,yCtbC+y+j) (8-1285)
・変数clipLeftPos、clipRightPos、clipTopPos、clipBottomPos、clipTopLeftFlag、clipTopRightFlag、clipBottomLeftFlag、clipBottomRightFlagは、(xCtbC*SubWidthC,yCtbC*SubHeightC)と(x*SubWidthC,y*SubHeightC)を入力として、8.8.5.5節に規定されたALF境界位置導出プロセスを呼び出すことによって導出される。
・clipTopLeftFlagが真に等しい場合、(h x+i <xCtbC)&&(v y+j <yCtbC)であれば、次が適用される:
h x+i =xCtbC (8-1245)
v y+j =yCtbC (8-1245)
・clipTopRightFlagが真に等しい場合、(h x+i >=xCtbC+CtbLog2SizeY/SubWidthC)&&(v y+j <yCtbC)であれば、次が適用される:
h x+i =xCtbC+CtbLog2SizeY/SubWidthC-1 (8-1245)
v y+j =yCtbC (8-1245)
・clipBottomLeftFlagが真に等しい場合、(h x+i <xCtbC)&&(v y+j >=yCtbC+CtbLog2SizeY/SubHeightC)であれば、次が適用される:
h x+i =xCtbC (8-1245)
v y+j =yCtbC+CtbLog2SizeY/SubHeightC-1 (8-1245)
・clipBottomRightFlagが真に等しい場合、(h x+i >=xCtbC+CtbLog2SizeY/SubWidthC)&&(v y+j >=yCtbC+CtbLog2SizeY/SubHeightCであれば、次が適用される:
h x+i =xCtbC+CtbLog2SizeY/SubWidthC-1 (8-1245)
v y+j =yCtbC+CtbLog2SizeY/SubHeightC-1 (8-1245)
・変数clipLeftPosはclipLeftPos/SubWidthCに等しく設定される。
・変数clipRightPosは、clipRightPos/SubWidthCに等しく設定される。
・変数clipTopPosはclipTopPos/SubHeightCに等しく設定される。
・変数clipBottomPosはclipBottomPos/SubHeightCに等しく設定される。
……
8.5.5.5 ALF境界位置導出プロセス
このプロセスの入力は以下の通り:
・現在のピクチャーの左上のサンプルに対する現在のルーマコーディングツリー・ブロックの左上のサンプルを指定するルーマ位置(xCtb,yCtb)
・現在のルーマコーディングツリー・ブロックの左上のサンプルに対して現在のサンプルを指定するルーマ位置(x,y)。
このプロセスの出力は以下の通り;
・左垂直境界位置clipLeftPos、
・右垂直境界位置clipRightPos、
・上水平境界位置clipTopPos、
・下水平境界位置clipBottomPos
・左上境界フラグclipTopLeftFlag
・右上境界フラグclipTopRightFlag
・左下境界フラグclipBottomLeftFlag
・右下境界フラグclipBottomRightFlag
変数clipLeftPos、clipRightPos、clipTopPos、clipBottomPosは-128に等しく設定される。
変数clipTopLeftFlag、clipTopRightFlag、clipBottomLeftFlag、clipBottomRightFlagは偽(false)に等しく設定される。
変数clipTopPosは次のように修正される:
・現在のコーディングツリー・ブロックの下部境界がピクチャーの下部境界ではなく、y-(CtbSizeY-4)が0以上の場合、変数clipTopPosはyCtb+CtbSizeY-4に等しく設定される。
・それ以外の場合で、pps_loop_filter_across_virtual_boundaries_disabled_flagが1に等しく、PpsVirtualBoundariesPosY[n]%CtbSizeYが0に等しく、yCtb+y-PpsVirtualBoundariesPosY[n]が0以上3未満である場合、任意のn=0..pps_num_hor_virtual_boundaries-1について、次が適用される:
clipTopPos=PpsVirtualBoundariesPosY[n] (8-1292)
・それ以外の場合、yが3未満で、現在のコーディングツリー・ブロックの上部境界がピクチャーの上部境界ではなく、次の条件のうちの一つまたは複数が真である場合、変数clipTopPosはyCtbに等しく設定される:
・現在のコーディングツリー・ブロックの上部境界がブリックの上部境界であり、loop_filter_across_bricks_enabled_flagが0に等しい場合、
・現在のコーディングツリー・ブロックの上部境界がスライスの上部境界であり、loop_filter_across_slices_enabled_flagが0に等しい場合、
・現在のコーディングツリー・ブロックの上部境界がサブピクチャーの上部境界であり、loop_filter_across_subpic_enabled_flag[SubPicIdx]が0に等しい場合。
変数clipBottomPosは次のように修正される:
・現在のコーディングツリー・ブロックの下部境界がピクチャーの下部境界ではなく、CtbSizeY-4-yが0より大きく4より小さい場合、変数clipBottomPosはyCtb+CtbSizeY-4に等しく設定される。
・それ以外の場合で、pps_loop_filter_across_virtual_boundaries_disabled_flagが1に等しく、PpsVirtualBoundariesPosY[n]%CtbSizeYが0に等しく、PpsVirtualBoundariesPosY[n]がpic_height_in_luma_samples-1もしくは0に等しくなく、PpsVirtualBoundariesPosY[n]-yCtb-yが0より大きく4より小さい場合、任意のn=0..pps_num_hor_virtual_boundaries-1について、次が適用される:
clipBottomPos=PpsVirtualBoundariesPosY[n] (8-1293)
・それ以外の場合で、CtbSizeY-yが4未満であり、現在のコーディングツリー・ブロックの下部境界がピクチャーの下部境界ではなく、次の条件のうちの一つまたは複数が真である場合、変数clipBottomPosはyCtb+CtbSizeYに等しく設定される:
・現在のコーディングツリー・ブロックの下部境界がブリックの下部境界であり、loop_filter_across_bricks_enabled_flagが0に等しい場合。
・現在のコーディングツリー・ブロックの下部境界がスライスの下部境界であり、loop_filter_across_slices_enabled_flagが0に等しい場合。
・現在のコーディングツリー・ブロックの下部境界がサブピクチャーの下部境界であり、loop_filter_across_subpic_enabled_flag[SubPicIdx]が0に等しい場合。
変数clipLeftPosは次のように修正される:
・pps_loop_filter_across_virtual_boundaries_disabled_flagが1に等しく、PpsVirtualBoundariesPosX[n]%CtbSizeYが0に等しく、xCtb+x-PpsVirtualBoundariesPosX[n]が0以上3未満である場合、任意のn=0..pps_num_ver_virtual_boundaries-1について、次が適用される:
clipLeftPos=PpsVirtualBoundariesPosX[n] (8-1294)
・それ以外の場合で、xが3より小さく、現在のコーディングツリー・ブロックの左境界はピクチャーの左境界ではなく、次の条件のうちの一つまたは複数が真である場合、変数clipLeftPosはxCtbに等しく設定される:
・現在のコーディングツリー・ブロックの左境界がブリックの左境界であり、loop_filter_across_bricks_enabled_flagが0に等しい場合。
・現在のコーディングツリー・ブロックの左境界がスライスの左境界であり、loop_filter_across_slices_enabled_flagが0に等しい場合。
・現在のコーディングツリー・ブロックの左境界がサブピクチャーの左境界であり、loop_filter_across_subpic_enabled_flag[SubPicIdx]が0に等しい場合。
変数clipRightPosは次のように修正される:
・pps_loop_filter_across_virtual_boundaries_disabled_flagが1に等しく、PpsVirtualBoundariesPosX[n]%CtbSizeYが0に等しく、PpsVirtualBoundariesPosX[n]-xCtb-xが0より大きく4未満である場合、任意のn=0..pps_num_ver_virtual_boundaries-1について、次が適用される:
clipRightPos=PpsVirtualBoundariesPosX[n] (8-1295)
・それ以外の場合、CtbSizeY-xが4未満であり、現在のコーディングツリー・ブロックの右境界がピクチャーの右境界ではなく、以下の条件のうちの一つまたは複数が真である場合、変数clipRightPosはxCtb+CtbSizeYに等しく設定される:
・現在のコーディングツリー・ブロックの右境界がブリックの右境界であり、loop_filter_across_bricks_enabled_flagが0に等しい場合。
・現在のコーディングツリー・ブロックの右境界がスライスの右境界であり、loop_filter_across_slices_enabled_flagが0に等しい場合。
・現在のコーディングツリー・ブロックの右境界がサブピクチャーの右境界であり、loop_filter_across_subpic_enabled_flag[SubPicIdx]が0に等しい場合。
変数clipTopLeftFlagは次のように修正される:
・次の条件のうちの一つまたは複数が真の場合、変数clipTopLeftFlagはtrueに等しく設定される:
・位置(xCtb,yCtb)をカバーするコーディングツリー・ブロックと位置(xCtb-CtbSizeY,yCtb-CtbSizeY)をカバーするコーディングツリー・ブロックが異なるブリックにあり、loop_filter_across_bricks_enabled_flagが0に等しい場合。
・位置(xCtb,yCtb)をカバーするコーディングツリー・ブロックと位置(xCtb-CtbSizeY,yCtb-CtbSizeY)をカバーするコーディングツリー・ブロックが異なるスライスにあり、loop_filter_across_slices_enabled_flagが0に等しい場合。
・位置(xCtb,yCtb)をカバーするコーディングツリー・ブロックと位置(xCtb-CtbSizeY,yCtb-CtbSizeY)をカバーするコーディングツリー・ブロックが異なるサブピクチャーにあり、loop_filter_across_subpic_enabled_flag[SubPicIdx]が0に等しい場合。
変数clipTopRightFlagは次のように修正される:
・次の条件のうちの一つまたは複数が真の場合、変数clipTopRightFlagはtrueに等しく設定される:
・位置(xCtb,yCtb)をカバーするコーディングツリー・ブロックと位置(xCtb+CtbSizeY,yCtb-CtbSizeY)をカバーするコーディングツリー・ブロックが異なるブリックにあり、loop_filter_across_bricks_enabled_flagが0に等しい場合。
・位置(xCtb,yCtb)をカバーするコーディングツリー・ブロックと位置(xCtb+CtbSizeY,yCtb-CtbSizeY)をカバーするコーディングツリー・ブロックが異なるスライスにあり、loop_filter_across_slices_enabled_flagが0に等しい場合。
・位置(xCtb,yCtb)をカバーするコーディングツリー・ブロックと位置(xCtb+CtbSizeY,yCtb-CtbSizeY)をカバーするコーディングツリー・ブロックが異なるサブピクチャーにあり、loop_filter_across_subpic_enabled_flag[SubPicIdx]が0に等しい場合。
変数clipBottomLeftFlagは次のように修正される:
・次の条件のうちの一つまたは複数が真の場合、変数clipBottomLeftFlagは真に等しく設定される:
・位置(xCtb,yCtb)をカバーするコーディングツリー・ブロックと位置(xCtb-CtbSizeY,yCtb+CtbSizeY)をカバーするコーディングツリー・ブロックが異なるブリックにあり、loop_filter_across_bricks_enabled_flagが0に等しい場合。
・位置(xCtb,yCtb)をカバーするコーディングツリー・ブロックと位置(xCtb-CtbSizeY,yCtb+CtbSizeY)をカバーするコーディングツリー・ブロックが異なるスライスにあり、loop_filter_across_slices_enabled_flagが0に等しい場合。
・位置(xCtb,yCtb)をカバーするコーディングツリー・ブロックと位置(xCtb-CtbSizeY,yCtb+CtbSizeY)をカバーするコーディングツリー・ブロックが異なるサブピクチャーにあり、loop_filter_across_subpic_enabled_flag[SubPicIdx]が0に等しい場合。
変数clipBottomRightFlagは次のように修正される:
・次の条件のうちの一つまたは複数が真の場合、変数clipBottomRightFlagは真に等しく設定される:
・位置(xCtb,yCtb)をカバーするコーディングツリー・ブロックと位置(xCtb+CtbSizeY,yCtb+CtbSizeY)をカバーするコーディングツリー・ブロックが異なるブリックにあり、loop_filter_across_bricks_enabled_flagが0に等しい場合。
・位置(xCtb,yCtb)をカバーするコーディングツリー・ブロックと位置(xCtb+CtbSizeY,yCtb+CtbSizeY)をカバーするコーディングツリー・ブロックが異なるスライスにあり、loop_filter_across_slices_enabled_flagが0に等しい場合。
・位置(xCtb,yCtb)をカバーするコーディングツリー・ブロックと位置(xCtb+CtbSizeY,yCtb+CtbSizeY)をカバーするコーディングツリー・ブロックが異なるサブピクチャーにあり、loop_filter_across_subpic_enabled_flag[SubPicIdx]が0に等しい場合。
実施形態#11
本実施形態では、以下の諸方法が以下のように実装される。
・パディング・プロセスが、現在のALF処理単位内のサンプルのみを使用する
・ALF仮想境界を除くすべての境界について、繰り返しパディングを適用する(ミラー・パディングを適用する)
・ピクチャー高さがCTUサイズの整数倍である場合、ALF VBを最後のCTU行に適用する。
8.5.5.2 ルーマ・サンプルについてのコーディングツリーブロック・フィルタリング・プロセス
このプロセスの入力は以下の通り:
・適応ループ・フィルタリング・プロセスの前の再構成されたルーマ・ピクチャー・サンプルアレイrecPictureL
・フィルタ処理された再構成されたルーマピクチャーサンプルアレイalfPictureL
・現在のピクチャーの左上のサンプルに対して現在のルーマコーディングツリー・ブロックの左上のサンプルを指定するルーマ位置(xCtb,yCtb)。
このプロセスの出力は、修正されたフィルタリングされた再構成されたルーマピクチャーサンプルアレイalfPictureLである。
8.8.5.3節のフィルタ・インデックスの導出プロセスは、x,y=0..CtbSizeY-1として、位置(xCtb,yCtb)と再構成されたルーマ・ピクチャー・サンプル・アレイrecPictureLを入力とし、filtIdx[x][y]およびtransposeIdx[x][y]を出力として呼び出される。
フィルタリングされた再構成されたルーマ・サンプルalfPictureL[x][y]の導出のために、現在のルーマコーディングツリー・ブロックrecPictureL[x][y]内の各再構成されたルーマ・サンプルは、x,y=0..CtbSizeY-1として、次のようにフィルタリングされる。
・j=0..11として、filtIdx[x][y]で指定されたフィルタに対応するルーマ・フィルタ係数の配列f[j]と、ルーマ・クリッピング値の配列c[j]は、次のように導出される:
・AlfCtbFiltSetIdxY[xCtb>>CtbLog2SizeY][yCtb>>CtbLog2SizeY]が16未満である場合、次が適用される:
i=AlfCtbFiltSetIdxY[xCtb>>CtbLog2SizeY][yCtb>>CtbLog2SizeY] (8-1219)
f[j]=AlfFixFiltCoeff[AlfClassToFiltMap[i][filtIdx[x][y]]][j] (8-1220)
c[j]=2BitdepthY (8-1221)
・それ以外の場合(AlfCtbFiltSetIdxY[xCtb>>CtbLog2SizeY][yCtb>>CtbLog2SizeY]が16以上)、次が適用される:
i=slice_alf_aps_id_luma[AlfCtbFiltSetIdxY[xCtb>>CtbLog2SizeY][yCtb>>CtbLog2SizeY]-16] (8-1222)
f[j]=AlfCoeffL[i][filtIdx[x][y]][j] (8-1223)
c[j]=AlfClipL[i][filtIdx[x][y]][j] (8-1224)
・ルーマ・フィルタ係数およびクリッピング値インデックスidxは、transposeIdx[x][y]に依存して、次のように導出される:
・transposeIndex[x][y]が1に等しい場合、次が適用される:
idx[]={9,4,10,8,1,5,11,7,3,0,2,6} (8-1225)
・それ以外の場合で、transposeIndex[x][y]が2に等しい場合、次が適用される:
idx[]={0,3,2,1,8,7,6,5,4,9,10,11} (8-1226)
・それ以外の場合で、transposeIndex[x][y]が3に等しい場合、次が適用される:
idx[]={9,8,10,4,3,7,11,5,1,0,2,6} (8-1227)
・それ以外の場合は、次が適用される:
idx[]={0,1,2,3,4,5,6,7,8,9,10,11} (8-1228)
・i,j=-3..3のルーマ・サンプルの所与の配列recPicture内の対応するルーマサンプル(x,y)のそれぞれの位置(hx+i,vy+j)は以下のように導かれる:
・[[pps_loop_filter_across_virtual_boundaries_disabled_flagが1に等しく、PpsVirtualBoundariesPosX[n]%CtbSizeYが0に等しくなく、任意のn=0..pps_num_ver_virtual_boundaries-1について、xCtb+x-PpsVirtualBoundariesPosX[n]が0以上3未満である場合、次が適用される:
hx+i=Clip3(PpsVirtualBoundariesPosX[n],pic_width_in_luma_samples-1,xCtb+x+i) (8-1229)
・それ以外の場合、pps_loop_filter_across_virtual_boundaries_disabled_flagが1に等しく、PpsVirtualBoundariesPosX[n]%CtbSizeYが0に等しくなく、任意のn=0..pps_num_ver_virtual_boundaries-1について、PpsVirtualBoundariesPosX[n]-xCtb-xが0より大きく4未満である場合、次が適用される:
hx+i=Clip3(0,PpsVirtualBoundariesPosX[n]-1,xCtb+x+i) (8-1230)
・それ以外の場合は、次が適用される:]]
hx+i=Clip3(0,pic_width_in_luma_samples-1,xCtb+x+i) (8-1231)
・[[pps_loop_filter_across_virtual_boundaries_disabled_flagが1に等しく、かつPpsVirtualBoundariesPosY[n]%CtbSizeYが0に等しくなく、かつ任意のn=0..pps_num_hor_virtual_boundaries-1について、yCtb+y-PpsVirtualBoundariesPosY[n]が0以上3未満である場合、次が適用される:
vy+j=Clip3(PpsVirtualBoundariesPosY[n],pic_height_in_luma_samples-1,yCtb+y+j) (8-1232)
・それ以外の場合、pps_loop_filter_across_virtual_boundaries_disabled_flagが1に等しく、PpsVirtualBoundariesPosY[n]%CtbSizeYが0に等しくなく、任意のn=0..pps_num_hor_virtual_bourdaries-1についてPpsVirtualBoundariesPosY[n]-yCtb-yが0より大きく4未満である場合、次が適用される:
vy+j=Clip3(0,PpsVirtualBoundariesPosY[n]-1,yCtb+y+j) (8-1233)
・それ以外の場合、次が適用される:]]
vy+j=Clip3(0,pic_height_in_luma_samples-1,yCtb+y+j) (8-1234)
・変数clipLeftPos、clipRightPos、clipTopPos、clipBottomPos、clipTopLeftFlag、clipBotRightFlagは、8.8.5.5項で指定したALF境界位置導出プロセスを(xCtb,yCtb)と(x,y)を入力として呼び出すことにより導出される。
・変数h x+i およびv y+j は、(xCtb,yCtb)、(h x+i ,v y+j )、0,clipLeftPos,clipRightPos,clipTopPos,clipBottomPos,clipTopLeftFlag、clipBotRightFlagを入力として、8.8.5.6節に指定されているALFサンプル・パディング・プロセスを呼び出すことによって修正される。
・[[垂直サンプル位置のオフセットy1、y2、y3は、垂直ルーマ・サンプル位置y、clipLeftPos、およびclipRightPosに従ってテーブル8-20において指定される。
・水平サンプル位置オフセットx1、x2、x3は、水平ルーマ・サンプル位置x、clipLeftPos、clipRightPosに従ってテーブル8-21において指定される。]]
・変数currは次のように導出される:
curr=recPicture L [h x ,v y ] (8-1235)
・変数applyVirtualBoundaryは、次のように導出される:
・現在のコーディングツリー・ブロックの下部境界が現在のピクチャーの下部境界であり、pic_height_in_luma_samples-yCtb<=CtbSizeY-4である場合、applyVirtualBoundaryは0に等しく設定される:
・それ以外の場合、applyVirtualBoundaryは1に等しく設定される。
・再構成されたサンプル・オフセットy1、y2、y3は、ルーマ・サンプル位置yとapplyVirtualBoundaryに従ってテーブル8-22において指定される。
変数sumは次のように導出される:
Figure 0007454042000092
・修正されたフィルタリングされた再構成されたルーマ・ピクチャー・サンプルalfPictureL[xCtb+x][yCtb+y]は、次のように導出される:
alfPictureL[xCtb+x][yCtb+y]=Clip3(0,(1<<BitDepthY)-1,sum) (8-1238)
Figure 0007454042000093
8.5.5.3 ルーマ・サンプルについてのALF転置およびフィルタ・インデックスの導出プロセス
このプロセスの入力は以下の通り:
・現在のピクチャーの左上のサンプルに対する現在のルーマコーディングツリー・ブロックの左上のサンプルを指定するルーマ位置(xCtb,yCtb)
・適応ループ・フィルタリング・プロセスの前の再構成されたルーマピクチャー・サンプルアレイrecPictureL
このプロセスの出力は以下の通り:
・x,y=0..CtbSizeY-1として、分類フィルタ・インデックス配列filtIdx[x][y]
・x,y=0..CtbSizeY-1として、転置インデックス配列transposeIdx[x][y]
変数ac[x][y]、sumH[x][y]、sumV[x][y]、sumD0[x][y]、sumD1[x][y]、sumOfHV[x][y]は、x、y=0..(CtbSizeY-1)>>2として、次のように導出される:
・変数x4とy4は、x<<2とy<<2として設定される。
・変数applyVirtualBoundary,minY,maxY,ac[x][y]は次のように導出される:
・y4が(CtbSizeY-8)に等しく、次の条件のうちのいずれかが真の場合、minYは-2に等しく設定され、maxYは3に等しく設定され、applyVirtualBoundaryは1に等しく設定され、ac[x][y]は96に等しく設定される。
・現在のコーディングツリー・ブロックの下部境界がピクチャーの下部境界であり、pic_height_in_luma_samples-yCtb>CtbSizeY-4である場合
・現在のコーディングツリー・ブロックの下部境界がピクチャーの下部境界でない場合
・それ以外の場合で、y4が(CtbSizeY-4)に等しく、次の条件のいずれかが真の場合、minYは0に等しく設定され、maxYは5に等しく設定され、applyVirtualBoundaryは1に等しく設定され、ac[x][y]は96に等しく設定される。
・現在のコーディングツリー・ブロックの下部境界がピクチャーの下部境界であり、pic_height_in_luma_samples-yCtb>CtbSizeY-4である場合
現在のコーディングツリー・ブロックの下部境界がピクチャーの下部境界でない場合
・それ以外の場合、minYは-2に等しく設定され、maxYは5に等しく設定され、applyVirtualBoundaryは0に等しく設定され、ac[x][y]は64に等しく設定される。
[[i,j=-2..5]]x4,y4=0..(CtbSizeY>>2)-1として、ルーマ・サンプルの所与の配列recPicture内の、(x4,y4)で表される対応するルーマ[[サンプル]]ブロック[[(x,y)]]のそれぞれ[[の位置(hx+i,vy+j)は、]]について、次のように導出される:
・変数blkXは(x4<<2)に等しく設定され、blkYは(y4<<2)に等しく設定される。
・i,j=-3.3,x=blkX..blkX+3,y=blkY..blkY+3として、位置(h x+i ,v y+j )は次のように導出される:
・[[pps_loop_filter_across_virtual_boundaries_disabled_flagが1に等しく、PpsVirtualBoundariesPosX[n]%CtbSizeYが0に等しくなく、xCtb+x-PpsVirtualBoundariesPosX[n]が0以上2未満である場合、任意のn=0..pps_num_ver_virtual_boundaries-1について、次が適用される:
hx+i=Clip3(PpsVirtualBoundariesPosX[n],pic_width_in_luma_samples-1,xCtb+x+i) (8-1239)
・それ以外の場合で、pps_loop_filter_across_virtual_boundaries_disabled_flagが1に等しく、PpsVirtualBoundariesPosX[n]%CtbSizeYが0に等しくなく、PpsVirtualBoundariesPosX[n]-xCtbが0より大きく6未満である場合、任意のn=0..pps_num_ver_virtual_boundaries-1について、次が適用される:
hx+i=Clip3(0,PpsVirtualBoundariesPosX[n]-1,xCtb+x+i) (8-1240)
・それ以外の場合、次が適用される:]]
hx+i=Clip3(0,pic_width_in_luma_samples-1,xCtb+x+i) (8-1241)
・[[pps_loop_filter_across_virtual_boundaries_disabled_flagが1に等しく、PpsVirtualBoundariesPosY[n]%CtbSizeYが0に等しくなく、yCtb+y-PpsVirtualBoundariesPosY[n]が0以上2未満である場合、任意のn=0..pps_num_hor_virtual_boundaries-1について、次が適用される:
vy+j=Clip3(PpsVirtualBoundariesPosY[n],pic_height_in_luma_samples-1,yCtb+y+j) (8-1242)
・それ以外の場合で、pps_loop_filter_across_virtual_boundaries_disabled_flagが1に等しく、PpsVirtualBoundariesPosY[n]%CtbSizeYが0に等しくなく、PpsVirtualBoundariesPosY[n]-yCtb-yが0より大きく6未満である場合、任意のn=0..pps_num_hor_virtual_boundaries-1について、次が適用される:
vy+j=Clip3(0,PpsVirtualBoundariesPosY[n]-1,yCtb+y+j) (8-1243)
・それ以外の場合、次が適用される:]]
vy+j=Clip3(0,pic_height_in_luma_samples-1,yCtb+y+j) (8-1244)
・変数clipLeftPos、clipRightPos、clipTopPos、clipBottomPos、clipTopLeftFlag、clipBotRightFlagは、(xCtb,yCtb)と(x,y)を入力として、8.8.5.5項で指定されるALF境界位置導出プロセスを呼び出すことによって導出される。
・変数h x+i およびv y+j は、(xCtb,yCtb),(h x+i ,v y+j ),0,clipLeftPos,clipRightPos,clipTopPos,clipBottomPos,clipTopLeftFlagandclipBotRightFlagを入力として、8.5.5.6項に指定されるALFサンプル・パディング・プロセスを呼び出すことによって修正される。
・[[変数clipLeftPos、clipRightPos、clipTopPos、clipBottomPosは、8.8.5.5項で指定したALF境界位置導出プロセスを(xCtb,yCtb)と(x,y)を入力として呼び出すことにより導出される。
・clipTopPosが-128に等しくない場合は、次が適用される:
vy+j=Clip3(clipTopPos,pic_height_in_luma_samples-1,yCtb+y+j) (8-1245)
・clipBottomPosが-128に等しくない場合は、次が適用される:
vy+j=Clip3(0,clipBottomPos-1,yCtb+y+j) (8-1246)
・clipLeftPosが-128に等しくない場合は、次が適用される:
hx+i=Clip3(clipLeftPos,pic_width_in_luma_samples-1,xCtb+x+i) (8-1247)
・clipRightPosが-128と等しくない場合は、次が適用される:
hx+i=Clip3(0,clipRightPos-1,xCtb+x+i) (8-1248)
分類フィルタ・インデックス・アレイfiltIdxおよび転置インデックス・アレイtransposeIdxは、以下の順序付けられたステップによって導出される:]]
1. [[x,y=-2..CtbSizeY+1]]i,j=-2..2、x=blkX..blkX+3、y=blkY..blkY+3として、変数filtH[x+i][y+j]、filtV[x+i][y+j]、filtD0[x+i][y+j]、filtD1[x+i][y+j]は、次のように導出される:
・[[x]]iと[[y]]jの両方が偶数であるか、[[x]]iと[[y]]jの両方が偶数ではない場合、次が適用される:
[[ filtH[x][y]=Abs((recPicture[hx,vy]<<1)-recPicture[hx-1,vy]-recPicture[hx+1,vy]) (8-1249)
filtV[x][y]=Abs((recPicture[hx,vy]<<1)-recPicture[hx,vy-1]-recPicture[hx,vy+1]) (8-1250)
filtD0[x][y]=Abs((recPicture[hx,vy]<<1)-recPicture[hx-1,vy-1]-recPicture[hx+1,vy+1]) (8-1251)
filtD1[x][y]=Abs((recPicture[hx,vy]<<1)-recPicture[hx+1,vy-1]-recPicture[hx-1,vy+1])]] (8-1252)]]
filtH[x+i][y+j]=Abs((recPicture[h x+i ,v y+j ]<<1)-recPicture[h x+i-1 ,v y+j ]-recPicture[h x+i+1 ,v y+j ]) (8-1249)
filtV[x+i][y+j]=Abs((recPicture[h x+i ,v y+j ]<<1)-recPicture[h x+i ,v y+j-1 ]-recPicture[h x+i ,v y+j+1 ]) (8-1250)
filtD0[x+i][y+j]=Abs((recPicture[h x+i ,v y+j ]<<1)-recPicture[h x+i-1 ,v y+j-1 ]-recPicture[h x+i+1 ,v y+j+1 ]) (8-1251)
filtD1[x+i][y+j]=Abs((recPicture[h x+i ,v y+j ]<<1)-recPicture[h x+i+1 ,v y+j-1 ]-recPicture[h x+i-1 ,v y+j+1 ]) (8-1252)
・それ以外の場合、filtH[x+i][y+j]、filtV[x+i][y+j]、filtD0[x+i][y+j]、filtD1[x+i][y+j]は0に設定される。
2. [[x,y=0..(CtbSizeY-1)>>2として、変数ac[x][y]、sumH[x][y]、sumV[x][y]、sumD0[x][y]、sumD1[x][y]、sumOfHV[x][y]は、次のように導出される:
・変数minY、maxYおよびacは次のように導出される:
・clipTopPosが-128に等しくなく、clipBottomPosが-128に等しく、(y<<2)がclipTopPosに等しい場合、minYは0に等しく設定され、maxYは5に等しく設定される。
・それ以外の場合で、clipTopPosが-128に等しく、clipBottomPosが-128に等しくなく、(y<<2)が(clipBottomPos-4)に等しい場合、minYは-2に等しく、maxYは3に等しく設定される。
・それ以外の場合で、clipTopPosが-128に等しくなく、clipBottomPosが-128に等しくない場合、minYは0に等しく設定され、maxYは3に等しく設定される。
・それ以外の場合は、minYは-2に等しく設定され、maxYは5に等しく設定される。
・変数minX、maxXおよびacは、次のように導出される:
・clipLeftPosが-128に等しくなく、(x<<2)がclipLeftPosに等しい場合、minXは0に等しく設定され、maxXは5に等しく設定される。
・それ以外の場合、clipRightPosが-128に等しくなく、(x<<2)が(clipRightPos-4)に等しい場合、minXは-2に等しく設定され、maxXは3に等しく設定される。
・それ以外の場合、minXは-2に等しく設定され、maxXは5に等しく設定される。
・変数ac[x][y]は、minX、maxX、minY、maxYに従ってテーブル8-22において指定される。
・変数sumH[x][y]、sumV[x][y]、sumD0[x][y]、sumD1[x][y]、sumOfHV[x][y]は次のように導出される:
Figure 0007454042000094
]]
変数sumH[x4][y4]、sumV[x4][y4]、sumD0[x4][y4]、sumD1[x4][y4]、sumOfHV[x4][y4]は次のように導出される:
sumH[x4][y4]=Σ i Σ j filtH[blkX+i][blkY+j] (8-1253)
ここで、i=-2..5, j=minY..maxY
sumV[x4][y4]=Σ i Σ j filtV[blkX+i][blkY+j] (8-1254)
ここで、i=-2..5, j=minY..maxY
sumD0[x4][y4]=Σ i Σ j filtD0[blkX+i][blkY+j] (8-1255)
ここで、i=-2..5, j=minY..maxY
sumD1[x4][y4]=Σ i Σ j filtD1[blkX+i][blkY+j] (8-1256)
ここで、i=-2..5, j=minY..maxY
sumOfHV[x4][y4]=sumH[x4][y4]+sumV[x4][y4] (8-1257)
分類フィルタ・インデックス・アレイfiltIdxおよび転置インデックス・アレイtransposeIdxは、以下のステップによって導出される:
3. x,y=0..CtbSizeY-1として、変数dir1[x][y]、変数dir2[x][y]および変数dirS[x][y]は次のように導出される。
・変数hv1、hv0、dirHVは次のように導出される:
・sumV[x>>2][y>>2]がsumH[x>>2][y>>2]より大きい場合、次が適用される:
hv1=sumV[x>>2][y>>2] (8-1258)
hv0=sumH[x>>2][y>>2] (8-1259)
dirHV=1 (8-1260)
・それ以外の場合は、次が適用される:
hv1=sumH[x>>2][y>>2] (8-1261)
hv0=sumV[x>>2][y>>2] (8-1262)
dirHV=3 (8-1263)
・変数d1、d0、dirDは次のように導出される:
・sumD0[x>>2][y>>2]がsumD1[x>>2][y>>2]より大きい場合、以下が適用される:
d1=sumD0[x>>2][y>>2] (8-1264)
d0=sumD1[x>>2][y>>2] (8-1265)
dirD=0 (8-1266)
・それ以外の場合、次が適用される:
d1=sumD1[x>>2][y>>2] (8-1267)
d0=sumD0[x>>2][y>>2] (8-1268)
dirD=2 (8-1269)
・変数hvd1、hvd0は次のように導出される:
hvd1=(d1*hv0>hv1*d0)?d1:hv1 (8-1270)
hvd0=(d1*hv0>hv1*d0)?d0:hv0 (8-1271)
・変数dirS[x][y]、dir1[x][y]およびdir2[x][y]は、次のように導出される:
dir1[x][y]=(d1*hv0>hv1*d0)?dirD:dirHV (8-1272)
dir2[x][y]=(d1*hv0>hv1*d0)?dirHV:dirD (8-1273)
dirS[x][y]=(hvd1>2*hvd0)?1:((hvd1*2>9*hvd0)?2:0) (8-1274)
4. x,y=0..CtbSizeY-1として、変数avgVar[x][y]は次のように導出される:
varTab[]={0,1,2,2,2,2,2,3,3,3,3,3,3,3,3,4} (8-1275)
avgVar[x][y]=varTab[Clip3(0,15,(sumOfHV[x>>2][y>>2]*ac[x>>2][y>>2])>>(3+BitDepthY))] (8-1276)
5. x=y=0..CtbSizeY-1として、分類フィルタ・インデックス・アレイfiltIdx[x][y]と転置インデックス・アレイtransposeIdx[x][y]は、次のように導出される:
transposeTable[]={0,1,0,2,2,3,1,3}
transposeIdx[x][y]=transposeTable[dir1[x][y]*2+(dir2[x][y]>>1)]
filtIdx[x][y]=avgVar[x][y]
dirS[x][y]が0と等しくない場合、filtIdx[x][y]は次のように修正される:
filtIdx[x][y]+=(((dir1[x][y]&0x1)<<1)+dirS[x][y])*5 (8-1277)
Figure 0007454042000095
8.5.5.3 クロマ・サンプルについてのコーディングツリーブロック・フィルタリング・プロセス
このプロセスの入力は以下の通り:
・適応ループ・フィルタリング・プロセスの前の再構成されたクロマ・ピクチャー・サンプル・アレイrecPicture、
・フィルタリングされた再構成されたクロマ・ピクチャー・サンプルアレイalfPicture、
・現在のピクチャーの左上のサンプルに対する現在のクロマコーディングツリー・ブロックの左上のサンプルを指定するクロマ位置(xCtbC,yCtbC)。
・代替クロマ・フィルタ・インデックスaltIdx。
このプロセスの出力は、修正されたフィルタリングされた再構成されたクロマ・ピクチャー・サンプルアレイalfPictureである。
現在のクロマコーディングツリー・ブロックctbWidthCとctbHeightCの幅と高さは、次のように導出される:
ctbWidthC=CtbSizeY/SubWidthC (8-1278)
ctbHeightC=CtbSizeY/SubHeightC (8-1279)
フィルタ処理された再構成されたクロマ・サンプルalfPicture[x][y]の導出のために、現在のクロマコーディングツリー・ブロック内の各再構成されたクロマ・サンプルrecPicture[x][y]は、x=0..ctbWidthC-1,y=0..ctbHeightC-1として、フィルタ処理される:
・i,j=-2..2として、クロマ・サンプルの所与の配列recPicture内の対応する各クロマ・サンプル(x,y)についての位置(hx+i,vy+j)は、次のように導出される:
・[[pps_loop_filter_across_virtual_boundaries_disabled_flagが1に等しく、PpsVirtualBoundariesPosX[n]%CtbSizeYが0に等しくなく、xCtbC+x-PpsVirtualBoundariesPosX[n]/SubWidthCが0以上2未満である場合、任意のn=0..pps_num_ver_virtual_boundaries-1について、次が適用される:
hx+i=Clip3(PpsVirtualBoundariesPosX[n]/SubWidthC,
pic_width_in_luma_samples/SubWidthC-1,xCtbC+x+i) (8-1280)
・それ以外の場合で、pps_loop_filter_across_virtual_boundaries_disabled_flagが1に等しく、PpsVirtualBoundariesPosX[n]%CtbSizeYが0に等しくなく、PpsVirtualBoundariesPosX[n]/SubWidthC-xCtbC-xが0より大きく3未満である場合、任意のn=0..pps_num_ver_virtual_boundaries-1について、次が適用される:
hx+i=Clip3(0,PpsVirtualBoundariesPosX[n]/SubWidthC-1,xCtbC+x+i) (8-1281)
・それ以外の場合は、次が適用される:]]
hx+i=Clip3(0,pic_width_in_luma_samples/SubWidthC-1,xCtbC+x+i) (8-1282)
・[[pps_loop_filter_across_virtual_boundaries_disabled_flagが1に等しく、PpsVirtualBoundariesPosY[n]%CtbSizeYが0に等しくなく、yCtbC+y-PpsVirtualBoundariesPosY[n]/SubHeightCが0以上2未満である場合、任意のn=0..pps_num_hor_virtual_boundaries-1について、次が適用される:
vy+j=Clip3(PpsVirtualBoundariesPosY[n]/SubHeightC,
pic_height_in_luma_samples/SubHeightC-1,yCtbC+y+j) (8-1283)
・それ以外の場合で、pps_loop_filter_across_virtual_boundaries_disabled_flagが1に等しく、PpsVirtualBoundariesPosY[n]%CtbSizeYが0に等しくなく、PpsVirtualBoundariesPosY[n]/SubHeightC-yCtbC-yが0より大きく3より小さい場合、任意のn=0..pps_num_hor_virtual_boundaries-1について、次が適用される:
vy+j=Clip3(0,PpsVirtualBoundariesPosY[n]/SubHeightC-1,yCtbC+y+j) (8-1284)
・それ以外の場合は、次が適用される:]]
vy+j=Clip3(0,pic_height_in_luma_samples/SubHeightC-1,yCtbC+y+j) (8-1285)
・変数clipLeftPos、clipRightPos、clipTopPos、clipBottomPos、clipTopLeftFlag、clipBotRightFlagは、(xCtbC*SubWidthC,yCtbC*SubHeightC)と(x*SubWidthC,y*SubHeightC)を入力として、8.8.5.5節に規定されたALF境界位置導出プロセスを呼び出すことによって導出される。
・変数h x+i およびv y+j は、(xCtb,yCtb)、(h x+i ,v y+j )、1,clipLeftPos,clipRightPos,clipTopPos,clipBottomPos,clipTopLeftFlag、clipBotRightFlagを入力として、0項に指定されているALFサンプル・パディング・プロセスを呼び出すことによって修正される。
・[[変数clipLeftPosはclipLeftPos/SubWidthCに等しく設定される。
・変数clipRightPosは、clipRightPos/SubWidthCに等しく設定される。
・変数clipTopPosはclipTopPos/SubHeightCに等しく設定される。
・変数clipBottomPosはclipBottomPos/SubHeightCに等しく設定される。
・垂直サンプル位置オフセットy1およびy2は、垂直クロマ・サンプル位置y、clipTopPosおよびclipBottomPosに従ってテーブル8-20において指定される。
・水平サンプル位置オフセットx1およびx2は、水平クロマ・サンプル位置x、clipLeftPosおよびclipRightPosに従ってテーブル8-24において指定される。]]
・変数applyVirtualBoundaryは、次のように導出される:
・現在のコーディングツリー・ブロックの下部境界がピクチャーの下部境界であり、pic_height_in_luma_samples-(yCtbC*SubHeightC)<CtbSizeY-4の場合、applyVirtualBoundaryは0に設定される:
・それ以外の場合、applyVirtualBoundaryは1に設定される。
・再構成されたサンプル・オフセットy1およびy2は、垂直ルーマ・サンプル位置yおよびapplyVirtualBoundaryに従って指定される。
・変数currは次のように導出される:
curr=recPicture[hx,vy] (8-1286)
・クロマ・フィルタ係数の配列f[j]とクロマ・クリッピング値の配列c[j]は、j=0..5として、次のように導出される:
f[j]=AlfCoeffC[slice_alf_aps_id_chroma][altIdx][j] (8-1287)
c[j]=AlfClipC[slice_alf_aps_id_chroma][altIdx][j] (8-1288)
・変数sumは次のように導出される:
Figure 0007454042000096
・修正されたフィルタリングされた再構成されたクロマ・ピクチャー・サンプルalfPicture[xCtbC+x][yCtbC+y]は、次のように導出される:
alfPicture[xCtbC+x][yCtbC+y]=Clip3(0,(1<<BitDepthC)-1,sum) (8-1291)
Figure 0007454042000097
8.5.5.3 ALF境界位置導出プロセス
このプロセスの入力は以下の通り:
・現在のピクチャーの左上のサンプルに対する現在のルーマコーディングツリー・ブロックの左上のサンプルを指定するルーマ位置(xCtb,yCtb)
・現在のルーマコーディングツリー・ブロックの左上のサンプルに対する現在のサンプルを指定するルーマ位置(x,y)。
このプロセスの出力は以下の通り:
・左垂直境界位置clipLeftPos、
・右垂直境界位置clipRightPos、
・上水平境界位置clipTopPos、
・下水平境界位置clipBottomPos
・左上境界フラグclipTopLeftFlag、
・右下境界フラグclipBotRightFlag
変数clipLeftPos、clipRightPos、clipTopPos、clipBottomPosは-128に設定される。
変数clipTopLeftFlagとclipBotRightFlagは0に等しく設定される。
変数clipTopPosは次のように修正される:
・[[現在のコーディングツリー・ブロックの下部境界がピクチャーの下部境界ではなく、]]y-(CtbSizeY-4)が0以上の場合、変数clipTopPosはyCtb+CtbSizeY-4に等しく設定される。
・それ以外の場合で、pps_loop_filter_across_virtual_boundaries_disabled_flagが1に等しく、[[PpsVirtualBoundariesPosY[n]%CtbSizeYが0に等しく、]]yCtb+y-PpsVirtualBoundariesPosY[n]が0以上3未満である場合、任意のn=0..pps_num_hor_virtual_boundaries-1について、次が適用される:
clipTopPos=PpsVirtualBoundariesPosY[n] (8-1292)
・それ以外の場合、yが3未満で、[[現在のコーディングツリー・ブロックの上部境界がピクチャーの上部境界ではなく、]]次の条件のうちの一つまたは複数が真である場合、変数clipTopPosはyCtbに等しく設定される:
・現在のコーディングツリー・ブロックの上部境界がブリックの上部境界であり、loop_filter_across_bricks_enabled_flagが0に等しい場合、
・現在のコーディングツリー・ブロックの上部境界がスライスの上部境界であり、loop_filter_across_slices_enabled_flagが0に等しい場合、
・現在のコーディングツリー・ブロックの上部境界がサブピクチャーの上部境界であり、loop_filter_across_subpic_enabled_flag[SubPicIdx]が0に等しい場合。
変数clipBottomPosは次のように修正される:
・[[現在のコーディングツリー・ブロックの下部境界がピクチャーの下部境界ではなく、]]CtbSizeY-4-yが0より大きく4より小さい場合、変数clipBottomPosはyCtb+CtbSizeY-4に等しく設定される。
・それ以外の場合で、pps_loop_filter_across_virtual_boundaries_disabled_flagが1に等しく、[[PpsVirtualBoundariesPosY[n]%CtbSizeYが0に等しく、]]PpsVirtualBoundariesPosY[n]がpic_height_in_luma_samples-1もしくは0に等しくなく、PpsVirtualBoundariesPosY[n]-yCtb-yが0より大きく4より小さい場合、任意のn=0..pps_num_hor_virtual_boundaries-1について、次が適用される:
clipBottomPos=PpsVirtualBoundariesPosY[n] (8-1293)
・それ以外の場合で、CtbSizeY-yが4未満であり、[[現在のコーディングツリー・ブロックの下部境界がピクチャーの下部境界ではなく、]]次の条件のうちの一つまたは複数が真である場合、変数clipBottomPosはyCtb+CtbSizeYに等しく設定される:
・現在のコーディングツリー・ブロックの下部境界がブリックの下部境界であり、loop_filter_across_bricks_enabled_flagが0に等しい場合。
・現在のコーディングツリー・ブロックの下部境界がスライスの下部境界であり、loop_filter_across_slices_enabled_flagが0に等しい場合。
・現在のコーディングツリー・ブロックの下部境界がサブピクチャーの下部境界であり、loop_filter_across_subpic_enabled_flag[SubPicIdx]が0に等しい場合。
変数clipLeftPosは次のように修正される:
・pps_loop_filter_across_virtual_boundaries_disabled_flagが1に等しく、[[PpsVirtualBoundariesPosX[n]%CtbSizeYが0に等しく、]]xCtb+x-PpsVirtualBoundariesPosX[n]が0以上3未満である場合、任意のn=0..pps_num_ver_virtual_boundaries-1について、次が適用される:
clipLeftPos=PpsVirtualBoundariesPosX[n] (8-1294)
・それ以外の場合で、xが3より小さく、[[現在のコーディングツリー・ブロックの左境界はピクチャーの左境界ではなく、]]次の条件のうちの一つまたは複数が真である場合、変数clipLeftPosはxCtbに等しく設定される:
・現在のコーディングツリー・ブロックの左境界がブリックの左境界であり、loop_filter_across_bricks_enabled_flagが0に等しい場合。
・現在のコーディングツリー・ブロックの左境界がスライスの左境界であり、loop_filter_across_slices_enabled_flagが0に等しい場合。
・現在のコーディングツリー・ブロックの左境界がサブピクチャーの左境界であり、loop_filter_across_subpic_enabled_flag[SubPicIdx]が0に等しい場合。
変数clipRightPosは次のように修正される:
・pps_loop_filter_across_virtual_boundaries_disabled_flagが1に等しく、[[PpsVirtualBoundariesPosX[n]%CtbSizeYが0に等しく、]]PpsVirtualBoundariesPosX[n]-xCtb-xが0より大きく4未満である場合、任意のn=0..pps_num_ver_virtual_boundaries-1について、次が適用される:
clipRightPos=PpsVirtualBoundariesPosX[n] (8-1295)
・それ以外の場合、CtbSizeY-xが4未満であり、[[現在のコーディングツリー・ブロックの右境界がピクチャーの右境界ではなく、]]以下の条件のうちの一つまたは複数が真である場合、変数clipRightPosはxCtb+CtbSizeYに等しく設定される:
・現在のコーディングツリー・ブロックの右境界がブリックの右境界であり、loop_filter_across_bricks_enabled_flagが0に等しい場合。
・現在のコーディングツリー・ブロックの右境界がスライスの右境界であり、loop_filter_across_slices_enabled_flagが0に等しい場合。
・現在のコーディングツリー・ブロックの右境界がサブピクチャーの右境界であり、loop_filter_across_subpic_enabled_flag[SubPicIdx]が0に等しい場合。
X=TopLeft、BotRightとして、変数clipXFlagは、テーブル8-25に指定されているvariablessoffSetXHorおよびoffSetXVerを使用して以下のように修正される:
・次の条件のうち一つまたは複数が真の場合、変数clipXFlagはtrueに等しく設定される:
・位置(xCtb,yCtb)をカバーするコーディングツリー・ブロックと位置(xCtb+offSetXHor,yCtb+offsetXVer)をカバーするコーディングツリー・ブロックが異なるブリックにあり、loop_filter_across_bricks_enabled_flagが0に等しい場合。
・位置(xCtb,yCtb)をカバーするコーディングツリー・ブロックと位置(xCtb+offSetXHor,yCtb+offsetXVer)をカバーするコーディングツリー・ブロックが異なるスライスにあり、loop_filter_across_slices_enabled_flagが0に等しい場合。
・位置(xCtb,yCtb)をカバーするコーディングツリー・ブロックと位置(xCtb+offSetXHor,yCtb+offsetXVer)をカバーするコーディングツリー・ブロックが異なるサブピクチャーにあり、loop_filter_across_subpic_enabled_flag[SubPicIdx]が0に等しい場合。
Figure 0007454042000098
8.5.5.3 ALFサンプル・パディング・プロセス
このプロセスの入力は以下の通り:
・現在のピクチャーの左上のサンプルに対する現在のルーマコーディングツリー・ブロックの左上のサンプルを指定するルーマ位置(xCtb,yCtb)
・現在のピクチャーの左上のサンプルに対する近傍サンプルを指定するルーマ位置(x,y)
・その色成分がクロマ成分であるか否かを指定するフラグ
・左垂直境界位置clipLeftPos、
・右垂直境界位置clipRightPos、
・上水平境界位置clipTopPos、
・下水平境界位置clipBottomPos、
・左上境界フラグclipTopLeftFlag、
・右下境界フラグclipBotRightFlag
このプロセスの出力は以下の通り:
・現在のピクチャーの左上のサンプルに対する近傍サンプルを指定する修正されたルーマ位置(x,y)、
・変数picWidth,picHeight,xCtbCur,yCtbCur,CtbSizeHor,CtbSizeVer,topBry,botBry,leftBry,rightBryは次のように導かれる:
picWidth=isChroma ? pic_width_in_luma_samples/SubWidthC:pic_width_in_luma_samples
pic_width_in_luma_samples/SubWidthC:pic_width_in_luma_samples (8-xxxx)
picHeight=isChroma ? pic_height_in_luma_samples/SubHeightC:pic_height_in_luma_samples (8-xxxx)
xCtbCur=isChroma ? xCtb/SubWidthC:xCtb (8-xxxx)
yCtbCur=isChroma ? yCtb/SubHeightC:yCtb (8-xxxx)
CtbSizeHor=isChroma ? CtbSizeY/SubWidthC:CtbSizeY (8-xxxx)
CtbSizeVer=isChroma ? CtbSizeY/SubHeightC:CtbSizeY (8-xxxx)
topBry=isChroma ? clipTopPos/SubHeightC:clipTopPos (8-xxxx)
botBry=isChroma ? clipBottomPos/SubHeightC:clipBottomPos (8-xxxx)
leftBry=isChroma ? clipLeftPos/SubWidthC:clipLeftPos (8-xxxx)
rightBry=isChroma ? clipRightPos/SubWidthC:clipRightPos (8-xxxx)
変数(x,y)は次のように修正される:
・topBryが0以上の場合、次が適用される:
x=y<topBry ? Clip3(xCtbCur,xCtbCur+CtbSizeHor-1,x):x (8-xxxx)
y=Clip3(topBry,picHeight-1,y) (8-xxxx)
・botBryが0以上の場合、次が適用される:
x=y>=botBry ? Clip3(xCtbCur,xCtbCur+CtbSizeHor-1,x):x (8-xxxx)
y=Clip3(0,botBry-1,y) (8-xxxx)
・leftBryが0以上の場合、次が適用される:
x=Clip3(leftBry,picWidth-1,x) (8-xxxx)
・RightBryが0以上の場合、次が適用される:
x=Clip3(0,rightBry-1,x) (8-xxxx)
次の条件がすべて真である場合、(x,y)は(xCtbCur,y)に等しく設定される:
・clipTopLeftFlagがtrueに等しい
・topBryが0より小さく、leftBryが0より小さい
・xがxCtbCurより小さく、yはyCtbCurより小さい
以下の条件がすべて真である場合、(x,y)は(xCtbCur+CtbSizeHor-1,yCtbCur)に等しく設定される:
・clipBotRightFlagがtrueに等しい
・botBryが0未満であり、rightBryが0未満
・xがxCtbCur+CtbSizeHor以上であり、yがyCtbCur+CtbSizeVer以上
図22は、ビデオ処理装置2200のブロック図である。装置2200は、本明細書に記載される方法の一つまたは複数を実装するために使用されてもよい。装置2200は、スマートフォン、タブレット、コンピュータ、モノのインターネット(IoT)受信機などで具現されうる。装置2200は、一つまたは複数のプロセッサ2202、一つまたは複数のメモリ2204、およびビデオ処理ハードウェア2206を含んでいてもよい。プロセッサ2202は、本文書に記載される一つまたは複数の方法を実装するように構成されてもよい。メモリ(単数または複数)2204は、本明細書に記載される方法および技法を実装するために使用されるデータおよびコードを記憶するために使用されてもよい。ビデオ処理ハードウェア2206は、ハードウェア回路において、本文書に記載されるいくつかの技法を実装するために使用されてもよい。いくつかの実施形態では、ビデオ処理ハードウェア2206は、プロセッサ2202(たとえば、グラフィック・プロセッサ・ユニット)の内部または部分的に内部であってもよい。
いくつかの実施形態では、ビデオコーディング方法は、図22に関して説明したようにハードウェアプラットフォーム上に実装される装置を使用して実装されてもよい。
図23は、ビデオ処理の例示的方法2300のフローチャートである。本方法は、ビデオの現在のビデオ・ブロックと現在のビデオ・ブロックのビットストリーム表現との間の変換のために、変換中に使用する一つまたは複数の補間フィルタを決定する段階(2302)であって、前記一つまたは複数の補間フィルタは、前記ビデオのための複数の補間フィルタからのものである、段階と、前記一つまたは複数の補間フィルタを使用して前記変換を実行する段階(2304)とを含む。
本稿に記載されるさまざまな解決策および実施形態は、解決策のリストを使用してさらに記載される。
セクション4、項目1は、以下の解決策の追加例を提供する。
1. ビデオ・ピクチャーのビデオ・ブロックとそのビットストリーム表現との間の変換を実行する段階であって、前記ビデオ・ブロックは、コーディングツリー・ブロックの論理グループを使用して処理され、前記コーディングツリー・ブロックは、下部コーディングツリー・ブロックの下部境界が前記ビデオ・ピクチャーの下部境界の外側にあるかどうかに基づいて処理される、段階を含む、ビデオ処理方法。
2. 前記コーディングツリー・ブロックを処理する段階は、前記コーディングツリー・ブロック内のサンプルを使用することによって、前記コーディングツリー・ブロックのサンプル値の適応ループ・フィルタリングを実行する段階を含む、解決策1に記載の方法。
3. 前記コーディングツリー・ブロックを処理する段階は、前記コーディングツリー・ブロックを仮想境界に従って2つの部分に分割することを無効にすることによって、前記コーディングツリー・ブロックのサンプル値の適応ループ・フィルタリングを実行する段階を含む、解決策1に記載の方法。
セクション4、項目2は、以下の解決策の追加的な例を提供する。
4. 現在のビデオ・ブロックのコーディングツリー・ブロックの条件に基づいて、ループ内フィルタリング中の仮想サンプルの使用状態を決定する段階と;仮想サンプルの使用状態と整合する、前記ビデオ・ブロックと前記ビデオ・ブロックのビットストリーム表現との間の変換を実行する段階とを含む、ビデオ処理の方法。
5. 前記使用状態の論理的な真の値は、現在のビデオ・ブロックが仮想境界によって少なくとも2つの部分に分割されることを示し、一方の部分のサンプルをフィルタリングすることは、別の部分からの情報を利用することを許可されない、解決策4の方法。
6. 前記使用状態の論理的な真の値は、前記ループ内フィルタリングの間に仮想サンプルが使用されることを示し、前記ループ内フィルタリングは、前記現在のビデオ・ブロックの再構成されたサンプルの修正された値を使用して実行される、解決策4に記載の方法。
7. 前記使用状態の論理的な偽の値は、前記ブロック内のサンプルをフィルタリングすることが、同じブロック内の情報を利用することを許可されることを示す、解決策4に記載の方法。
8. 前記使用状態の論理的な真の値が、前記ループ内フィルタリングが、再構築されたサンプルをさらに修正することなく、現在のビデオ・ブロックの再構築されたサンプルに対して実行されることを示す、解決策4の方法。
9. 前記条件が、前記コーディングツリー・ブロックが特定のサイズを有することに起因して前記使用状態を論理的な偽の値に設定することを指定する、解決策4~8のいずれかの方法。
10. 前記条件が、前記コーディングツリー・ブロックが特定のサイズより大きいサイズを有することに起因して前記使用状態を論理的な偽の値に設定することを指定する、解決策4~8のいずれかの方法。
11. ツリー・ブロックが特定のサイズより小さいサイズを有する解決策4~8のいずれかの方法。
セクション4、項目3は、以下の解決策の追加的な例を提供する。
12. 前記条件は、前記現在のビデオ・ブロックの下部境界が、前記ビデオ・ピクチャーよりも小さいビデオ単位の下部境界である、または前記現在のビデオ・ブロックの下部境界が仮想境界であるかどうかに依存する、解決策5の方法。
13. 前記条件は、前記現在のビデオ・ブロックの下部境界が、スライスまたはタイルまたはブリックの境界の下部境界であるかどうかに依存する、解決策12の方法。
14. 前記条件は、前記現在のビデオ・ブロックの下部境界がスライスまたはタイルまたはブリック境界の下部境界である場合に、前記使用状態を前記論理的な真の値に設定することを指定する、解決策12に記載の方法。
15. 前記条件は、前記現在のビデオ・ブロックの下部境界がピクチャー境界の下部境界である、またはピクチャー境界の下部境界の外側である場合、前記使用状態を前記論理的な偽の値に設定することを指定する、解決策4~12の方法。
セクション4、項目4は、以下の解決策の追加的な例を提供する。
16. 一つまたは複数のビデオ・スライスまたはビデオ・ブリックに論理的にグループ化されたビデオ・ピクチャーと、前記ビデオ・ピクチャーのビットストリーム表現との間の変換中に、前記適応ループ・フィルタ・プロセスにおける別のスライスまたはブリックにおけるサンプルの使用を無効にするように決定する段階と;前記決定と整合する前記変換を実行する段階とを含む、ビデオ処理の方法。
セクション4、項目5は、以下の解決策の追加的な例を提供する。
17. ビデオ・ピクチャーの現在のビデオ・ブロックと現在のビデオ・ブロックのビットストリーム表現との間の変換の間に、前記現在のビデオ・ブロックが前記ビデオ・ピクチャーのビデオ単位の境界に位置するサンプルを含むことを決定する段階と;前記決定に基づいて前記変換を実行する段階とを含み、前記変換を実行する段階は、前記ビデオ・ピクチャーのすべての境界タイプについて同じである統一された方法を使用して、ループ内フィルタリング・プロセスのための仮想サンプルを生成することを含む、ビデオ処理の方法。
18. 前記ビデオ単位は、スライスまたはタイルまたは360度ビデオである、解決策17の方法。
19. 前記ループ内フィルタリングは、適応ループ・フィルタリングを含む、解決策17の方法。
20. 前記統一された方法が、両側パディング方法である、解決策17~19のいずれかの方法。
21. 前記統一された方法が、第一のラインより下のサンプルにアクセスすることが許容されず、第一のラインより下のサンプルについて仮想サンプルを生成するためにパディングが利用される場合、第二のラインより上のサンプルにアクセスすることも許容されないように設定され、第二のラインより上のサンプルについて仮想サンプルを生成するためにパディングが利用される、解決策17~20のいずれかの方法。
22. 前記統一された方法が、第一のラインより上のサンプルにアクセスすることが許容されず、第一のラインより上のサンプルについて仮想サンプルを生成するためにパディングが利用される場合、第二のラインより下のサンプルにアクセスすることも許容されないように設定され、第二のラインより下のサンプルについて仮想サンプルを生成するためにパディングが利用される、解決策17~20のいずれかの方法。
23. 第一のラインとフィルタリングされるべき現在のサンプルが位置する現在のラインとの間の距離および第二のラインと第一のラインとの間の距離が等しい、解決策21~22のいずれかの方法。
セクション4、項目6は、以下の解決策の追加的な例を提供する。
24. ビデオ・ピクチャーの現在のビデオ・ブロックとそのビットストリーム表現との間の変換中に、前記変換中に前記ビデオ・ピクチャーについて利用可能な複数の適応ループ・フィルタ(ALF)サンプル選択方法のうちの1つを適用することを決定する段階と;複数のALFサンプル選択方法のうちの前記1つを適用することによって前記変換を実行する段階とを含む、ビデオ処理の方法。
25. 前記複数のALFサンプル選択方法が、前記変換中にループ内フィルタが現在のビデオ・ブロックに適用される前にサンプルが選択される第1の方法、および前記変換中にループ内フィルタが現在のビデオ・ブロックに適用された後にサンプルが選択される第2の方法を含む、解決策24の方法。
セクション4、項目7は、以下の解決策の追加的な例を提供する。
26. 境界規則に基づいて、現在のビデオ・ブロックと現在のビデオ・ブロックのビットストリーム表現との間の変換中に、ビデオ・ピクチャーの現在のビデオ・ブロックのサンプルに対してループ内フィルタリング動作を実行する段階であって、前記境界規則が、前記ビデオ・ピクチャーの仮想パイプライン・データユニット(VPDU)を越えたサンプルを使用することを無効にする、段階と;前記ループ内フィルタリング動作の結果を使用して前記変換を実行する段階とを含む、ビデオ処理の方法。
27. 前記VPDUが固定サイズを有する前記ビデオ・ピクチャーの領域に対応する、解決策26の方法。
28. 前記境界規則が、無効にされたサンプルの代わりに、前記ループ内フィルタリングのために仮想サンプルを使用することをさらに指定する、解決策26~27のいずれかの方法。
29. 前記仮想サンプルが、パディングによって生成される、解決策28に記載の方法。
セクション4、項目8は、以下の解決策の追加的な例を提供する。
30. 境界規則に基づいて、現在のビデオ・ブロックと現在のビデオ・ブロックのビットストリーム表現との間の変換中に、ビデオ・ピクチャーの現在のビデオ・ブロックのサンプルに対してループ内フィルタリング動作を実行する段階であって、前記境界規則が、ビデオ単位境界をまたぐ現在のビデオ・ブロックの諸位置について、パディングを使用することなく生成されるサンプルを使用することを指定する、段階と;前記ループ内フィルタリング動作の結果を使用して前記変換を実行する段階とを含む、ビデオ処理方法。
31. サンプルが、両側パディング技法を用いて生成される、解決策30の方法。
32. 前記ループ内フィルタリング動作が、前記ループ内フィルタリング動作中に対称的に位置されたサンプルについて同じ仮想サンプル生成技法を使用することを含む、解決策30に記載の方法。
33. 現在のビデオ・ブロックのサンプルに対する前記ループ内フィルタリング動作が、前記ループ内フィルタリングを適用する前に、現在のビデオ・ブロックのサンプルの再整形を実行することを含む、解決策30~32のいずれかの方法。
セクション4、項目9は、以下の解決策の追加的な例を提供する。
34. 境界規則に基づいて、現在のビデオ・ブロックと現在のビデオ・ブロックのビットストリーム表現との間の変換中に、ビデオ・ピクチャーの現在のビデオ・ブロックのサンプルに対してループ内フィルタリング動作を実行する段階であって、前記境界規則は、前記ループ内フィルタリング動作のために、前記ループ内フィルタリング中に使用される現在のビデオ・ブロックのサンプルが前記ビデオ・ピクチャーのビデオ単位の境界を越えないような寸法を有するフィルタを選択することを指定する、段階と;前記ループ内フィルタリング動作の結果を使用して前記変換を実行する段階とを含む、ビデオ処理の方法。
セクション4、項目10は、以下の解決策の追加的な例を提供する。
35. 境界規則に基づいて、現在のビデオ・ブロックと現在のビデオ・ブロックのビットストリーム表現との間の変換中に、ビデオ・ピクチャーの現在のビデオ・ブロックのサンプルに対してループ内フィルタリング動作を実行する段階であって、前記境界規則は、パディングされたサンプルが前記ループ内フィルタリングのために必要であるか否かに基づいて、前記ループ内フィルタリング動作のために、クリッピング・パラメータまたはフィルタ係数を選択することを指定する、段階と;前記ループ内フィルタリング動作の結果を用いて前記変換を実行する段階とを含む、ビデオ処理の方法。
36. クリッピング・パラメータまたはフィルタ係数が前記ビットストリーム表現に含まれる、解決策35の方法。
セクション4、項目11は、以下の解決策の追加的な例を提供する。
37. 境界規則に基づいて、現在のビデオ・ブロックと現在のビデオ・ブロックのビットストリーム表現との間の変換中に、ビデオ・ピクチャーの現在のビデオ・ブロックのサンプルに対してループ内フィルタリング動作を実行する段階であって、前記境界規則が現在のビデオ・ブロックの色成分素性に依存する、段階と;前記ループ内フィルタリング動作の結果を使用して前記変換を実行する段階とを含む、ビデオ処理の方法。
38. 前記境界規則がルーマ成分および/または異なる色成分について異なる、解決策37の方法。
39. 前記変換が、前記現在のビデオ・ブロックをビットストリーム表現にエンコードすることを含む、解決策1~38のいずれかの方法。
40. 前記変換が、ビットストリーム表現をデコードして、現在のビデオ・ブロックのサンプル値を生成することを含む、解決策1~38のいずれかの方法。
41. 解決策1~38のいずれか一つまたは複数に記載の方法を実装するように構成されたプロセッサを含む、ビデオ・エンコード装置。
42. 解決策1~38のいずれか一つまたは複数に記載の方法を実装するように構成されたプロセッサを含む、ビデオ・デコード装置。
43. コードが記憶されているコンピュータ読み取り可能媒体であって、前記コードは、プロセッサによる実行に際して、該プロセッサに、解決策1~38のいずれか一つまたは複数に記載された方法を実施させる、媒体。
図35は、本明細書で開示されるさまざまな技法が実装されうる、例示的なビデオ処理システム3500を示すブロック図である。さまざまな実装は、システム3500の構成要素の一部または全部を含んでいてもよい。システム3500は、ビデオ・コンテンツを受領するための入力3502を含んでいてもよい。ビデオ・コンテンツは、生または非圧縮フォーマット、たとえば、8または10ビットの複数成分ピクセル値で受領されてもよく、または圧縮またはエンコードされたフォーマットで受領されてもよい。入力3502は、ネットワークインターフェース、周辺バスインターフェース、または記憶インターフェースを表してもよい。ネットワークインターフェースの例は、イーサネット、受動光ネットワーク(PON)などの有線インターフェース、およびWi-Fiまたはセルラーインターフェースなどの無線インターフェースを含む。
システム3500は、本稿に記載されるさまざまなコーディングまたはエンコード方法を実装しうるコーディング構成要素3504を含んでいてもよい。コーディング構成要素3504は、入力3502からのビデオの平均ビットレートをコーディング構成要素3504の出力に低下させて、ビデオのコーディング表現を生成してもよい。よって、コーディング技法は、ビデオ圧縮またはビデオ・トランスコード技法と呼ばれることがある。コーディング構成要素3504の出力は、記憶されるか、または構成要素3506によって表されるように、接続された通信を介して伝送されうる。入力3502において受領されたビデオの記憶されたまたは通信されたビットストリーム(またはコーディング)表現は、ディスプレイインターフェース3510に送られるピクセル値または表示可能なビデオを生成するために、構成要素3508によって使用されてもよい。ビットストリーム表現からユーザーが見ることができるビデオを生成するプロセスは、ビデオ圧縮解除と呼ばれることがある。さらに、ある種のビデオ処理動作は、「コーディング」動作またはツールと称されるが、コーディングツールまたは動作は、エンコーダにおいて使用され、コーディングの結果を反転させる対応する復号ツールまたは動作がデコーダによって実行されることが理解されるであろう。
周辺バスインターフェースまたはディスプレイインターフェースの例は、ユニバーサルシリアルバス(USB)または高精細度マルチメディアインターフェース(HDMI(登録商標))またはディスプレイポートなどを含みうる。記憶インターフェースの例は、SATA(シリアルアドバンストテクノロジーアタッチメント)、PCI、IDEインターフェースなどを含む。本稿に記載される技法は、携帯電話、ラップトップ、スマートフォン、またはデジタルデータ処理および/またはビデオ表示を実行することができる他の装置のようなさまざまな電子装置に具現されうる。
図36は、本開示の技術を利用しうる例示的なビデオコーディングシステム100を示すブロック図である。
図36に示されるように、ビデオコーディング〔コーディング〕システム100は、ソース装置110および宛先装置120を含んでいてもよい。ソース装置110は、ビデオ・エンコード装置と称されてもよく、エンコードされたビデオ・データを生成する。宛先装置120は、ビデオ・デコード装置と称されてもよく、ソース装置110によって生成されたエンコードされたビデオ・データをデコードすることができる。
ソース装置110は、ビデオ・ソース112、ビデオ・エンコーダ114、および入出力(I/O)インターフェース116を含むことができる。
ビデオ・ソース112は、ビデオ・キャプチャ・デバイスのようなソース、ビデオ・コンテンツ・プロバイダーからビデオ・データを受信するためのインターフェース、および/またはビデオ・データを生成するためのコンピュータ・グラフィックス・システム、またはそのようなソースの組み合わせを含んでいてもよい。ビデオ・データは、一つまたは複数のピクチャーを含んでいてもよい。ビデオ・エンコーダ114は、ビデオ・ソース112からのビデオ・データをエンコードしてビットストリームを生成する。ビットストリームは、ビデオ・データのコーディング表現を形成するビットのシーケンスを含んでいてもよい。ビットストリームは、コーディングされたピクチャーおよび関連するデータを含んでいてもよい。コーディングされたピクチャーは、ピクチャーのコーディング表現である。関連するデータは、シーケンスパラメータセット、ピクチャーパラメータセット、および他の構文構造を含んでいてもよい。入出力インターフェース116は、変調器/復調器(モデム)および/または送信器を含んでいてもよい。エンコードされたビデオ・データは、I/Oインターフェース116を介してネットワーク130aを通じて宛先装置120に直接送信されうる。エンコードされたビデオ・データはまた、宛先装置120によるアクセスのために記憶媒体/サーバー130b上に記憶されてもよい。
宛先装置120は、入出力インターフェース126、ビデオ・デコーダ124、および表示装置122を含んでいてもよい。
入出力インターフェース126は、受信機および/またはモデムを含んでいてもよい。入出力インターフェース126は、ソース装置110または記憶媒体/サーバー130bから、エンコードされたビデオ・データを取得することができる。ビデオ・デコーダ124は、エンコードされたビデオ・データをデコードすることができる。表示装置122は、デコードされたビデオ・データをユーザーに表示することができる。表示装置122は、宛先装置120と一体化されてもよく、または外部表示装置とインターフェースするように構成された宛先装置120の外部にあってもよい。
ビデオ・エンコーダ114およびビデオ・デコーダ124は、高効率ビデオコーディング(HEVC)標準、多用途ビデオコーディング(VVC)標準、およびその他の現在および/またはさらなる標準のようなビデオ圧縮標準に従って動作することができる。
図37は、図36に示すシステム100内のビデオ・エンコーダ114であってもよい、ビデオ・エンコーダ200の一例を示すブロック図である。
ビデオ・エンコーダ200は、本開示の技術のいずれかまたは全部を実行するように構成することができる。図37の例では、ビデオ・エンコーダ200は、複数の機能的構成要素を含む。本開示に記載される技術は、ビデオ・エンコーダ200の種々の構成要素間で共有されうる。いくつかの例において、プロセッサが、本開示に記載される技術のいずれかまたは全部を実行するように構成されてもよい。
ビデオ・エンコーダ200の機能的構成要素は、分割部201と、モード選択部203、動き推定部204、動き補償部205、およびイントラ予測部206を含む予測部202と、残差生成部207と、変換部208と、量子化部209と、逆量子化部210と、逆変換部211と、再構成部212と、バッファ213と、エントロピーエンコーディング部214とを含んでいてもよい。
他の例では、ビデオ・エンコーダ200は、より多くの、より少ない、または異なる機能的構成要素を含むことができる。一例では、予測部202は、イントラブロックコピー(IBC)部を含んでいてもよい。IBC部は、少なくとも1つの参照ピクチャーが現在のビデオ・ブロックが位置するピクチャーであるIBCモードで予測を実行することができる。
さらに、動き推定部204や動き補償部205のようないくつかのコンポーネントは、高度に統合されてもよいが、説明のために図5の例では別個に表現されている。
分割部201は、ピクチャーを一つまたは複数のビデオ・ブロックにパーティション分割することができる。ビデオ・エンコーダ200およびビデオ・デコーダ300は、さまざまなビデオ・ブロック・サイズをサポートすることができる。
モード選択部203は、たとえば誤差結果に基づいて、コーディングモードのうちの1つ、イントラまたはインターを選択し、結果として得られるイントラまたはインターコーディングされたブロックを、残差ブロック・データを生成する残差生成部207に、また、参照ピクチャーとして使用するためにエンコードされたブロックを再構成する再構成部212に提供することができる。いくつかの例では、モード選択部203は、予測がインター予測信号およびイントラ予測信号に基づく、イントラおよびインター予測の組み合わせ(CIIP)モードを選択してもよい。モード選択部203は、また、インター予測の場合、ブロックについての動きベクトルの分解能(たとえば、サブピクセルまたは整数ピクセル精度)を選択してもよい。
現在のビデオ・ブロックに対してインター予測を実行するために、動き推定部204は、バッファ213からの一つまたは複数の参照フレームを現在のビデオ・ブロックと比較することによって、現在のビデオ・ブロックについての動き情報を生成してもよい。動き補償部205は、現在のビデオ・ブロックに関連するピクチャー以外のバッファ213からのピクチャーのデコードされたサンプルと前記動き情報とに基づいて、現在のビデオ・ブロックについて予測されるビデオ・ブロックを決定することができる。
動き推定部204と動き補償部205は、たとえば、現在のビデオ・ブロックがIスライス内にあるか、Pスライス内にあるか、Bスライス内にあるかによって、現在のビデオ・ブロックについて異なる動作を実行してもよい。
いくつかの例では、動き推定部204は、現在のビデオ・ブロックについて一方向の予測を実行してもよく、動き推定部204は、現在のビデオ・ブロックについての参照ビデオ・ブロックを求めて、リスト0またはリスト1の参照ピクチャーを探索してもよい。次いで、動き推定部204は、参照ビデオ・ブロックを含むリスト0またはリスト1内の参照ピクチャーを示す参照インデックスと、現在のビデオ・ブロックと参照ビデオ・ブロックとの間の空間的変位を示す動きベクトルとを生成することができる。動き推定部204は、参照インデックス、予測方向指示子、および動きベクトルを現在のビデオ・ブロックの動き情報として出力することができる。動き補償部205は、現在のビデオ・ブロックの動き情報によって示される参照ビデオ・ブロックに基づいて、現在のブロックの予測されたビデオ・ブロックを生成することができる。
他の例では、動き推定部204は、現在のビデオ・ブロックについて双方向予測を実行してもよく、動き推定部204は、現在のビデオ・ブロックについての参照ビデオ・ブロックを求めてリスト0内の参照ピクチャーを探索してもよく、現在のビデオ・ブロックについての別の参照ビデオ・ブロックを求めてリスト1内の参照ピクチャーをも探索してもよい。次いで、動き推定部204は、参照ビデオ・ブロックを含むリスト0およびリスト1における参照ピクチャーを示す参照インデックスと、参照ビデオ・ブロックと現在のビデオ・ブロックとの間の空間的変位を示す動きベクトルとを生成してもよい。動き推定部204は、現在のビデオ・ブロックの参照インデックスおよび動きベクトルを、現在のビデオ・ブロックの動き情報として、出力することができる。動き補償部205は、現在のビデオ・ブロックの動き情報によって示される参照ビデオ・ブロックに基づいて、現在のビデオ・ブロックの予測ビデオ・ブロックを生成することができる。
いくつかの例では、動き推定部204は、デコーダのデコード処理のための動き情報のフルセットを出力してもよい。
いくつかの例では、動き推定部204は、現在のビデオについての動き情報のフルセットは出力しなくてもよい。むしろ、動き推定部204は、別のビデオ・ブロックの動き情報を参照して現在のビデオ・ブロックの動き情報を信号伝達してもよい。たとえば、動き推定部204は、現在のビデオ・ブロックの動き情報が近傍のビデオ・ブロックの動き情報と十分に類似していると判断することができる。
一例では、動き推定部204は、現在のビデオ・ブロックに関連する構文構造において、現在のビデオ・ブロックが別のビデオ・ブロックと同じ動き情報を有することをビデオ・デコーダ300に対して示す値を示してもよい。
別の例では、動き推定部204は、現在のビデオ・ブロックに関連する構文構造において、別のビデオ・ブロックおよび動きベクトル差(MVD)を同定してもよい。動きベクトル差は、現在のビデオ・ブロックの動きベクトルと示されたビデオ・ブロックの動きベクトルとの間の差を示す。ビデオ・デコーダ300は、示されたビデオ・ブロックの動きベクトルと動きベクトル差とを使用して、現在のビデオ・ブロックの動きベクトルを決定することができる。
上述のように、ビデオ・エンコーダ200は、動きベクトルを予測的に信号伝達してもよい。ビデオ・エンコーダ200によって実装されうる予測的な信号伝達技法の2つの例は、先進動きベクトル予測(AMVP)およびマージ・モード信号伝達を含む。
イントラ予測部206は、現在のビデオ・ブロックに対してイントラ予測を実行することができる。イントラ予測部206が現在のビデオ・ブロックに対してイントラ予測を実行するとき、イントラ予測部206は、同じピクチャー内の他のビデオ・ブロックのデコードされたサンプルに基づいて、現在のビデオ・ブロックのための予測データを生成することができる。現在のビデオ・ブロックのための予測データは、予測されるビデオ・ブロックおよびさまざまな構文要素を含んでいてもよい。
残差生成部207は、現在のビデオ・ブロックから現在のビデオ・ブロックの予測ビデオ・ブロックを差し引くことによって(たとえば、マイナス記号によって示される)、現在のビデオ・ブロックのための残差データを生成することができる。現在のビデオ・ブロックの残差データは、現在のビデオ・ブロック内のサンプルの異なるサンプル成分に対応する残差ビデオ・ブロックを含んでいてもよい。
他の例では、たとえばスキップ・モードにおいて、現在のビデオ・ブロックのための現在のビデオ・ブロックのための残差データが存在しないことがあり、残差生成部207は減算演算を実行しないことがある。
変換処理部208は、現在のビデオ・ブロックに関連する残差ビデオ・ブロックに一つまたは複数の変換を適用することによって、現在のビデオ・ブロックのための一つまたは複数の変換係数ビデオ・ブロックを生成することができる。
変換処理部208が現在のビデオ・ブロックに関連する変換係数ビデオ・ブロックを生成した後、量子化部209は、現在のビデオ・ブロックに関連する一つまたは複数の量子化パラメータ(QP)値に基づいて、現在のビデオ・ブロックに関連する変換係数ビデオ・ブロックを量子化することができる。
逆量子化部210および逆変換部211は、変換係数ビデオ・ブロックから残差ビデオ・ブロックを再構成するために、変換係数ビデオ・ブロックに対してそれぞれ逆量子化および逆変換を適用することができる。再構成部212は、再構成された残差ビデオ・ブロックを、予測部202によって生成された一つまたは複数の予測ビデオ・ブロックからの対応するサンプルに加算して、バッファ213に記憶するために現在のブロックに関連する再構成されたビデオ・ブロックを生成する。
再構成部212がビデオ・ブロックを再構成した後、ビデオ・ブロック内のビデオ・ブロッキング・アーチファクトを低減するためにループ・フィルタリング動作が実行されてもよい。
エントロピーエンコーディング部214は、ビデオ・エンコーダ200の他の機能コンポーネントからデータを受領することができる。エントロピーエンコーディング部214がデータを受領すると、エントロピーエンコーディング部214は、一つまたは複数のエントロピーエンコーディング動作を実行してエントロピーエンコーディングデータを生成し、エントロピーエンコーディングデータを含むビットストリームを出力することができる。
図38は、図36に示されるシステム100内のビデオ・デコーダ114であってもよいビデオ・デコーダ300の例を示すブロック図である。
ビデオ・デコーダ300は、本開示の技法のいずれかまたはすべてを実行するように構成されうる。図38の例では、ビデオ・デコーダ300は、複数の機能的コンポーネントを含む。本開示に記載される技法は、ビデオ・デコーダ300のさまざまなコンポーネント間で共有されてもよい。いくつかの例では、プロセッサが、本開示に記載される技法のいずれかまたはすべてを実行するように構成されてもよい。
図38の例では、ビデオ・デコーダ300は、エントロピー復号部301、動き補償部302、イントラ予測部303、逆量子化部304、逆変換部305、再構成部306、バッファ307を含む。ビデオ・デコーダ300は、いくつかの例では、ビデオ・エンコーダ200(図37)に関して説明したエンコード・パス(pass)とおおむね逆のデコード・パスを実行することができる。
エントロピー復号部301は、エンコードされたビットストリームを取り出すことができる。エンコードされたビットストリームはエントロピーコーディングされたビデオ・データ(たとえば、ビデオ・データのエンコードされたブロック)を含むことができる。エントロピー復号部301はエントロピーコーディングされたビデオ・データを復号することができ、エントロピー復号されたビデオ・データから、動き補償部302は、動きベクトル、動きベクトル精度、参照ピクチャー・リスト・インデックス、および他の動き情報を含む動き情報を決定することができる。動き補償部302は、たとえば、AMVPおよびマージ・モードを実行することによって、そのような情報を決定することができる。
動き補償部302は、可能性としては補間フィルタに基づく補間を実行して、動き補償されたブロックを生成することができる。サブピクセル精度で使用される補間フィルタのための識別子が、構文要素に含まれてもよい。
動き補償部302は、ビデオ・ブロックのエンコード中にビデオ・エンコーダ20によって使用される補間フィルタを使用して、参照ブロックの整数未満ピクセルについての補間された値を計算することができる。動き補償部302は、受領された構文情報に従ってビデオ・エンコーダ200によって使用された補間フィルタを決定し、該補間フィルタを使用して予測ブロックを生成することができる。
動き補償部302は、構文情報の一部を使用して、エンコードされたビデオ・シーケンスのフレームおよび/またはスライスをエンコードするために使用されるブロックのサイズ、エンコードされたビデオ・シーケンスのピクチャーの各マクロブロックがどのようにパーティション分割されるかを記述する分割情報、各パーティションがどのようにエンコードされるかを示すモード、各インターコーディングされたブロックについての一つまたは複数の参照フレーム(および参照フレーム・リスト)、およびエンコードされたビデオ・シーケンスをデコードするための他の情報を決定することができる。
イントラ予測部303は、たとえばビットストリームにおいて受領されたイントラ予測モードを使用して、空間的に隣接するブロックから予測ブロックを形成してもよい。逆量子化部303は、ビットストリーム内で提供され、エントロピー復号部301によって復号された量子化ビデオ・ブロック係数を逆量子化する、すなわち、脱量子化する。逆変換部303は、逆変換を適用する。
再構成部306は、残差ブロックを、動き補償部202またはイントラ予測部303によって生成された対応する予測ブロックと加算して、デコードされたブロックを形成することができる。所望であれば、ブロック性アーチファクトを除去するために、デコードされたブロックをフィルタリングするようブロッキング解除フィルタも適用されてもよい。次いで、デコードされたビデオ・ブロックはバッファ307に格納され、バッファ307は、その後の動き補償/イントラ予測のための参照ブロックを提供し、表示装置上に提示するためのデコードされたビデオをも生成する。
図39は、本技術によるビデオ処理方法のフローチャート表現である。方法3900は、動作3910において、現在のブロックの外側のサンプルにアクセスするコーディングツールを使用する、ビデオの現在のブロックと該ビデオのビットストリーム表現との間の変換について、該変換のために使用される近傍サンプルが利用可能でないことを判別することを含む。ビデオのビデオ単位の境界を越えたところに位置するサンプルは、利用可能でないサンプルとみなされる。方法3900は、動作3920において、該判別に基づいて、利用可能でない近傍サンプルの代わりにパディング・サンプルによって変換を行うことを含む。パディング・サンプルは、現在のブロックに関連する現在の処理単位内にあるように制約されたサンプルを使用して決定される。
いくつかの実施形態では、コーディングツールは、フィルタリング・プロセスおよび分類プロセスを含む。いくつかの実施形態では、コーディングツールは、フィルタリング・プロセスまたは分類プロセスのうちの1つを含む。いくつかの実施形態では、ビデオ単位は、現在の処理単位とは異なり、ビデオ単位の境界は、スライス境界、タイル境界、ブリック境界、サブピクチャー境界、360ビデオ仮想境界、またはピクチャー境界を含む。
いくつかの実施形態では、現在ブロックの左上の近傍サンプルが利用可能でなく、現在ブロックの上の近傍サンプルが利用可能である場合に、現在の処理単位内にある現在ブロックの上の近傍サンプルの少なくとも一部が、現在ブロックの左上の近傍サンプルをパディングするために使用される。いくつかの実施形態では、現在のブロックの外側に位置する現在の処理単位のサンプルのサブセットが利用可能でない場合、サンプルの該サブセットは、現在のブロックの内側に位置するサンプルを使用してパディングされる。いくつかの実施形態では、利用可能でない現在ブロックの近傍サンプルの左または右カラムは、現在の処理単位のサンプルの左または右カラムを使用してパディングされる。いくつかの実施形態では、利用可能でない現在ブロックの上方または下方の近傍サンプルは、現在の処理単位のサンプルの上部または下部の行を使用してパディングされる。いくつかの実施形態では、利用可能でない現在ブロックの左上、右上、左下、または右下の近傍サンプルは、現在の処理単位の左上、右上、左下、または右下のコーナーサンプルを使用してパディングされる。いくつかの実施形態では、現在ブロックの左上および上の近傍サンプルが利用可能でない場合、現在の処理単位内にある現在ブロックのサンプルの上部の行を使用して、上の近傍サンプルがパディングされ、パディングされた上の近傍サンプルが、現在ブロックの左上の近傍サンプルをパディングするために使用される。いくつかの実施形態では、現在ブロックの左上、上、および左の近傍サンプルが利用可能でない場合、現在の処理単位内にある現在ブロックのサンプルの上部の行を使用して、上の近傍サンプルがパディングされ、パディングされた上の近傍サンプルを使用して、現在ブロックの左上の近傍サンプルをパディングし、現在の処理単位内にある現在ブロックの左カラムを使用して、現在ブロックの左の近傍サンプルをパディングする。
いくつかの実施形態では、コーディングツールを適用する仕方は、現在の処理単位に対する一つまたは複数の利用可能でないサンプルの位置に基づく。いくつかの実施形態では、現在の処理単位の一つまたは複数の利用可能でない近傍サンプルは、現在の処理単位内に位置するサンプルを使用してパディングされる。いくつかの実施形態では、現在の処理単位の左上の利用可能でない近傍サンプルは、現在の処理単位の左上のサンプルを使用してパディングされる。いくつかの実施形態では、現在の処理単位の右上の利用可能でない近傍サンプルは、現在の処理単位の右上のサンプルを使用してパディングされる。いくつかの実施形態では、現在の処理単位の左下の利用可能でない近傍サンプルは、現在の処理単位の左下のサンプルを使用してパディングされる。いくつかの実施形態では、現在の処理単位の右下の利用可能でない近傍サンプルは、現在の処理単位の右下のサンプルを使用してパディングされる。
図40は、本技術によるビデオ処理方法のフローチャート表現である。方法4000は、動作4010において、現在のブロックの外部のサンプルにアクセスするコーディングツールを使用する、ビデオの現在のブロックと該ビデオのビットストリーム表現との間の変換について、現在のブロックと同じビデオ単位内に現在のブロックの近傍サンプルがあるかどうかを判定することを含む。方法4000は、また、動作4020において、該判定に基づいて前記変換を実行することを含む。
いくつかの実施形態では、近傍サンプルは、現在ブロックの左上、右上、左下、または右下の領域に位置する。いくつかの実施形態では、現在ブロックは、コーディングツリー単位を含む。いくつかの実施形態では、現在ブロックは現在の適応フィルタリングループ処理単位を含む。いくつかの実施形態では、現在ブロックは、現在のコーディングツリー単位内に位置する現在のALF処理単位の一部を含む。
図41は、本技術によるビデオ処理方法のフローチャート表現である。方法4100は、動作4110において、現在のブロックの外側のサンプルにアクセスするコーディングツールを使用して、ビデオの現在のブロックと、該ビデオのビットストリーム表現との変換を実行することを含む。変換中に、現在のブロックの左上、右上、左下、または右下の領域における近傍サンプルの利用可能性は、現在のブロックの上、左、右、または下の近傍領域内のサンプルから独立して決定される。ビデオのビデオ単位の境界を越えたところに位置するサンプルは、利用可能でないサンプルとみなされる。
いくつかの実施形態では、現在ブロックは、現在の適応ループ・フィルタリング(ALF)処理単位を含む。いくつかの実施形態では、現在ブロックは、現在のコーディングツリー単位内に位置する現在のALF処理単位の一部を含む。
図42は、本技術によるビデオ処理方法のフローチャート表現である。方法4200は、動作4210において、現在の処理単位の外側のサンプルにアクセスするコーディングツールを使用して、ビデオの現在の処理単位と該ビデオのビットストリーム表現との変換を実行することを含む。変換の間、現在の処理単位の利用可能でない近傍サンプルは、あらかじめ定義された順序でパディングされる。ビデオのビデオ単位の境界を越えたところに位置するサンプルは、利用可能でないサンプルとみなされる。
いくつかの実施形態では、現在の処理単位は、コーディングツリー単位を含む。いくつかの実施形態では、現在の処理単位は、現在の適応ループ・フィルタリング(ALF)処理単位を含む。いくつかの実施形態では、現在の処理単位は、現在のコーディングツリー単位内に位置する現在のALF処理単位の一部を含む。いくつかの実施形態では、ビデオ単位は、ブリック、タイル、スライス、サブピクチャー、または360仮想領域を含む。
いくつかの実施形態では、この順序は、現在の処理単位の上方の領域に位置する利用可能でない近傍サンプルが、まず、現在の処理単位の最上段を使用してパディングされることを指定する。いくつかの実施形態では、現在の処理単位の左上の領域に位置する利用可能でない近傍サンプルは、現在の処理単位の左上のサンプルを使用してパディングされる。いくつかの実施形態では、現在の処理単位の右上の領域に位置する利用可能でない近傍サンプルは、現在の処理単位の右上のサンプルを使用してパディングされる。
いくつかの実施形態では、前記順序は、現在の処理単位の下の領域に位置する利用可能でない近傍サンプルが最初に、現在の処理単位の最下行を使用してパディングされることを指定する。いくつかの実施形態では、現在の処理単位の左下の領域に位置する利用可能でない近傍サンプルが、現在の処理単位の左下のサンプルを使用してパディングされる。いくつかの実施形態では、現在の処理単位の右下の領域に位置する利用可能でない近傍サンプルが、現在の処理単位の右下のサンプルを使用してパディングされる。いくつかの実施形態では、利用可能でない現在の処理単位の左の近傍サンプルが、現在の処理単位の左列を使用してパディングされる。いくつかの実施形態では、利用可能でない現在の処理単位の右の近傍サンプルが、現在処理単位の右列を使用してパディングされる。いくつかの実施形態では、現在の処理単位の左の近傍サンプルおよび上の近傍サンプルが利用可能であり、現在の処理単位の左上の領域内の近傍サンプルが利用可能でない場合、左上の領域における近傍サンプルは、現在の処理単位の左上のサンプルを使用してパディングする。いくつかの実施形態では、現在の処理単位の右の近傍サンプルおよび下の近傍サンプルが利用可能であり、現在の処理単位の右下の領域の近傍サンプルが利用可能でない場合、右下の領域の近傍サンプルは、現在の処理単位の右下のサンプルを使用してパディングする。
いくつかの実施形態では、現在の処理単位は、コーディングツリー単位のN行を含む上部と、該コーディングツリー単位のM行を含む下部とを含む。処理単位の近傍サンプルの利用可能性は、現在の処理単位の前記上部または前記下部のうちの一方に基づいており、MおよびNは正の整数である。いくつかの実施形態では、M=Nである。いくつかの実施形態では、近傍サンプルが、現在の処理単位の前記上部または前記下部とは異なるビデオ単位内にある場合、該近傍サンプルは利用可能でない。
いくつかの実施形態では、境界は、仮想境界ではなく、繰り返しパディングまたはミラー・パディングが境界に沿った諸サンプルに適用される。いくつかの実施形態では、境界は、垂直境界または水平境界を含む。
いくつかの実施形態では、現在の処理単位がビデオ単位の前記境界をまたぐ場合、適応ループ・フィルタリングコーディングツールは、前記境界を越えては無効にされる。いくつかの実施形態では、現在の処理単位は、境界に沿って複数の処理単位に分割される。いくつかの実施形態では、現在の処理単位は複数の処理単位に分割される。これは、該複数の処理単位のいずれも境界をまたがなくなるまで再帰的に行われる。いくつかの実施形態では、前記複数の処理単位のそれぞれは、基本的なALF処理単位とみなされる。いくつかの実施形態では、前記コーディングツールは、適応ループ・フィルタリング(ALF)プロセスを含む。いくつかの実施形態では、AFLコーディングツールは、成分横断適応ループ・フィルタリング・プロセスを含む。
いくつかの実施形態では、前記コーディングツールは、ビデオのピクチャーの部分領域に適用可能である。いくつかの実施形態では、前記部分領域は、ビデオの出力ピクチャー、適合窓、またはスケーリング窓を含む。いくつかの実施形態では、ピクチャーの部分領域の外側のエリア内のサンプルは、フィルタリングされることは許されない。
いくつかの実施形態では、前記変換は、前記ビデオを前記ビットストリーム表現にエンコードすることを含む。いくつかの実施形態では、前記変換は、前記ビットストリーム表現を前記ビデオにデコードすることを含む。
以上から、本開示の技術の個別的な実施形態が例解の目的で記載されてきたが、本発明の範囲から逸脱することなく、さまざまな修正を行うことができることが理解されるであろう。よって、本開示の技術は、添付の特許請求の範囲による場合を除き、限定されない。
開示された技術のいくつかの実施形態は、ビデオ処理ツールまたはモードを可能にする決定または判断を行うことを含む。一例では、ビデオ処理ツールまたはモードが有効にされる場合、エンコーダは、ビデオのブロックの処理において該ツールまたはモードを使用または実装するが、必ずしも該ツールまたはモードの使用に基づいて、結果として生じるビットストリームを修正しないことがある。すなわち、ビデオのブロックからビデオのビットストリーム表現への変換は、前記ビデオ処理ツールまたはモードを、前記決定または判断に基づいて有効にされているときに使用する。別の例では、ビデオ処理ツールまたはモードが有効にされている場合、デコーダは、ビットストリームがビデオ処理ツールまたはモードに基づいて修正されたという知識をもって、ビットストリームを処理する。すなわち、ビデオのビットストリーム表現からビデオのブロックへの変換は、前記決定または判断に基づいて有効にされたビデオ処理ツールまたはモードを使用して実行される。
開示された技術のいくつかの実施形態は、ビデオ処理ツールまたはモードを無効にする決定または判断を行うことを含む。一例では、ビデオ処理ツールまたはモードが無効にされている場合、エンコーダは、ビデオのブロックをビデオのビットストリーム表現に変換する際に、該ツールまたはモードを使用しない。別の例では、ビデオ処理ツールまたはモードが無効にされている場合、デコーダは、ビットストリームが前記決定または判断に基づいて有効にされたビデオ処理ツールまたはモードを使用して修正されていないとの知識を用いて、ビットストリームを処理する。
この特許文献に記載されている主題および機能動作の実装は、本明細書に開示されている構造およびその構造的等価物を含む、さまざまなシステム、デジタル電子回路、またはコンピュータ・ソフトウェア、ファームウェア、もしくはハードウェアにおいて、またはそれらの一つまたは複数の組み合わせにおいて実装できる。本明細書に記載された主題の実装は、一つまたは複数のコンピュータ・プログラム・プロダクト、たとえば、データ処理装置による実行のための、またはデータ処理装置の動作を制御するための、有形で非一時的なコンピュータ読み取り可能媒体上にエンコードされたコンピュータ・プログラム命令の一つまたは複数のモジュールとして実装できる。コンピュータ読み取り可能媒体は、機械読み取り可能な記憶装置、機械読み取り可能な記憶基板、メモリ装置、機械読み取り可能な伝搬信号を実現する物質の組成、またはそれらの一つまたは複数の組み合わせでありうる。用語「データ処理ユニット」または「データ処理装置」は、たとえば、プログラマブルプロセッサ、コンピュータ、または複数のプロセッサもしくはコンピュータを含む、データを処理するためのすべての装置、デバイス、および機械を包含する。装置は、ハードウェアに加えて、問題のコンピュータ・プログラムのための実行環境を生成するコード、たとえば、プロセッサファームウェア、プロトコルスタック、データベース管理システム、オペレーティングシステム、またはそれらの一つまたは複数の組み合わせを構成するコードを含むことができる。
コンピュータ・プログラム(プログラム、ソフトウェア、ソフトウェアアプリケーション、スクリプト、またはコードとしても知られる)は、コンパイルまたはインタープリットされる言語を含む、任意の形のプログラミング言語で書くことができ、それは、スタンドアローン・プログラムとして、またはコンピューティング環境における使用に好適なモジュール、コンポーネント、サブルーチン、または他のユニットとしてを含め、任意の形で展開できる。コンピュータ・プログラムは、必ずしもファイルシステム内のファイルに対応するものではない。プログラムは、他のプログラムまたはデータを保持するファイルの一部分(たとえば、マークアップ言語文書に格納される一つまたは複数のスクリプト)、問題のプログラム専用の単一ファイル、または複数の協調させられたファイル(たとえば、一つまたは複数のモジュール、サブプログラム、またはコード部分を格納するファイル)に記憶できる。コンピュータ・プログラムは、1つのコンピュータ上で、または1つのサイトに位置する、または複数のサイトに分散され通信ネットワークによって相互接続される複数のコンピュータ上で実行されるように展開できる。
本明細書に記載されるプロセスおよび論理フローは、入力データに対して作用し、出力を生成することによって機能を実行するよう、一つまたは複数のコンピュータ・プログラムを実行する一つまたは複数のプログラマブルプロセッサによって実行できる。プロセスおよび論理フローはまた、たとえばFPGA(フィールドプログラマブルゲートアレイ)またはASIC(特定用途向け集積回路)のような特殊目的論理回路によって実行されることもでき、装置もかかる特殊目的論理回路として実装されることができる。
コンピュータ・プログラムの実行に好適なプロセッサは、たとえば、汎用および専用マイクロプロセッサの両方、および任意の種類のデジタル・コンピュータの任意の一つまたは複数のプロセッサを含む。一般に、プロセッサは、読み出し専用メモリまたはランダム・アクセス・メモリまたはその両方から命令およびデータを受領する。コンピュータの本質的な要素は、命令を実行するためのプロセッサと、命令およびデータを記憶するための一つまたは複数のメモリ装置である。一般に、コンピュータはまた、データを記憶するための一つまたは複数の大容量記憶装置、たとえば、磁気、光磁気ディスク、または光ディスクを含んでいてもよく、またはかかる大容量記憶装置からデータを受領し、かかる大容量記憶装置にデータを転送するように動作上結合される。しかしながら、コンピュータは、そのような装置を有する必要はない。コンピュータ・プログラム命令およびデータを記憶するのに好適なコンピュータ読み取り可能媒体は、たとえば半導体メモリデバイス、たとえばEPROM、EEPROM、およびフラッシュメモリデバイスを含む、あらゆる形の不揮発性メモリ、媒体およびメモリデバイスを含む。プロセッサおよびメモリは、特殊目的論理回路によって補足されることができ、またはかかる特殊目的論理回路に組み込まれることができる。
明細書は、図面とともに、単に例示的とみなされることが意図されている。ここで、例示的とは例を意味する。本明細書中で使用されるところでは、「または」の使用は、文脈がそうでないことを明確に示すのでない限り、「および/または」を含むことが意図される。
この特許文献は多くの詳細が含んでいるが、これらは、いずれかの発明の範囲または特許請求されうるものに対する限定として解釈されるべきではなく、具体的な発明の具体的な実施形態に特有でありうる事項の記述として解釈されるべきである。この特許文献において別個の実施形態の文脈で記載されているある種の特徴は、単一の実施形態において組み合わせて実装されることもできる。逆に、単一の実施形態の文脈において記述されているさまざまな特徴が、複数の実施形態において別個に、または任意の好適なサブコンビネーションにおいて実装されることもできる。さらに、上記では特徴は、ある種の組み合わせにおいて作用するものとして記述され、当初はそのようにクレームされることさえありうるが、クレームされた組み合わせからの一つまたは複数の特徴が、場合によっては、該組み合わせから切り出されることができ、クレームされた組み合わせは、サブコンビネーションまたはサブコンビネーションの変形に向けられてもよい。
同様に、図面には特定の順序で動作が示されているが、これは、所望の結果を達成するために、そのような動作が示されている特定の順序で、または逐次順に実行されること、または、示されるすべての動作が実行されることを要求するものとして理解されるべきではない。さらに、この特許文献に記載されている実施形態におけるさまざまなシステム構成要素の分離は、すべての実施形態においてそのような分離を必要とするものとして理解されるべきではない。
少数の実装および例のみが記述されており、この特許文献に記載され、説明されている内容に基づいて、他の実装、拡張および変形がなされてもよい。

Claims (12)

  1. ビデオ・データを処理する方法であって:
    ビデオの現在のブロックと該ビデオのビットストリームとの間の変換について、現在のブロックの外側にある一つまたは複数の左上の近傍サンプルが、現在のブロックに適用されるコーディングツールのために利用可能でないことを判別するステップと;
    現在のブロックの外側にある左の近傍サンプルが利用可能であり、現在のブロックの外側にある上方の近傍サンプルが利用可能である場合、前記一つまたは複数の左上の近傍サンプルを、現在のブロックの外側にある上方の近傍サンプルを用いてパディングするステップと;
    パディングされた一つまたは複数の左上の近傍サンプルに基づいて前記変換を実行するステップとを含
    前記パディングされた一つまたは複数の左上の近傍サンプルが、前記適応ループ・フィルタ・プロセスにおける分類動作のために使用され、前記パディングされた一つまたは複数の左上の近傍サンプルが、前記分類動作における分類フィルタ・インデックスを決定するために使用され、前記分類フィルタ・インデックスは、フィルタリング係数集合を決定するために利用され、
    前記分類動作の際に、現在のブロックのM×N領域の分類は、該M×N領域を含むP×Q領域のサンプルのサブセットの勾配に基づいて決定され、現在のブロックはコーディングツリーブロックであり、前記M×N領域は4×4領域であり、前記P×Q領域は8×8領域であり、
    現在のブロックの左境界に位置する4×4ブロック内のサンプルがあるとき、8×8領域におけるサンプルの最も左の2つのカラムがパディングされる、または、現在のブロックの上部境界に位置する4×4ブロック内のサンプルがあるとき、8×8領域におけるサンプルの最も上の2つのラインがパディングされる、
    方法。
  2. 前記一つまたは複数の左上の近傍サンプルが利用可能でないことは、前記一つまたは複数の左上の近傍サンプルが現在のビデオ・ブロックとは異なるビデオ単位に位置しており、前記コーディングツールが前記ビデオ単位を越えたところにあるサンプルを使用することが禁止されているためである、請求項1に記載の方法。
  3. 前記左の近傍サンプルおよび前記上方の近傍サンプルが利用可能であることは、前記左の近傍サンプルおよび前記上方の近傍サンプルが現在のビデオ・ブロックと同じビデオ単位内に位置しているためである、請求項1に記載の方法。
  4. 前記ビデオ単位がスライスである、請求項2に記載の方法。
  5. 前記パディングされた一つまたは複数の左上の近傍サンプルおよび前記フィルタリング係数集合が、前記適応ループ・フィルタ・プロセスのフィルタ計算において、現在のブロックのフィルタリングされた再構成されたサンプルを導出するために使用される、請求項に記載の方法。
  6. 前記コーディングツールが、適応ループ・フィルタリング(ALF)プロセスを含む、請求項1に記載の方法。
  7. 前記コーディングツールが、成分横断適応ループ・フィルタリング(CC-ALF)プロセスを含む、請求項1に記載の方法。
  8. 前記変換が、前記ビデオを前記ビットストリームにエンコードすることを含む、請求項1に記載の方法。
  9. 前記変換が、前記ビデオを前記ビットストリームからデコードすることを含む、請求項1に記載の方法。
  10. プロセッサおよび命令をもつ非一時的なメモリを有する、ビデオ・データを処理する装置であって、前記命令は、前記プロセッサによって実行されると、前記プロセッサに:
    ビデオの現在のブロックと該ビデオのビットストリームとの間の変換について、現在のブロックの外側にある一つまたは複数の左上の近傍サンプルが、現在のブロックに適用されるコーディングツールのために利用可能でないことを判別するステップと;
    現在のブロックの外側にある左の近傍サンプルが利用可能であり、現在のブロックの外側にある上方の近傍サンプルが利用可能である場合、前記一つまたは複数の左上の近傍サンプルを、現在のブロックの外側にある上方の近傍サンプルを用いてパディングするステップと;
    パディングされた一つまたは複数の左上の近傍サンプルに基づいて前記変換を実行するステップとを実行させるものであ
    前記パディングされた一つまたは複数の左上の近傍サンプルが、前記適応ループ・フィルタ・プロセスにおける分類動作のために使用され、前記パディングされた一つまたは複数の左上の近傍サンプルが、前記分類動作における分類フィルタ・インデックスを決定するために使用され、前記分類フィルタ・インデックスは、フィルタリング係数集合を決定するために利用され、
    前記分類動作の際に、現在のブロックのM×N領域の分類は、該M×N領域を含むP×Q領域のサンプルのサブセットの勾配に基づいて決定され、現在のブロックはコーディングツリーブロックであり、前記M×N領域は4×4領域であり、前記P×Q領域は8×8領域であり、
    現在のブロックの左境界に位置する4×4ブロック内のサンプルがあるとき、8×8領域におけるサンプルの最も左の2つのカラムがパディングされる、または、現在のブロックの上部境界に位置する4×4ブロック内のサンプルがあるとき、8×8領域におけるサンプルの最も上の2つのラインがパディングされる、
    装置。
  11. 命令を記憶している非一時的なコンピュータ読み取り可能な記憶媒体であって、前記命令は、プロセッサに:
    ビデオの現在のブロックと該ビデオのビットストリームとの間の変換について、現在のブロックの外側にある一つまたは複数の左上の近傍サンプルが、現在のブロックに適用されるコーディングツールのために利用可能でないことを判別するステップと;
    現在のブロックの外側にある左の近傍サンプルが利用可能であり、現在のブロックの外側にある上方の近傍サンプルが利用可能である場合、前記一つまたは複数の左上の近傍サンプルを、現在のブロックの外側にある上方の近傍サンプルを用いてパディングするステップと;
    パディングされた一つまたは複数の左上の近傍サンプルに基づいて前記変換を実行するステップとを実行させるものであ
    前記パディングされた一つまたは複数の左上の近傍サンプルが、前記適応ループ・フィルタ・プロセスにおける分類動作のために使用され、前記パディングされた一つまたは複数の左上の近傍サンプルが、前記分類動作における分類フィルタ・インデックスを決定するために使用され、前記分類フィルタ・インデックスは、フィルタリング係数集合を決定するために利用され、
    前記分類動作の際に、現在のブロックのM×N領域の分類は、該M×N領域を含むP×Q領域のサンプルのサブセットの勾配に基づいて決定され、現在のブロックはコーディングツリーブロックであり、前記M×N領域は4×4領域であり、前記P×Q領域は8×8領域であり、
    現在のブロックの左境界に位置する4×4ブロック内のサンプルがあるとき、8×8領域におけるサンプルの最も左の2つのカラムがパディングされる、または、現在のブロックの上部境界に位置する4×4ブロック内のサンプルがあるとき、8×8領域におけるサンプルの最も上の2つのラインがパディングされる、
    記憶媒体。
  12. デオのビットストリームを記憶する方法であって、前記方法
    ビデオの現在のブロックについて、現在のブロックの外側にある一つまたは複数の左上の近傍サンプルが、現在のブロックに適用されるコーディングツールのために利用可能でないことを判別するステップと;
    現在のブロックの外側にある左の近傍サンプルが利用可能であり、現在のブロックの外側にある上方の近傍サンプルが利用可能である場合、前記一つまたは複数の左上の近傍サンプルを、現在のブロックの外側にある上方の近傍サンプルを用いてパディングするステップと;
    パディングされた一つまたは複数の左上の近傍サンプルに基づいて前記ビットストリームを生成するステップと
    前記ビットストリームを非一時的なコンピュータ読み取り可能な記録媒体に記憶するステップとを含
    前記パディングされた一つまたは複数の左上の近傍サンプルが、前記適応ループ・フィルタ・プロセスにおける分類動作のために使用され、前記パディングされた一つまたは複数の左上の近傍サンプルが、前記分類動作における分類フィルタ・インデックスを決定するために使用され、前記分類フィルタ・インデックスは、フィルタリング係数集合を決定するために利用され、
    前記分類動作の際に、現在のブロックのM×N領域の分類は、該M×N領域を含むP×Q領域のサンプルのサブセットの勾配に基づいて決定され、現在のブロックはコーディングツリーブロックであり、前記M×N領域は4×4領域であり、前記P×Q領域は8×8領域であり、
    現在のブロックの左境界に位置する4×4ブロック内のサンプルがあるとき、8×8領域におけるサンプルの最も左の2つのカラムがパディングされる、または、現在のブロックの上部境界に位置する4×4ブロック内のサンプルがあるとき、8×8領域におけるサンプルの最も上の2つのラインがパディングされる、
    方法
JP2022521190A 2019-10-10 2020-10-10 適応ループ・フィルタリングにおける利用可能でないサンプル位置でのパディング・プロセス Active JP7454042B2 (ja)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
CNPCT/CN2019/110489 2019-10-10
CN2019110489 2019-10-10
CN2019110681 2019-10-11
CNPCT/CN2019/110681 2019-10-11
CN2019111114 2019-10-14
CNPCT/CN2019/111114 2019-10-14
PCT/CN2020/120063 WO2021068906A1 (en) 2019-10-10 2020-10-10 Padding process at unavailable sample locations in adaptive loop filtering

Publications (2)

Publication Number Publication Date
JP2022550998A JP2022550998A (ja) 2022-12-06
JP7454042B2 true JP7454042B2 (ja) 2024-03-21

Family

ID=75437749

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022521190A Active JP7454042B2 (ja) 2019-10-10 2020-10-10 適応ループ・フィルタリングにおける利用可能でないサンプル位置でのパディング・プロセス

Country Status (6)

Country Link
US (2) US11706462B2 (ja)
EP (1) EP4029263A4 (ja)
JP (1) JP7454042B2 (ja)
KR (1) KR20220071203A (ja)
CN (2) CN117956146A (ja)
WO (1) WO2021068906A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118138754A (zh) 2019-06-14 2024-06-04 北京字节跳动网络技术有限公司 处理视频单元边界和虚拟边界
US11394967B2 (en) 2020-04-26 2022-07-19 Tencent America LLC Geometric cross-component filtering
US20220394309A1 (en) * 2021-05-20 2022-12-08 Lemon Inc. On Padding Methods For Neural Network-Based In-Loop Filter
US20230179763A1 (en) * 2021-12-06 2023-06-08 Tencent America LLC Interpolation Filters for Adaptive Motion Vector Difference Resolution

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130128986A1 (en) 2011-11-23 2013-05-23 Mediatek Inc. Method and Apparatus of Slice Boundary Padding for Loop Filtering
US20130343447A1 (en) 2012-06-25 2013-12-26 Broadcom Corporation Adaptive loop filter (ALF) padding in accordance with video coding

Family Cites Families (110)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7558320B2 (en) 2003-06-13 2009-07-07 Microsoft Corporation Quality control in frame interpolation with motion analysis
CN101207812B (zh) 2007-12-10 2010-04-07 海信集团有限公司 一种视频环路滤波方法
EP2396966B1 (en) 2009-02-10 2018-09-05 Lattice Semiconductor Corporation Block noise detection and filtering
US9094658B2 (en) 2010-05-10 2015-07-28 Mediatek Inc. Method and apparatus of adaptive loop filtering
US9083974B2 (en) * 2010-05-17 2015-07-14 Lg Electronics Inc. Intra prediction modes
KR101578318B1 (ko) 2010-09-30 2015-12-16 미쓰비시덴키 가부시키가이샤 화상 복호 장치, 화상 복호 방법, 화상 부호화 장치 및 화상 부호화 방법
US8861617B2 (en) 2010-10-05 2014-10-14 Mediatek Inc Method and apparatus of region-based adaptive loop filtering
KR101526349B1 (ko) 2010-10-05 2015-06-05 미디어텍 인크. 영역 기반의 적응 루프 필터링의 방법 및 장치
US9525884B2 (en) 2010-11-02 2016-12-20 Hfi Innovation Inc. Method and apparatus of slice boundary filtering for high efficiency video coding
KR101567467B1 (ko) 2011-05-10 2015-11-09 미디어텍 인크. 루프내 필터 버퍼의 감소를 위한 방법 및 장치
KR101956284B1 (ko) 2011-06-30 2019-03-08 엘지전자 주식회사 보간 방법 및 이를 이용한 예측 방법
US9641866B2 (en) 2011-08-18 2017-05-02 Qualcomm Incorporated Applying partition-based filters
US9357235B2 (en) 2011-10-13 2016-05-31 Qualcomm Incorporated Sample adaptive offset merged with adaptive loop filter in video coding
AU2012327672B2 (en) 2011-10-24 2015-09-03 Hfi Innovation Inc. Method and apparatus for non-cross-tile loop filtering
US9247258B2 (en) 2011-10-26 2016-01-26 Qualcomm Incorporated Unified design for picture partitioning schemes
US20130107973A1 (en) 2011-10-28 2013-05-02 Qualcomm Incorporated Loop filtering control over tile boundaries
US9077998B2 (en) 2011-11-04 2015-07-07 Qualcomm Incorporated Padding of segments in coded slice NAL units
US8983218B2 (en) * 2012-04-11 2015-03-17 Texas Instruments Incorporated Virtual boundary processing simplification for adaptive loop filtering (ALF) in video coding
KR102070622B1 (ko) 2012-11-23 2020-01-29 삼성전자주식회사 동영상을 위한 양자화 테이블 추정 방법 및 장치
US9596461B2 (en) 2012-11-26 2017-03-14 Qualcomm Incorporated Loop filtering across constrained intra block boundaries in video coding
EP2941871A2 (en) 2013-01-07 2015-11-11 VID SCALE, Inc. Enhanced deblocking filters for video coding
US9473779B2 (en) 2013-03-05 2016-10-18 Qualcomm Incorporated Parallel processing for video coding
US9648335B2 (en) 2013-07-12 2017-05-09 Qualcomm Incorporated Bitstream restrictions on picture partitions across layers
US9628792B2 (en) 2013-07-15 2017-04-18 Qualcomm Incorporated Cross-layer parallel processing and offset delay parameters for video coding
EP3050294A4 (en) 2013-09-27 2017-08-09 Qualcomm Incorporated Residual coding for depth intra prediction modes
EP3069511A4 (en) 2013-11-15 2017-09-27 MediaTek Inc. Method of block-based adaptive loop filtering
US9807406B2 (en) 2014-03-17 2017-10-31 Qualcomm Incorporated Picture flushing and decoded picture buffer parameter inference for multi-layer bitstreams
US9591325B2 (en) 2015-01-27 2017-03-07 Microsoft Technology Licensing, Llc Special case handling for merged chroma blocks in intra block copy prediction mode
US20160227222A1 (en) 2015-02-02 2016-08-04 Mediatek Inc. Multi-Standard Video Decoder with Novel Intra Prediction Decoding
US10057574B2 (en) 2015-02-11 2018-08-21 Qualcomm Incorporated Coding tree unit (CTU) level adaptive loop filter (ALF)
US20160241881A1 (en) 2015-02-13 2016-08-18 Mediatek Inc. Method and Apparatus of Loop Filters for Efficient Hardware Implementation
US10306240B2 (en) 2015-06-08 2019-05-28 Vid Scale, Inc. Intra block copy mode for screen content coding
WO2017045101A1 (en) 2015-09-14 2017-03-23 Mediatek Singapore Pte. Ltd. Advanced deblocking filter in video coding
KR102267922B1 (ko) 2015-09-23 2021-06-22 노키아 테크놀로지스 오와이 360도 파노라마 비디오를 코딩하는 방법, 장치 및 컴퓨터 프로그램 제품
WO2017075804A1 (en) 2015-11-06 2017-05-11 Microsoft Technology Licensing, Llc Flexible reference picture management for video encoding and decoding
US20190045224A1 (en) * 2016-02-04 2019-02-07 Mediatek Inc. Method and apparatus of non-local adaptive in-loop filters in video coding
US11563938B2 (en) 2016-02-15 2023-01-24 Qualcomm Incorporated Geometric transforms for filters for video coding
US10419755B2 (en) 2016-05-16 2019-09-17 Qualcomm Incorporated Confusion of multiple filters in adaptive loop filtering in video coding
US10264282B2 (en) 2016-06-27 2019-04-16 Mediatek Inc. Method and apparatus of inter coding for VR video using virtual reference frames
JP6983862B2 (ja) 2016-07-08 2021-12-17 ヴィド スケール インコーポレイテッド ジオメトリ投影を使用する360度ビデオ符号化
US10841581B2 (en) 2016-07-14 2020-11-17 Arris Enterprises Llc Region specific encoding and SAO-sensitive-slice-width-adaptation for improved-quality HEVC encoding
US11095922B2 (en) 2016-08-02 2021-08-17 Qualcomm Incorporated Geometry transformation-based adaptive loop filtering
CN109565591B (zh) 2016-08-03 2023-07-18 株式会社Kt 用于对视频进行编码和解码的方法和装置
US20180054613A1 (en) 2016-08-22 2018-02-22 Mediatek Inc. Video encoding method and apparatus with in-loop filtering process not applied to reconstructed blocks located at image content discontinuity edge and associated video decoding method and apparatus
US10419757B2 (en) * 2016-08-31 2019-09-17 Qualcomm Incorporated Cross-component filter
KR20180057566A (ko) 2016-11-22 2018-05-30 한국전자통신연구원 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
CN108111851B (zh) 2016-11-25 2020-12-22 华为技术有限公司 一种去块滤波方法及终端
US10555006B2 (en) 2016-12-22 2020-02-04 Qualcomm Incorporated Deriving bilateral filter information based on a prediction mode in video coding
US20180184127A1 (en) 2016-12-22 2018-06-28 Qualcomm Incorporated Determining neighboring samples for bilateral filtering in video coding
US10506230B2 (en) 2017-01-04 2019-12-10 Qualcomm Incorporated Modified adaptive loop filter temporal prediction for temporal scalability support
US11277635B2 (en) 2017-03-17 2022-03-15 Vid Scale, Inc. Predictive coding for 360-degree video based on geometry padding
CN116233423A (zh) 2017-03-22 2023-06-06 汉阳大学校产学协力团 基于自适应像素分类基准的环路滤波方法
EP3539290A4 (en) 2017-03-30 2019-09-18 Samsung Electronics Co., Ltd. METHOD AND APPARATUS FOR PRODUCING 360-DEGREE IMAGE CONTENT ON RECTANGULAR PROJECTION BY SELECTIVELY APPLYING A LOOP FILTER
KR20200005539A (ko) 2017-04-11 2020-01-15 브이아이디 스케일, 인크. 면 연속성을 사용하는 360 도 비디오 코딩
US10778974B2 (en) 2017-07-05 2020-09-15 Qualcomm Incorporated Adaptive loop filter with enhanced classification methods
US10728573B2 (en) * 2017-09-08 2020-07-28 Qualcomm Incorporated Motion compensated boundary pixel padding
EP3454556A1 (en) 2017-09-08 2019-03-13 Thomson Licensing Method and apparatus for video encoding and decoding using pattern-based block filtering
WO2019060443A1 (en) 2017-09-20 2019-03-28 Vid Scale, Inc. HANDLING FACIAL DISCONTINUITIES IN 360-DEGREE VIDEO CODING
WO2019072582A1 (en) 2017-10-09 2019-04-18 Canon Kabushiki Kaisha METHOD AND APPARATUS FOR FILTERING WITH DEPRESSION OF A BLOCK OF PIXELS
US10965941B2 (en) 2017-10-09 2021-03-30 Qualcomm Incorporated Position-dependent prediction combinations in video coding
JP2021016016A (ja) 2017-10-20 2021-02-12 シャープ株式会社 動画像符号化装置及び動画像復号装置
CN111316649B (zh) 2017-11-01 2024-06-11 Vid拓展公司 重叠块运动补偿
US11641488B2 (en) * 2017-11-01 2023-05-02 Vid Scale, Inc. Methods for simplifying adaptive loop filter in video coding
US10728549B2 (en) 2017-11-06 2020-07-28 Dolby Laboratories Licensing Corporation Adaptive loop filtering for high-dynamic range video
CN107801024B (zh) 2017-11-09 2019-07-12 北京大学深圳研究生院 一种用于帧内预测的边界滤波方法
US10721469B2 (en) 2017-11-28 2020-07-21 Qualcomm Incorporated Line buffer reduction for adaptive loop filtering in video coding
CN115955562A (zh) 2017-11-29 2023-04-11 韩国电子通信研究院 采用环内滤波的图像编码/解码方法和装置
EP3729812A1 (en) 2017-12-19 2020-10-28 VID SCALE, Inc. Face discontinuity filtering for 360-degree video coding
WO2019131400A1 (ja) 2017-12-26 2019-07-04 シャープ株式会社 画像フィルタ装置、画像復号装置、および画像符号化装置
EP3732880A4 (en) 2017-12-29 2021-04-28 Sharp Kabushiki Kaisha SYSTEMS AND METHODS FOR PARTITIONING VIDEO BLOCKS TO ONE FRAME LIMIT FOR VIDEO ENCODING
CN109996069B (zh) 2018-01-03 2021-12-10 华为技术有限公司 视频图像编解码方法及设备
US10972729B2 (en) 2018-01-20 2021-04-06 Qualcomm Incorporated Deblocking filter selection and application in video coding
US20190238845A1 (en) 2018-01-26 2019-08-01 Qualcomm Incorporated Adaptive loop filtering on deblocking filter results in video coding
US11212438B2 (en) 2018-02-14 2021-12-28 Qualcomm Incorporated Loop filter padding for 360-degree video coding
WO2019157717A1 (zh) 2018-02-14 2019-08-22 北京大学 运动补偿的方法、装置和计算机系统
US20190281273A1 (en) * 2018-03-08 2019-09-12 Mediatek Inc. Adaptive loop filtering method for reconstructed projection-based frame that employs projection layout of 360-degree virtual reality projection
WO2019189279A1 (en) 2018-03-30 2019-10-03 Sharp Kabushiki Kaisha Systems and methods for partitioning video blocks at a boundary of a picture for video coding
US20190306502A1 (en) 2018-04-02 2019-10-03 Qualcomm Incorporated System and method for improved adaptive loop filtering
US10708592B2 (en) 2018-04-02 2020-07-07 Qualcomm Incorporated Deblocking filter for video coding and processing
US10904576B2 (en) 2018-04-27 2021-01-26 Panasonic Intellectual Property Corporation Of America Encoder, decoder, encoding method, and decoding method for generating a prediction image using a plurality of pixels generated outside of a boundary of a reference picture on which smoothing has been performed
WO2019230670A1 (en) 2018-05-31 2019-12-05 Sharp Kabushiki Kaisha Systems and methods for partitioning video blocks in an inter prediction slice of video data
WO2019245650A1 (en) 2018-06-18 2019-12-26 Interdigital Vc Holdings, Inc. Boundary filtering for planar and dc modes in intra prediction
CA3103003A1 (en) 2018-06-21 2019-12-26 Telefonaktiebolaget Lm Ericsson (Publ) Deblocking of video picture boundaries
WO2020009514A1 (ko) 2018-07-06 2020-01-09 한국전자통신연구원 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
US11094088B2 (en) 2018-08-31 2021-08-17 Mediatek Inc. Method and apparatus of in-loop filtering for virtual boundaries in video coding
CN112703736B (zh) 2018-09-14 2022-11-25 华为技术有限公司 视频译码方法,视频译码设备以及非瞬时性计算机可读介质
EP3868109A4 (en) 2018-10-23 2022-08-17 HFI Innovation Inc. METHOD AND APPARATUS FOR LOOP FILTER BUFFER REDUCTION
CN112868240B (zh) 2018-10-23 2023-06-30 北京字节跳动网络技术有限公司 并置的局部照明补偿和修改的帧间预测编解码
CN109660797A (zh) 2018-11-09 2019-04-19 北京达佳互联信息技术有限公司 自适应滤波方法、装置、电子设备及计算机可读介质
CN109600611B (zh) 2018-11-09 2021-07-13 北京达佳互联信息技术有限公司 环路滤波方法、环路滤波装置、电子设备和可读介质
US11044473B2 (en) 2018-12-21 2021-06-22 Qualcomm Incorporated Adaptive loop filtering classification in video coding
EP3895423A4 (en) 2018-12-23 2022-06-22 Huawei Technologies Co., Ltd. ENCODER, DECODER AND RELATED METHODS USING AN ADAPTIVE LOOP FILTER
HRP20230702T1 (hr) 2019-01-09 2023-10-13 Huawei Technologies Co., Ltd. Signaliziranje identifikatora podslike kod kodiranja videa
CN113383554B (zh) 2019-01-13 2022-12-16 北京字节跳动网络技术有限公司 LUT和共享Merge列表之间的交互
AU2020227754A1 (en) 2019-02-27 2021-09-30 Huawei Technologies Co., Ltd. An encoder, a decoder and corresponding methods
CN113545036B (zh) 2019-03-02 2023-11-28 北京字节跳动网络技术有限公司 对环路内滤波的限制
US11910024B2 (en) 2019-03-11 2024-02-20 Qualcomm Incorporated Boundary handling for adaptive loop filtering
MX2021011016A (es) 2019-03-11 2021-11-12 Huawei Tech Co Ltd Un codificador, un decodificador y métodos correspondientes.
CN113574889B (zh) 2019-03-14 2024-01-12 北京字节跳动网络技术有限公司 环路整形信息的信令和语法
CN115243056A (zh) 2019-03-24 2022-10-25 抖音视界有限公司 视频处理中的多参数自适应环路滤波
US11546587B2 (en) 2019-04-11 2023-01-03 Mediatek Inc. Adaptive loop filter with adaptive parameter set
CN115914627A (zh) 2019-04-15 2023-04-04 北京字节跳动网络技术有限公司 自适应环路滤波器中的裁剪参数推导
CN113767623B (zh) 2019-04-16 2024-04-02 北京字节跳动网络技术有限公司 用于视频编解码的自适应环路滤波
CN118138754A (zh) 2019-06-14 2024-06-04 北京字节跳动网络技术有限公司 处理视频单元边界和虚拟边界
CN113994671B (zh) 2019-06-14 2024-05-10 北京字节跳动网络技术有限公司 基于颜色格式处理视频单元边界和虚拟边界
JP7291846B2 (ja) 2019-07-09 2023-06-15 北京字節跳動網絡技術有限公司 適応ループフィルタリングのためのサンプル決定
KR102648121B1 (ko) 2019-07-11 2024-03-18 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 적응적 루프 필터링에서의 샘플 패딩
WO2021006692A1 (ko) 2019-07-11 2021-01-14 삼성전자 주식회사 비디오 복호화 방법 및 장치, 비디오 부호화 방법 및 장치
US11303890B2 (en) 2019-09-05 2022-04-12 Qualcomm Incorporated Reusing adaptive loop filter (ALF) sub-picture boundary processing for raster-scan slice boundaries
EP4022914A4 (en) 2019-09-05 2023-09-06 HFI Innovation Inc. METHOD AND APPARATUS FOR ADAPTIVE LOOP FILTERING AT PICTURE AND SUB-PICTURE BOUNDARY IN VIDEO CODING

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130128986A1 (en) 2011-11-23 2013-05-23 Mediatek Inc. Method and Apparatus of Slice Boundary Padding for Loop Filtering
US20130343447A1 (en) 2012-06-25 2013-12-26 Broadcom Corporation Adaptive loop filter (ALF) padding in accordance with video coding

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
Hongbin Liu, et al.,Non-CE5: Fixes of ALF sample padding,Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11,JVET-P0492,16th Meeting: Geneva, CH,2019年09月,pp.1-3
Hongbin Liu, et al.,Non-CE5: Padding method for samples at variant boundaries in ALF,Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11,JVET-O0625,15th Meeting: Gothenburg, SE,2019年06月,pp.1-4
Jianle Chen, and Hendry,On padding process of adaptive loop filter,Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11,JVET-P0121-v1,16th Meeting: Geneva, CH,2019年09月,pp.1-4
Kiran Misra, Frank Bossen, and Andrew Segall,Cross-Component Adaptive Loop Filter for chroma,Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11,JVET-O0636_r1,15th Meeting: Gothenburg, SE,2019年07月,pp.1-9
Minhua Zhou,AHG16/HLS: A clean-up for the ALF sample padding,Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11,JVET-P0053-v1,16th Meeting: Geneva, CH,2019年09月,pp.1-3
Tammy Lee, Jianle Chen, and Jeonghoon Park,Non-CE6: Simplified reference samples padding for intra prediction,Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11,JCTVC-G791,7th Meeting: Geneva, CH,2011年11月,pp.1-9

Also Published As

Publication number Publication date
KR20220071203A (ko) 2022-05-31
US20230090209A1 (en) 2023-03-23
EP4029263A4 (en) 2022-12-07
US11706462B2 (en) 2023-07-18
US20230319316A1 (en) 2023-10-05
WO2021068906A1 (en) 2021-04-15
CN117956146A (zh) 2024-04-30
CN114556939A (zh) 2022-05-27
EP4029263A1 (en) 2022-07-20
JP2022550998A (ja) 2022-12-06

Similar Documents

Publication Publication Date Title
JP7433346B2 (ja) ビデオ単位境界および仮想境界の処理
AU2020309130B2 (en) Sample padding in adaptive loop filtering
WO2021004491A1 (en) Sample determination for adaptive loop filtering
CN113994671B (zh) 基于颜色格式处理视频单元边界和虚拟边界
JP7454042B2 (ja) 適応ループ・フィルタリングにおける利用可能でないサンプル位置でのパディング・プロセス
JP7318120B2 (ja) 適応ループフィルタリングにおけるパディングプロセス
JP7326600B2 (ja) 異なるビデオユニット間の適応ループフィルタリング
JP7361196B2 (ja) 適応ループ・フィルタリングにおける分類
CN114128296A (zh) 自适应环路滤波中跨视频单元边界访问样点

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220620

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220412

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220412

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230228

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230524

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230620

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230915

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231017

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240112

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240213

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240308

R150 Certificate of patent or registration of utility model

Ref document number: 7454042

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150