JP7302009B2 - クロスコンポーネントモードの利用可能性に対する制約 - Google Patents
クロスコンポーネントモードの利用可能性に対する制約 Download PDFInfo
- Publication number
- JP7302009B2 JP7302009B2 JP2021559967A JP2021559967A JP7302009B2 JP 7302009 B2 JP7302009 B2 JP 7302009B2 JP 2021559967 A JP2021559967 A JP 2021559967A JP 2021559967 A JP2021559967 A JP 2021559967A JP 7302009 B2 JP7302009 B2 JP 7302009B2
- Authority
- JP
- Japan
- Prior art keywords
- block
- chroma
- luma
- video
- samples
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 241000023320 Luma <angiosperm> Species 0.000 claims description 449
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 claims description 448
- 238000000034 method Methods 0.000 claims description 361
- 238000012545 processing Methods 0.000 claims description 87
- 238000005192 partition Methods 0.000 claims description 76
- 230000004044 response Effects 0.000 claims description 16
- 230000009977 dual effect Effects 0.000 claims description 11
- 230000001131 transforming effect Effects 0.000 claims description 11
- 230000015654 memory Effects 0.000 claims description 10
- 230000009466 transformation Effects 0.000 claims description 9
- 239000000523 sample Substances 0.000 description 115
- 239000013598 vector Substances 0.000 description 47
- 238000013507 mapping Methods 0.000 description 44
- 230000008569 process Effects 0.000 description 39
- 230000001419 dependent effect Effects 0.000 description 31
- 238000006243 chemical reaction Methods 0.000 description 29
- 238000009795 derivation Methods 0.000 description 24
- 230000006870 function Effects 0.000 description 19
- 230000003287 optical effect Effects 0.000 description 13
- 238000004590 computer program Methods 0.000 description 11
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 9
- 238000001914 filtration Methods 0.000 description 9
- 238000012821 model calculation Methods 0.000 description 8
- 230000003044 adaptive effect Effects 0.000 description 7
- 230000002146 bilateral effect Effects 0.000 description 6
- 230000006835 compression Effects 0.000 description 6
- 238000007906 compression Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 6
- 239000013074 reference sample Substances 0.000 description 6
- 230000002123 temporal effect Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 238000009499 grossing Methods 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000013139 quantization Methods 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 230000006837 decompression Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000013515 script Methods 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 230000007717 exclusion Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000007670 refining Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/124—Quantisation
- H04N19/126—Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
- H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
- H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
- H04N19/96—Tree coding, e.g. quad-tree coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computing Systems (AREA)
- Theoretical Computer Science (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Color Television Systems (AREA)
- Transition And Organic Metals Composition Catalysts For Addition Polymerization (AREA)
- Materials For Medical Uses (AREA)
Description
本願は、国際特許出願番号第PCT/CN2019/083320号、2019年4月18日出願、の優先権を請求する国際特許出願番号第PCT/CN2020/085654号、2020年4月20日出願に基づく。前述の特許出願の全ては、参照によりそれらの全体がここに組み込まれる。
本願明細書は、ビデオコーディング及び復号技術、装置、及びシステムに関する。
現在クロマビデオブロックと前記現在クロマビデオブロックのビットストリーム表現との間の変換の間に、同一位置のルマブロックの左上サンプルをカバーする対応するルマブロックの1つ以上の近隣ルマブロックの利用可能性をチェックするステップと、
1つ以上の近隣ルマブロックの前記利用可能性に基づき、前記対応するルマブロックの近隣ルマサンプルを検索するかどうかを決定するステップと、
決定する前記ステップに基づき、スケーリング係数を導出するステップと、
前記スケーリング係数に基づき、前記現在クロマビデオブロックのクロマ残差をスケーリングして、スケーリング済みクロマ残差を生成するステップと、
前記スケーリング済みクロマ残差に基づき、前記変換を実行するステップと、を含む。
映像メディアデータの現在ビデオブロックと前記現在ビデオブロックのビットストリーム表現との間の変換の間に、処理ステップに関連付けられたモデルを用いて前記映像メディアデータの第1色成分値セットから、前記現在ビデオブロックの第2色成分値セットを導出するステップであって、前記第1色成分値セットは、同一位置のルマブロックの左上サンプルをカバーする対応するルマブロックの近隣サンプルである、ステップを含む。
映像メディアデータのビデオ領域内の現在ビデオブロックを前記映像メディアデータのビットストリーム表現へと符号化するために、前記映像メディアデータの前記現在ビデオブロックのクロマ成分に対するルマ依存クロマ残差スケーリング(chroma residual scaling (CRS))の適用を選択的に有効又は無効にするステップと、
前記映像メディアデータの前記ビットストリーム表現にフィールドを含む又は除外することを決定するステップであって、前記フィールドは、前記の選択的に有効又は無効にすることを示し、含まれる場合には前記現在ビデオブロックに関連付けられた第1シンタックスレベル以外でシグナリングされる、ステップと、を含む。
映像メディアデータのビットストリーム表現内のフィールドをパースするステップであって、前記フィールドは、現在ビデオブロックに関連付けられた第1シンタックスレベル以外のレベルに含まれる、ステップと、
前記フィールドに基づき、前記ビットストリーム表現から復号ビデオ領域を生成するために、映像メディアデータの前記現在ビデオブロックのクロマ成分に対するルマ依存クロマ残差スケーリング(chroma residual scaling (CRS))の適用を選択的に有効又は無効にするステップと、を含む。
現在ビデオブロックを映像メディアデータのビットストリーム表現へと符号化するために、前記映像メディアデータの前記現在ビデオブロックに対するクロスコンポーネント線形モデル(cross-component linear model (CCLM))の適用を選択的に有効又は無効にするステップと、
前記映像メディアデータの前記ビットストリーム表現にフィールドを含む又は除外することを決定するステップであって、前記フィールドは、前記の選択的に有効又は無効にすることを示し、含まれる場合には前記現在ビデオブロックに関連付けられた第1シンタックスレベル以外でシグナリングされる、ステップと、を含む。
映像メディアデータのビットストリーム表現内のフィールドをパースするステップであって、前記フィールドは、現在ビデオブロックに関連付けられた第1シンタックスレベル以外のレベルに含まれる、ステップと、
前記フィールドに基づき、前記ビットストリーム表現から復号ビデオ領域を生成するために、映像メディアデータの前記現在ビデオブロックに対するクロスコンポーネント線形モデル(cross-component linear model (CCLM))の適用を選択的に有効又は無効にするステップと、を含む。
2.1.1 HEVC/H.265におけるイントラ予測
イントラ予測は、検討中の色チャネルにおいて前に再構成されたサンプルを用いて、所与のTB(変換ブロック、transform block)のサンプルを生成することを含む。イントラ予測モードは、ルマ及びクロマチャネルについて別個にシグナリングされ、クロマチャネルイントラ予測モードは、任意で、「DM_CHROMA」によりルマチャネルイントラ予測に依存する。イントラ予測モードはPB(予測ブロック、prediction block)レベルでシグナリングされるが、イントラ予測処理は、CUの残差4分木階層構造に従い、TBレベルで適用される。それにより、1つのTVのコーディングが、CU内の次のTBのコーディングに影響を与えることを可能にし、従って、参照値として使用されるサンプルまでの距離を縮小する。
2.2.1 VVCコーディングアーキテクチャ
HEVCより先の将来のコーディング技術を開発するために、共同ビデオ探索チーム(Joint Video Exploration Team (JVET))が2015年にVCEG及びMPEGにより共同で設立された。JVET会議が、現在、四半期毎に行われており、新しいコーディング規格は、HEVCと比べて50%のビットレートの削減を目標としている。新しいビデオコーディング規格は、2018年4月のJVET会議においてVersatile Video Coding (VVC)として公式に命名され、そのとき、VVCテストモデル(VVC test model (VTM))の第1バージョンが公表された。VVC標準化に貢献する絶え間ない努力により、JVET会議の度にVVC規格に新しいコーディング技術が採用されている。VVCワーキングドラフト及びテストモデルVTMは、従って、毎回の会議の後に更新される。VVCプロジェクトは、目下、2020年7月の会議における技術的完成(FDIS)を目指している。
ルマ成分及びクロマ成分は、Iスライスについて別個のパーティションツリーを有し得る。別個のツリーパーティションは、CTUレベルではなく、64×64ブロックレベル未満である。VTMソフトウェアには、デュアルツリーのオン及びオフを制御するためのSPSフラグがある。
2.2.3.1 イントラ予測モード
自然なビデオに存在する任意のエッジ方向をキャプチャするために、VTM4における方向イントラモードの数は、HEVCにおける33から、65にまで拡張された。HEVCにない新しい方向モードは、図2の赤点線矢印で示され、平面及びDCモードは同じままである。これらのより高密度の方向イントラ予測モードは、全てのブロックサイズに、及びルマ及びクロマイントラ予測の両方に適用される。
成分間の冗長性を低減するために、クロスコンポーネント線形モデル(cross-component linear model (CCLM))予測モードがVTM4で使用される。このために、クロマサンプルが、以下のように線形モデルを用いて、同じCUの再構成ルマサンプルに基づき予測される。
以下の仕様は、JVET-M1001の変更されたワーキングドラフト、及びJVET-N0271における採択に基づく。採択されたJVET-N0220の変更は、太字及び下線により示される。
sps_cclm_enabled_flagが0に等しいことは、ルマ成分からクロマ成分へのクロスコンポーネント線形モデルイントラ予測が無効であることを指定する。sps_cclm_enabled_flagが1に等しいことは、ルマ成分からクロマ成分へのクロスコンポーネント線形モデルイントラ予測が有効であることを指定する。
8.4.4.2.8 Specification of INTRA_LT_CCLM, INTRA_L_CCLM and INTRA_T_CCLM intra prediction modeにおいて、
この処理への入力は:
・イントラ予測モードpredModeIntra、
・現在ピクチャの左上サンプルに対する、現在変換ブロックの左上サンプルのサンプル位置( xTbC, yTbC )、
・変換ブロック幅を指定する変数nTbW、
・変換ブロック高さを指定する変数nTbH、
・近隣サンプルp[ x ][ y ]、ここで、x = -1, y = 0..2 * nTbH - 1及びx = 0..2 * nTbW - 1,y = - 1、
この処理の出力は、予測サンプルpredSamples[ x ][ y ]、ここで、x = 0..nTbW - 1, y = 0..nTbH - 1。
numSampL及びnumSampTの両方が0に等しい場合、以下が適用される。
VTM4は、HEVCと異なる多くのイントラコーディングツールを含み、例えば、以下の特徴が、ブロックツリー構造の上に、VCCテストモデル3に含まれている。
・ブロックサイズ及びモードに依存する4タップ補間フィルタ
・位置依存イン予測の組合せ(Position-dependent intra prediction combination (PDPC))
・クロスコンポーネント線形モデルイントラ予測
・マルチ参照ラインイントラ予測
・イントラサブパーティション
2.2.4 VVCにおけるインター予測
2.2.4.1結合インター及びイントラ予測(Combined Inter and Intra Prediction (CIIP))
VTM4では、CUがマージモードでコーディングされるとき、CUが少なくとも64個のルマサンプルを含む場合(つまり、CU幅×CU高さが64以上である)、結合インター/イントラ予測(combined inter/intra prediction (CIIP))モードが現在CUに適用されるかどうかを示すために、追加フラグがシグナリングされる。
VTM4は、HEVCと異なる多くのインターコーディングツールを含み、例えば、以下の特徴が、ブロックツリー構造の上に、VCCテストモデル3に含まれている。
・アフィン動きインター予測
・サブブロックに基づく時間動きベクトル予測
・適応動きベクトル解像度
・時間動き予測のための8×8ブロックに基づく動き圧縮
・ルマ成分のための8タップ補間フィルタ及びクロマ成分のための4タップ補間フィルタによる高精度(1/16ペル)動きベクトル記憶及び動き補償
・三角形パーティション
・結合されたイントラ及びインター予測
・MVDとのマージ(Merge with MVD (MMVD))
・対称MVDコーディング
・双方向オプティカルフロー
・デコーダ側動きベクトル精緻化
・双予測加重平均
VTM4には、全部で3個のインループフィルタがある。HEVCにおける2個のループフィルタである、デブロッキングフィルタ及びサンプル適応オフセットフィルタ(sample adaptive offset filter (SAO))に加えて、適応ループフィルタ(adaptive loop filter (ALF))がVTM4において適用される。VTM4におけるフィルタリング処理の順序は、デブロッキングフィルタ、SAO、及びALFである。
VTM4では、クロマスケーリングによるルママッピング(luma mapping with chroma scaling (LMCS))と呼ばれるコーディングツールが、ループフィルタの前の新しい処理ブロックとして追加される。LMCSは、2つの主要なコンポーネントを有する:1)適応区分線形モデル(adaptive piecewise linear model)に基づくルマ成分のインループマッピング、2)クロマ成分について、ルマ依存クロマ残差スケーリングが適用される。図4は、デコーダの観点からLMCSアーキテクチャを示す。図4で、薄い影付きブロックは、処理がマッピング済みドメインで適用される場所を示し、これらは、逆量子化、逆変換、ルマイントラ予測及びルマ予測のルマ残差との加算、を含む。図4で、白いブロックは、処理が元の(つまりマッピングされていない)ドメインで適用される場所を示し、これらは、デブロッキング、ALF及びSAOのようなループフィルタ、動き補償予測、クロマイントラ予測、クロマ予測のクロマ残差との加算、及び参照ピクチャとしての復号ピクチャの記憶、を含む。図4で、濃い影付きブロックは、新しいLMCS機能ブロックであり、ルマ信号の順方向及び逆方向マッピング、及びルマ依存クロマスケーリング処理を含む。VVCにおける大部分の他のツールと同様に、LMCSは、SPSフラグを用いてシーケンスレベルで有効/無効にできる。
ルマ成分のインループマッピングは、ダイナミックレンジに渡るコードワードを再分配することにより、入力信号のダイナミックレンジを調整して、圧縮効率を向上する。ルママッピングは、順方向マッピング関数FwdMap、及び対応する逆方向マッピング関数InvMapを使用する。FwdMap関数は、16個の等しい区分を有する区分線形モデルを用いてシグナリングされる。InvMap関数は、シグナリングされる必要がなく、代わりにFwdMap関数から導出される。
クロマ残差スケーリングは、ルマ信号とその対応するクロマ信号との間の相互作用を補償するよう設計される。クロマ残差スケーリングが有効か否かも、タイルグループレベルでシグナリングされる。ルママッピングが有効であり、デュアルツリーパーティション(個別クロマツリーとしても知られている)が現在タイルグループに適用されない場合、ルマ依存クロマ残差スケーリングが有効か否かを示すために、追加フラグがシグナリングされる。現在タイルグループでデュアルツリーパーティションが使用されないとき、又はルママッピングが使用されないとき、ルマ依存クロマ残差スケーリングは無効にされる。更に、ルマ依存クロマ残差スケーリングは、領域が4以下であるクロマブロックについて常に無効にされる。
以下の仕様は、JVET-M1001の変更されたワーキングドラフト、及びJVET-N0220における採択に基づく。採択されたJVET-N0220における変更は太字及び下線で示される。
7.4.3.1 シーケンスパラメータセットRBSP背マンディクスにおいて、
sps_lmcs_enabled_flagが1に等しいことは、クロマスケーリングによるルママッピングがCVSにおいて使用されることを指定する。sps_lmcs_enabled_flagが0に等しいことは、クロマスケーリングによるルママッピングがCVSにおいて使用されないことを指定する。
lmcs_min_bin_idxは、クロマスケーリングによるルママッピング構成処理において使用される最小ビンインデックスを指定する。lmcs_min_bin_idxの値は、両端を含む0~15の範囲であるべきである。
LMCS/CCLMの現在の設計は、以下の問題を有することがある。
(1)LMCSコーディングツールでは、クロマ残差スケーリング因子は、同一位置のルマ予測ブロックの平均値により導出される。これは、LMCSクロマ残差スケーリングにおいてクロマサンプルを処理するための遅延を生じる。
a)単一の/共有ツリーの場合には、遅延は、(a)利用可能なルマブロック全体の全部の予測サンプルを待機し、及び(b)(a)により取得された全部のルマ予測サンプルを平均することにより、引き起こされる。
b)デュアル/個別ツリーの場合には、Iスライスにおいてルマ及びクロマ成分について別個のブロックパーティション構造が有効にされるので、遅延は更に悪化する。従って、1つのクロマブロックは複数のルマブロックに対応してよく、1つの4×4クロマブロックは64×64ルマブロックに対応してよい。従って、最悪の場合は、現在4×4クロマブロックのクロマ残差スケーリング因子が、64×64ルマブロック全体の全部の予測サンプルが利用可能になるまで待つ必要があることである。つまり、デュアル/個別ツリーにおける遅延問題は、遙かに深刻である。
(2)CCLMコーディングツールでは、イントラクロマ予測のためのCCLMモデル計算は、ルマブロック及びクロマブロックの両方の左及び上参照サンプルに依存する。そして、クロマブロックのCCLM予測は、同じCUの同一位置のルマ再構成サンプルに依存する。これは、デュアル/個別ツリーにおいて高い待ち時間を引き起こし得る。
・デュアル/個別ツリーの場合には、1つの4×4クロマブロックは64×64ルマブロックに対応してよい。従って、最悪の場合は、現在クロマブロックのCCLM処理が、対応する64×64ルマブロック全体が再構成されるまで待つ必要があることである。この遅延問題は、デュアル/個別ツリーにおけるLMCSクロマスケーリングと同様である。
問題に対処するために、私たちは、ルマ依存クロマ残差スケーリング、CCLM、及び異なる色成分からの情報に依存する他のコーディングツールにおけるクロスコンポーネント(成分間)依存性を除去し/低減し/制限する幾つかの方法を提案する。
(1)インターコーディングブロックでは、参照フレーム内の現在ブロックの1又は複数の参照サンプルが、LMCSモードにおけるクロマ残差スケーリング因子を導出するために使用されてよいことが提案される。
a)一例では、参照ルマサンプルは、クロマ残差スケーリング因子を導出するために直接使用されてよい。
i.代替として、補間が、先ず参照サンプルに適用され、補間済みサンプルが、クロマ残差スケーリング因子を導出するために使用されてよい。
ii.代替として、異なる参照フレーム内の参照サンプルは、クロマ残差スケーリング因子導出のために使用される最終参照サンプルを導出するために利用されてよい。
1)一例では、双予測コーディングブロックについて、上述の方法が適用されてよい。
iii.一例では、参照サンプルの強度は、クロマ残差スケーリング因子を導出するために使用される前に、リシェーピングドメインに変換されてよい。
iv.一例では、参照サンプルの線形結合が、クロマ残差スケーリング因子を導出するために使用されてよい。
1)例えば、a×S+bが、クロマ残差スケーリング因子を導出するために使用されてよい。ここで、Sは参照サンプルであり、a及びbはパラメータである。一例では、a及びbは、局所照明補償(Localized Illumination Compensation (LIC) )により導出されてよい。
b)一例では、参照フレーム内の参照ルマサンプルの位置は、現在ブロックの動きベクトルに依存してよい。
i.一例では、参照サンプルは、参照ピクチャ内の、現在ルマブロックと同じ幅及び高さを有する参照ルマブロックに属する。参照ピクチャ内の参照ルマサンプルの位置は、動きベクトルを加算して、現在ピクチャ内のその対応するルマサンプルの位置として計算されてよい。
ii.一例では、参照ルマサンプルの位置は、現在ルマブロックの左上(又は中央、又は右下)サンプルの位置、及び現在ブロックの動きベクトルにより導出され、参照フレーム内の対応するルマサンプルと呼ばれてよい。
1)一例では、整数動きベクトルが、参照フレーム内の対応するルマサンプルを導出するために使用されてよい。一例では、1つのブロックに関連付けられた動きベクトルは、整数動きベクトルを導出するために、ゼロへと丸め込まれるか、ゼロから離れるように丸め込まれてよい。
2)代替として、分数動きベクトルが、参照フレーム内の対応するルマサンプルを導出するために使用されてよい。その結果、分数参照サンプルを導出するために、補間処理が必要であってよい。
iii.代替として、参照ルマサンプルの位置は、現在ルマブロックの左上(又は中央、又は右下)サンプルの位置により導出されてよい。
iv.代替として、参照フレーム内の幾つかの所定の位置にある複数の対応するルマサンプルが、クロマ残差スケーリング因子を計算するために選び取られてよい。
c)一例では、複数の参照ルマサンプルの中央値又は平均値が、クロマ残差スケーリング因子を導出するために使用されてよい。
d)一例では、所定の参照フレーム内の参照ルマサンプルが、クロマ残差スケーリング因子を導出するために使用されてよい。
i.一例では、所定の参照フレームは、参照ピクチャリスト0の、0に等しい参照インデックスを有するものであってよい。
ii.代替として、所定の参照フレームの参照インデックス及び/又は参照ピクチャリストは、シーケンス/ピクチャ/タイルグループ/スライス/タイル/CTU行/ビデオユニットレベルでシグナリングされてよい。
iii.代替として、複数の参照フレーム内の参照ルマサンプルが導出されてよく、平均値又は加重平均値がクロマ残差スケーリング因子を得るために利用されてよい。
(2)LMCSモードでルマサンプルからクロマ残差スケーリング因子をするかどうか及びその方法が、現在ブロックが双予測を適用されるかどうかに依存してよいことが提案される。
a)一例では、クロマ残差スケーリング因子は、予測方向毎に個別に導出される。
(3)LMCSモードでルマサンプルからクロマ残差スケーリング因子をするかどうか及びその方法が、現在ブロックがサブブロックに基づく予測を適用されるかどうかに依存してよいことが提案される。
a)一例では、サブブロックに基づく予測はアフィン予測である。
b)一例では、サブブロックに基づく予測は高度時間動きベクトル予測(Alternative Temporal Motion Vector Prediction (ATMVP))である。
c)一例では、クロマ残差スケーリング因子は、サブブロック毎に個別に導出される。
d)一例では、クロマ残差スケーリング因子は、サブブロックにより予測される場合でも、ブロック全体について導出される。
i.一例では、1つの選択されたサブブロック(例えば、左上サブブロック)の動きベクトルは、点(bullet)1で示されるように、現在ブロックの参照サンプルを識別するために使用されてよい。
(4)クロマ残差スケーリング因子を導出するために使用されるルマ予測値が、最終ルマ予測値の代わりに、中間ルマ予測値であってよいことが提案される。
a)一例では、双方向オプティカルフロー(Bi-Directional Optical Flow (BDOF)、BIOとしても知られている)の処理の前のルマ予測値は、クロマ残差スケーリング因子を導出するために使用されてよい。
b)一例では、デコーダ側動きベクトル精緻化(DMVR)の処理の前のルマ予測値は、クロマ残差スケーリング因子を導出するために使用されてよい。
c)一例では、LICの処理の前のルマ予測値は、クロマ残差スケーリング因子を導出するために使用されてよい。
d)一例では、JVET-N0236で提案されるような予測精緻化オプティカルフロー(Prediction Refinement Optical Flow (PROF))の処理の前のルマ予測値は、クロマ残差スケーリング因子を導出するために使用されてよい。
(5)中間動きベクトルは、参照サンプルを識別するために使用されてよい。
a)一例では、BDOF又は/及びDMVR又は/及び他のDMVD方法の処理の前の動きベクトルは、参照サンプルを識別するために使用されてよい。
b)一例では、JVET-N0236で提案されるような予測精緻化オプティカルフロー(Prediction Refinement Optical Flow (PROF))の処理の前の動きベクトルは、参照サンプルを識別するために使用されてよい。
(6)上述の方法は、現在ブロックがインターモードでコーディングされるときに適用可能であってよい。
(7)IBCコーディングブロックでは、現在フレームの参照ブロック内の1又は複数の参照サンプルが、LMCSモードにおけるクロマ残差スケーリング因子を導出するために使用されてよいことが提案される。ブロックがIBCコーディングされるとき、参照ピクチャが現在ピクチャとして設定される場合、用語「動きベクトル」は、「ブロックベクトル」とも呼ばれてよい。
a)一例では、参照サンプルは、現在ピクチャ内の、現在ブロックと同じ幅及び高さを有する参照ブロックに属する。参照サンプルの位置は、動きベクトルを加算してその対応するルマサンプルの位置として計算されてよい。
b)一例では、参照ルマサンプルの位置は、動きベクトルを加算して、現在ルマブロックの左上(又は中央、又は右下)サンプルの位置により導出されてよい。
c)代替として、参照ルマサンプルの位置は、現在ブロックのブロックベクトルを加算して、現在ルマブロックの左上(又は中央、又は右下)サンプルの位置により導出されてよい。
d)代替として、現在ルマブロックの参照領域内の幾つかの所定の位置にある複数の対応するルマサンプルが、クロマ残差スケーリング因子を計算するために選び取られてよい。
e)一例では、複数の対応するルマサンプルは、クロマ残差スケーリング因子を導出する関数により計算されてよい。
i.例えば、複数の対応するルマサンプルの中央値又は平均値が、クロマ残差スケーリング因子を導出するために計算されてよい。
f)一例では、参照サンプルの強度は、クロマ残差スケーリング因子を導出するために使用される前に、リシェーピングドメインに変換されてよい。
i.代替として、参照サンプルの強度は、クロマ残差スケーリング因子を導出するために使用される前に、元のドメインに変換されてよい。
(8)現在フレーム内の現在ルマブロックの識別された位置に位置する1又は複数の予測/再構成サンプルが、LMCSモードで現在クロマブロックのクロマ残差スケーリング因子を導出するために使用されてよいことが提案される。
a)一例では、現在ブロックがインターコーディングされる場合、現在ブロックの中央に位置するルマ予測(又は再構成)サンプルは、クロマ残差スケーリング因子を導出するために選び取られてよい。
b)一例では、最初のM×N個のルマ予測(又は再構成)サンプルの平均値が、クロマ残差スケーリング因子を導出するために選び取られてよい。ここで、M×Nは、同一位置のルマブロックサイズ幅×高さより小さくなり得る。
(9)CCLMモデルを計算するために使用される手順の全体又は一部が、LMCSモードにおける現在クロマブロックのクロマ残差スケーリング因子導出のために使用されてよいことが提案される。
a)一例では、CCLMモデルパラメータ導出処理における同一位置のルマブロックの近隣ルマサンプルの識別された位置に位置する参照サンプルは、クロマ残差スケーリング因子を導出するために利用されてよい。
i.一例では、それらの参照サンプルは、直接使用されてよい。
ii.代替として、ダウンサンプリングが、それらの参照サンプルに適用されてよく、ダウンサンプリング済み参照サンプルが適用されてよい。
b)一例では、CCLMモデル計算のために選択されたS個の参照サンプルのうちのK個が、LMCSモードにおけるクロマ残差スケーリング因子導出のために使用されてよい。例えば、Kは1に等しく、Sは4に等しい。
c)一例では、CCLMモードにおける同一位置のルマブロックの参照サンプルの平均/最小/最大値が、LMCSモードにおけるクロマ残差スケーリング因子導出のために使用されてよい。
(10)クロマ残差スケーリング因子の導出のためにサンプルをどのように選択するかは、現在ブロックのコーディング情報に依存してよい。
a)コーディング情報は、QP、コーディングモード、POC、イントラ予測モード、動き情報、等を含んでよい。
b)一例では、IBCコーディング又は非IBCコーディングブロックについて、サンプルを選択する方法が異なってよい。
c)一例では、サンプルを選択する方法は、参照ピクチャと現在ピクチャとの間のPOC差のような参照ピクチャ情報に基づき異なってよい。
(11)CCLMのクロマ残差スケーリング因子及び/又はモデル計算は、同一位置のルマブロックの左上サンプルをカバーする対応するルマブロックの近隣サンプルに依存してよい。
a)「対応するルマコーディングブロック」は、同一位置のルマコーディングブロックの左上位置をカバーするコーディングブロックとして定義されてよい。
i.図5は、デュアルツリーの場合におけるイントラコーディングクロマブロックについて、クロマ成分のCTUパーティションがルマ成分のCTUパーティションと異なってよい場合の例を示す。先ず、現在クロマブロックの同一位置のルマブロックの左上サンプルをカバーする「対応するルマコーディングブロック」が検索される。次に、「対応するルマコーディングブロック」のブロックサイズ情報を使用することにより、「対応するルマコーディングブロック」の左上サンプルが導出でき、同一位置のルマブロックの左上サンプルをカバーする「対応するルマコーディングブロック」の左上ルマサンプルが(x=32,y=16)にあると特定される。
b)一例では、「対応するルマコーディングブロック」内にない再構成サンプルが、CCLMのクロマ残差スケーリング因子及び/又はモデル計算を導出するために使用されてよい。
i.一例では、「対応するルマコーディングブロック」に隣接する再構成サンプルが、CCLMのクロマ残差スケーリング因子及び/又はモデル計算を導出するために使用されてよい。
1)一例では、「対応するルマコーディングブロック」の左近隣列及び/又は上近隣行に位置するN個のサンプルが、CCLMのクロマ残差スケーリング因子及び/又はモデル計算を導出するために使用されてよい。ここで、N=1…2W+2H、W及びHは「対応するルマコーディングブロック」の幅及び高さである。
a)「対応するルマコーディングブロック」の左上サンプルが(xCb,yCb)にあるとすると、一例では、上近隣ルマサンプルは、(xCb+W/2,yCb-1)又は(xCb-1,yCb-1)に位置してよい。代替例では、左近隣ルマサンプルは、(xCb+W-1,yCb-1)に位置してよい。
b)一例では、近隣サンプルの位置は、固定され、及び/又は所定のチェック順序であってよい。
2)一例では、N個のうちの1個の近隣サンプルが、CCLMのクロマ残差スケーリング因子及び/又はモデル計算を導出するために選択されてよい。N=3、及び3個の近隣サンプルのチェック順序が(xCb-1,yCb-H-1)、(xCb+W/2,yCb-1)、(xCb-1,yCb-1)であるとすると、クロマ残差スケーリング因子を導出するために、チェックリストの中で最初に利用可能な近隣サンプルが選択されてよい。
3)一例では、「対応するルマコーディングブロック」の左近隣列及び/又は上近隣行に位置するN個のサンプルの中央値又は平均値が、CCLMのクロマ残差スケーリング因子及び/又はモデル計算を導出するために使用されてよい。ここで、N=1…2W+2H、W及びHは「対応するルマコーディングブロック」の幅及び高さである。
c)一例では、クロマ残差スケーリングを実行するかどうかは、対応するルマブロックの「利用可能な」近隣サンプルに依存してよい。
i.一例では、近隣サンプルの「利用可能性」は、現在ブロック/サブブロックの符号化モード、又は/及び近隣サンプルの符号化モードに依存してよい。
1)一例では、インターモードでコーディングされたブロックについて、イントラモード又は/及びIBCモード又は/及びCIIPモード又は/及びLICモードでコーディングされた近隣サンプルは「利用不可能」であると考えられてよい。
2)一例では、インターモードでコーディングされたブロックについて、拡散フィルタ又は/及びバイラテラルフィルタ又は/及びアダマール変換フィルタを利用する近隣サンプルは、「利用不可能」であると考えられてよい。
ii.一例では、近隣サンプルの「利用可能性」は、現在ピクチャ/タイル/タイルグループ/VPDU/スライスの幅及び/又は高さに依存してよい。
1)一例では、近隣ブロックが現在ピクチャの外側に位置する場合、それは「利用不可能」であるとして扱われる。
iii.一例では、「利用可能な」近隣サンプルが存在しないとき、クロマ残差スケーリングは許可されなくてよい。
iv.一例では、「利用可能な」近隣サンプルの数がK(K>=1)より小さいとき、クロマ残差スケーリングは許可されなくてよい。
v.代替として、利用不可能な近隣サンプルは、デフォルトの固定値で満たされ、パディングされ、又は代用されてよく、その結果、クロマ残差スケーリングが常に適用されてよい。
1)一例では、近隣サンプルが利用可能ではない場合、それは1<<(bitDepth-1)により満たされてよい。ここで、bitDepthは、ルマ/クロマ成分のサンプルのビット深さを指定する。
2)代替として、近隣サンプルが利用可能ではない場合、それは、左/右/上/下近隣に位置する周囲サンプルからパディングすることにより満たされてよい。
3)代替として、近隣サンプルが利用可能ではない場合、それは、所定のチェック順序で最初に利用可能な隣接サンプルにより代用されてよい。
d)一例では、「対応するルマコーディングブロック」の近隣のフィルタリング済み/マッピング済み再構成サンプルが、CCLMのクロマ残差スケーリング因子及び/又はモデル計算を導出するために使用されてよい。
i.一例では、フィルタリング/マッピング処理は、イントラブロックのための参照円滑化フィルタ、バイラテラルフィルタ、アダマール変換に基づくフィルタ、リシェーパドメインの順方向マッピング、等のようなポストフィルタリングを含んでよい。
(12)クロマ残差スケーリング又はCCLMが適用されるか否かは、対応する及び/又は同一位置のルマブロックのパーティションに依存してよいことが提案される。
a)一例では、クロスコンポーネント情報を有するツールを有効化又は無効化するかは、同一位置のルマ(例えば、Y又はG成分)ブロック内のCU/PU/TUの数に依存してよい。
i.一例では、同一位置のルマ(例えば、Y又はG成分)ブロック内のCU/PU/TUの数が閾値を超える場合、そのようなツールは無効化されてよい。
ii.代替として、クロスコンポーネント情報を有するツールを有効化又は無効化するかは、パーティションツリーの深さに依存してよい。
1)一例では、同一位置のルマブロック内のCUの最大(又は最小又は平均又は他の変量)の4分木の深さが閾値を超える場合、そのようなツールは無効化されてよい。
2)一例では、同一位置のルマブロック内のCUの最大(又は最小又は平均又は他の変量)のBT及び/又はTTの深さが閾値を超える場合、そのようなツールは無効化されてよい。
iii.代替として、更に、クロスコンポーネント情報を有するツールを有効化又は無効化するかは、クロマブロックのブロック寸法(dimension)に依存してよい。
iv.代替として、更に、クロスコンポーネント情報を有するツールを有効化又は無効化するかは、同一位置のルマが複数のVPDU/所定の領域サイズに渡るかに依存してよい。
v.上述の議論における閾値は、固定数であってよく、又はシグナリングされてよく、又は規格プロファイル/レベル/ティアに依存してよい。
b)一例では、現在クロマブロックの同一位置のルマブロックが複数のパーティション(例えば、図7)により分割される場合、クロマ残差スケーリング及び/又はCCLMは禁止されてよい。
i.代替として、現在クロマブロックの同一位置のルマブロックが(例えば、1個のCU/TU/PU内で)分割されない場合、クロマ残差スケーリング及び/又はCCLMは適用されてよい。
c)一例では、現在クロマブロックの同一位置のルマブロックがM個より多くのCU/PU/TUを含む場合、クロマ残差スケーリング及び/又はCCLMは禁止されてよい。
i.一例では、Mは1より大きい整数であってよい。
ii.一例では、Mは、CCLM又はクロマ残差スケーリング処理であるかに依存してよい。
iii.Mは、固定数であってよく、又はシグナリングされてよく、又は規格プロファイル/レベル/ティアに依存してよい。
d)同一位置のルマブロック内の上述のCUは、同一位置のルマブロック内の全部のCUであると解釈されてよい。代替として、同一位置のルマブロック内のCUは、同一位置のルマブロックの境界に沿うCUのような、同一位置のルマブロック内の一部のCUであると解釈されてよい。
e)同一位置のルマブロック内の上述のCUは、サブCU又はサブブロックであると解釈されてよい。
i.例えば、サブCU又はサブブロックは、ATMVPにおいて使用されてよい。
ii.例えば、サブCU又はサブブロックは、アフィン予測において使用されてよい。
iii.例えば、サブCU又はサブブロックは、イントラサブパーティション(Intra Sub-Partitions (ISP))モードにおいて使用されてよい。
f)一例では、同一位置のルマブロックの左上ルマサンプルをカバーするCU/PU/TUが所定のルマブロックサイズより大きい場合、クロマ残差スケーリング及び/又はCCLMが禁止されてよい。
i.図8に例が示され、同一位置のルマブロックは32×32であるが、64×64に等しいサイズを有する対応するルマブロック内にあり、所定のルマブロックサイズが32×64である場合、クロマ残差スケーリング及び/又はCCLMはこの場合に禁止される。
ii.代替として、現在クロマブロックの同一位置のルマブロックが分割されず、同一位置のルマブロックの左上ルマサンプルをカバーする対応するルマブロックが所定の境界ボックス内に完全に含まれる場合、クロマ残差スケーリング及び/又はCCLMが適用されてよい。図9に示されるように、境界ボックスは、幅W及び高さHを有し、W×Hにより示される長方形として定義されてよい。っこで、対応するルマブロックは、幅32及び高さ64を有し、境界ボックスは、幅40及び高さ70を有する。
1)一例では、境界ボックスのサイズW×Hは、CTU幅及び/又は高さに従い、又はCU幅及び/又は高さに従い、又は任意の値に従い、定義されてよい。
g)一例では、現在クロマブロックの同一位置のルマブロックが複数のパーティションにより分割される場合、同一位置のルマブロックの所定のパーティション内の予測サンプル(又は再構成サンプル)のみが、LMCSモードでクロマ残差スケーリング因子を導出するために使用される。
i.一例では、同一位置のルマブロックの最初のパーティション内の全部の予測サンプル(又は再構成サンプル)の平均が、LMCSモードでクロマ残差スケーリング因子を導出するために使用される。
ii.代替として、同一位置のルマブロックの最初のパーティション内の左上予測サンプル(又は再構成サンプル)が、LMCSモードでクロマ残差スケーリング因子を導出するために使用される。
iii.代替として、同一位置のルマブロックの最初のパーティション内の中央の予測サンプル(又は再構成サンプル)が、LMCSモードでクロマ残差スケーリング因子を導出するために使用される。
h)CCLM及びLMCSのようなクロスコンポーネントツールを適用するかどうか及びどのように適用するかが、同一位置のルマブロックの少なくとも1つのサンプルをカバーする1又は複数のルマCUのコーディングモードに依存してよいことが提案される。
i.例えば、同一位置のルマブロックの少なくとも1つのサンプルをカバーする1又は複数のルマCUがアフィンモードでコーディングされる場合、クロスコンポーネントツールは無効化される。
ii.例えば、同一位置のルマブロックの少なくとも1つのサンプルをカバーする1又は複数のルマCUが双予測でコーディングされる場合、クロスコンポーネントツールは無効化される。
iii.例えば、同一位置のルマブロックの少なくとも1つのサンプルをカバーする1又は複数のルマCUがBDOFでコーディングされる場合、クロスコンポーネントツールは無効化される。
iv.例えば、同一位置のルマブロックの少なくとも1つのサンプルをカバーする1又は複数のルマCUがDMVRでコーディングされる場合、クロスコンポーネントツールは無効化される。
v.例えば、同一位置のルマブロックの少なくとも1つのサンプルをカバーする1又は複数のルマCUがJVET-N0217で提案されたマトリクスアフィン予測モードでコーディングされる場合、クロスコンポーネントツールは無効化される。
vi.例えば、同一位置のルマブロックの少なくとも1つのサンプルをカバーする1又は複数のルマCUがインターモードでコーディングされる場合、クロスコンポーネントツールは無効化される。
vii.例えば、同一位置のルマブロックの少なくとも1つのサンプルをカバーする1又は複数のルマCUがISPモードでコーディングされる場合、クロスコンポーネントツールは無効化される。
viii.一例では、「同一位置のルマブロックの少なくとも1つのサンプルをカバーする1又は複数のルマCU」は、対応するルマブロックを参照してよい。
i)CCLM/LMCSが禁止されるとき、CCLM/LMCSの使用の指示のシグナリングはスキップされてよい。
j)本開示では、CCLMは、LMモード、LM-Tモード、及びLM-Lモードを含む、CCLMの任意の変形モードを表してよい。
(13)CCLM及びLMCSのようなクロスコンポーネントツールを適用するかどうか及びどのように適用するかが、クロマブロックの部分に対して実行されてよいことが提案される。
a)一例では、CCLM及びLMCSのようなクロスコンポーネントツールを適用するかどうか及びどのように適用する化は、クロマサブブロックのレベルである。
i.一例では、クロマサブブロックは、クロマCU内の2×2又は4×4ブロックとして定義される。
ii.一例では、クロマサブブロックについて、現在クロマCUの対応するルマコーディングブロックが、サブブロックの対応するブロックの全部のサンプルをカバーするとき、CCLMが適用されてよい。
iii.一例では、クロマサブブロックについて、対応するブロックの必ずしも全部のサンプルが、現在クロマCUの対応するルマコーディングブロックによりカバーされないとき、CCLMは適用されない。
iv.一例では、CCLM又はLMCSのパラメータは、サブブロックをクロマCUとして扱うとき、各クロマサブブロックについて導出される。
v.一例では、CCLM又はLMCSがクロマサブブロックについて適用されるとき、同一位置のブロックのサンプルが使用されてよい。
(14)ルマ依存クロマ残差スケーリングが適用できるかどうかが、JVET-M1001で指定されるようなタイルグループヘッダに加えて、他のシンタックスレベルでシグナリングされてよいことが提案される。
a)例えば、chroma_residual_scale_flagは、シーケンスレベルで(例えば、SPS内で)、ピクチャレベルで(例えば、PPS又はピクチャヘッダ内で)、スライスレベルで(例えば、スライスヘッダ内で)、タイルレベルで、CTU行レベルで、CTUレベルで、CUレベルで、シグナリングされてよい。chroma_residual_scale_flagが1に等しいことは、シグナリングされるシンタックスレベルより下のCUについて、クロマ残差スケーリングが有効であることを指定する。chroma_residual_scale_flagが0に等しいことは、シグナリングされるシンタックスレベルより下について、クロマ残差スケーリングが有効ではないことを指定する。chroma_residual_scale_flagが存在しないとき、それは0に等しいと推定される。
b)一例では、クロマ残差スケーリングが、パーティションノードレベルで制限されない場合、chroma_residual_scale_flagは、シグナリングされず、パーティションノードによりカバーされるCUについて0であると推定されてよい。一例では、パーティションノードは、CTUであってよい(CTUは、4分木パーティションのルートノードとして取り扱われる)。
c)一例では、クロマ残差スケーリングが32×32以下のクロマブロックサイズについて制限される場合、chroma_residual_scale_flagは、シグナリングされず、32×32以下のクロマブロックサイズについて0であると推定されてよい。
(15)CCLMモードが適用できるかどうかが、JVET-M1001で指定されるようなSPSレベルに加えて、他のシンタックスレベルでシグナリングされてよいことが提案される。
a)例えば、それは、ピクチャレベルで(例えば、PPS又はピクチャヘッダ内で)、スライスレベルで(例えば、スライスヘッダ内で)、タイルグループレベルで(例えば、タイルグループヘッダ内で)、タイルレベルで、CTU行レベルで、CTUレベルで、CUレベルで、シグナリングされてよい。
b)一例では、cclm_flagは、シグナリングされず、CCLMが適用できない場合に0であると推定されてよい。
i.一例では、クロマ残差スケーリングが8×8以下のクロマブロックサイズについて制限される場合、cclm_flagは、シグナリングされず、8×8以下のクロマブロックサイズについて0であると推定されてよい。
(16)クロマ残差スケーリング因子は、ルマブロックを符号化/復号した後に導出されてよく、後のコーディングブロックのために格納され使用されてよい。
a)一例では、ルマブロック内の特定の予測サンプル又は/及び中間予測サンプル又は/及び再構成サンプル又は/及びループフィルタリング前の(例えば、デブロッキングフィルタ又は/及びSAOフィルタ又は/及びバイラテラルフィルタ又は/及びアダマール変換フィルタ又は/及びALFフィルタにより処理される前の)再構成サンプルが、クロマ残差スケーリング因子の導出のために使用されてよい。
i.例えば、ルマブロックの下の行又は/及び右の列内の一部のサンプルが、クロマ残差スケーリング因子の導出のために使用されてよい。
b)シングルツリーの場合には、イントラモード又は/及びIBCモード又は/及びインターモードでコーディングされたブロックを符号化するとき、近隣ブロックの導出されたクロマ残差スケーリング因子は、現在ブロックのスケーリング因子を導出するために使用されてよい。
i.一例では、特定の近隣ブロックが、順にチェックされてよく、最初の利用可能なクロマ残差スケーリング因子が、現在ブロックのために使用されてよい。
ii.一例では、特定の近隣ブロックが、順にチェックされてよく、スケーリング因子は、最初のK個の利用可能な近隣クロマ残差スケーリング因子に基づき導出されてよい。
iii.一例では、インターモード又は/及びCIIPモードでコーディングされたブロックについて、近隣ブロックがイントラモード又は/及びIBCモード又は/及びCIIPモードでコーディングされる場合、近隣ブロックのクロマ残差スケーリング因子は「利用不可能」であると考えられてよい。
iv.一例では、近隣ブロックは、左(又は左上)から上(又は右上)への順にチェックされてよい。
1)代替として、近隣ブロックは、上(又は右上)から左(又は左上)への順にチェックされてよい。
c)個別ツリーの場合には、クロマブロックを符号化するとき、対応するルマブロックが先ず識別されてよい。次に、その(例えば対応するルマブロックの)近隣ブロックの導出されたクロマ残差スケーリング因子が、現在ブロックのスケーリング因子を導出するために使用されてよい。
i.一例では、特定の近隣ブロックが、順にチェックされてよく、最初の利用可能なクロマ残差スケーリング因子が、現在ブロックのために使用されてよい。
ii.一例では、特定の近隣ブロックが、順にチェックされてよく、スケーリング因子は、最初のK個の利用可能な近隣クロマ残差スケーリング因子に基づき導出されてよい。
d)近隣ブロックは、所定の順序でチェックされてよい。
i.一例では、近隣ブロックは、左(又は左上)から上(又は右上)への順にチェックされて
ii.一例では、近隣ブロックは、上(又は右上)から左(又は左上)への順にチェックされてよい。
iii.一例では、近隣ブロックは、左下→左→右上→上→左上の順にチェックされてよい。
iv.一例では、近隣ブロックは、左→上→右上→左下→左上の順にチェックされてよい。
e)一例では、クロマ残差スケーリングを適用するかどうかは、近隣ブロックの「利用可能性」に依存してよい。
i.一例では、「利用可能な」近隣ブロックが存在しないとき、クロマ残差スケーリングは許可されなくてよい。
ii.一例では、「利用可能な」近隣ブロックの数がK(K>=1)より小さいとき、クロマ残差スケーリングは許可されなくてよい。
iii.代替として、「利用可能な」近隣ブロックが存在しないとき、クロマ残差スケーリング因子は、デフォルト値により導出されてよい。
1)一例では、デフォルト値1<<(BitDepth-1)が、クロマ残差スケーリング因子を導出するために使用されてよい。
図10は、ビデオ処理機器1000のブロック図である。機器1000は、ここに記載した方法のうちの1つ以上を実施するために使用されてよい。機器1000は、スマートフォン、タブレット、コンピュータ、モノのインターネット(Internet of Things (IoT))受信機、等において実施されてよい。機器1000は、1つ以上のプロセッサ1002、1つ以上のメモリ1004、及びビデオ処理ハードウェア1006を含んでよい。プロセッサ1002は、本願明細書に記載した1つ以上の方法(方法800及び900を含むが、それに限定されない)を実施するよう構成されてよい。メモリ(複数のメモリ)1004は、本願明細書に記載の方法及び技術を実施するために使用されるデータ及びコードを格納するために使用されてよい。ビデオ処理ハードウェア106は、ハードウェア回路で、本願明細書に記載した幾つかの技術を実施するために使用されてよい。
現在ビデオブロックと前記現在ビデオブロックのビットストリーム表現との間の変換を実行するステップであって、前記変換中に、前記現在ビデオブロックの第2色成分値セットが、1つ以上の参照フレームに含まれる第1色成分値セットから導出され、前記第1色成分値セットは、ビデオコーディングステップの線形モデルで使用可能である、ステップを含む方法。
(28)前記1つ以上の参照フレームに含まれる前記第1色成分値セットは、対応するルマブロックに関連付けられたM×Nルマ成分値に対応する、項1~27の1つ以上に記載の方法。
現在ビデオブロックと前記現在ビデオブロックのビットストリーム表現との間の変換を実行するステップであって、前記変換中に、前記現在ビデオブロックの第2色成分値セットが、1つ以上の参照フレームに含まれる第1色成分値セットから導出され、前記第1色成分値セットは、ビデオコーディングステップの線形モデルで使用可能である、ステップと、
前記1つ以上の参照フレームに含まれる前記第1色成分値セットが前記現在ビデオブロックの同一位置のルマブロックであると決定することに応答して、前記現在ビデオブロックの前記同一位置のルマブロックに関連付けられた1つ以上の条件に基づき、前記現在ビデオブロックの前記第2色成分値セットの導出を選択的に有効化又は無効化するステップと、
を含む方法。
現在クロマビデオブロックと前記現在クロマビデオブロックのビットストリーム表現との間の変換の間に、同一位置のルマブロックの左上サンプルをカバーする対応するルマブロックの1つ以上の近隣ルマブロックの利用可能性をチェックするステップと、
1つ以上の近隣ルマブロックの前記利用可能性に基づき、前記対応するルマブロックの近隣ルマサンプルを検索するかどうかを決定するステップと、
決定する前記ステップに基づき、スケーリング係数を導出するステップと、
前記スケーリング係数に基づき、前記現在クロマビデオブロックのクロマ残差をスケーリングして、スケーリング済みクロマ残差を生成するステップと、
前記スケーリング済みクロマ残差に基づき、前記変換を実行するステップと、
を含む方法。
映像メディアデータの現在ビデオブロックと前記現在ビデオブロックのビットストリーム表現との間の変換を実行するステップであって、前記変換の間に、前記現在ビデオブロックの第2色成分値セットが、クロスコンポーネント線形モデル(cross-component linear model (CCLM))及び/又はクロマスケーリングによるルママッピング(luma mapping with chroma scaling (LMCS))モード処理ステップを用いて、前記映像メディアデータの第1色成分値セットから導出される、ステップを含む方法。
映像メディアデータの現在ビデオブロックと前記現在ビデオブロックのビットストリーム表現との間の変換を実行するステップであって、前記変換の間に、前記映像メディアデータの現在フレームに関連付けられた1つ以上の再構成サンプルは、クロマスケーリングによるルママッピング(luma mapping with chroma scaling (LMCS))モード処理ステップにおけるクロマ残差スケーリング因子を導出するために使用される、ステップを含む方法。
映像メディアデータの現在ビデオブロックと前記現在ビデオブロックのビットストリーム表現との間の変換を実行するステップであって、前記変換の間に、参照フレーム以外の現在フレーム内にある1つ以上のルマ予測サンプル又はルマ再構成サンプルは、クロマスケーリングによるルママッピング(luma mapping with chroma scaling (LMCS))モード処理ステップにおけるクロマ残差スケーリング因子を導出するために使用される、ステップを含む方法。
映像メディアデータの現在ビデオブロックと前記現在ビデオブロックのビットストリーム表現との間の変換の間に、処理ステップに関連付けられたモデルを用いて前記映像メディアデータの第1色成分値セットから、前記現在ビデオブロックの第2色成分値セットを導出するステップであって、前記第1色成分値セットは、同一位置のルマブロックの左上サンプルをカバーする対応するルマブロックの近隣サンプルである、ステップ、
を含む方法。
映像メディアデータの現在クロマビデオブロックと前記現在クロマビデオブロックのビットストリーム表現との間の変換の間に、クロスコンポーネント線形モデル(cross-component linear model (CCLM))及び/又はクロマ残差スケーリング(chroma residual scaling (CRS))の現在クロマビデオブロックへの適用を選択的に有効又は無効にすることを、現在クロマビデオブロックの同一位置のルマブロックに関連付けられた1つ以上の条件に少なくとも部分的に基づき決定する、ステップを含む方法。
映像メディアデータのビデオ領域内の現在ビデオブロックを前記映像メディアデータのビットストリーム表現へと符号化するために、前記映像メディアデータの前記現在ビデオブロックのクロマ成分に対するルマ依存クロマ残差スケーリング(chroma residual scaling (CRS))の適用を選択的に有効又は無効にするステップと、
前記映像メディアデータの前記ビットストリーム表現にフィールドを含む又は除外することを決定するステップであって、前記フィールドは、前記の選択的に有効又は無効にすることを示し、含まれる場合には前記現在ビデオブロックに関連付けられた第1シンタックスレベル以外でシグナリングされる、ステップと、を含む方法。
映像メディアデータのビットストリーム表現内のフィールドをパースするステップであって、前記フィールドは、現在ビデオブロックに関連付けられた第1シンタックスレベル以外のレベルに含まれる、ステップと、
前記フィールドに基づき、前記ビットストリーム表現から復号ビデオ領域を生成するために、映像メディアデータの前記現在ビデオブロックのクロマ成分に対するルマ依存クロマ残差スケーリング(chroma residual scaling (CRS))の適用を選択的に有効又は無効にするステップと、を含む方法。
現在ビデオブロックを映像メディアデータのビットストリーム表現へと符号化するために、前記映像メディアデータの前記現在ビデオブロックに対するクロスコンポーネント線形モデル(cross-component linear model (CCLM))の適用を選択的に有効又は無効にするステップと、
前記映像メディアデータの前記ビットストリーム表現にフィールドを含む又は除外することを決定するステップであって、前記フィールドは、前記の選択的に有効又は無効にすることを示し、含まれる場合には前記現在ビデオブロックに関連付けられた第1シンタックスレベル以外でシグナリングされる、ステップと、を含む方法。
映像メディアデータのビットストリーム表現内のフィールドをパースするステップであって、前記フィールドは、現在ビデオブロックに関連付けられた第1シンタックスレベル以外のレベルに含まれる、ステップと、
前記フィールドに基づき、前記ビットストリーム表現から復号ビデオ領域を生成するために、映像メディアデータの前記現在ビデオブロックに対するクロスコンポーネント線形モデル(cross-component linear model (CCLM))の適用を選択的に有効又は無効にするステップと、を含む方法。
Claims (15)
- ビデオデータを処理する方法であって、
ビデオのクロマブロックと前記ビデオのビットストリームとの間の変換について、前記クロマブロックの対応するルマ領域の少なくとも1つのサンプルをカバーする1つ以上のルマコーディングユニットがサブブロックに基づく予測モードによりコーディングされるかどうかに基づき、前記クロマブロックに対するクロスコンポーネント線形モデルイントラ予測を有効化又は無効化するかを決定するステップであって、前記クロマブロックは、ルマ成分及び少なくとも1つのクロマ成分が別個のパーティションツリー構造を有するデュアルツリー構造である、ステップと、
前記クロスコンポーネント線形モデルイントラ予測が有効化されることに応答して、前記クロマブロックの近隣クロマサンプルに少なくとも基づき、クロスコンポーネント線形モデルのパラメータを決定するステップと、
前記パラメータに基づき、前記クロスコンポーネント線形モデルを適用して、前記クロマブロックの予測値を導出するステップと、
前記予測値に基づき前記変換を実行するステップと、
を含む方法。 - 前記サブブロックに基づく予測モードは、イントラサブパーティションモードに対応する、請求項1に記載の方法。
- 前記クロスコンポーネント線形モデルは、前記1つ以上のルマコーディングユニットが前記サブブロックに基づく予測モードによりコーディングされることに応答して、無効化される、請求項1又は2に記載の方法。
- 前記クロマブロックに対する前記クロスコンポーネント線形モデルイントラ予測を有効化又は無効化するかは、前記1つ以上のルマコーディングユニットのパーティション情報に更に基づく、請求項1~3のいずれかに記載の方法。
- 前記パーティション情報は、前記1つ以上のルマコーディングユニットのパーティションツリー深さを含む、請求項4に記載の方法。
- 前記パーティションツリー深さは、4分木深さである、請求項5に記載の方法。
- 前記クロマブロックに対する前記クロスコンポーネント線形モデルイントラ予測を有効化又は無効化するかは、前記クロマブロックの対応するクロマ領域の少なくとも1つのサンプルをカバーする1つ以上のクロマコーディングユニットのブロック寸法に更に基づく、請求項1~6のいずれかに記載の方法。
- 前記クロマブロックに対する前記クロスコンポーネント線形モデルイントラ予測を有効化又は無効化するかは、前記1つ以上のルマコーディングユニットが、4分木演算と異なるマルチタイプパーティションツリー演算から分割されるかどうかに更に基づく、請求項1~7のいずれかに記載の方法。
- 前記クロスコンポーネント線形モデルの前記パラメータは、以下:
前記クロマブロックの1つ以上の近隣クロマブロックの利用可能性をチェックし、
前記1つ以上の近隣クロマブロックの近隣クロマサンプルからR個のクロマサンプルを見付けて、前記クロスコンポーネント線形モデルの前記パラメータの値セットを決定し、Rは2より大きい整数である、
ことにより導出され、
少なくとも1つの近隣クロマサンプルは、前記クロマブロックのサイズに基づき、前記R個のクロマサンプルに属さない、請求項1~8のいずれかに記載の方法。 - 前記1つ以上の近隣クロマブロックが利用不可能であることに応答して、前記クロマブロックの予測値は、1<<(bitDepth-1)に設定され、bitDepthは前記ビデオのビット深さである、請求項9に記載の方法。
- 前記変換は、前記クロマブロックを前記ビットストリームに符号化することを含む、請求項1~10のいずれかに記載の方法。
- 前記変換は、前記ビットストリームから前記クロマブロックを復号することを含む、請求項1~10のいずれかに記載の方法。
- ビデオデータを処理する機器であって、プロセッサと命令を有する非一時的メモリとを含み、前記命令は、前記プロセッサにより実行されると前記プロセッサに、
ビデオのクロマブロックと前記ビデオのビットストリームとの間の変換について、前記クロマブロックの対応するルマ領域の少なくとも1つのサンプルをカバーする1つ以上のルマコーディングユニットがサブブロックに基づく予測モードによりコーディングされるかどうかに基づき、前記クロマブロックに対するクロスコンポーネント線形モデルイントラ予測を有効化又は無効化するかを決定させ、前記クロマブロックは、ルマ成分及び少なくとも1つのクロマ成分が別個のパーティションツリー構造を有するデュアルツリー構造であり、
前記クロスコンポーネント線形モデルイントラ予測が有効化されることに応答して、前記クロマブロックの近隣クロマサンプルに少なくとも基づき、クロスコンポーネント線形モデルのパラメータを決定させ、
前記パラメータに基づき、前記クロスコンポーネント線形モデルを適用して、前記クロマブロックの予測値を導出させ、
前記予測値に基づき前記変換を実行させる、
機器。 - 命令を格納している非一時的コンピュータ可読記憶媒体であって、前記命令はプロセッサに、
ビデオのクロマブロックと前記ビデオのビットストリームとの間の変換について、前記クロマブロックの対応するルマ領域の少なくとも1つのサンプルをカバーする1つ以上のルマコーディングユニットがサブブロックに基づく予測モードによりコーディングされるかどうかに基づき、前記クロマブロックに対するクロスコンポーネント線形モデルイントラ予測を有効化又は無効化するかを決定させ、前記クロマブロックは、ルマ成分及び少なくとも1つのクロマ成分が別個のパーティションツリー構造を有するデュアルツリー構造であり、
前記クロスコンポーネント線形モデルイントラ予測が有効化されることに応答して、前記クロマブロックの近隣クロマサンプルに少なくとも基づき、クロスコンポーネント線形モデルのパラメータを決定させ、
前記パラメータに基づき、前記クロスコンポーネント線形モデルを適用して、前記クロマブロックの予測値を導出させ、
前記予測値に基づき前記変換を実行させる、
非一時的コンピュータ可読記憶媒体。 - ビデオのビットストリームを格納する方法であって、前記方法は、
クロマブロックの対応するルマ領域の少なくとも1つのサンプルをカバーする1つ以上のルマコーディングユニットがサブブロックに基づく予測モードによりコーディングされるかどうかに基づき、ビデオの前記クロマブロックに対するクロスコンポーネント線形モデルイントラ予測を有効化又は無効化するかを決定するステップであって、前記クロマブロックは、ルマ成分及び少なくとも1つのクロマ成分が別個のパーティションツリー構造を有するデュアルツリー構造である、ステップと、
前記クロスコンポーネント線形モデルイントラ予測が有効化されることに応答して、前記クロマブロックの近隣クロマサンプルに少なくとも基づき、クロスコンポーネント線形モデルのパラメータを決定するステップと、
前記パラメータに基づき、前記クロスコンポーネント線形モデルを適用して、前記クロマブロックの予測値を導出するステップと、
前記決定に基づき前記ビデオの前記ビットストリームを生成するステップと、
前記ビットストリームを非一時的コンピュータ可読記録媒体に格納するステップと、
を含む方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CNPCT/CN2019/083320 | 2019-04-18 | ||
CN2019083320 | 2019-04-18 | ||
PCT/CN2020/085654 WO2020211862A1 (en) | 2019-04-18 | 2020-04-20 | Restriction on applicability of cross component mode |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022526663A JP2022526663A (ja) | 2022-05-25 |
JP7302009B2 true JP7302009B2 (ja) | 2023-07-03 |
Family
ID=72837039
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021559967A Active JP7302009B2 (ja) | 2019-04-18 | 2020-04-20 | クロスコンポーネントモードの利用可能性に対する制約 |
JP2021559969A Pending JP2022526664A (ja) | 2019-04-18 | 2020-04-20 | クロスコンポーネントモードにおけるパラメータ導出 |
JP2023158409A Pending JP2023165823A (ja) | 2019-04-18 | 2023-09-22 | クロスコンポーネントモードにおけるパラメータ導出 |
Family Applications After (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021559969A Pending JP2022526664A (ja) | 2019-04-18 | 2020-04-20 | クロスコンポーネントモードにおけるパラメータ導出 |
JP2023158409A Pending JP2023165823A (ja) | 2019-04-18 | 2023-09-22 | クロスコンポーネントモードにおけるパラメータ導出 |
Country Status (12)
Country | Link |
---|---|
US (4) | US11553194B2 (ja) |
EP (2) | EP3935834A4 (ja) |
JP (3) | JP7302009B2 (ja) |
KR (2) | KR20210154150A (ja) |
CN (5) | CN113692742B (ja) |
AU (2) | AU2020259567A1 (ja) |
BR (2) | BR112021019679A2 (ja) |
CA (2) | CA3135968C (ja) |
MX (2) | MX2021012472A (ja) |
SG (2) | SG11202110713XA (ja) |
WO (4) | WO2020211869A1 (ja) |
ZA (2) | ZA202107295B (ja) |
Families Citing this family (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN118413670A (zh) * | 2017-11-28 | 2024-07-30 | Lx 半导体科技有限公司 | 图像编码/解码方法、图像数据的传输方法和存储介质 |
CN110896478B (zh) * | 2018-09-12 | 2023-02-17 | 北京字节跳动网络技术有限公司 | 交叉分量线性建模中的下采样 |
CN113545049B (zh) | 2019-03-08 | 2024-04-19 | 北京字节跳动网络技术有限公司 | 视频处理中对基于模型的整形的约束 |
BR112021019679A2 (pt) * | 2019-04-18 | 2021-12-07 | Beijing Bytedance Network Tech Co Ltd | Método para processamento de mídia visual, aparelho codificador de vídeo, aparelho decodificador de vídeo, e, mídia legível por computador |
EP3935855A4 (en) | 2019-04-23 | 2022-09-21 | Beijing Bytedance Network Technology Co., Ltd. | METHOD OF CROSS-COMPONENT DEPENDENCE REDUCTION |
CN113728639A (zh) * | 2019-04-30 | 2021-11-30 | 北京达佳互联信息技术有限公司 | 光流预测细化的方法和装置 |
EP3949395A4 (en) | 2019-05-08 | 2022-06-29 | Beijing Bytedance Network Technology Co., Ltd. | Conditions for applicability of cross-component coding |
EP3985969A4 (en) * | 2019-06-17 | 2023-05-03 | LG Electronics Inc. | VIDEO OR IMAGE CODING BASED ON LUMINANCE MAPPING AND CHROMATIC SCALING |
CN117294845A (zh) * | 2019-06-20 | 2023-12-26 | Lg电子株式会社 | 图像解码和编码方法、数据的发送方法及存储介质 |
US11516472B2 (en) * | 2019-06-21 | 2022-11-29 | Hyundai Motor Company | Method and apparatus for controlling coding tools |
CN117478908A (zh) | 2019-06-22 | 2024-01-30 | 北京字节跳动网络技术有限公司 | 色度残差缩放的语法元素 |
CN117241026A (zh) * | 2019-07-05 | 2023-12-15 | Lg电子株式会社 | 解码设备和编码设备、存储介质及发送图像的数据的设备 |
WO2021004445A1 (en) | 2019-07-07 | 2021-01-14 | Beijing Bytedance Network Technology Co., Ltd. | Signaling of chroma residual scaling |
CA3145479A1 (en) * | 2019-08-01 | 2021-02-04 | Biao Wang | An encoder, a decoder and corresponding methods of chroma intra mode derivation |
EP4000258A4 (en) | 2019-08-20 | 2023-03-15 | Beijing Bytedance Network Technology Co., Ltd. | SCALING POSITION-BASED COEFFICIENTS |
KR20230018532A (ko) * | 2019-10-09 | 2023-02-07 | 베이징 다지아 인터넷 인포메이션 테크놀로지 컴퍼니 리미티드 | 광 흐름에 의한 예측 개선, 양방향 광 흐름 및 디코더 측 움직임 벡터 개선을 위한 방법들 및 장치들 |
US11425405B2 (en) * | 2019-11-15 | 2022-08-23 | Qualcomm Incorporated | Cross-component adaptive loop filter in video coding |
JPWO2021100450A1 (ja) * | 2019-11-21 | 2021-05-27 | ||
US11716468B2 (en) * | 2019-12-20 | 2023-08-01 | Qualcomm Incorporated | Adaptive loop filter signaling redundancy removal field |
US20210409706A1 (en) * | 2020-06-30 | 2021-12-30 | Tencent America LLC | Low latency cross component intra prediction mode |
US20230308667A1 (en) * | 2020-08-06 | 2023-09-28 | Dolby Laboratories Licensing Corporation | Adaptive streaming with false contouring alleviation |
WO2024034849A1 (ko) * | 2022-08-09 | 2024-02-15 | 현대자동차주식회사 | 루마 성분 기반 크로마 성분 예측을 이용하는 비디오 코딩을 위한 방법 및 장치 |
Family Cites Families (91)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2051524A1 (en) | 2007-10-15 | 2009-04-22 | Panasonic Corporation | Image enhancement considering the prediction error |
US9571856B2 (en) * | 2008-08-25 | 2017-02-14 | Microsoft Technology Licensing, Llc | Conversion operations in scalable video encoding and decoding |
WO2011126272A2 (en) | 2010-04-05 | 2011-10-13 | Samsung Electronics Co., Ltd. | Method and apparatus for encoding video by using dynamic-range transformation, and method and apparatus for decoding video by using dynamic-range transformation |
PT2996336T (pt) * | 2010-09-30 | 2017-09-22 | Samsung Electronics Co Ltd | Dispositivo para interpolação de imagens usando um filtro de interpolação de suavização |
WO2012090504A1 (en) * | 2010-12-28 | 2012-07-05 | Panasonic Corporation | Methods and apparatuses for coding and decoding video stream |
WO2012175003A1 (en) | 2011-06-20 | 2012-12-27 | Mediatek Singapore Pte. Ltd. | Method and apparatus of chroma intra prediction with reduced line memory |
KR20130058524A (ko) | 2011-11-25 | 2013-06-04 | 오수미 | 색차 인트라 예측 블록 생성 방법 |
JP5375938B2 (ja) * | 2011-12-14 | 2013-12-25 | ソニー株式会社 | 復号装置及び方法 |
CN103227917B (zh) * | 2012-01-31 | 2016-12-14 | 华为技术有限公司 | 解码方法和装置 |
CN104471940B (zh) * | 2012-04-16 | 2017-12-15 | 联发科技(新加坡)私人有限公司 | 色度帧内预测方法及装置 |
GB2501535A (en) * | 2012-04-26 | 2013-10-30 | Sony Corp | Chrominance Processing in High Efficiency Video Codecs |
CN110392257A (zh) * | 2012-07-02 | 2019-10-29 | 韩国电子通信研究院 | 视频解码/编码方法和计算机可读记录介质 |
US9854259B2 (en) * | 2012-07-09 | 2017-12-26 | Qualcomm Incorporated | Smoothing of difference reference picture |
US9350899B2 (en) * | 2012-09-14 | 2016-05-24 | Qualcomm Incorporated | Methods and device for efficient resampling and resizing of digital images |
AU2012232992A1 (en) * | 2012-09-28 | 2014-04-17 | Canon Kabushiki Kaisha | Method, apparatus and system for encoding and decoding the transform units of a coding unit |
US9503733B2 (en) * | 2013-04-10 | 2016-11-22 | ARRIS Enterprises, LLC | Re-sampling with phase offset adjustment for luma and chroma to signal adaptive filters in scalable video coding |
US10440365B2 (en) * | 2013-06-28 | 2019-10-08 | Velos Media, Llc | Methods and devices for emulating low-fidelity coding in a high-fidelity coder |
EP3598751B1 (en) * | 2013-06-28 | 2024-04-10 | Velos Media International Limited | Methods and devices for emulating low-fidelity coding in a high-fidelity coder |
US9648330B2 (en) * | 2013-07-15 | 2017-05-09 | Qualcomm Incorporated | Inter-color component residual prediction |
KR102143707B1 (ko) * | 2013-10-11 | 2020-08-11 | 브이아이디 스케일, 인크. | Hevc 확장을 위한 하이 레벨 구문 |
US9648332B2 (en) * | 2013-10-28 | 2017-05-09 | Qualcomm Incorporated | Adaptive inter-color component residual prediction |
US10397607B2 (en) | 2013-11-01 | 2019-08-27 | Qualcomm Incorporated | Color residual prediction for video coding |
WO2015100522A1 (en) * | 2013-12-30 | 2015-07-09 | Mediatek Singapore Pte. Ltd. | Methods for inter-component residual prediction |
US10142642B2 (en) * | 2014-06-04 | 2018-11-27 | Qualcomm Incorporated | Block adaptive color-space conversion coding |
US10200700B2 (en) | 2014-06-20 | 2019-02-05 | Qualcomm Incorporated | Cross-component prediction in video coding |
US20150373343A1 (en) | 2014-06-20 | 2015-12-24 | Qualcomm Incorporated | Representation format update in multi-layer codecs |
JP2017531382A (ja) | 2014-09-12 | 2017-10-19 | ヴィド スケール インコーポレイテッド | ビデオ符号化のための成分間相関解除 |
US9918105B2 (en) * | 2014-10-07 | 2018-03-13 | Qualcomm Incorporated | Intra BC and inter unification |
KR20200051831A (ko) | 2014-10-28 | 2020-05-13 | 미디어텍 싱가폴 피티이. 엘티디. | 비디오 코딩을 위한 가이드된 크로스-컴포넌트 예측 방법 |
US9998742B2 (en) * | 2015-01-27 | 2018-06-12 | Qualcomm Incorporated | Adaptive cross component residual prediction |
DE202016009100U1 (de) | 2015-02-19 | 2022-04-05 | Magic Pony Technology Limited | Online-Training von hierarchischen Algorithmen |
GB201603144D0 (en) | 2016-02-23 | 2016-04-06 | Magic Pony Technology Ltd | Training end-to-end video processes |
CN107439012B (zh) | 2015-04-06 | 2018-09-25 | 杜比实验室特许公司 | 用于环内转换的方法、装置和计算机可读存储介质 |
US20180167615A1 (en) * | 2015-06-07 | 2018-06-14 | Sharp Kabushiki Kaisha | Systems and methods for optimizing video coding based on a luminance transfer function or video color component values |
US10609395B2 (en) | 2015-07-28 | 2020-03-31 | Vid Scale, Inc. | High dynamic range video coding architectures with multiple operating modes |
EP3354032A1 (en) | 2015-09-21 | 2018-08-01 | VID SCALE, Inc. | Inverse reshaping for high dynamic range video coding |
US20170105014A1 (en) * | 2015-10-08 | 2017-04-13 | Qualcomm Incorporated | Luma-driven chroma scaling for high dynamic range and wide color gamut contents |
US10045023B2 (en) * | 2015-10-09 | 2018-08-07 | Telefonaktiebolaget Lm Ericsson (Publ) | Cross component prediction in video coding |
US20170150186A1 (en) * | 2015-11-25 | 2017-05-25 | Qualcomm Incorporated | Flexible transform tree structure in video coding |
GB2548358A (en) | 2016-03-15 | 2017-09-20 | Nokia Technologies Oy | A method, an apparatus and a computer program product for coding a 360-degree panoramic images and video |
US10701375B2 (en) | 2016-03-23 | 2020-06-30 | Dolby Laboratories Licensing Corporation | Encoding and decoding reversible production-quality single-layer video signals |
CN109417620B (zh) * | 2016-03-25 | 2021-04-27 | 松下知识产权经营株式会社 | 用于使用信号依赖型自适应量化将运动图像编码及解码的方法及装置 |
EP3459248B1 (en) * | 2016-05-19 | 2024-07-24 | Dolby Laboratories Licensing Corporation | Chroma reshaping for high dynamic range images |
JP6846442B2 (ja) | 2016-05-19 | 2021-03-24 | ドルビー ラボラトリーズ ライセンシング コーポレイション | ハイダイナミックレンジ画像のためのクロマ再構成 |
WO2017206803A1 (en) * | 2016-05-28 | 2017-12-07 | Mediatek Inc. | Method and apparatus of current picture referencing for video coding |
US10484712B2 (en) * | 2016-06-08 | 2019-11-19 | Qualcomm Incorporated | Implicit coding of reference line index used in intra prediction |
US10944976B2 (en) * | 2016-07-22 | 2021-03-09 | Sharp Kabushiki Kaisha | Systems and methods for coding video data using adaptive component scaling |
US10390015B2 (en) | 2016-08-26 | 2019-08-20 | Qualcomm Incorporated | Unification of parameters derivation procedures for local illumination compensation and cross-component linear model prediction |
US10419757B2 (en) * | 2016-08-31 | 2019-09-17 | Qualcomm Incorporated | Cross-component filter |
US10575028B2 (en) | 2016-09-09 | 2020-02-25 | Dolby Laboratories Licensing Corporation | Coding of high dynamic range video using segment-based reshaping |
CN109804625B (zh) | 2016-10-04 | 2024-08-13 | Lx半导体科技有限公司 | 对图像编码/解码的方法和装置及存储比特流的记录介质 |
US10477240B2 (en) | 2016-12-19 | 2019-11-12 | Qualcomm Incorporated | Linear model prediction mode with sample accessing for video coding |
WO2018116925A1 (ja) * | 2016-12-21 | 2018-06-28 | シャープ株式会社 | イントラ予測画像生成装置、画像復号装置、および画像符号化装置 |
US20180199062A1 (en) * | 2017-01-11 | 2018-07-12 | Qualcomm Incorporated | Intra prediction techniques for video coding |
US11025903B2 (en) * | 2017-01-13 | 2021-06-01 | Qualcomm Incorporated | Coding video data using derived chroma mode |
US10694181B2 (en) * | 2017-01-27 | 2020-06-23 | Qualcomm Incorporated | Bilateral filters in video coding with reduced complexity |
EP3386198A1 (en) * | 2017-04-07 | 2018-10-10 | Thomson Licensing | Method and device for predictive picture encoding and decoding |
WO2018236031A1 (ko) * | 2017-06-21 | 2018-12-27 | 엘지전자(주) | 인트라 예측 모드 기반 영상 처리 방법 및 이를 위한 장치 |
CN116095313A (zh) | 2017-06-29 | 2023-05-09 | 杜比实验室特许公司 | 整合的图像整形和视频编码 |
US20190116376A1 (en) | 2017-10-12 | 2019-04-18 | Qualcomm Incorporated | Motion vector predictors using affine motion model in video coding |
CN117097903A (zh) | 2018-02-14 | 2023-11-21 | 杜比实验室特许公司 | 在视频编码中利用率失真优化进行图像再成形 |
US11190790B2 (en) | 2018-04-01 | 2021-11-30 | Lg Electronics Inc. | Parallel processing method for color component of video signal, and device therefor |
CN109005408B (zh) * | 2018-08-01 | 2020-05-29 | 北京奇艺世纪科技有限公司 | 一种帧内预测方法、装置及电子设备 |
CN116347109A (zh) | 2018-08-17 | 2023-06-27 | 北京字节跳动网络技术有限公司 | 一种处理视频数据的方法和装置 |
CN110896478B (zh) | 2018-09-12 | 2023-02-17 | 北京字节跳动网络技术有限公司 | 交叉分量线性建模中的下采样 |
CN111357291B (zh) | 2018-10-23 | 2024-07-05 | 北京字节跳动网络技术有限公司 | 从相邻块推导运动信息 |
WO2020094010A1 (en) | 2018-11-05 | 2020-05-14 | Beijing Bytedance Network Technology Co., Ltd. | Prediction precision improvements video coding |
CN112997491B (zh) | 2018-11-06 | 2024-03-29 | 北京字节跳动网络技术有限公司 | 基于位置的帧内预测 |
MX2021006254A (es) | 2018-12-07 | 2021-07-06 | Beijing Bytedance Network Tech Co Ltd | Intraprediccion basada en contexto. |
US12058311B2 (en) | 2018-12-31 | 2024-08-06 | Electronics And Telecommunications Research Institute | Image encoding/decoding method and apparatus, and recording medium storing bitstream |
JP2022521698A (ja) | 2019-02-22 | 2022-04-12 | 北京字節跳動網絡技術有限公司 | イントラ予測のための隣接サンプル選択 |
EP4354869A1 (en) | 2019-02-22 | 2024-04-17 | Huawei Technologies Co., Ltd. | Method and apparatus for affine based inter prediction of chroma subblocks |
BR112021015017B1 (pt) | 2019-02-24 | 2022-07-26 | Bytedance Inc. | Método e aparelho para codificar dados de vídeo, e, mídia de armazenamento |
EP3703366A1 (en) | 2019-02-28 | 2020-09-02 | InterDigital VC Holdings, Inc. | Method and device for picture encoding and decoding |
CN113545056A (zh) | 2019-02-28 | 2021-10-22 | 交互数字Vc控股公司 | 用于图片编码和解码的方法及设备 |
US11516512B2 (en) * | 2019-03-04 | 2022-11-29 | Alibaba Group Holding Limited | Method and system for processing video content |
CN113545049B (zh) | 2019-03-08 | 2024-04-19 | 北京字节跳动网络技术有限公司 | 视频处理中对基于模型的整形的约束 |
US20200288159A1 (en) * | 2019-03-08 | 2020-09-10 | Qualcomm Incorporated | Combined residual coding in video coding |
US20200288126A1 (en) * | 2019-03-08 | 2020-09-10 | Qualcomm Incorporated | Reshaping filter average calculation for video coding |
US20220217405A1 (en) | 2019-04-03 | 2022-07-07 | Lg Electronics Inc. | Video or image coding for modifying reconstructed picture |
BR112021019679A2 (pt) | 2019-04-18 | 2021-12-07 | Beijing Bytedance Network Tech Co Ltd | Método para processamento de mídia visual, aparelho codificador de vídeo, aparelho decodificador de vídeo, e, mídia legível por computador |
EP3949395A4 (en) | 2019-05-08 | 2022-06-29 | Beijing Bytedance Network Technology Co., Ltd. | Conditions for applicability of cross-component coding |
US11388406B2 (en) | 2019-05-20 | 2022-07-12 | Dolby Laboratories Licensing Corporation | Piece-wise-linear mapping for in-loop reshaping in image coding |
JP2021002780A (ja) | 2019-06-21 | 2021-01-07 | シャープ株式会社 | 動画像復号装置および動画像符号化装置 |
CN117478908A (zh) | 2019-06-22 | 2024-01-30 | 北京字节跳动网络技术有限公司 | 色度残差缩放的语法元素 |
WO2021004445A1 (en) | 2019-07-07 | 2021-01-14 | Beijing Bytedance Network Technology Co., Ltd. | Signaling of chroma residual scaling |
KR102695788B1 (ko) | 2019-07-11 | 2024-08-14 | 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 | 비디오 코딩에서 인트라 블록 복사를 위한 비트스트림 적합 제약 |
US11601657B2 (en) | 2020-04-02 | 2023-03-07 | Qualcomm Incorporated | LUMA mapping with chroma scaling (LMCS) in video coding |
US11375212B2 (en) | 2020-04-18 | 2022-06-28 | Qualcomm Incorporated | Flexible chroma processing for dynamic range adjustment |
US12034910B2 (en) | 2020-06-18 | 2024-07-09 | Lg Electronics Inc. | Image encoding/decoding method and apparatus for signaling high level information for tool control based on color representation format, and computer-readable recording medium storing bitstream |
WO2022115698A1 (en) | 2020-11-30 | 2022-06-02 | Beijing Dajia Internet Information Technology Co., Ltd. | Chroma coding enhancement in cross-component sample adaptive offset |
-
2020
- 2020-04-20 BR BR112021019679A patent/BR112021019679A2/pt unknown
- 2020-04-20 JP JP2021559967A patent/JP7302009B2/ja active Active
- 2020-04-20 WO PCT/CN2020/085674 patent/WO2020211869A1/en unknown
- 2020-04-20 AU AU2020259567A patent/AU2020259567A1/en active Pending
- 2020-04-20 EP EP20791687.5A patent/EP3935834A4/en active Pending
- 2020-04-20 CN CN202080028661.9A patent/CN113692742B/zh active Active
- 2020-04-20 WO PCT/CN2020/085672 patent/WO2020211868A1/en active Application Filing
- 2020-04-20 SG SG11202110713XA patent/SG11202110713XA/en unknown
- 2020-04-20 WO PCT/CN2020/085654 patent/WO2020211862A1/en unknown
- 2020-04-20 KR KR1020217032284A patent/KR20210154150A/ko unknown
- 2020-04-20 SG SG11202111000XA patent/SG11202111000XA/en unknown
- 2020-04-20 EP EP20792015.8A patent/EP3932062A4/en active Pending
- 2020-04-20 WO PCT/CN2020/085655 patent/WO2020211863A1/en active Application Filing
- 2020-04-20 CN CN202080028619.7A patent/CN113692739B/zh active Active
- 2020-04-20 CN CN202080028511.8A patent/CN113692741B/zh active Active
- 2020-04-20 BR BR112021019564A patent/BR112021019564A2/pt unknown
- 2020-04-20 CA CA3135968A patent/CA3135968C/en active Active
- 2020-04-20 MX MX2021012472A patent/MX2021012472A/es unknown
- 2020-04-20 CN CN202080028844.0A patent/CN113711590B/zh active Active
- 2020-04-20 CN CN202311277787.1A patent/CN117528068A/zh active Pending
- 2020-04-20 KR KR1020217032116A patent/KR102685431B1/ko active IP Right Grant
- 2020-04-20 JP JP2021559969A patent/JP2022526664A/ja active Pending
- 2020-04-20 CA CA3135521A patent/CA3135521A1/en active Pending
- 2020-04-20 AU AU2020260285A patent/AU2020260285B2/en active Active
- 2020-04-20 MX MX2021012470A patent/MX2021012470A/es unknown
-
2021
- 2021-08-18 US US17/405,212 patent/US11553194B2/en active Active
- 2021-08-18 US US17/405,236 patent/US11463714B2/en active Active
- 2021-09-20 US US17/479,192 patent/US11616965B2/en active Active
- 2021-09-28 ZA ZA2021/07295A patent/ZA202107295B/en unknown
- 2021-10-04 ZA ZA2021/07452A patent/ZA202107452B/en unknown
-
2022
- 2022-12-19 US US18/083,956 patent/US20230117813A1/en active Granted
-
2023
- 2023-09-22 JP JP2023158409A patent/JP2023165823A/ja active Pending
Non-Patent Citations (2)
Also Published As
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7302009B2 (ja) | クロスコンポーネントモードの利用可能性に対する制約 | |
CN113796072B (zh) | 跨分量编解码的适用性条件 | |
JP7418478B2 (ja) | クロマ残差スケーリングのためのシンタックス要素 | |
JP7317991B2 (ja) | クロスコンポーネント依存性を低減するための方法 | |
JP7460748B2 (ja) | クロマ残差スケーリングのシグナリング | |
JPWO2020216246A5 (ja) | ||
RU2817006C2 (ru) | Способ определения параметров в кросс-компонентном режиме | |
RU2816350C2 (ru) | Ограничения применимости кросс-компонентного режима |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211018 Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211011 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211011 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221115 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230214 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230523 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230621 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7302009 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |